Comments
Description
Transcript
マルチメディアと感性情報処理
認知メディア論 2009-10-20 峯松 信明 電気系工学専攻・融合情報学コース 本日のメニュー インタラクションとマルチメディア マルチメディアインタフェースの役割 直接操作とエージェント メタファとアフォーダンス マルチモーダルインタフェース 入力情報の統合／出力情報の効果的な統合 適応的インタフェース 社会的インタラクションとマルチメディア 人間らしさは必要か？ 感情的情報と感情的インタフェース まとめ マルチメディアインタフェースの役割 生態心理学における アフォーダンス アフォーダンスと脳科学 「実際に掴む」のと「思わず掴みたくなる」の差は？ 思わず「掴みたいモノ」が視覚に入ると・・・ カスティエロらは「視界に様々な物体が入ると，手を伸ばしてそれを 掴むために必要な反応（動作プログラム）が，動作を意図することな く自動的に活性化する」ことを示した。 「運動前野において見いだされた行為の可能性，ないしは行為のレ パートリーを表すニューロンは・・・このような行為の可能性は，ギ ブソンの言うアフォーダンスと関連している可能性がある」 アフォーダンスと脳科学 手が感じ取るアフォーダンス？ 社会インタラクションとマルチメディア 擬人化エージェント 人間の外観を持つソフトウェア・エージェント 擬人化エージェントシステムの構築 身体を持ったロボットエージェントの構築 社会インタラクションとマルチメディア 擬人化エージェントの特徴 長所 人間との対話の「雰囲気」を作り出す。不安感低減。 非言語的な情報伝達がより豊富に。 エージェントの存在により，機械の挙動の予測が容易に。 短所 人間の様に見えるのか？何か不気味？不安感は増すばかり？ 「不気味の谷」問題。真のの「人間らしさ」が問われる。 非言語的な情報伝達よりも言語的な情報伝達で効率を上げたい時も。 そもそもの問いかけ 人間の認知，挙動そのものが分かっていないのに，どうして人間を模 擬できるなどと考えるのか？ ロボットのフレーム問題と自閉症 社会インタラクションとマルチメディア ちょっと脱線「フレーム問題と自閉症」 フレーム問題：有限の情報処理能力しか持たないロボットは， 現実に起こりうる問題全てに対処することが原理的に困難。 別の表現：我々は個々の問題の存在を，それと意識することなく無視 し，円滑に実世界の問題解決を行っている。 「マクドナルドでハンバーガーを買え」→様々な出来事の中から，当 面の問題を無関係の出来事を無視することが必要。これが困難。 特定の枠（フレーム）の中でしか，ロボットは動作できない。 適切な予測モデルと適切な物理（事実）モデルの連携が必要 自閉症者の特性の一つ：情報の便秘 「スルーできない脳 ∼自閉は情報の便秘です∼」（ニキリンコ著） 入力された物理的刺激に対する「適切な無視」が困難。 全てを拾い上げる。意味のある情報，意味のない情報の区別が困難 自閉症者とロボット間の，ビヘービアの類似性 とあるテレビ番組＠日曜日 Stephen Wiltshire as Human Camera サバン症候群（殆どが自閉症者）の天才画家 異常な記憶力，ロンドンの風景を記憶のみに頼って描く 言語発達の遅れ，常同行動，変化への弱みなど自閉特有の行動 マルチメディアと 感性情報処理 峯松 信明 本日のメニュー 感性と感性情報処理 感性とは？感性情報とは？ 感性情報の定量化・物理尺度化とその表現形式 脳と感性 ∼脳はどこで感じているのか？∼ 感性情報とマルチメディア（感覚情報） 五感（マルチメディア）と感性情報 異メディアの統合・融合 感性情報の伝達 感性情報の符号化・伝送・復号化 PUI，情報の可視化，顔表情と感性情報 感性情報を扱うシステムの例 まとめ 感性とは？感性情報とは？ 物理→論理，物理→感性へ 物理量の時間的・空間的変化として与えられる物理情報を目的 に応じた信号へと変換（信号処理・定量的・アナログ） Fortran / Pascal / C 量から記号あるいはそれが担う意味を扱う処理へ。論理的無矛 盾性の追求（シンボル処理・定性的・デジタル） Lisp / Prolog 論理的無矛盾性ではなく，ある対象物が理屈抜きで「納得」で きるか否か，そういう処理。即ち「情」（知情意の中の情） 認知心理学と人工知能 心理学と感性情報処理 感性とは？感性情報とは？ 感性と情報 感性＝外界からの刺激・情報により触発される心の動き・働き 主観的・受け手の個性・環境への依存性 感性的情報伝達を支援するメディア技術の進展と共に注目 その働き・機能 五感によるセンシングに基づいて世界を理解する時に，様々な局面で 表れる広い意味で人間の知的活動を支えるものであり，特に，無意識 的なあるいは前論理的な段階の活動様式とそれに基づく処理能力 この感性の働きによって処理される情報＝感性情報，非論理的 だまし絵 我々の認知が全て論理的処理で あれば，騙されることは無い。 感性情報の定量化と表現形式 感性情報の表現 物理空間（表現）から感性空間（表現）へのマッピング ある感性表現を規定しアンケート調査（主観評価）に基づいて物理空 間と感性空間との写像を求める。感性の定量化 ME（Magnitude Estimation）法 標準刺激と比較した時の比較刺激の強度を，被験者が数値で推定 物理量と感覚量との間にベキ法則が成立するとして両者を対応付け 一対比較法 N個ある刺激に対して，任意の2つ（ N C2 個ある）に対して「より XXである」刺激を選択。 Nが大きくなると，実験規模ば2乗のオーダーで拡大 XXである／ない，という一次元軸の上にN個の刺激を配置可能 多次元尺度法 N個の対象刺激の任意の二つの心理学的距離を計測し，それをN点で 構成される幾何学的構造として捉え，２次元平面上へ写像 感性情報の定量化と表現形式 感性情報の表現 色の感性的配置 本来色相は光の波長のみに依存す るので，物理量としては一次元 音色（楽器）の配置 個々の学会の音色の類似性調査 結果から算出 感性情報の定量化と表現形式 感性情報の表現 物理空間（表現）から感性空間（表現）へのマッピング SD（Semantic differential）法 色彩（色）に対する多様な形容詞の対応づけ N個の対となる形容詞対＝N次元の空間を張る 感性情報の定量化と表現形式 感性情報の表現 物理空間（表現）から感性空間（表現）へのマッピング SD（Semantic differential）法 色彩（色）に対する多様な形容詞の対応づけ N個の対となる形容詞対＝N次元の空間を張る 感性情報の定量化と表現形式 感性情報の表現 物理空間（表現）から感性空間（表現）へのマッピング SD（Semantic differential）法 色彩（色）に対する多様な形容詞の対応づけ N個の対となる形容詞対＝N次元の空間を張る 因子分析 次元数を削減し，データの分布にとって本質的な数次元の軸を選定 第一因子：現代志向 第二因子：目立ちの意識 第三因子：可憐性の意識 ： 服飾の配色形容詞に 関する感性的配置 感性情報処理とその応用 工学システムに向けて 人間の発する感性情報を推定するシステム 環境の発する感性情報を推定し，人間に伝える，システム 表情（似顔絵），音楽，音声の感情，装飾デザイン，などなど 物理刺激に対する感性語（表現）の割当・対応 顔画像を入力して，その感情を推定する（感性語を推定） 顔画像に対する感性の２次元平面と基本６感情 音声を入力して，その感情を推定する（感性語を推定） 感性情報処理とその応用 物理刺激に対する感性語（表現）の割当・対応 物理刺激→感性語出力＝計算機による芸術鑑賞？ でもそれって，感性情報を理解しているように見せかける技でしょ？ また，感性情報は有限集合の１要素で表象できるものなのか？ 離散的なものではなく，あくまでも連続的なもの？ 感性語から物理刺激への逆変換 「暖かくて，美味しくて，背の高い音楽」を検索する？ 一対多の対応 環境の情報を取り込んで，より柔軟な物理刺激の生成プロセスが必要 感性情報処理とその応用 工学システムに向けて ∼心理学・脳科学との融合∼ 人間研究と機械による実装との融合が必要 工学的な感性システムの構成方法 脳科学的には感情ってどう扱われているの？ 感性情報処理とその応用 感性のモデル 人の感性的反応を予測する＝モデルが機械内に必要 入出力関係をルール化：決定論的論理モデル 人間の反応データをNNで学習：事例ベースモデル 感性の多義性を実現するため確率的な状態遷移：確率モデル 外界情報によって駆動され，出力する心理モデル 外界情報を「理解」する感性のモデルにはなっていない？ 個人の違いを如何に反映させるか？ 共通ルール＋個々人への適応処理 脳と感性・感情・情動 脳の中で感性を扱う部位ってどこにある？ 右脳・左脳よりも，内側・外側の分類の方が大切？ 古い脳から新しい脳へ 爬虫類脳→下等哺乳類脳→高等哺乳類脳 情動に関する情報処理：古い脳 論理に関する情報処理：新しい脳 例えば言語野は左半球の新皮質にある。 壊れると音声言語（話す・聞く・理解）に関する能力が失われる。 新しい脳だけがあれば幸せか？ ロウ・ロードとハイ・ロード 視床に届く感覚入力は扁桃体（古脳）と皮質（新脳）に向かう 古脳の処理は大まか＆速い，新脳は精密＆のろい 盲視はこのロウ・ロードの情報処理なのか？ ヘビを見たことが無いサルでも，動くヒモを 怖がる。扁桃体が持つ先天的な情報処理。 扁桃体を壊すとヘビを恐れなくなる。 自閉症者と失語症者 音響学会解説記事より 「言語障害を通して再考する音声言語情報処理」 音響学会誌, vol.63, no.7, 2007 新皮質の言語野が全て壊れてしまった全失語症者 話しても通じない。相手からは音声での応答は無い。 意味・論理情報の効率的な伝達は無理 でも，こちらの意図・感情は伝わっている。 少なくとも「コミュニケーションがとれている」と感覚する。 情動処理に難があるアスペルガー症候群（自閉症の一種）者 言葉の論理面は完全に伝わっている。文法的誤りなどは逐一指摘する。 個々の単語の意味・論理情報は完全に伝わっている。 でも，個々の発話の意図が読み取れないようだ。 彼らと会話しても「コミュニケーションがとれている」と思えない。 本当に新皮質にあるのは言語野なのか？ 本日のメニュー 感性と感性情報処理 感性とは？感性情報とは？ 感性情報の定量化・物理尺度化とその表現形式 脳と感性 ∼脳はどこで感じているのか？∼ 感性情報とマルチメディア（感覚情報） 五感（マルチメディア）と感性情報 異メディアの統合・融合 感性情報の伝達 感性情報の符号化・伝送・復号化 PUI，情報の可視化，顔表情と感性情報 感性情報を扱うシステムの例 まとめ 感性情報とマルチメディア 感性情報と五感（マルチメディア） 視覚・聴覚・触覚（・味覚・嗅覚） 論理・意味情報の伝達では明確に表現されない感性情報 メディア（モーダル）に依存する感性と非依存な感性 ［シンボル・非シンボル］ｘ［組織化・非組織化］による感性の分類 感性情報＝様々な形態の組み合わせで発信・受信される 感性情報とマルチメディア 人間の五感に対する virtual な情報入力・出力 仮想世界のものを掴む 仮想世界で踊る（WII） 感性情報とマルチメディア 実応用を目指すと機械と脳（神経）を繋ぎ始める・・ 念じて動かす 車椅子 触覚＆温度もわかる義手 人工内耳 感性情報とマルチメディア 映画 Matrix の世界は現実のものとなるのか？ 感性情報とマルチメディア メディア間の相互作用 異なるメディアによる相乗効果 映像と音楽（BGM），文字と画像，などなど 興味深い相乗効果 マガーク効果 [ba]（音声）＋[ga]（画像）＝[da] 水色の壁 視覚に寄る皮膚感覚（温感）の誘発 人間の感性を騙し，利用することも可能？ 宗教活動での利用 共感覚 数字を見ると色が見える。味がする。 乳児は全て共感覚者？ そもそも，五感は分離すべきものではない？ 感性情報とマルチメディア ちょっと脱線 ∼共感覚とは∼ 感性情報とマルチメディア ちょっと脱線 ∼共感覚とは∼ 感覚の統合？融合？代替？ 視覚＝味覚？ CCDカメラの情報（白黒画像）を電極を通して舌に結合 盲目者が「見る」感覚を体験 生まれつきの盲目者が他人の顔を見分ける。 ゆっくり飛んできたボールをバットで打つ。 我々の「見る」感覚と彼等の「見る」感覚は同じか？ ヒトの「見る」感覚とトンボの「見る」感覚は同じか？ 本日のメニュー 感性と感性情報処理 感性とは？感性情報とは？ 感性情報の定量化・物理尺度化とその表現形式 脳と感性 ∼脳はどこで感じているのか？∼ 感性情報とマルチメディア（感覚情報） 五感（マルチメディア）と感性情報 異メディアの統合・融合 感性情報の伝達 感性情報の符号化・伝送・復号化 PUI，情報の可視化，顔表情と感性情報 感性情報を扱うシステムの例 まとめ 感性情報の符号化・伝送・復号化 コミュニケーションの階層 情報の三階層と通信の三階層 ∼物理・論理・感性∼ 送信・受信側の整合性 物理：インピーダンスマッチング 論理：プロトコル（シンボル操作）マッチング 感性：文化的背景のマッチング？ 感性情報の符号化・伝送・復号化 感性情報の符号化と復号化 符号化：主に身体活動を伴った活動により実行 復号化：五感をフルに活用した活動 身体性の必要性 例えば，ロボット聴覚の研究会にて 脳と体を持った聴覚の実現 GUI → PUI 感性的・知覚的インターフェイス GUIからPUI（Perceptual User Interface）へ 擬人化エージェント ロボット型エージェント ユーザーとの体の接触を通したコミュニケーション 生理メディアの可能性 筋電，脳波，血液，脳磁気，などなど PUIの要素技術として 音声の音響的特徴から話者の年齢を推定する 「電話の向うがお婆ちゃんだったら，対応の仕方が変わるはず」 感性情報を用いた直感的理解 情報の可視化と感性情報 ∼直感的理解∼ 物理層における可視化 微小な分子や電磁場／fMRIなど 論理層における可視化 プログラムのフローチャートなど 感性層における可視化 フェイスディスプレイなど／絵画の音楽化は可能か？ 顔・顔・顔！ 顔表情と感性情報の伝達 顔面筋の制御＝無意識な制御 作り笑いが不自然になるのはこれが理由 表情を用いた（無意識な）情報発信 人類と類人猿だけが持つ高度に知的な（？）表現手段 自閉症は表情を汲み取るのが大の苦手／心の理論 健常者は表情からの情緒情報の抽出に非常に長けている 生後数十分の乳児でも顔の識別は出来る 先天的に顔を識別する能力は刷り込まれている（顔のようなもの） 符号化＆復号化の技術開発 知的符号化（intelligent coding） 顔・顔・顔！ どれが顔？ 顔のアイコンに激しく反応する乳児 常盤貴子とダルビッシュ 似てる，，，でも間違える？ 区別ができない，と主張する人がいます・・・ 目，鼻，口，の特徴はきっちり検出できているのに・・・ 表情を読み取ることも困難 Clinton and Gore 似てる，，，でも間違える？ Clinton and Gore 似てる，，，でも間違える？ Clinton and Gore 似てる，，，でも間違える？ 顔・顔・顔！ 余談ですが・・・・ 顔・顔・顔！ 余談ですが・・・・ 要素が先？ 全体が先？ 感性情報を扱う応用システム例 指揮者の感性情報（動作）を検出して演出する 感性語を用いて画像を検索する 「暖かい」絵が欲しい 感性情報を扱う応用システム例 動画像からBGMを自動脚色する 検出容易な物理パラメータを使って，曲の音量・音色などの演 奏パラメータを自動制御（曲そのものは変えない） 感性情報を扱う応用システム例 生理的信号（心拍数）を使って人魚を踊らせる 感性情報を扱う応用システム例 生理的信号（心拍数）を使って人魚を踊らせる 本日のおさらい 感性と感性情報処理 感性とは？感性情報とは？ 感性情報の定量化・物理尺度化とその表現形式 脳と感性 ∼脳はどこで感じているのか？∼ 感性情報とマルチメディア（感覚情報） 五感（マルチメディア）と感性情報 異メディアの統合・融合 感性情報の伝達 感性情報の符号化・伝送・復号化 PUI，情報の可視化，顔表情と感性情報 感性情報を扱うシステムの例 まとめ 参考にした図書