Comments
Description
Transcript
「マルチメディア情報とインタラクション」PDFファイル
認知メディア論 2009-10-13 峯松 信明 電気系工学専攻・融合情報学コース 前回のおさらい 人間にとっての情報 シャノン流の情報定義と本講義での情報定義 データと情報 ∼送り手の意図と受け手の解釈∼ 社会における情報 マスメディアの働き 人間にとっての情報の諸形態 メディア情報の分類とそれに基づく考察 知識と情報 データから情報へ ∼知識による介入処理∼ 無意識の処理 ∼脳による世界の再構成∼ 多様なメディアと相互変換 ∼抽象化と具象化∼ 論理情報と感性情報 知識の体系化 人間にとっての情報の諸形態 (2) 情報の質的側面 ∼送り手の意図と受け手の解釈∼ 文字（字体）による表現→付帯的情報に基づく意図の推定へ 「今日は寒い」 事実の表明から「熱いコーヒーが欲しい」まで その情報が発信及び受信された環境・状況への依存性 The chicken is ready to eat. 送り手・受け手の文化的背景／気が利く，利かないの差／連想 Can you pass me the salt? Yes I can. 情報と知識 (1) データ・情報・知識（記憶） データは受け手の解釈を受けて初めて情報となる じゃ，解釈（認知）には何が必要？ 知識（記憶）が必要 認識（認知）の大枠 文字の認識を例にとって（あ，あ，あ，あ，あ，あ） 字形，フォントによらず，抽象概念としての「あ」を認知できる。 情報と知識 (2) 知識はどうやって獲得されるのか？ 情報の抽象化・一般化・規則化 「ツバメが春になるとやってくる」→「ある種の渡り鳥は，，，」 情報が先？知識が先？ ∼鶏と卵∼ 知識は全て情報（経験）がもたらすのか？ 先天的知識（遺伝）と後天的知識（獲得） 無意識の処理，その処理をしていることに気付かない処理 情報と知識 (4) 無意識の処理（脳の中の幽霊） 情報と知識 (6) 日常茶飯事の幻肢(?)体験 ∼見ることの不思議∼ 網膜・視覚皮質の物理特性（側抑制）と世界の再構成 盲点と盲点部分の脳部位に対する「書き込み」 脳梗塞により脳機能が失われる時に見える「世界」とは マルチメディア情報と インタラクション 峯松 信明 本日のメニュー インタラクションとマルチメディア マルチメディアインタフェースの役割 直接操作とエージェント メタファとアフォーダンス マルチモーダルインタフェース 入力情報の統合／出力情報の効果的な統合 適応的インタフェース 社会的インタラクションとマルチメディア 人間らしさは必要か？ 感情的情報と感情的インタフェース まとめ インタラクションとマルチメディア マルチメディアインタフェース 機器側の視点／複数のメディア処理能力を機器に実装 マルチモーダルインタフェース 人間側の視点／五感に基づく複数のモダリティーが利用可能 その実装・構築における焦点・問題点 複数のメディアを利用して，如何にして効率的・効果的なインタ ラクションを実現するのか？複雑にしてしまっては意味なし。 人間にとっての違和感・不安感を如何に低減するのか？ 人間の（無意識な）情報処理をどこまで考慮して実装するのか？ その利用形態 ヒューマン・マシン間のインタフェース ヒューマン・ヒューマン間のインタフェース 計算機を介した人間間のインタラクションを支援 マルチメディアインタフェースの役割 マルチメディアインタフェースの重要性 機械の多機能化＝人間にとって優しいインタフェースの要求 「人間にとって優しい／user-friendly」とは何か？ 学習容易性：どの程度の学習（時間）を要求するのか？ 柔軟・拡張性：利用者に応じてインタフェース環境を変更できるか？ 処理能力：利用者の達成度・満足度は？ 基本的な姿勢＝人間の認知・運動・行動様式を知ること どこまで深く人間を掘り下げるのか？無意識な処理への考慮は？ マルチメディアインタフェースの役割 マルチメディアインタフェース機器の特徴 モバイル性 携帯端末，ウェアラブルなど サイズなどの要請＝キー入力が不可能な端末 ユビキタス性 建造物，情報家電，福祉器具，道路（ITS），環境に浸透（埋め込み） 知的社会基盤工学技術 仮想性 Virtual Reality技術による遠隔操作／コンピュータ・アート 協調作業性 マルチメディアを利用したグループウェア エンタテイメント性とピア性 機械の擬人化へ マルチメディアインタフェースの役割 直接操作インタフェース 対象物を直接操作している感覚をもたらすもの 遠隔操作による機器操作（Virtual Reality） 利用者本人の責任の下での操作／ユーザ主導 操作の結果／効果についても直接的に感覚できる（WYSIWYG） インタフェースエージェント 対象物の多機能化＝直接操作は高度な知識を要求 操作を代行する自律的ソフトウェア＝エージェント→システム主導 カスタマイズ性／適応的／自律性 問題点 機器のブラックボックス化 直接的・間接的のバランス マルチメディアインタフェースの役割 「優しさ」の創成 ∼インタフェースメタファ∼ メタファ（比喩）による理解 より「馴染みのある」領域を使って「馴染みの無い」領域を記述 「郵便を送る」体験→「メールを送る」手順の習得 デスクトップメタファ ファイル・フォルダ・ゴミ箱 マルチメディアインタフェースの役割 「優しさ」の失敗？ ∼メタファの問題点∼ 適切なメタファが常にある訳ではない CD-ROM を取り出す ＝ CD-ROM を捨てる？ 誤解を生じる可能性 利用者の文化的差異／経験の差異→メタファの宿命 作り手の判断が時として「余計なお世話」に 柔軟性・拡張性が十分に備わったインタフェースが必要 マルチメディアインタフェースの役割 「優しさ」の創成 ∼アフォーダンス∼ 「対象物がどのような操作・行為を受け付けるのか」というこ とをその対象物の属性（アフォーダンス）と見なす考え 環境が我々に与える普遍的価値・行為を誘う情報 元々は，J. Gibson が生態心理学にて提唱したアイディア 良いアフォーダンスを持つ機器とは？ 人間がその機器の使い方（機器のインタフェース）を学習しなくて も，自然とその使い方が把握できてしまう。 マルチメディアインタフェースの役割 生態心理学における アフォーダンス 環境が我々に implicit に訴える情報 その情報を我々は（無意識的に）pick up できるか否か 人間の挙動をつぶさに観測することからアフォーダンス研究は始まる マルチメディアインタフェースの役割 生態心理学における アフォーダンス アフォーダンスと脳科学 「実際に掴む」のと「思わず掴みたくなる」の差は？ 思わず「掴みたいモノ」が視覚に入ると・・・ カスティエロらは「視界に様々な物体が入ると，手を伸ばしてそれを 掴むために必要な反応（動作プログラム）が，動作を意図することな く自動的に活性化する」ことを示した。 「運動前野において見いだされた行為の可能性，ないしは行為のレ パートリーを表すニューロンは・・・このような行為の可能性は，ギ ブソンの言うアフォーダンスと関連している可能性がある」 想像＆実体験と脳科学 「想像する」のと「実際に体験する」の差は？ 類似した脳活動パターンは確かに観測される。 ではなぜ「想像」と「体験」は区別できるのか？ 両者が全く同一の脳活動パターンを生じさせれば区別はできない。 通常，我々は常に想像（予測）しながら実世界を生きる。 予測モデル（トップダウン処理）を物理刺激（ボトムアップ処理）に よって常に修正をかけるのが，実世界で生きること。 物理刺激が入らない＝修正が入らない＝現実離れした想像の世界＝夢 予測モデルが働かない＝ボトムアップ処理のみ＝自分の手でくするぐ ことが可能になる！（自分の手が他人の手のようになる） 優れた想像力の持ち主達 プロのスポーツ選手のメンタル・トレーニング ほぼ，実際に体を動かした場合と同様の効果がある 脳活動的にも，非常に類似している（そもそも修正が要らない？） 想像＆実体験と脳科学 「想像する」のと「実際に体験する」の差は？ 本日のメニュー インタラクションとマルチメディア マルチメディアインタフェースの役割 直接操作とエージェント メタファとアフォーダンス マルチモーダルインタフェース 入力情報の統合／出力情報の効果的な統合 適応的インタフェース 社会的インタラクションとマルチメディア 人間らしさは必要か？ 感情的情報と感情的インタフェース まとめ マルチモーダルインターフェイス マルチモーダルインターフェイスの特徴 効率性と正確さ テキストだけ？音声も？それから？？ 冗長性と曖昧性の低減 複数のモダリティー利用による情報の質・信頼性の工場 多様性 利用者の趣向によってカスタマイズ可能／性別・世代別など 負荷分散 時として複数のモダリティの利用は人間にとっての負荷を軽減する 自然さ シナジー 異なるモダリティーが融合して初めて伝達可能となる情報の存在 手話における手と表情の連携など 複数のモダリティの相補的な使用による自然性の向上 マルチモーダルインターフェイス マルチモーダルインタフェースの機能とその具体例 入力情報の統合 キーボード／ポインティングデバイス／音声／タッチセンサー／テキ スト／静止画／動画 異なる入力情報を如何に統合・結びつけるか？ 時間の同期，場所の同期，など マルチモーダルインターフェイス ちょっと脱線 ∼脳における「結びつけ問題」∼ 赤くて，丸くて，ざらっとした感じで，右に動いている，，， 「形」「色」「テクスチャー」「動き」は異なる領野で処理 それが「視覚連合野」にて統合される。どう統合されるのか → HP 意識に上らない視覚情報処理の存在 情報出力系 情報入力系 マルチモーダルインターフェイス マルチモーダルインタフェースの機能とその具体例 効果的な出力情報の統合 各種メディアの統合的出力についてのプラニングが重要 テキスト量，画面の広さ，環境ノイズ，利用者の状況，様々な要因を 考慮して利用するメディアの組み合わせを動的に制御 受け手の情報処理能力・特性に応じて柔軟に制御 異なるユーザに対して，異なるインタフェースが要求されることも 各メディアの処理モジュールが同一の情報を共有（状況把握） マルチモーダルインターフェイス マルチモーダルインタフェースの機能とその具体例 適応的インターフェイス ユーザーモデル 利用者の状況に応じてインターフェイスを動的に変化 利用者の好み，知識，システム利用の目的など 対話モデル・談話モデル 一連の対話によって達成されるタスクごとに，ひな形を用意し，現 在迄の対話履歴をタスク全体の中で相対的に把握 物理的には同一の入力がコンテキストに依存して別解釈される 対話的逸脱にも対応できるものが望ましい 自然言語と指さし動作 の統合による情報解釈 本日のメニュー インタラクションとマルチメディア マルチメディアインタフェースの役割 直接操作とエージェント メタファとアフォーダンス マルチモーダルインタフェース 入力情報の統合／出力情報の効果的な統合 適応的インタフェース 社会的インタラクションとマルチメディア 人間らしさは必要か？ 感情的情報と感情的インタフェース まとめ 社会インタラクションとマルチメディア 社会的インタラクションとは？ 個人と個人，個人と集団，集団と集団 社会的関係のもとで生じるインタラクション＝社会的・・・ 准教授・父親・研究会幹事・男性・成人・・・・ マルチメディアインタフェースにおける機械の擬人化 人間と機械の間の「社会的」インタラクションの追求 機械に「ある社会的役割」を担わせる・演じさせる 社会インタラクションとマルチメディア 擬人化エージェント 人間の外観を持つソフトウェア・エージェント 擬人化エージェントシステムの構築 身体を持ったロボットエージェントの構築 社会インタラクションとマルチメディア アバター（化身エージェント） バーチャル空間でユーザの化身として動き回るエージェント ユーザになり変わって他者との情報交換を行なう。代理人。 アバター同士が出会うバーチャルな空間の創発。 社会インタラクションとマルチメディア 幾つかの例より 対話エージェントシステム（かなり古いです） 受付嬢ロボット（YouTubeより） ロボットを使ったプレゼンテーション 社会インタラクションとマルチメディア 擬人化エージェントの特徴 長所 人間との対話の「雰囲気」を作り出す。不安感低減。 非言語的な情報伝達がより豊富に。 エージェントの存在により，機械の挙動の予測が容易に。 短所 人間の様に見えるのか？何か不気味？不安感は増すばかり？ 「不気味の谷」問題。真のの「人間らしさ」が問われる。 非言語的な情報伝達よりも言語的な情報伝達で効率を上げたい時も。 そもそもの問いかけ 人間の認知，挙動そのものが分かっていないのに，どうして人間を模 擬できるなどと考えるのか？ ロボットのフレーム問題と自閉症 社会インタラクションとマルチメディア ちょっと脱線「フレーム問題と自閉症」 フレーム問題：有限の情報処理能力しか持たないロボットは， 現実に起こりうる問題全てに対処することが原理的に困難。 別の表現：我々は個々の問題の存在を，それと意識することなく無視 し，円滑に実世界の問題解決を行っている。 「マクドナルドでハンバーガーを買え」→様々な出来事の中から，当 面の問題を無関係の出来事を無視することが必要。これが困難。 特定の枠（フレーム）の中でしか，ロボットは動作できない。 適切な予測モデルと適切な物理（事実）モデルの連携が必要 自閉症者の特性の一つ：情報の便秘 「スルーできない脳 ∼自閉は情報の便秘です∼」（ニキリンコ著） 入力された物理的刺激に対する「適切な無視」が困難。 全てを拾い上げる。意味のある情報，意味のない情報の区別が困難 自閉症者とロボット間の，ビヘービアの類似性 社会インタラクションとマルチメディア 社会インタラクションとマルチメディア 社会インタラクションとマルチメディア 機械に対するユーザの社会的反応 機械を人間と感じる時，感じない時にユーザ反応の差は？ 「機械の裏に人間がいる／いない」と意識させた利用者の反応 機械を人間と思い込ませると，機械とのインタラクションを「楽し い」と感じるようになる。 逆に言えば，幾ら擬人化しても「人間でない」と感じてしまうと，そ れは単なる機械でしかなくなる。 社会インタラクションとマルチメディア 機械に対するユーザの社会的反応 機械を人間と感じる時，感じない時にユーザ反応の差は？ 利用者による「機械そのもの」に対する積極的な擬人化 機械から有益な情報を得られるほど，機械に対して互恵的行動をとる 互恵性：自らを助けたものに返報する特性。give & take エージェントの有無に拘らず，機械を人間的に扱うことがある。 機械の中に「ヒト」を感覚せせるにはどうしたらよいのか？ 社会インタラクションとマルチメディア 感情的インタラクションと感情型インタフェース 感情型インタフェース 利用者の感情を検出し（入力），或は，エージェントの感情を操作す る（出力）ようなインタフェース 感情情報の入力 皮膚抵抗／心拍数／血圧／体温などの生理的情報 ジェスチャー／音声の抑揚などのより直接的な情報 語彙の情報，発話スタイル 感情情報の出力 基本感情（怒り，悲しみ，恐怖，，，）を用いて表された感情情報 を異なるモダリティーへ割り当てる。 文脈に応じた出力形態の実現 非感情情報との統合の必要性 社会インタラクションとマルチメディア 感情的インターフェイスの具体例 微妙なまつ毛の変化に注目 社会インタラクションとマルチメディア 感情的インターフェイスの具体例 Galateaプロジェクト 社会インタラクションとマルチメディア 対話参加者の生理学的シグナルを映像化 社会インタラクションとマルチメディア 感情的インターフェイスの具体例 インタラクティブ・アート「無意識な流れ」 本日のおさらい インタラクションとマルチメディア マルチメディアインタフェースの役割 直接操作とエージェント メタファとアフォーダンス マルチモーダルインタフェース 入力情報の統合／出力情報の効果的な統合 適応的インタフェース 社会的インタラクションとマルチメディア 人間らしさは必要か？ 感情的情報と感情的インタフェース まとめ 参考にした図書