仮想メディア技術 VR, VR+AR=MR

ヒューマンメディア工学
Human Media Engineering
ヒューマンインタフェースと
体感メディア技術
加藤 俊一
Toshi KATO
最初にクイズ
„
「情報環境」って何だ？
人間と情報環境とのインタラクション
„
情報環境
„
情報の創造・処理加工・伝達・蓄積を行う過程で、
それを実現するための情報メディア・ソフトウエア・データベース
などの利用可能な環境をいう。
（三省堂「大辞林 第二版」）
„
情報を取り巻く環境のことである。環境情報ということもあるが若
干意味合いが異なる場合が多い。
情報に対してアクセス（収集・発信）する環境と情報を加工する環
境があるとされている。
情報環境の要素としては、一般的にネットワークやコンピュータと
いったものが連想されやすいが、図書館や書店、テレビやラジオ
といったものも情報に関わっているので、これらも要素といえる。
（Wikipedia 2006年６月18日）
„
Wikipediaの説明は、ちょっとヘンだな。。。
人間と情報環境とのインタラクション
„
cf. 環境 （三省堂「大辞林 第二版」）
„
„
取り囲んでいる周りの世界。
人間や生物の周囲にあって、意識や行動の面でそれ
らと何らかの相互作用を及ぼし合うもの。
また、その外界の状態。
自然環境の他に社会的、文化的な環境もある。
「―が良い」「―に左右される」「家庭―」「―破壊」
周囲の境界。まわり。
人間と情報環境とのインタラクション
人間（あるいは人間の集まり）
↓↑ 接点で相互作用(interaction)
„ 情報環境
„
„
人間の知的活動や身体的行動を支援するための
様々な情報サービスを実現するための環境。
マルチメディアコンテンツ・データベース・知識ベース・
情報処理・
ネットワーク・センサー・表示装置
などから構成される。
人間と情報環境とのインタラクション
„
interact (vi)
„
„
interaction (n)
„
„
相互に作用する, （∼と）互いに影響しあう [with]
相互作用 [with]; 相互連関 [between].
interactive (adj)
„
相互に作用する;
【コンピュータ】対話式の, インタラクティブな.
人間と情報環境とのインタラクション
„
interface (n)
„
„
„
„
（異なる物の）境界面, 中間共通面;
共有領域;
【コンピュータ】インタフェース
interface (vi, vt)
„
„
„
連結する [with];
調和（整）する［させる］;
【コンピュータ】インタフェースをとる.
（復習）ヒューマンインタフェース
„
人が
„
„
„
「機器」と接する部分
「サービス」と接する部分
「人・社会」と接する部分
（復習）ヒューマンインタフェース
„
人に優しいヒューマンインタフェース
„
（例）
使いやすい、見やすい、押しやすい、、、
わかりやすい、練習いらず、失敗なし、、、
満足感、楽しい、ストレスなし、、、
（復習）ヒューマンインタフェースの視点
„
身体的側面
„
機器と身体的な特性との整合性
„
„
„
„
形状
運動能力（操作性）
知覚能力（視認性）
情報の表現方法の自然性
„
„
マルチメディア
マルチモーダル
（復習）ヒューマンインタフェースの視点
„
知識的側面
„
操作方法の明快さ
„
„
„
類推可能性
操作ミス（エラー）からの回復
機能の体系の明快さ
„
„
„
提供する機能の粒度・規模・過不足
常識、要求される背景知識
類推可能性
（復習）ヒューマンインタフェースの視点
„
感性的側面
„
主観的な特性との整合性
„
„
„
目的との整合性
„
„
嗜好・価値観・目的意識
カスタマイズ可能な範囲
表層的 vs 深層的
個人情報
„
„
再利用・高度利用
セキュリティ
GUI (Graphical User Interface)
„
計算機のユーザインタフェース
„
„
„
„
40年代： 電気配線＋ランプ
50年代： 紙テープ ＋ プリンタ
60年代： キーボード ＋ キャラクタディスプレイ
入出力装置の「電子」化
70年代： キーボード ＋ グラフィックディスプレイ
航空管制データのグラフ化・マップ化
GUI (Graphical User Interface)
„
計算機のユーザインタフェース
„
„
„
80年代： キーボード ＋ マウス ＋ ビットマップ
デスクトップメタファ
「実世界」のモデル化と投影
90？ 00？ 10年代？： ビジュアルエージェント
執事メタファ
00？ 10年代？： 実世界インタフェース
実世界メタファ
Scientific Visualization
„
コンピュータシミュレーションと可視化技術
„
„
„
„
70年代： データの２次元グラフ化
計測・記録されたデータの把握
80年代： コンピュータグラフィックス
物理法則に基づくシミュレーション
忠実に可視化（２次元）
90年代： ステレオ表示
可視化（２次元→３次元）
人為的ルール
00年代： どこに向かう？ 現実世界の中で？
Scientific Visualization
„
可視化技術
„
„
„
物理現象：
物理化学法則のシミュレーション（分子運動CG）
物理化学的な計測値（AMEDAS）
論理・ルール：
アルゴリズム（フローチャート、アニメ）
法律上の制約（建築基準法）
感性：
感性モデル（相関関係、モデルの対比）
［課題１］ Scientific Visualization
„
（ビデオ資料を見ながら）
„
„
不可視情報を可視化することによって、
大幅に理解が容易になり、
便利になると考えられるものを、
列挙してみよう。
その理由は？
VR: Virtual Reality （仮想現実）
„
virtual (adj)
„
〔限定〕（名目上はそうではないが）実質上の、
事実上の、実際上の
virtual memory（仮想記憶）
„ 〔光学〕虚の、仮の
注意： vain (adj)
„
„
〔「カラの、実質のない」が原義〕 むなしい、中身のな
い；つまらない、価値のない； 虚栄心の強い、うぬぼ
れの強い Vanity Fair（虚栄の市）
VR: Virtual Reality （仮想現実）
„
Virtual Reality
„
人間の五感（視覚、聴覚、触覚＋味覚、嗅覚）である
感覚器官に知覚させるための技術
„ 物理法則やルールに基づいた「世界」の構築
× Animated cartoon physics
„ 計算機内に現実世界を「模擬｣ 「投影｣
参考： CG: Computer Graphics
„
„
„
主として視覚情報
次世代のＣＧをＶＲだと言う人もいる。
Virtual Realityの基本的な要件（１）
„
没入感 immersion, immersive：
„
全感覚（現状は視聴覚）で感じる外界が、すべて
計算機制御された空間
Cf. 計算機制御された空間を、全感覚（現状は視聴覚）を
通して知覚
„
質感
e.g. 高精細・高品位
Virtual Realityの基本的な要件（２）
„
インタラクティブ性 interactivity：
„
人間が対象・状況に働きかけられる
Cf. 特定の対象を選び出して
Cf. 対象群のおかれている状況に対して
„
対象・状況が人間に働きかけられる
Cf. 常時モニタ可能
Virtual Realityの基本的な要件（３）
„
リアルタイム性 real-time：
„
（相互）作用した結果を直ちに反映
Cf. （相互）作用の高速な計算
Cf. 計算結果の高速な可視化（可感化）
„
現実の世界と同じ時間スケールで再現
Cf. 現実の世界と同じ空間スケールで再現
Cf. 現実の世界と同じ刺激スケールで再現
初期のVRシステム (VPL)
データ
グローブ
ヘッドマウント
ディスプレイ
立体視
„
奥行きの知覚
„
„
„
„
„
„
筋肉： 水晶体（レンズ厚）、両眼の輻輳角
画像： 両眼視差、運動視差
画像： 陰影、テクスチャなど
ランダムドットステレオグラム
遠近法
ネッカーのキューブ
立体視
„
両眼視差
（人間）
立体視
„
視差をつけた撮影
（機械）
立体視
„
視差をつけた画像の計算・生成（ＣＧ）
左目画像
右目画像
立体視
„
運動視差による奥行きの知覚
奥行きと遠近感
„
ポンゾの錯視
„
奥行き知覚は
「視差」
だけではない
立体視
„
コンピュータビジョン
„
„
„
カメラの輻輳角
対応点マッチング
テクスチャ解析
立体視
„
バーチャルリアリティ
„
„
„
„
両眼交互刺激
刺激の限界提示時間（上限）と解像度（密）
両眼同時刺激
解像度（粗）
バーチャルリアリティ
„
„
„
„
„
両眼交互刺激
限界提示時間（上限）
解像度（密）
液晶シャッター
偏光メガネ
赤青メガネ（モノクロ）
Head Mounted Display
時分割表示＋液晶シャッターメガネ
偏光スクリーン＋偏光メガネ
CAVE（多面ディスプレイ） WALL（大画面）
＋Head Tracking
バーチャルリアリティ
„
„
レンティキュラーレンズによる両眼同時刺激
空間解像度（粗）
裸眼立体ディスプレイ(Synthagram)
球状裸眼立体視ディスプレイ(prospecta)
力覚ディスプレイ（Phantom）
嗅覚ディスプレイ
バーチャルリアリティ
„
„
「視差」
自分の体（位置・大きさ）を基準とした量
→ 立体に見える
＆ 対象の「絶対的な大きさ」も知覚
→ コンテンツ制作上の課題
VR: Virtual Reality （仮想現実）
„
Virtual Realityを利用した入力・操作
„
„
„
利用者→システム
計算機内部に構成された仮想世界に「働きかけ｣
視覚： アイカメラ（視線）
聴覚： 音声
触覚： 力の向き・強さ、
位置（Data Glove, Data Suit, 磁気センサ）、
速度（加速度）
データグローブ＆データスーツ
Motion Capture（１）
Motion Capture（２）
VR: Virtual Reality （仮想現実）
„
„
„
„
インタフェースの多様化：
人間の五感（視覚、聴覚、触覚＋味覚、嗅覚）を通して
インタラクションするための技術
物理法則やルールに基づいた「世界」の構築
計算機内に現実世界を「模擬｣ 「投影｣
システム→利用者
計算機内部に構成された仮想世界を「体験｣
利用者→システム
計算機内部に構成された仮想世界に「働きかけ｣
VR: Virtual Reality （仮想現実）
„
Virtual Realityを利用した出力・提示
„
„
„
システム→利用者
計算機内部に構成された仮想世界を「体験｣
視覚： Head Mount Display、液晶シャッター、
広視野角
聴覚： ステレオ音源、
触覚： 力覚ディスプレイ、
位置、
速度（加速度）
VR: Virtual Reality （仮想現実）
„
Virtual Realityを利用した入力・操作
„
„
„
利用者→システム
計算機内部に構成された仮想世界に「働きかけ｣
視覚： アイカメラ（視線）
聴覚： 音声
触覚： 力の向き・強さ、
位置（Data Glove, Data Suit, 磁気センサ）、
速度（加速度）
［宿題1］ Virtual Realityの基本要件
„
世間的に「ＶＲ」と思われているシステムを
いくつか取り上げて、
ＶＲの基本要件から批評してみよう。
„
„
„
„
没入感
インタラクティブ性
リアルタイム性
（例）アーケードゲーム、運転シミュレータ、ミクロ
アドベンチャー、など
AR: Augmented Reality （強化現実）
„
Virtual Reality „
„
„
計算機内部に現実世界を投影（＝仮想空間）
仮想空間を「可感化」
Augmented Reality
„
„
計算機内部の情報を現実世界に投影
現実空間を情報で「強化｣
［課題２］ AR、MR技術と応用可能性
„
（ビデオ資料を見ながら）
„ 各AR、MRシステムの技術的ポイント
„ 利点と制約
„ 応用可能性
などを整理してみよう。
AR: Augmented Reality （強化現実）
„
Augmented Realityを利用した出力・提示
„
„
„
システム→利用者
計算機内部の情報を現実世界に「投影｣
視覚： See-through型Head Mount Display、
Digital Desk
聴覚： ？
触覚： ？
AR: Augmented Reality （強化現実）
„
Augmented Realityを利用した入力・操作
„
„
„
利用者→システム
現実世界での「普通の動作」
視覚： アイカメラ（視線）、指差し
聴覚： 音声
触覚： 位置（磁気センサ）
MR = VR + AR
„
Mixed Reality
„
„
„
仮想世界と現実世界の密な融合
現実世界のオブジェクト
→
モデル化して仮想世界に取り込む
仮想世界のリアリティ
仮想世界の情報
→
可感化して現実世界に重畳する
現実世界の情報化・高機能化
体感メディア（仮想メディア）
„
五感を通して体で感じるメディア技術
„
„
„
„
物理的実在
論理的情報
感性的評価
「これらの情報を五感を通して知覚し、また、
操作するためのメディア」を提供する。
［宿題２］ Virtual Reality技術の応用
„
Human InterfaceにVR技術を導入すれば、
機器の操作性やサービスの使い勝手・
品質が改善されると期待できるものを
いくつか例示して
„ 「機器・サービス」
„ 「現状」
„ 「VRによる改善点」
„ 「期待される効果」
„ 「技術的な課題」 を説明してみよう。
［宿題３］ Augmented Reality技術の応用
„
生活空間などにAR技術を導入すれば、
格段にその空間での
活動や状態が改善されると期待できるものを
いくつか例示し、
„ 「空間・場所」
„ 「現状」
„ 「VRによる改善点」
„ 「期待される効果」
„ 「技術的な課題」 を説明してみよう。
体感メディア（仮想メディア）
„
五感を通して体で感じるメディア技術
„
„
„
„
物理的実在
論理的情報
感性的評価
「これらの情報を五感を通して知覚し、また、
操作するためのメディア」を提供する。
参考図書
„
„
情報処理学会編
「エンサイクロペディア情報処理2000-2001」
第4章マルチメディアとバーチャルリアリティ
野村、澤田
「バーチャルリアリティ」
朝倉書店、1997年。