物理的なクイズクイズ

最初にクイズ
ヒューマンメディア工学
Human Media Engineering
„
「情報環境」って何だ？
（ネットでも検索してみよう）
情報環境
ヒューマンインタフェースと
体感メディア技術
加藤 俊一
Toshi KATO
人間と情報環境とのインタラクション
„
情報環境
„
人間と情報環境とのインタラクション
„
情報の創造・処理加工・伝達・蓄積を行う過程で、
それを実現するための情報メディア・ソフトウエア・データベース
などの利用可能な環境をいう。
cf. 環境
„
（三省堂「大辞林 第二版」）
„
情報を取り巻く環境のことである。環境情報ということもあるが若
干意味合いが異なる場合が多い。
情報に対してアクセス（収集・発信）する環境と情報を加工する環
境があるとされている。
情報環境の要素としては、一般的にネットワークやコンピュータと
いったものが連想されやすいが、図書館や書店、テレビやラジオ
といったものも情報に関わっているので、これらも要素といえる。
„
（三省堂「大辞林 第二版」）
取り囲んでいる周りの世界。
人間や生物の周囲にあって、意識や行動の面でそれ
らと何らかの相互作用を及ぼし合うもの。
また、その外界の状態。
自然環境の他に社会的、文化的な環境もある。
「―が良い」「―に左右される」「家庭―」「―破壊」
周囲の境界。まわり。
（Wikipedia 2006年６月18日、2008年６月２日）
„
Wikipediaの説明は、ちょっとヘンだな。。。
人間と情報環境とのインタラクション
„
„
人間（あるいは人間の集まり）
↓↑ 接点で相互作用(interaction)
情報環境
„
人間の知的活動や身体的行動を支援するための
様々な情報サービスを実現するための環境。
マルチメディアコンテンツ・データベース・知識ベース・
情報処理・
ネットワーク・センサー・表示装置
などから構成される。
人間と情報環境とのインタラクション
„
interact (vi)
„
interaction (n)
„
interactive (adj)
„
„
„
相互に作用する, （～と）互いに影響しあう [with]
相互作用 [with]; 相互連関 [between].
相互に作用する;
【コンピュータ】対話式の, インタラクティブな.
1
人間と情報環境とのインタラクション
„
interface (n)
„
„
„
„
（復習）ヒューマンインタフェース
„
（異なる物の）境界面, 中間共通面;
共有領域;
【コンピュータ】インタフェース
„
„
„
interface (vi, vt)
„
„
„
人が
「機器」と接する部分
「サービス」と接する部分
「人・社会」と接する部分
連結する [with];
調和（整）する［させる］;
【コンピュータ】インタフェースをとる.
何を書いてほしかったか、、、
何を書いてほしかったか、、、
（復習）ヒューマンインタフェース
„
人に優しいヒューマンインタフェース
何を書いてほしかったか、、、
何を書いてほしかったか、、、
（復習）ヒューマンインタフェースの視点
„
（例）
使いやすい、見やすい、押しやすい、、、
わかりやすい、練習いらず、失敗なし、、、
満足感、楽しい、ストレスなし、、、
→ 実は「やわらかアタマ」で考えてほしかった。
ネット上には、古いパラダイムの
考えばかりがめだつ！
そんなのを参考にしてたら、
「２０世紀の製品・サービス」しか企画できない人に
なっちゃうョ！
身体的側面
„
„
機器と身体的な特性との整合性
„
„
„
→ ボタンの押しやすさ・画面の見易さ（１９８０年代まで
＝大量生産時代の観点）
„ 情報の表現方法の自然性
„
„
„
知識的側面
„
操作方法の明快さ
„
„
„
類推可能性
操作ミス（エラー）からの回復
何を書いてほしかったか、、、
何を書いてほしかったか、、、
（復習）ヒューマンインタフェースの視点
„
感性的側面
„
„
„
提供する機能の粒度・規模・過不足
常識、要求される背景知識
類推可能性
→ 人間への「メンタルな負荷」「ヒューマンエラー」に
対する配慮が始まる（１９９０年代から）
主観的な特性との整合性
„
„
嗜好・価値観・目的意識
カスタマイズ可能な範囲
„
目的との整合性
„
個人情報
機能の体系の明快さ
„
マルチメディア
マルチモーダル
→ マルチメディア時代＆バリアフリーへの配慮が始ま
る（１９８０年代後半からの観点）
何を書いてほしかったか、、、
何を書いてほしかったか、、、
（復習）ヒューマンインタフェースの視点
形状
運動能力（操作性）
知覚能力（視認性）
„
„
„
表層的 vs 深層的
再利用・高度利用
セキュリティ
→ 人間は何に満足感を求めようとしているのか？（２１
世紀の視点）
（表層）製品の個別性（例：差別化欲求）
（深層）サービスを利用する本来の目的（例：つなが
り感、癒し、自己実現欲求 など）
2
GUI (Graphical User Interface)
„
計算機のユーザインタフェース
„
„
„
„
40年代： 電気配線＋ランプ
50年代： 紙テープ ＋ プリンタ
60年代： キーボード ＋ キャラクタディスプレイ
入出力装置の「電子」化
70年代： キーボード ＋ グラフィックディスプレイ
航空管制データのグラフ化・マップ化
GUI (Graphical User Interface)
„
計算機のユーザインタフェース
„
„
„
Scientific Visualization
„
コンピュータシミュレーションと可視化技術
„
„
„
„
„
（ビデオ資料を見ながら）
„
„
„
可視化とはどういうことか？
不可視情報を可視化することによって、
大幅に理解が容易になり、
便利になると考えられるものを、
列挙してみよう。
その理由は？
90？ 00？ 10年代？： ビジュアルエージェント
執事メタファ
00？ 10年代？： 実世界インタフェース
実世界メタファ
Scientific Visualization
„
70年代： データの２次元グラフ化
計測・記録されたデータの把握
80年代： コンピュータグラフィックス
物理法則に基づくシミュレーション
忠実に可視化（２次元）
90年代： ステレオ表示
可視化（２次元→３次元）
人為的ルール
00年代： どこに向かう？ 現実世界の中で？
［課題１］ Scientific Visualization
80年代： キーボード ＋ マウス ＋ ビットマップ
デスクトップメタファ
「実世界」のモデル化と投影
可視化技術
„
„
„
物理現象：
物理化学法則のシミュレーション（分子運動CG）
物理化学的な計測値（AMEDAS）
論理・ルール：
アルゴリズム（フローチャート、アニメ）
法律上の制約（建築基準法）
感性：
感性モデル（相関関係、モデルの対比）
（参考）不可視情報 そのほんの一例
（狭義） 目には見えない情報
（広義） 人間が直接感じ取ることが難しい情報
„
„
„
„
„
„
„
„
„
„
„
„
赤外線・紫外線・電波
小さすぎるもの（原子・分子）、大きすぎるもの（天体・宇宙）
表面に現れてないもの（皮下、内臓、骨格；地下；水中）
振動、超音波（高周波）・低周波
流れ（水、空気；交通；情報）
温度・湿度の分布
早すぎるもの（化学反応）、遅すぎるもの（成長）
危険、安全
健康状態、体力、疲労
エネルギー
学習、知識
感情、感性
3
VR: Virtual Reality （仮想現実）
„
virtual (adj)
„
〔限定〕（名目上はそうではないが）実質上の、
事実上の、実際上の
virtual memory（仮想記憶）
„ 〔光学〕虚の、仮の
注意： vain (adj)
VR: Virtual Reality （仮想現実）
„
Virtual Reality
„
人間の五感（視覚、聴覚、触覚＋味覚、嗅覚）である
感覚器官に知覚させるための技術
„ 物理法則やルールに基づいた「世界」の構築
× Animated cartoon physics
„ 計算機内に現実世界を「模擬｣ 「投影｣
参考： CG: Computer Graphics
„
„
〔「カラの、実質のない」が原義〕 むなしい、中身のな
い；つまらない、価値のない； 虚栄心の強い、うぬぼ
れの強い Vanity Fair（虚栄の市）
„
„
„
Virtual Realityの基本的な要件（１）
Realityの基本的な要件（１）
„
没入感 immersion, immersive：
„
全感覚（現状は視聴覚）で感じる外界が、すべて
計算機制御された空間
Cf. 計算機制御された空間を、全感覚（現状は視聴覚）を
通して知覚
„
質感
e.g. 高精細・高品位
Virtual Realityの基本的な要件（３）
Realityの基本的な要件（３）
„
主として視覚情報
次世代のＣＧをＶＲだと言う人もいる。
Virtual Realityの基本的な要件（２）
Realityの基本的な要件（２）
„
インタラクティブ性 interactivity：
„
人間が対象・状況に働きかけられる
Cf. 特定の対象を選び出して
Cf. 対象群のおかれている状況に対して
„
対象・状況が人間に働きかけられる
Cf. 常時モニタ可能
初期のVR
システム (VPL)
初期のVRシステム
ヘッドマウント
ディスプレイ
リアルタイム性 real-time：
„
（相互）作用した結果を直ちに反映
Cf. （相互）作用の高速な計算
Cf. 計算結果の高速な可視化（可感化）
„
データ
グローブ
現実の世界と同じ時間スケールで再現
Cf. 現実の世界と同じ空間スケールで再現
Cf. 現実の世界と同じ刺激スケールで再現
4
立体視
„
奥行きの知覚
„
„
„
„
„
„
„
„
筋肉： 水晶体（レンズ厚）、両眼の輻輳角
画像： 両眼視差、運動視差
画像： 陰影、テクスチャなど
両眼視差
（人間）
„
左目・右目の距離
×輻輳角
→距離（と大きさ）
ランダムドットステレオグラム
遠近法
ネッカーのキューブ
立体視
„
立体視
視差をつけた撮影
（機械）
［実験１］立体視
„
視差をつけた画像の計算・生成（ＣＧ）
左目・右目の距離
×輻輳角
→距離（と大きさ） を
再現する
感じさせる
右目画像
左目画像
東京タワー
［実験２］立体視
„
運動視差による奥行きの知覚
六本木ヒルズ
5
［実験３］奥行きと遠近感
„
（参考）ネッカーのキューブ
ポンゾの錯視
„
奥行き知覚は
「視差」
だけではない
http://www.p.u-tokyo.ac.jp/~kitajyo/projects.html
立体視
„
コンピュータビジョン
„
„
„
カメラの輻輳角
対応点マッチング
テクスチャ解析
立体視
„
バーチャルリアリティ
„
„
„
„
バーチャルリアリティ
„
„
„
„
„
両眼交互刺激
刺激の限界提示時間（上限）と解像度（密）
両眼同時刺激
解像度（粗）
Head Mounted Display
両眼交互刺激
限界提示時間（上限）
解像度（密）
液晶シャッター
偏光メガネ
赤青メガネ（モノクロ）
6
時分割表示＋液晶シャッターメガネ
偏光スクリーン＋偏光メガネ
CAVE（多面ディスプレイ） WALL（大画面）
＋Head Tracking
広視野角ディスプレイ
„
＋ ビデオ資料
全天周・広視野角ディスプレイ
„
„
コンテンツ（大画面・遠景）を工夫すれば
「奥行き」を感じる
視差を与えれば
「立体感」を感じる
7
裸眼立体視の仕組み
„
„
裸眼立体ディスプレイ(
裸眼立体ディスプレイ(WoW)
WoW)
レンティキュラーレンズによる両眼同時刺激
空間解像度（粗）
裸眼立体ディスプレイ(
裸眼立体ディスプレイ(Synthagram)
Synthagram)
球状裸眼立体視ディスプレイ(prospecta)
prospecta)
SeeSee-through type Head Mounted Display
（透過型HMD
）
（透過型HMD）
SeeSee-through type Head Mounted Display
（透過型HMD
）
（透過型HMD）
8
力覚ディスプレイ（Phantom
）
力覚ディスプレイ（Phantom）
力覚（加速度）＋視覚
„
力覚（加速度）＋視覚
„
嗅覚ディスプレイ
加速度感（スピード感）と視覚のマルチ
モーダル性
VR: Virtual Reality （仮想現実）
„
Virtual Reality Ride (Simulation Ride)
データグローブ＆データスーツ
Virtual Realityを利用した入力・操作
„
„
„
利用者→システム
計算機内部に構成された仮想世界に「働きかけ｣
視覚： アイカメラ（視線）
聴覚： 音声
触覚： 力の向き・強さ、
位置（Data Glove, Data Suit, 磁気センサ）、
速度（加速度）
9
Motion Capture（１）
Capture（１）
Motion Capture（３）
Capture（３）
ユビキタス空間内での動作の検出
Motion Capture（２）
Capture（２）
OpenCVを使った顔認識
„
„
OpenCVを使った顔認識
OpenCV: インテルが開発・公開している
オープンソースのコンピュータビジョン（画
像処理・画像認識）のライブラリ
景色の中から人間の顔（らしい部分）を検
出する機能も提供されている。
視線入力装置
„
„
顔を抽出できれば、視線も検出できる！
QuickGlance3 アイトラッキングシステム
„
例： キーボード・音声に代わる文字入力手段
（マルチモーダルインタフェース）
http://yamashita.dyndns.org/blog/face-detection-with-opencv/
10
視線追尾システム
„
（参考）ちょっと未来の視線検出
VIEW-TRACKER
„
„
„
„
„
（例）飛行機操縦の視線解析
水平メーターと着陸する位置を何度も確認してい
る様子が分かる。
„
„
http://www.ditect.co.jp/appli/case_025_00121.html
Interactive Data Eyeglasses、フラウンホファー研究機構（ドイツ）
現状のヘッドマウントディスプレイの問題は「高い・重い・でかい・人間工学的
じゃない」。
彼らはアイトラッキング機能を備えたCMOSチップを19.3 x 17mmというサイ
ズで設計。このチップをメガネのヒンジに取り付ければ、どこかを見つめたり
視線を動かしたりするとコンテンツの選択やスクロールが行えるメガネが出
来るという目論見です。
「私達はメガネを、新しいアプリケーション分野が登場するような、双方向で
対話的ものとしたいのです」と、同機構のMichael Scholles博士。
メガネはPDAなどと接続することで表示コンテンツを取得、コンテンツはメガ
ネに埋め込まれたマイクロディスプレイに投影されます。マイクロディスプレ
イは環境光に負けないコントラストにするため、OLEDを利用。着用者からす
ると、1メートル先に像があるように見えるとのことです。
http://www.fraunhofer.de/EN/bigimg/2009/rn06fo3g.jsp
http://japanese.engadget.com/2009/06/05/bidirectional-data-eyeglass/
「自動車技術展 人とくるまのテクノロジー展2009」
運転者状態認識システム（東芝、参考出展）
（参考）ちょっと未来の視線検出
http://robot.watch.impress.co.jp/docs/news/20090528_170341.html
„
画像処理で、ドライバーの顔の向きから視線を検出し、注視
している装置やエリアなどをシステムが認識していることを
教えてくれる。
„
„
„
„
„
„
„
„
„
ドライバーの状態を認識し、安全で快適な運転環境を提供
するシステム
将来：ドライバーの状態や嗜好に応じた情報提供を行なう
„
„
「自動車技術展 人とくるまのテクノロジー展2009」
運転者状態認識システム（東芝、参考出展）
ドライバーの頭部全体のワイヤーフレームモデルを作成
作成したワイヤーフレームモデルと、その時々の頭部の映像を照合
ドライバーの顔の向きを推定
顔の向きをもとに視線の方向を推定
最終的に注視方向を推定する
（将来） 個人認証
（将来） 開眼状態検出（＝居眠りの検出）
（将来） 表情認識
「自動車技術展 人とくるまのテクノロジー展2009」
運転者状態認識システム（東芝、参考出展）
„
„
„
„
頭のワイヤーフレームモデル
顔の輪郭
顔の向き
目の抽出
虹彩の抽出
これらを総合して
「視線」
http://robot.watch.impress.co.jp/docs/news/20090528_170341.html
11
（参考）次世代メディアデザイン アイコンタクト（ATR）
„
„
„
„
（参考）次世代メディアデザイン アイコンタクト（ATR）
単眼視線推定技術
広視野・高解像度カメラで捉えた画像から3次元眼球 お
よび虹彩モデルを生成し、カメラ画像と照合して眼球中心
と虹彩を結ぶ視線方向を推定する。
1台のカメラ画像で視線推定が行え、かつ生成したモデ
ルから視線方向を直接推定するためキャリブレーション
作業が不要。
（将来の応用）来場者の視線を検出することにより、見て
いる場所や商品に関する情報提供が行える。新製品の
プロモーション用途やミュージアムメディアとしての応用を
目指している。
VR: Virtual Reality （仮想現実）
„
„
„
„
インタフェースの多様化：
人間の五感（視覚、聴覚、触覚＋味覚、嗅覚）を通して
インタラクションするための技術
物理法則やルールに基づいた「世界」の構築
計算機内に現実世界を「模擬｣ 「投影｣
システム→利用者
計算機内部に構成された仮想世界を「体験｣
利用者→システム
計算機内部に構成された仮想世界に「働きかけ｣
VR: Virtual Reality （仮想現実）
„
Virtual Realityを利用した入力・操作
„
„
„
利用者→システム
計算機内部に構成された仮想世界に「働きかけ｣
視覚： アイカメラ（視線）
聴覚： 音声
触覚： 力の向き・強さ、
位置（Data Glove, Data Suit, 磁気センサ）、
速度（加速度）
VR: Virtual Reality （仮想現実）
„
Virtual Realityを利用した出力・提示
„
„
„
システム→利用者
計算機内部に構成された仮想世界を「体験｣
視覚： Head Mount Display、液晶シャッター、
広視野角
聴覚： ステレオ音源、
触覚： 力覚ディスプレイ、
位置、
速度（加速度）
バーチャルリアリティ
„
„
「視差」
自分の体（位置・大きさ）を基準とした量
→ 立体に見える
＆ 対象の「絶対的な大きさ」も知覚
→ コンテンツ制作上の課題
12
［宿題1
［宿題1］ Virtual Realityの基本要件
Realityの基本要件
„
世間的に「ＶＲ」と思われているシステムを
いくつか取り上げて、
ＶＲの基本要件から批評してみよう。
„
„
„
„
没入感
インタラクティブ性
リアルタイム性
（例）アーケードゲーム、運転シミュレータ、ミクロ
アドベンチャー、など
Star Tours (Tokyo Disney Land)
Storm Rider (Tokyo Disney Sea)
„
感覚
„
没入感・立体感
„
インタラクティブ性
„
なぜ、多人数で
乗り込むのか？
http://www.tokyodisneyresort.co.jp/tdr/japanese/fun/movie/#/movie/tdl_021
http://www.tokyodisneyresort.co.jp/tdr/japanese/fun/movie/#/movie/tds_014
Star Trek Experience (Las Vegas Hilton)
Micro Adventure (Tokyo Disney Land)
„
感覚
„
感覚
„
没入感・立体感
„
没入感・立体感
„
インタラクティブ性
„
インタラクティブ性
(*)Borgのアトラクションでは、簡易
ゴーグルを使用
„
なぜ、観客が
小さくならないと
いけないのか？
http://www.tokyodisneyresort.co.jp/tdr/japanese/fun/movie/#/movie/tdl_042
Magic Carpet (Tokyo Disney Sea)
バズ・ライトイヤーのアストロブラスター
(Tokyo Disney Land)
„
感覚
„
感覚
„
没入感・立体感
„
没入感・立体感
„
インタラクティブ性
„
„
„
インタラクティブ性
リアルタイム性
なぜ、
主たるコンテンツ
（登場人物）が
ジーニーなのか？
http://www.tokyodisneyresort.co.jp/tdr/japanese/fun/movie/#/movie/tds_028
http://www.tokyodisneyresort.co.jp/tdr/japanese/fun/movie/#/movie/tdl_032
13
速報（１） 特別講演会
„
„
„
矢吹瑛明さん
６月２９日
高度情報化社会の技術やビジネスのあり
方についての研究家・ビジョナリスト＆セレ
ンディピティ
速報（２） 特別講演会
„
„
„
小阪裕司さん
７月８日または１３日
感性を大事にしたビジネスのデザインの仕
方・実践の仕方を説く超売れっ子コンサル
タント＆エバンジェリスト
速報（３） VR施設の見学会
速報（３） VR施設の見学会
加藤研究室（６月１５日または２２日？）
„ ３D物体検索システム＋立体視
牧野研究室＠情報（６月１５日または２２日？）
„ CAVE
„ 大画面偏光立体視スクリーン
„ CAVEアプリ・コンテンツ開発環境
„ Phillips製42インチ裸眼立体視ディスプレイWoW
„
„
Silicon Graphics WS + 液晶シャッター眼鏡
SHARP PC + 裸眼立体視
„
モバイルEYE-TREK 慧眼
„
電脳ショップ
„
Extra HI モニタディスプレイ
„
他
„
„
„
透過型HMD + 情報提供サービス
ユビキタスセンサー群
世界に数台しかない、最高の質感表示
参考図書
„
„
情報処理学会編
「エンサイクロペディア情報処理2000-2001」
第4章マルチメディアとバーチャルリアリティ
野村、澤田
「バーチャルリアリティ」
朝倉書店、1997年。
14