バーチャルリアリティと ヒューマンインターフェース

バーチャルリアリティと
ヒューマンインターフェース
コンピュータ芸術学講座
西村 憲
どんな学生に向いたトラックか

音と映像に関する技術に興味のある学生
方法論
ソフトウェア
ハードウェア


音楽や絵画・映画が好きかどうかは無関係
基礎的な素養（数学、プログラミング、文章表現）は
他のトラックと同様に必要
バーチャルリアリティとは？
バーチャル（Virtual) ＝ 仮想的な、実質的な
リアリティ（Reality) ＝ 現実


バーチャルリアリティ ＝ 人間の五感を刺激し
て、あたかも別の世界にいるような感覚を生み
出す技術
別の世界とは？




作られた世界（仮想の世界）
現実の世界だが場所が違うもの
現実の世界だが時間が違うもの
現実の世界だがスケールが違うもの
バーチャルリアリティの応用分野







訓練
医療
宇宙開発
コミュニケーション
情報の可視化
芸術
娯楽
ヒューマンインターフェースとは？


コンピュータと人間との間で情報をやりとりする
ための技術
具体的には入出力装置に関する技術


キーボード、マウス、ディスプレイ、マイク、スピーカな
ど
バーチャルリアリティの構成要素の１つ
バーチャルリアリティ／ヒューマンイン
ターフェースの要素となる技術
視覚
聴覚
入力装置 入力処理
カメラ
画像処理
画像認識
マイク
サウンド処理
音声認識
味覚・ センサー
嗅覚
触覚
キーボード
センサー
第六感?
脳センサー（MRI、NIRS）
出力処理
コンピュータ
グラフィックス
出力装置
ディスプレイ
サウンド合成 スピーカ
音声合成
合成装置
アクチュエータ
ハプティック・ディスプレイ
将来は可能？
視覚情報の処理
画像処理
圧縮 検索
画像データ
画像生成
（CG)
画像認識
入力装置
形状データ
圧縮 検索
出力装置
コンピュータグラフィックス

どっちが本物？
ＭＰＥＧによる動画像の圧縮
１/６ 圧縮
５Ｍｂｉｔｓ/ｓ
１/１００ 圧縮
３００Ｋｂｉｔｓ/ｓ
画像圧縮のしくみ

静止画像の圧縮（ＪＰＥＧ）




目立たないように情報を省略する
近くの画素との類似性を利用する
符号化を工夫する（ランレングス符号化、可変長符号
化）
動画像の圧縮（ＭＰＥＧ）


ＪＰＥＧと同じ原理でキーフレームを圧縮
画像間の類似性の利用する
動画像の圧縮
－動き予測と補償
前のフレーム
現在のフレーム
動きベクトルと画像の差分を転送
聴覚情報の処理
サウンド処理 圧縮 検索
波形データ
音声認識
入力装置
音声合成
音声（テキスト）
データ
採譜
楽音合成
出力装置
音楽（楽譜）
データ
音楽情報処理
検索
音声と歌声検索

YouTubeの内容による検索
YouTube の現状の検索手法
Keywordによる検索（登録タグを利用）
提供： 岡 隆一 教授
ちゅうぶる：YouTube２次検索

タグによらない検索：
タグにはないテキストのタイプまたは音声、
または歌声入力の類似区間検出

言語モデルによらない検索：音素系列の類似
区間によるので英語、日本語,等区別なし。
提供： 岡 隆一 教授