Comments
Description
Transcript
仮想窓接続メタファーに基づく空間相互接 続システムの
平成 20 年度 修士学位論文 仮想窓接続メタファーに基づく空間相互接 続システムの研究 The interconnection system pasting the virtual windows of the remote rooms 1115093 西崎 新悟 指導教員 島村 和典 2009 年 3 月 5 日 高知工科大学大学院 工学研究科 基盤工学専攻 情報システム工学コース 要 旨 仮想窓接続メタファーに基づく空間相互接続システムの研究 西崎 新悟 近年, 通信回線の広帯域化が進み, 定点カメラによる動画像を用いての遠隔地点間の通信 が多く用いられるようになった. 従来の定点カメラを用いるシステムでは, 相手空間へ提供 される景観情報は制限され, 通信者は空間同士の近傍感を得ることが出来ない. そのため, 互 いの空間の壁に実世界での窓をメタファーとした仮想窓システムを提案する. 仮想窓には通 信相手空間の景観が常に映し出され, 通信者の視点位置によって実際の窓による隣接空間の 見え方と同様の視点変化をもたらす. これにより, 通信者はあたかも実際の窓で遠隔の空間 同士が接続されているかのように知覚することができる. 本稿ではこのシステムを「仮想窓 接続メタファーに基づく空間相互接続システム」と呼称する. 仮想窓接続メタファーによる空間相互接続システムには通信者の視点位置による景観変化 を提供するため, 通信者の視点位置座標の同定と仮想視点画像の生成, そして仮想視点画像 や視点位置座標を他の空間のシステムに転送する機能が必要となる. 本研究では空間相互接 続システムにおける機能構成の検討と提案を行い, プロトタイプを試作し, システムの実現 性についての検討と評価を行った. 本研究で試作したシステムの景観画像生成手法には, 複数の定点カメラからの撮像から空 間の構造モデルを 3 次元上に復元することで他視点位置からの景観画像を生成する手法を提 案し生成を行った. 試作システムでの景観画像生成は, 1 台の定点カメラからの撮像利用で 得られる景観領域よりも, 広域な景観領域を再現することができた. また, 試作システムにお ける景観画像生成は 1 フレームにつき平均で 730msec で出力することが出来た. キーワード 定点カメラ 遠隔地点間 仮想窓 仮想視点画像 空間相互接続システム –i– Abstract The interconnection system pasting the virtual windows of the remote rooms Shingo NISHIZAKI The wider bandwidth of the communication circuit is advanced, more frequently communications between the remote places through the video is the fixed location camera are used based on. Information offered to the other partner space is limited in the systems an existing fixed location camera, so that the communicate cannot obtain the side by side feeling. The vista partner space during a the communication is always projected onto a virtual window, and it is projected as the huge image which could change according to the image observe location within his communication room. In such system, communicates can perceive the vivid conversation in the special atmosphere connected mutually over an actual window. This system is named “Space interconnection system based on the virtual window connection metaphor” in this study. The function to transmit to his own room position is studied. The communication person’s view coordinated the generation of a virtual viewpoint picture and for this system realization, a viewpoint position coordination to the space interconnection system based on the virtual window metaphor is needed. In this research, the functional constitution in the spatial interconnection system is examined. An experimental prototype, furniture the actualization features of the communicated virtual view. The structural model of the space is constructed to view picture formation technique which is based on, a image pickup from the plural fixed location cameras, the view – ii – picture formation from another point of view position. As a result of landscape images generated by the prototype, we were able to recreate a landscape area larger than the area obtained by using imaging of the landscape from a single fixed camera. Moreover, scene picture generation with a prototype was generable by an average of 730 msec per frame. key words Fixed location camera, Between remote place points, Virtual Window, Virtual aspect image, Space interconnection system – iii – 目次 第1章 序論 1 1.1 背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 目的 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.2.1 本研究の位置づけ . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 本論分の構成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 仮想窓接続メタファーに基づく空間相互接続システム 6 2.1 緒言 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 2.2 仮想窓接続メタファー . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 2.3 システム構成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 1.3 第2章 2.3.1 通信者視点位置座標同定 . . . . . . . . . . . . . . . . . . . . . . . 9 2.3.2 システム構成とネットワークによる他空間との接続 . . . . . . . . . 13 2.3.3 仮想視点画像生成による景観画像生成 . . . . . . . . . . . . . . . . 15 S・C カメラ手法による仮想視点画像生成 . . . . . . . . . . . . . . 16 本研究での仮想視点画像生成 . . . . . . . . . . . . . . . . . . . . . 18 結言 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 空間相互接続システムのプロトタイプ実装 20 3.1 緒言 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 3.2 仮想視点画像生成の方式概略 . . . . . . . . . . . . . . . . . . . . . . . . 20 3.3 実装手法・システム構成 . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 2.4 第3章 3.3.1 処理手順 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 3.3.2 構成機器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 撮像取得用カメラ . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 – iv – 目次 . . . . . . . . . . . . . . . . . . . . . . . 28 3.3.3 撮像取得 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 3.3.4 画像校正処理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 3.3.5 視差画像生成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 3.3.6 3 次元復元 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 3.4 仮想視点画像生成結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 3.5 結言 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 検証・評価 40 4.1 緒言 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 4.2 空間相互接続システムに関する検証・評価 . . . . . . . . . . . . . . . . . 40 仮想視点画像生成サーバ 第4章 4.2.1 敷設環境に対する制限についての検証と評価 . . . . . . . . . . . . . 4.2.2 複数定点からの撮像取得による景観再現可能領域の広域化について の検証と評価 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 実時間での景観画像提供についての検証と評価 . . . . . . . . . . . . 43 結言 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 まとめ 45 今後の課題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 4.2.3 4.3 第5章 5.1 40 5.1.1 3 次元上への構造モデル構築時のノイズに関して . . . . . . . . . . . 46 5.1.2 仮想視点画像生成処理速度改善に関して . . . . . . . . . . . . . . . 47 5.1.3 通信者への景観画像提供に関して . . . . . . . . . . . . . . . . . . . 47 5.1.4 窓表現による隣接感提供の評価 . . . . . . . . . . . . . . . . . . . . 48 謝辞 49 参考文献 50 –v– 図目次 1.1 あたかも同一のテーブルを囲んでいるかのように通信者に見せるテレプレゼ ンス技術 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.2 通信者視点位置による景観変化 . . . . . . . . . . . . . . . . . . . . . . . . 4 2.1 仮想窓接続メタファーのイメージ . . . . . . . . . . . . . . . . . . . . . . . 7 2.2 仮想窓接続メタファーによる空間相互接続システムの構成 . . . . . . . . . . 9 2.3 直交座標系での相対位置座標 . . . . . . . . . . . . . . . . . . . . . . . . . 10 2.4 RFID タグによる通信者視点位置同定法 . . . . . . . . . . . . . . . . . . . 11 2.5 球の極座標系での仮想窓に対する通信者の相対位置座標 . . . . . . . . . . . 12 2.6 顔領域による通信者位置座標同定法 . . . . . . . . . . . . . . . . . . . . . . 13 2.7 空間相互接続システムにおける機器構成 . . . . . . . . . . . . . . . . . . . 14 2.8 半透過型の鏡を用いて景観画像を取得する手法 . . . . . . . . . . . . . . . . 15 2.9 複数視点からの撮像を合成することで仮想視点画像を生成する手法 . . . . . 16 2.10 S・C カメラ手法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 2.11 S・C カメラ手法による仮想視点画像生成結果 . . . . . . . . . . . . . . . . 18 2.12 本研究での仮想視点画像生成手法におけるカメラ構成 . . . . . . . . . . . . 19 3.1 EPI によるデータ空間の関係性 . . . . . . . . . . . . . . . . . . . . . . . . 22 3.2 カメラと被写体との距離による Xx 平面上に表現される画素の直線の成す傾 き変化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 3.3 空間相互接続システムのプロトタイプの処理手順 . . . . . . . . . . . . . . 27 3.4 景観画像取得用カメラ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 3.5 エピポーラ拘束の例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 3.6 キャリブレーションパターンと 3 次元座標上の描画点特定例 33 – vi – . . . . . . . . 図目次 3.7 取得撮像の歪曲補正結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 3.8 生成した視差画像 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 3.9 投影変換 (左：並行投影／右：透視投影) . . . . . . . . . . . . . . . . . . . 37 3.10 仮想視点画像生成結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 4.1 42 景観再現領域の広域化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . – vii – 表目次 3.1 カメラの仕様 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 3.2 レンズの仕様 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 3.3 仮想視点画像生成サーバの仕様 . . . . . . . . . . . . . . . . . . . . . . . . 30 4.1 プロトタイプシステムの各工程処理における処理時間 . . . . . . . . . . . . 43 – viii – 第1章 序論 1.1 背景 遠隔地点間のリアルタイムコミュニケーションツールとして, 文字によるチャットシステ ムや携帯電話といった音声利用によるものが主に利用されている. そして近年, インター ネット回線網の普及や広帯域化に伴い, ビジネスの機会やプライベートの機会に関わらず, 動画像による遠隔地とのコミュニケーションツールが使われるようになってきた. これら の動画像によるコミュニケーションツールには無料で利用できるものとして SkypeT M や, Windows Live MessengerT M などが存在する. これらの動画像利用によるシステムにおける通信の傾向として, 人とのコミュニケーショ ンにおいて重要な音声以外のノンバーバル情報を遠隔地点間でのコミュニケーションに取り 入れていることが挙げられる. しかし, 動画像を利用する多くのシステムは定点カメラを用 いており, 通信者同士の顔領域しか表示できず, 伝達されるノンバーバル情報は限定され, 通 信者同士の空間情報までは伝えることが出来ない. また, これらのシステムでは表示される 相手空間の領域が限定されるため, 通信を行う互いの空間同士があたかも両空間が近傍に存 在するという感覚を得ることは出来ない. 企業での動画像による遠隔地点間コミュニケーションツールの利用は, 会議や顧客対応, 研修や教育といった面で広く利用され, コスト削減やビジネスカバー領域の拡大などの為に 利用されている. このため, 利用されるコミュニケーションツールは顔領域だけではなく, よ り多くの空間情報を伝達し, 互いの空間同士への共有感や一体感の提供が求められるように なってきた. そのため, Cisco 社製の TelePresence 3000[1] など, HD(High Definition) 出 –1– 1.1 背景 力に対応したディスプレイを複数枚使用し, 遠隔地空間とあたかも同じ空間に存在するかの ような感覚を通信者に提供するテレプレゼンス技術が登場している. このテレプレゼンス技 術は、あたかも同一の円卓を囲んでいるかのように、壁面に取り付けたディスプレイに両空 間に設置した半円状のテーブルを含めるように通信相手を表示する. 図 1.1 にあたかも同一 のテーブルを囲んでいるかのように通信者に見せるテレプレゼンス技術の概念を示す. この ことは, 遠隔空間との相互接続システムについてはより相手空間との連結性を高め, 遠隔空 間との距離感や疎外感を低減させることの出来る空間相互接続システムの必要性を示して いる. 䊂䉞䉴䊒䊧䉟 ㅢା⠪ 図 1.1 あたかも同一のテーブルを囲んでいるかのように通信者に見せるテレプレゼンス技術 これらのテレプレゼンス技術を用いたコミュニケーションツールは, 通信者に対して自空 間と相手空間との仮想的な空間の連続性を相手空間の撮像上で表現する手法を採用してい る. そのため, 自空間と相手空間とで空間環境の同一性を持たせた構築が必要となり, システ ム自体の敷設環境に対する適応性が低くなっている. また, 相手空間の景観を取得するカメ ラは定点視点であるため, 通信者の望む視点位置からの景観を提供することが出来ない. そ のため, ディスプレイに表示される景観と本来相手空間から得られるべき景観との間に差異 が生じ, 通信者はシステム越しでの接続を意識してしまい, 接続空間との距離感や疎外感を –2– 1.2 目的 感じてしまう. また, 1080p の解像度での利用を想定しているため, 10∼12Mbps の帯域を 必要とすることが挙げられ [1], 接続される空間同士の帯域確保が必須となり, 常時接続には 適していない. 1.2 目的 本研究では通信者に提示する相手空間の景観表示と実際の眺望との差をなくし, 遠隔の空 間同士に距離感や疎外感を感じさせない空間相互接続システムを提案する. 提案する相互接 続システムは, 実世界での壁で隔たれた隣接する空間の間に存在する開口部（以降, 窓）をメ タファーとした「仮想窓（Virtual Window）」を定義する. 仮想窓は通信者に対して, 自空 間と接続された遠隔の空間とをあたかも実際の窓を隔てて隣接しているかのように, 提供す る景観情報を変化させる. 本研究は, 本来遠隔の空間同士には存在しない「窓」を仮想的に 実現し, 窓を介して遠隔の空間同士にあたかも空間自体が相手空間と接続しているかのよう な認識を提供することを目的としている. また, 本研究での提案システムは敷設環境に対す るシステム自体の適応性を高くし, 通信を行う空間同士の環境情報の同一性がなくても空間 同士に仮想の空間連続性を提供する. 本稿ではこのシステムを「仮想窓接続メタファーに基 づく空間相互接続システム（Virtual Window System）」と呼称する. 仮想窓接続メタファーに基づく空間相互接続システムは, 仮想窓を通じて疑似的な隣接感 を通信者に対して提供するため, 仮想窓は常に相手空間の景観を表示し続ける. また, 仮想窓 に表示される相手空間の景観は通信者の視点位置によって変化する. この景観変化は, 実際 の窓による隣接空間の見え方と同様であるため, 通信者はあたかも実際の窓で遠隔の空間同 士が接続されているかのように知覚することができる. 通信者視点位置による景観変化の例 を図 1.2 に示す. 仮想窓と通信者の位置が近い⃝ 1 地点では, 仮想窓に表示される相手空間の 景観は広域である. また, 仮想窓と通信者の位置が遠い⃝ 2 地点では, 表示される景観は狭い ものとなる. ⃝ 3 や⃝ 4 の地点に関しても, 仮想窓に表示される景観は, 実世界の窓と同様な変 化を通信者に対してもたらす. –3– 1.2 目的 ᗐ⓹ ḧ٥ཟȺɁ᚜ᇉ Ḩ٥ཟȺɁ᚜ᇉ ḩ٥ཟȺɁ᚜ᇉ Ḫ٥ཟȺɁ᚜ᇉ 図 1.2 通信者視点位置による景観変化 仮想窓による景観変化は従来の定点位置からの景観画像を用いたコミュニケーションツー ルと異なり, 通信者は相手空間を多様な角度から見ることができ, 従来のシステムよりもよ り多くの空間情報を相手空間から取得することが可能となっている. この景観変化には通信 者の特別な操作は必要なく, 通信者はただ移動し視点位置を変化させるだけで仮想窓に表示 される相手空間の景観は変化する. また, 本研究におけるシステムがもたらす隣接感は, 空間 同士の情報伝達の機会の拡大化と自由化につながる. 情報伝達機会の拡大化と自由化により 空間同士の情報伝達の機会が密になり, 結果相互に受け取れる相手空間の情報量を多くする ことができる. 1.2.1 本研究の位置づけ 本研究では, 仮想窓接続メタファーに基づいた空間相互接続システムを提案し, その構成 と機能実現に関する検討を行った. 機能実現に関する検討を行うため, 空間相互接続システ ムにおける通信者視点位置からの景観画像実現に関する手法を提案, 実装しその実現性に関 する検証と評価を行う. また, 通信者に対する景観提供は, 複数定点カメラから取得した景観 撮像に対し処理を行うことで実現することを想定する. しかし, 通信者に対する景観変化の 提供については実時間での実現が要求されるため, 高速な処理での実装を考慮しなければな –4– 1.3 本論分の構成 らない. そのため本研究では, 景観変化提供の実時間実行を実現するための方式や処理の検 討や実験を行った. 1.3 本論分の構成 本論文は 5 章から構成され, 第 2 章において, 本研究で提案する仮想窓接続メタファーに よる空間相互接続システムの構成, その関連技術や本研究での機能実現について述べる. 第 3 章では本研究で構築した空間相互接続システムのプロトタイプに関しての実装手法, モ ジュール構成, 処理手順に関する詳細を述べる. 第 4 章では, 本研究において提案したシステ ム全体の評価とプロトタイプによる検証, 考察を述べる. 最後に, 第 5 章では本論文における 研究成果のまとめを行い, 課題点や今後の方向性について述べる. –5– 第2章 仮想窓接続メタファーに基づく空間 相互接続システム 2.1 緒言 本章では, 本研究で提案する仮想窓接続メタファーの概念を述べる. 次に, 仮想窓接続メタ ファーによる空間相互接続システム（Virtual Window System）のシステム構成とそれら の機能実現に関する関連技術や本研究で想定する適応技術について述べる. 2.2 仮想窓接続メタファー 序論で述べたように, 本論文における「仮想窓」とは隣接空間の互いの壁面に存在し両空 間を接続する開口部（窓）を模したもののことを指す. 本研究において定義される「仮想窓 接続メタファー」とはこの仮想窓から相手空間の空間情報が伝達され通信者はそれを相手 空間の景観として取得することができることとする. 仮想窓接続メタファーのイメージを図 2.1 に示す. 従来の定点カメラから撮影した動画像を用いるコミュニケーションツールと, 仮想窓接続 メタファーを用いたコミュニケーションツールの違いとして, 2 点の特徴が挙げられる. 1 点 目は, 通信者に対してそれが窓であると認識させるため, 通信者の視点位置により提供する 相手空間の景観画像を変化させるということである. この景観変化は実際の窓と同様であり, 通信者に対しあたかも遠隔の空間と窓で接続されているかのような感覚を提供することが出 –6– 2.3 システム構成 図 2.1 仮想窓接続メタファーのイメージ 来る. 2 点目は, 常時接続性である. 仮想窓接続メタファーの最大の目的である通信者への隣 接感の提供は, 実世界での窓を模倣することで実現させるため, 仮想窓は常に相手空間の景 観を映し出し続ける必要がある. また, 常時接続性を持つことで, 通信者は情報伝達の機会が 従来の適宜的なシステムとは異なり自由に与えられるため, コミュニケーション開始にシー ムレスさを持たせることが出来る. 本研究では, この仮想窓接続メタファーに基づいた空間相互接続システムを提案すること とし, 以降の節でその構成を述べる. 2.3 システム構成 動画像を用いた空間相互接続システムにおいて, 必要な機器として, カメラやディスプレ イ, カメラから取得した景観画像を相手空間に転送するシステムが主に挙げられる. また, 空 間相互接続システムに要求されるものとして, 敷設コストの低さや, 敷設環境に対して制限 を設けないことが挙げられる. そのため, 本研究での空間相互接続システムは仮想窓に表示 する景観画像取得のために可動式で視線方向が容易に変更出来るカメラを用いずに, 視線方 –7– 2.3 システム構成 向が固定される定点カメラを複数個用いることとする. これにはカメラのコストを低減させ る狙いと, 複数定点からの撮像取得により表現できる景観画像の領域を広域にし, オクルー ジョンを低減させる目的もある. 敷設環境に対しても, 空間の広がりや家具などを考慮に入 れなくとも使用できるよう, 窓というモデルを採用することにより制限を与えないものとす る. また, 動画像利用による空間相互接続システムを想定しているため, 相手空間の景観は実 時間で提供される必要がある. 本研究の想定する空間相互接続システムは定点カメラを複数個利用し, それらから取得し た撮像画像に対して処理を行うことで仮想の視点位置からの撮像を生成することを想定して いる. これにより, 本来固定視点からの景観画像しか提供できなかった空間相互接続システ ムは複数視点からの撮像をもとにカメラの存在しない仮想の視点位置からの景観画像を通信 者に対して提供することができるようになる. また, 仮想窓接続メタファーによる空間相互 接続システムは, システムを使用する通信者の視点位置により提供する景観画像を変化させ るため, 通信者の視点位置座標の同定が必須となる. 本研究における仮想窓接続メタファーによる空間相互接続システムは, 1 つの空間につき 仮想窓（ディスプレイ）が 1 台, その周囲には定点カメラを 4 台設置している. 4 台の定点カ メラは仮想視点画像生成サーバに接続されており, 4 台の定点カメラから取得した撮像を合 成処理して通信者視点の景観画像を生成する. また, 仮想視点画像生成サーバはネットワー クで相手空間に接続され, そのネットワークを通じて生成した仮想視点画像を転送する. 仮 想窓接続メタファーによる空間相互接続システムの構成を図 2.2 に示す. 仮想窓接続メタファーによる空間相互接続システムでは, 通信者の視点位置による景観変 化を提供するため, 通信者の視点位置座標の同定と仮想視点画像の生成, そして仮想視点画 像や視点位置座標を他の空間のシステムに転送する機能が必要となる. これらの機能要求に ついては以降の節で述べる. –8– 2.3 システム構成 ᥊ⷰ↹ขᓧ䉦䊜䊤 ᗐ⓹ ᗐ⓹ ⷞὐ⟎ᐳᮡ หቯ䉰䊷䊋 ㅢା⠪ 䊈䉾䊃䊪䊷䉪 ㅢା⠪ ሳᩖÁ 図 2.2 2.3.1 ሳᩖÂ ᗐⷞὐ↹↢ᚑ䉰䊷䊋 仮想窓接続メタファーによる空間相互接続システムの構成 通信者視点位置座標同定 通信者の視点位置座標を同定する機能については, 空間相互接続システムが要求する実時 間での景観画像提供に追従するため, 通信者の視点位置座標更新間隔は 33msec 以下が要求 される. これは, 景観画像提供の間隔が 30fps（Frame Per Second）で実行されるものと仮 定した場合, 景観画像提供の最小更新間隔が 33msec で行われることに基づくものである. また, 空間相互接続システムにおいて要求される通信者の視点位置座標は, 仮想窓に対する 視点位置の高さや空間に対する平面上での位置を表す 3 次元座標上での位置同定が要求さ れる. さらに, システムの敷設環境に対する制限を無くすため, 同定される位置座標は仮想 窓に対する通信者の相対位置座標である必要がある. 本研究では相対位置座標の原点を仮想 窓の中心とし, 視点位置座標同定精度の許容誤差においては, 人間の両目の間隔である-6cm ∼+6cm の範囲に収まることを想定する. これは, 人間が物を見るとき, 両目ではなく左右ど ちらかの目が利き目として, その得られた視界情報が優先されることに起因しており, シス テムが提供する景観画像と通信者が実際の窓から得られるであろう景観情報との差異が無視 できる範囲であることを示している. –9– 2.3 システム構成 通信者の個体認識も含めた通信者位置同定手法として RFID（Radio frequency identifi- cation）タグを用いた手法が提案された [2][3]. このシステムは, 直交座標系での, 仮想窓に 対する通信者の相対位置座標を取得するシステムである. そのため, この位置同定手法にお いて, 通信者の視点位置座標は x, y, z の 3 軸方向の値で導出される. 直交座標系での相対位 置座標を図 2.3 に示す. Ù ¨ø¬ ù¬ ú© ͑ሻ Ø äøú ú 図 2.3 ù ø äø Ú 直交座標系での相対位置座標 このシステムは通信者に RFID タグを保持させ, それを空間の床下に正方形格子型で敷設 した複数の RFID タグリーダが検出することで通信者の位置座標を同定するシステムであ る. この RFID タグによる通信者視点位置同定法を図 2.4 に示す. RFID による位置同定手 法では, x 軸と y 軸方向での位置同定には通信者に保持させた単一の RFID タグを複数の RFID タグリーダが検出するか, 検出しないかの 2 値情報を用いて行う. また, z 軸方向につ いては RFID タグリーダが受信する RFID タグからの発信伝播強度を用いて RFID タグと RFID タグリーダ間の距離を推定することで求める. この位置同定手法は RFID タグを使用 するため, 検出した視点位置が誰のものなのかという個人特定が容易に出来るという特徴が ある. しかし, この位置同定システム [3] は複数の RFID タグリーダを用いるため, 敷設コスト – 10 – 2.3 システム構成 ᗐ⓹ 㪩㪝㪠㪛䉺䉫ᚲᜬ⠪ 䋨ㅢା⠪䋩 㪩㪝㪠㪛䉺䉫䊥䊷䉻 図 2.4 RFID タグによる通信者視点位置同定法 の高さや敷設の困難さ, 被検出特性や搬送波特性など環境要因や敷設空間に制約が多い. そ のため, 今現在は敷設の容易さやコスト面を考慮した別の視点位置同定手法が提案されてい る [4]. この視点位置同定法 [4] において用いるシステムはカメラのみである. この手法では, 球の極座標系での仮想窓に対する通信者の相対位置座標を取得する. そのため, この位置同 定手法において, 通信者の視点位置座標は r, θ, φの 3 つの値で導出される. r は仮想窓の 中心点から通信者視点位置までの距離を表す. θは y 軸と平行な通信者視点高 dy の頂点と 仮想窓中心点が成す辺 dyz が成す垂直方向での角度のことである. φは x 軸と平行な dx の 頂点と仮想窓中心点が成す辺 dxz が成す x 軸との水平方向での角度のことである. この手法 における球の極座標系での仮想窓に対する通信者の相対位置座標を図 2.5 に示す. この通信者視点位置座標同定手法 [4] では, 設置したカメラから得られた空間の撮像から 肌色領域を検出し, 通信者の顔領域を特定する. 次に, 通信者の顔領域を空間撮像から切り出 し, さらに顔領域中の目からあごまでをパターンマッチングで検出し抽出することで位置を 導出するための顔領域とする. そして, 撮像中で抽出した顔領域の面積（ピクセル数）を数 値化し, ピクセル値からカメラと通信者間の距離（r）を導出する. そして, 導出した r と顔 – 11 – 2.3 システム構成 ù ¨ò¬ Ħ¬ ij© Ħ ͑ሻ äùú ò ø ij äøú äù äø ú 図 2.5 球の極座標系での仮想窓に対する通信者の相対位置座標 領域中心点と撮像の光軸中心点 (0) との y 軸と x 軸方向の移動量（ピクセル値）からθとφ の値を導出する. 顔領域による通信者位置座標同定法を図 2.6 に示す. この提案手法の場合 問題となるのは顔領域の適切な検出手法である. 例えば, 撮像上の肌色に関するノイズや肌 色の個人差などの問題点が生じる. これらに関してはカメラの解像度を高くすることやノイ ズ処理を適応させることで誤検出を減らすことが出来る. 現在 RFID タグのリーダーは非接触型ともなると安価なものでも 20 万円と高額なため, RFID タグリーダを複数用いる位置同定法は現実的とは言えない. しかし, この手法 [4] の場 合, 複数の RFID タグリーダを用いる前述の位置同定手法よりも低コストで敷設することが 出来る. また, RFID タグを用いる位置同定法は, その特性上使用する電波が環境からの影響 を受け易いそのため, 金属製の建材など多様な環境での利用を想定していない. それに対し, 顔領域検出による通信者位置同定手法ではカメラで通信者の顔を捉える事ができれば, 通信 者の視点位置を同定できるため, RFID タグを用いた位置同定法に比べ, 床や壁の材質など の空間環境に影響を受けない. そのため, 本研究での空間相互接続システムにおける通信者視点位置座標の同定機能につ – 12 – 2.3 システム構成 ù ø ° 図 2.6 顔領域による通信者位置座標同定法 いては, 敷設面での低コスト化と簡易化が実現できる撮像上の顔領域面積による視点位置同 定システムから提供されることを想定する. 2.3.2 システム構成とネットワークによる他空間との接続 本研究における, 仮想窓接続メタファーに基づいた空間相互接続システムでは, 以下の 3 つのシステムに大別される. • 通信者視点位置座標同定システム • 仮想視点画像生成システム • 仮想窓システム 空間同士のシステムは相互にネットワーク上で接続されており, 通信者の為の仮想視点画像 生成に必要な情報を伝達している. 空間相互接続システムにおける機器構成を図 2.7 に示す. 空間相互接続システムは公衆の IP ネットワーク網（インターネット網）上で通信を行う ことを想定しているため, 帯域保証が無い場合でも実時間での景観画像提供を実現すること が要求される. そのため, 空間同士の情報転送は最小限に行われるべきである. そのため, – 13 – 2.3 システム構成 ⓨ㑆㪘 ⓨ㑆㪙 㪲㪭㫀㫉㫋㫌㪸㫃㩷㪮㫀㫅㪻㫆㫎㪴 㪲㪭㫀㫉㫋㫌㪸㫃㩷㪮㫀㫅㪻㫆㫎㪴 㪲㪪㫋㪼㫉㪼㫆㩷㪚㪸㫄㪼㫉㪸㪴 㪲㪪㫋㪼㫉㪼㫆㩷㪚㪸㫄㪼㫉㪸㪴 㪲ᗐⷞὐ↹ ↢ᚑ䉲䉴䊁䊛㪴 㪲ㅢା⠪㪘㪴 㪲䊈䉾䊃䊪䊷䉪㪴 㪲ⷞὐ⟎ᐳᮡ หቯ䉲䉴䊁䊛㪴 㪲ⷞὐ⟎ᐳᮡ หቯ䉲䉴䊁䊛㪴 図 2.7 㪲ᗐⷞὐ↹ ↢ᚑ䉲䉴䊁䊛㪴 㪲ㅢା⠪㪙㪴 空間相互接続システムにおける機器構成 図 2.7 に示す空間の間をまたぐ斜線に示すように, 仮想視点画像生成システムは視点位置座 標同定システムから通信者の視点位置座標を受け取った後, 相手空間の仮想窓に映し出す自 空間の仮想視点画像を生成してから相手空間に転送する. このように, 本研究での空間相互 接続システムは通信者に対して提供する仮想視点画像 1 フレームの為に, ネットワーク上を 介して送信される情報は通信者の視点位置座標情報とそれに基づき生成した仮想視点画像 1 枚のみである. 実際に送信される通信者の視点位置情報は浮動小数点数での送信を想定する ため, 帯域をほとんど必要としない. しかし, 撮像に関しては今現在, 24bit の RGB で 640 × 480pixels の解像度による撮像を想定しているため, ビットマップ形式だと一枚あたり約 900KByte の容量になり帯域を大幅に使用してしまう. そのため, 生成される仮想視点画像 を Jpeg 形式に圧縮し, ファイルサイズを約 20∼30KByte に圧縮した上で転送する. プロト コルは FTP を想定し, 15fps 以上の画像転送を実現するためには 5Mbps の通信帯域の確保 ができれば可能としている. – 14 – 2.3 システム構成 2.3.3 仮想視点画像生成による景観画像生成 仮想窓接続メタファーにおいて, 仮想窓に表示される相手空間の景観画像は, 通信者の視 点位置から窓越しに相手空間を見たときと同様の景観を表現することが要求される. また, 視線が窓の中心点を通る景観画像を表示する場合でもカメラは仮想窓に表示される景観を遮 らないことが要求されるため, カメラの設置位置を考慮する必要がある. さらに, 景観画像の 提供には 30fps の更新速度が要求される. これはテレビでのフレーム数に基づいており, 人 間の持つ視覚の分解能として必要十分な 30fps を想定する. 提供される景観画像の解像度は 処理速度や転送路の帯域を考慮した 640 × 480pixels を想定している. 仮想窓接続メタファーでは前述したように景観画像を取得するカメラは仮想窓に表示され る景観を遮らない位置に設置することが要求されているため, 通信者の視線が窓の中心を通 る視点画像の提供は困難である. そのため, 実装手法としては, 半透過型の鏡を用いて景観画 像を取得する手法と, 仮想窓の周辺に定点カメラを設置し, そこから得られた複数視点から の撮像を合成することで仮想視点画像を生成する手法が考えられる. ᥊ⷰ↹ขᓧ䉦䊜䊤 ඨㅘㆊဳ䊚䊤䊷 䊒䊨䉳䉢䉪䉺䊷 図 2.8 半透過型の鏡を用いて景観画像を取得する手法 前者の半透過型鏡を用いる手法は半透過型の鏡にプロジェクターを用いて景観画像を表示 するシステムで, カメラは鏡の裏側に設置している. そのため, 仮想窓を見ている通信者から はカメラの存在は分からないものとなっている. しかし, この手法の場合, 設置コストが高く なってしまうという問題が存在するため, あまり有効であるとはいえない. また, 取得できる – 15 – 2.3 システム構成 ᥊ⷰ↹ขᓧ䉦䊜䊤 㪩ⷞὐ 㪚ⷞὐ 㪣ⷞὐ 図 2.9 複数視点からの撮像を合成することで仮想視点画像を生成する手法 視点画像が設置する位置で固定されてしまうため, 他の視点位置からの景観を提供すること が出来ない. そのため, 本研究においては, 後者の複数定点カメラを用いた景観画像生成法を採用する こととする. この景観画像生成法は仮想窓周辺に設置された定点カメラより, 取得した R 視 点撮像, L 視点撮像を元に, 実際には取得していない C 視点からの撮像を生成する手法であ る. この手法の場合, 複数視点からの撮像を取得するために同数のカメラを必要としないた め, コストを低く抑えることができる. また, 定点カメラが取得できた景観の範囲であるなら ば, その範囲内で自由な視点移動が実現できるため, より再現性の高い視点画像が得られる. 半透過型の鏡を用いて景観画像を取得する手法を図 2.8 に, 複数視点からの撮像を合成する ことで仮想視点画像を生成する手法を図 2.9 に示す. S・C カメラ手法による仮想視点画像生成 空間相互接続システムに適応する仮想視点画像生成手法として, Support カメラと Composition カメラを用いて景観画像を生成する S・C カメラ手法が提案された [5]. この 手法は Support カメラ 2 台と Composition カメラ 1 台にっよる合計 3 台のカメラを 1 セッ トとし, 仮想窓の周囲左右に合計 6 台, 2 セット設置する. この生成法では, 景観画像生成に – 16 – 2.3 システム構成 は Composition カメラからの撮像を使用し, Support カメラは Composition カメラが撮影 した画像の画素に距離値を与えるための両眼視差用カメラとして利用される. S・C カメラ 手法における Support カメラと Composition カメラの配置を図 2.10 に示す. 㪪㫌㫇㫇㫆㫉㫋㩷䉦䊜䊤 㪈䉶䉾䊃 㪩 㱍 㪣 ᗐ⓹ 㪚㫆㫄㫇㫆㫊㫀㫋㫀㫆㫅㩷䉦䊜䊤 図 2.10 S・C カメラ手法 この手法での生成手順として, 最初に Support カメラが空間を撮影しその取得したステレ オ画像に対して, 両眼視差による画素単位での距離座標の算出を行う. そして得られた距離 値を Composition カメラが取得した撮像の画素に対応させる. そして距離値を持たせた画 素に対して通信者の視点位置に基づいた景観となるようにビットシフトを行い, 仮想視点画 像を生成する. S・C カメラ手法による仮想視点画像生成結果を図 2.11 に示す. この生成手法の特徴として, ステレオ関係にある撮像同士の画素対応が正確に出来れば, 生成される仮想視点画像の精度がとても高いことが挙げられる. また, この手法は仮想視点 画像生成用の撮像取得カメラとその撮像画素に距離値を与えるためのステレオカメラを分け ているため, 高解像度な撮像を取得しつつ低解像度なステレオカメラにより画素の距離値を 得ることが可能となっている. しかし, この手法は画素の距離算出の為のステレオカメラの テンプレートマッチングや算出された距離値と Composition カメラからの撮像とのテンプ レートマッチグなど, 撮像同士の画素マッチングの回数を増やすことになっている. そのた め, 処理時間とマッチング時の判定誤差を増加させることになる. これにより, この提案手法 は 1 枚の仮想視点画像を生成するのに約 1 時間の処理時間を要してしまい, 空間相互接続シ ステムに適応させるのは困難となっている. – 17 – 2.3 システム構成 ᗐ⓹䈱ਛᔃ⟎䈎䉌䈱ታ㓙䈱 㪚㫆㫄㫇㫆㫊㫀㫋㫆㫅㩷㪩䈎䉌䈱 㪚㫆㫄㫇㫆㫊㫀㫋㫆㫅㩷㪩䈫㪣䈱䈎䉌 ↢ᚑ䈚䈢ᗐⷞὐ↹㱍 㪚㫆㫄㫇㫆㫊㫀㫋㫆㫅㩷㪣䈎䉌䈱 図 2.11 S・C カメラ手法による仮想視点画像生成結果 本研究での仮想視点画像生成 本研究での仮想視点画像生成については, 新たな仮想視点画像生成手法を提案する. S・C カメラ手法での処理速度の遅さの原因として, 使用するカメラの台数の問題が挙げられる. そのため, 新たな仮想視点画像生成手法では, カメラの使用台数を 1 セット 3 台から 1 セッ ト 2 台に減少させ, 画像のテンプレートマッチングの回数を減らす. また, テンプレートマッ チングに関しては再帰関数による高速化を図り, またカメラからの撮像取得や仮想視点画 像生成には従来の CPU（Central Processing Unit）駆動から GPU（Graphics Processing Unit）駆動に変更し, 処理負荷低減による処理速度向上を図る. 本研究での仮想視点画像生成手法におけるカメラ構成は仮想窓の左右に 2 台ずつ設置す る. カメラは 2 台で 1 セットとし, 仮想窓の左右に合計 2 セット 4 台のカメラを設置してい る. また, カメラは仮想窓に向かって右手座標系での z 軸方向に対しその光軸が平行となる ように設置されており, 1 セットのカメラはステレオ視の関係にある. 本提案手法による仮 想視点画像生成では主に 1 セット単位で処理が行われ, 最終的に 1 枚の仮想視点画像を生成 – 18 – 2.4 結言 する. 本研究での仮想視点画像生成手法におけるカメラ構成を図 2.12 に示す. 㫐 䉦䊜䊤 䉦䊜䊤 㪘 㪙 㫑 㫏 㪚 㪛 ᗐ⓹ 図 2.12 本研究での仮想視点画像生成手法におけるカメラ構成 本研究における仮想視点画像生成については第 3 章にて詳細を記述する. 2.4 結言 本章では, 本研究で提案する仮想窓接続メタファーの概念を述べ. 仮想窓接続メタファー に基づいた空間相互接続システムの全体の構成やシステム構成する 3 つのシステムについて の機能実現に関する関連技術や本研究で想定する適応技術についてを解説した. 仮想窓接続 メタファーによる空間相互接続システムにおける仮想視点画像生成の手法についての解説は 次の章で述べる. – 19 – 第3章 空間相互接続システムのプロトタイ プ実装 3.1 緒言 本章では, 本研究で構築した空間相互接続システムのプロトタイプに関しての実装手法に ついて解説する. また, その実装手法におけるモジュールの構成とその処理手順に関する詳 細を述べる. 3.2 仮想視点画像生成の方式概略 仮想視点画像の生成については, 被写体のポリゴンモデルなどの構造モデルを生成し, CG 技術によって任意視点の画像合成を実現する手法と, 構造モデルを生成しない Image-Based Rendering（IBR）と呼ばれる手法が存在する. IBR 系の手法研究として, • 1 枚の全方位画像の変形処理を行うことで多視線方向の画像を生成する手法 [6] • 撮影位置の計測された全方位動画像から IBR の光線空間法を用いて左右視点位置の画 像を生成する手法 [7] などが検討されており, 被写体の構造モデル生成が困難な場合でも合成が実現できる. さら に, IBR を用いた多くの研究では, 構造モデルの生成の為に補助的に利用する方式が提案さ れている. 複数点のカメラから取得した視差画像を用いて局所的な構造モデルを生成し, 複 数視点間で疎となる情報空間を補完する手法などが提案されている [8][9]. また IBR の例と – 20 – 3.2 仮想視点画像生成の方式概略 して, QuickTime VR[10] などが一般的である, これは対角魚眼レンズなどで撮影した広域 の画像をつなぎ目が分からないようにレンダリングし, 全周画像のように合成している. こ の QuickTime VR の特徴として, 生成した全周画像の閲覧がマウスだけで出来, ユーザはあ たかもその場に立って視界 360 度を見渡しているかのような感覚をシステムから得ること が出来る. これらの技術に代表される IBR による手法は, 大量の画像データから必要となる画像を切 り出し, つなぎ合わせることで, 任意視点からの画像を生成する手法である. そして, その手 法の実現には IBR で規定する仮想的平面による通過光線をパラメーターを用いて定義する ことで行っている. その手法で用いる EPI（Epipolar Plane Image) の理論 [11] によるデー タ空間の関係性を図 3.1 に示す. この図では複数のカメラを水平に一列に並べた状態で景観 画像を取得する場合を想定している. 水平に並べたカメラの位置を X 軸として表し, 3 次 元空間中の位置を表す XY Z の座標系を定義している. 全てのカメラは同一方向を向き, カ メラの光軸線は Z 軸方向に対して平行であるとする. 取得した撮像の下に示す x のベクト ルは取得した撮像上での画素の位置をカメラの焦点距離で正規化したものである. 図中 (a), (b), (c), (d) は撮影された画像中の水平 1 ラインに記録される情報を 90 度右回転させ並べ たものである. これを Xx 平面として定義する. Xx 平面の性質は EPI の理論 [11] によって 説明され以下のように整理される. • 3 次元空間上の 1 点に対応する画素は Xx 平面上で直線状に並ぶ. • カメラと被写体の距離により, Xx 平面上に表現される画素の直線の成す傾きは変化 する. 3 次元空間上の 1 点に対応する画素が Xx 平面上で直線状に並ぶことに関して, 図 3.1 の (a), (b), (c), (d) の撮像において EPI によるデータ空間の関係性を示す. 撮像 (a), (b), (c), (d) で示される Xx 平面上ではカメラが取得した空間撮像の白い箱が X のベクトルに向か い第 2 象限から第 4 象限へと直線を描くように画素が配列されている. – 21 – 3.2 仮想視点画像生成の方式概略 ᗐ䉦䊜䊤㱍 䉦䊜䊤㪘 䉦䊜䊤㪙 䉦䊜䊤㪘䈎䉌䈱 Y 䉦䊜䊤㪚 䉦䊜䊤㪛 䉦䊜䊤㪚䈎䉌䈱 䉦䊜䊤㪙䈎䉌䈱 x ( X v , Yv , Z v ) x 䉦䊜䊤㪛䈎䉌䈱 x x Z x X 㩿㪸㪀 㩿㪹㪀 㩿㱍㪀 㩿㪺㪀 図 3.1 EPI によるデータ空間の関係性 – 22 – 㩿㪻㪀 X 3.2 仮想視点画像生成の方式概略 カメラと被写体との距離による Xx 平面上に表現される画素の直線の成す傾き変化に関 しては, 図 3.2 において例を示す. 図 3.2 は, 図 3.1 の撮像 (a), (b), (c), (d) の撮像間の 疎となっている情報空間に撮像中の被写体である白い箱を主体として補完を行ったものが (A)Standard distance:Short distance である. また, 同様に撮像 (a), (b), (c), (d) の撮像間 の疎となっている情報空間に撮像中の被写体である部屋の入り口を主体として補完を行った ものが (B)Standard distance:Long distance である. (A) で主体として描画された白い箱 はカメラから近い距離に存在し, (B) で主体として描画された部屋の入り口は自い箱よりも 遠い距離に存在する. 図 3.2 の Angle difference では, カメラから近い距離の画素が成す直 線の傾きは大きくなり, 逆に遠い距離になるほど画素の成す直線の傾きは小さくなることを 示している. このため, 無数にカメラを水平に並べて得られる撮像を走査線単位で Xx 平面上に展開す ることにより, 連続的な構造が現れる. また, 同様にしてカメラの配置を X ではなく Y 上に 垂直に並べた場合, 垂直 1 ライン中の画素の位置を y とすると, Xx 平面と同様に Y y 平面 を定義できる. このとき, 3 次元空間中の (Xv , Yv , Zv ) に対応する画素は, Xx と Y y 平面に おいて, 直線状に並ぶこととなる. 3.1 式より, Z 座標が負の位置にある被写体は左上りの直 線状に配置されることが説明できる. そして, 視点位置 (Xv , Yv , Zv ) における画像は, 3.1 式 で与えられる直線に沿って Xx 平面や Y y 平面から画素を集めてくることによって合成で きる. X = Xv + Zv x Y = Yv + Zv y (3.1) しかし, IBR による仮想視点画像生成の欠点として, 3 次元形状を用いていないため, 撮像 を得ていない方向を含む新たな視点からの画像を合成することが出来ない. つまり, カメラ を配置した範囲内のみでしか視点移動が出来ない. そのため, IBR を用いた空間接続システ ムを考えるとき, カメラは仮想窓上に密にまた広域に配置されなければならない. そのため, 本研究では IBR の視点画像の生成手法を応用しつつ, カメラから取得した撮像 から距離値を算出し, 構造モデルを生成する手法を想定する. その手法として, 撮影された 3 – 23 – 3.2 仮想視点画像生成の方式概略 㩿㪘㪀㩷㪪㫋㪸㫅㪻㪸㫉㪻㩷㪻㫀㫊㫋㪸㫅㪺㪼䋺㪪㪿㫆㫉㫋㩷㪻㫀㫊㫋㪸㫅㪺㪼㩷 㩿㪙㪀㩷㪪㫋㪸㫅㪻㪸㫉㪻㩷㪻㫀㫊㫋㪸㫅㪺㪼䋺㪣㫆㫅㪾㩷㪻㫀㫊㫋㪸㫅㪺㪼㩷 㩿㪘㪀 㩿㪙㪀 㪘㫅㪾㫃㪼㩷㪻㫀㪽㪽㪼㫉㪼㫅㪺㪼㩷 図 3.2 カメラと被写体との距離による Xx 平面上に表現される画素の直線の成す傾き変化 – 24 – 3.3 実装手法・システム構成 次元空間上の撮像画素に対する距離値の算出に IBR 手法における光線空間取得を用い, 構造 モデル生成の速度を向上させる. また, 構造モデルを用いることで, IBR の欠点である撮像 を得ていない方向を含む新たな視点からの画像を生成することが出来ないという問題を解決 し, 少ないカメラ数でより提供視点領域が広域な仮想視点画像を生成することを想定する. 3.3 実装手法・システム構成 この節では, 本研究において実装した空間相互接続システムのプロトタイプについての実 装手法とシステム構成について記述する. 実装するプロトタイプの範囲を仮想視点画像生成サーバの処理範囲として規定する. つま り, 空間の撮像取得から仮想視点画像の呈示までをプロトタイプとして実装した. プロトタイプでの仮想視点画像生成手法は, 前章 2.3.3 節にて記述したカメラ配置で実装 する. そのため, プロトタイプには合計 4 台のカメラが必要となる. また, それら 4 台のカメ ラはそれぞれ 2 台ずつステレオ視の関係にあるため, 同じ画角と色調, 解像度で撮像を取得 することが想定される. また, 仮想視点画像生成サーバには, 仮想視点画像生成やカメラか らの撮像取得について GPU による実装を想定しているため, GPU ボードの搭載が必須で ある. 3.3.1 処理手順 本研究におけるプロトタイプのカメラ配置に関しては, 前章 2.3.3 節で記載した図 2.12 と 同様に配置されるものとする. 仮想窓の周囲に設置されたカメラは 1 セット単位で処理され る. システムの処理手順として, 最初に仮想窓に対する通信者の相対位置座標が入力され, 次 にカメラから空間の撮像を取得する, そして取得した撮像に対しあらかじめカメラキャリブ レーションにより求められたカメラの内部パラメーターを元に画像の歪曲を補正する. 補正 された 2 枚の撮像画像に対し Depth Discontinuities by Pixel-to-Pixel Stereo 法 [13] を用 いて視差画像を取得する. 同様に C, D のカメラに対しても行いこちらも視差画像を取得す – 25 – 3.3 実装手法・システム構成 る. そして, 入力された相対位置座標を元に仮想視点画像を生成する. ここで A, B と C, D の両方の画像を用いることで, 仮想窓の対角線上からの視点画像を生成することが出来る. 本研究における空間相互接続システムのプロトタイプの処理手順として, 図 3.3 のフロー チャートを示す. 3.3.2 構成機器 実装するプロトタイプのシステム構成として, 撮像を取得するカメラと取得した撮像を処 理する仮想視点画像生成サーバが存在する. 撮像取得用カメラ 撮 像 を 取 得 す る カ メ ラ に は, imi tech 社 製 の マ ル チ 同 期 対 応 IEEE1394 カ メ ラ・ PEARL640*480・60fps ＜ IMC-11FT(カラー) ＞を用いた. 実際に使用した景観画像取得 用カメラを図 3.4 に示す. 図 3.4 に示したカメラは, C, D 側のカメラの 1 セットである. ま た, カメラは Kenko 社製のツインカメラホルダに取り付けている. ステレオカメラとしての 基線長（ベースライン）は 90mm にしている. カメラは, IEEE1394 インタフェースケーブ ルによって仮想視点画像生成サーバに増設したデスクトップ PC 用 PCI バス（IEEE1394 インターフェースコントローラ）＜ I/Fcard-FW ＞に接続する. また, カメラを接続する IEEE1394 インターフェースコントローラには IEEE1394 バスクロックを利用して同期撮 影をするための機能が備わっている. 本研究ではステレオ視によって画素座標を特定する処 理を行うため, 接続するカメラはこの機能を用いて同期撮影を行うこととする. この機能を 使うためには, 同期を取るカメラが同一のインターフェースコントローラに接続されている 必要がある. 使用するカメラの主な仕様については表 3.1 に示す. カメラ本体に取り付けるレンズは, FUJINON 社製 CS マウント用バリーフォーカルレン ズ 2.9-8mm F0.95 ＜ YV2.7X2.9LR4D-2 ＞を用いた. レンズの仕様を表 3.2 に示す. – 26 – 3.3 実装手法・システム構成 㫊㫋㪸㫅㪺㪼㩷 㐿ᆎ 䊡䊷䉱䈎䉌⋧ኻ ⟎ᐳᮡജ 㪘㪃㪙䉦䊜䊤䈎䉌᥊ ⷰ↹ขᓧ 㪚㪃㪛䉦䊜䊤䈎䉌᥊ ⷰ↹ขᓧ ↹ᱡᦛᱜಣℂ ↹ᱡᦛᱜಣℂ ⷞᏅ୯▚ ⷞᏅ୯▚ 〒㔌↹㪩 ↢ᚑ 〒㔌↹䌌 ↢ᚑ 㫊㫋㪸㫅㪺㪼㩷 〒㔌↹㪩䊶㪣䈎䉌 ᗐⷞὐ↹↢ᚑ ␜䈜䉎 ⚳ੌ 図 3.3 㪞㪧㪬㚟േ 㪦㫇㪼㫅㪚㪭㑐ᢙ ᦨㆡൻ䈫㜞ㅦൻ 空間相互接続システムのプロトタイプの処理手順 – 27 – 3.3 実装手法・システム構成 䉦䊜䊤ᧄ 䊧䊮䉵 䉦䊜䊤䊖䊦䉻 図 3.4 景観画像取得用カメラ 本研究では, 仮想視点画像生成における情報空間の再現性を高くするため, カメラレンズ を広角にとり, カメラが取得する撮像空間を広域なものとする. そのため, レンズの焦点距離 を 35mm 換算で約 21mm に設定し, 得られる撮像を広角のものとする. そのため得られる 撮像はタル型に歪曲している. 仮想視点画像生成サーバ 仮想視点画像生成サーバには景観画像取得用のカメラが IEEE1394 インターフェースコ ントローラ経由で接続されている. 仮想視点画像生成サーバには仮想視点画像生成処理やカ メラからの撮像取得処理について GPU による実装を見込んでいるため, グラフィックボー ドを搭載する. 表 3.3 に仮想視点画像サーバの主な仕様を記述する. RAM については, OS が 32bit であ るため, 3GB までしか認識しない, そこで OS の管理外のメモリ容量を RAM ディスク化し 使用する. 本研究での実装システムでは, 仮想視点画像生成途上で生成される撮像画像や構 成画像, 視差画像を記憶領域に書き込み, 処理を行うために再度読み込む. そのため, RAM ディスク化した記憶領域を使用することで処理途上での読み込みと書き込みを高速化する. – 28 – 3.3 実装手法・システム構成 表 3.1 カメラの仕様 名称 マルチ同期対応 IEEE1394 カメラ 型番 Pearl IMC-11FT イメージセンサー 1/3 インチ Sony プログレッシブ・スキャン CCD センサー 有効画素数 30 万画素 取得解像度 640 × 480pixels フレームレート 60fps（最大解像度時） データ出力 8/12 ビット（Raw Bayer) /16 YUV4:2:2 シャッタースピード 1 μ sec. ∼ 65sec. ゲインコントロール 0∼25dB ガンマ値 0.4 ∼ 2.5 マルチカメラ自動同期機能 あり（IEEE1394 ボード経由） 消費電力 2.0w s/n 比 56dB 以上 出力インタフェース IEEE-1394（400Mbps, 供給電圧 8∼30V DC via IEEE1394) 1394 DCAM バージョン IIDC1.31 レンズマウント CS/C マウント 寸法サイズ/重量 29mm(W) × 29mm(H) × 39mm(D) / 60g 3.3.3 撮像取得 実装システムにおいて撮像取得は, CPU 実装による撮像取得ではなく, DirectX に含まれ る DirectShow の API（Application Program Interface）を用いることで GPU 実装を実 現し, 処理速度の向上を実現する. OpenCV による CPU 駆動でのキャプチャの場合, カメ ラ 1 台から撮像を取得するのに 11∼13msec かかるが, DirectShow API による GPU 駆動 – 29 – 3.3 実装手法・システム構成 表 3.2 レンズの仕様 型番 YV2.7x2.9LR4D-2 焦点距離 2.9∼8mm（35mm 換算：約 21.75mm ∼ 60mm） 最大口径比 1：0.95 絞り範囲 F0.95 ∼ close 画面寸法 φ 6mm（4.8mm × 3.6mm） フォーカス範囲 ∞ ∼ 0.3 m （レンズ前玉頂点より） 画角 水平（広角： 94° 37’望遠：35° 18’） 垂直（広角： 69° 30’望遠：26° 26’） 対角（広角：122° 05’望遠：44° 13’） マウント CS マウント 質量 約 35g 表 3.3 仮想視点画像生成サーバの仕様 CPU Intel(R) Core(TM)2 Quad CPU Q9550 @ 2.83GHz(4 CPUs) GPU NVIDIA GeForce 9800 GT グラフィッククロック：600MHz プロセッサクロック：1500MHz GPU メモリ ：512MB RAM 4GB (認識 3.25GB/認識外の 766MB を RAM ディスクとして用いる) OS Windows XP Professional 32bit – 30 – 3.3 実装手法・システム構成 でのキャプチャの場合, カメラ 1 台からの撮像を取得するのに 1∼2msec で実装できた. ま た, カメラの台数を増やした場合, ボード上のバス速度限界でキャプチャ速度が下がる問題 が発生し, カメラ 4 台からの撮像取得には 7∼12msec という結果となった. この結果から, 本研究における仮想視点画像生成システムの撮像取得に関しては, Direct- Show での実装手法を採用している. 3.3.4 画像校正処理 仮想視点画像生成の処理の流れとして, 3.3.1 節で示したように, ステレオ関係に有る 2 台 のカメラから取得した撮像を用いて視差画像を生成する. その際の処理として, 2 枚の撮像 間では画素同士の対応画素探索が行われ, 2 枚の撮像に存在する共通の被写体（画素）の探 索が行われる. この際画素の探索には EPI の理論 [11] におけるエピポーラ拘束の考えに基 づいて行われる. これは, 右手座標系での z 軸方向に対して水平に配置されたステレオ関係 にあるカメラから取得した画像 A, 画像 B が存在した場合, 画像 A に存在する画素 pa と画 像 B において対応の取れる画素 pb が存在しえるのは, x 軸に対して 1 次元の水平方向（エ ピポーラ線上）だけである. この, エピポーラ拘束の例を図 3.5 に示す. しかし, 実際にカメ ラから取得できる画像は歪曲しており, 対応画素がエピポーラ線上に存在しない場合がある ため, 対応画素探索が出来ず, 画素を誤対応させてしまう場合がある. そのため, 本研究にお ける仮想視点画像生成システムでは対応画素探索が行われる前の画像に対する校正処理とし て, 取得した撮像の歪曲補正を行い, 対応画素探索した際の誤対応を減少させることとする. 撮像の歪曲補正にはレンズの焦点距離や光軸中心, 歪み係数等の内部パラメータを必要と する. そのため, これらの内部パラメータを Z.Zhang の手法 [12] によって取得する. そして 取得した内部パラメーターを用いて撮像の歪曲補正を行う. Z.Zhang の手法では, キャリブレーションパターンを用いて, ある 3 次元座標を持った点 がカメラからの撮像のどこに描画されるか, あるいは複数のカメラに描画された点が 3 次元 空間中の何処にあるのかを計算できる. その手法として, 3 次元座標を持った点が実際に描 画される撮像中の 3 次元座標上の何処に存在するのかを指定する必要がある. 指定の方法と – 31 – 3.3 実装手法・システム構成 䌺 䉦䊜䊤㪘 䉦䊜䊤㪙 ↹⚛㩷㫇㪹 ↹⚛㩷㫇㪸 ↹㪘 ↹㪙 䌸 図 3.5 エピポーラ拘束の例 しては, 人間が直接指定する方法と, チェスボードのような白と黒の矩形の角がなす交差点 を検出しそれを描画された 3 次元座標上の点とする方法が存在する. そして, 指定された実 際に描画された 3 次元座標上の点の位置と, 空間の 3 次元座標上の点の位置との差を導出す る. 本研究においてのキャリブレーションでは後者の 3 次元座標検出方法を用いてある 3 次 元座標を持った点が撮像の何処に描画されるのかを特定し, 歪み係数等の内部パラメーター を取得した. 実際にチェスボードキャリブレーションパターンを用いて, 黒の矩形が交差する点を検出 し, それを格子点として線を引いた画像の例を図 3.6 キャリブレーションパターンと 3 次元 座標上の描画点特定例に示す. この格子線を水平に補正することでレンズのもつ歪み係数等 の内部パラメーターを算出する. 実際にカメラから得られた撮像に対し, 算出したカメラの内部パラメーターを適用した歪 曲補正を行う. 取得撮像の歪曲補正結果を図 3.7 に示す. 歪曲を補正した際, 画像の 640*480 のピクセル領域からはみ出た画像領域は破棄される. – 32 – 3.3 実装手法・システム構成 䉼䉢䉴䊗䊷䊄䊌䉺䊷䊮ဳ䉨䊞䊥䊑䊧䊷 䉲䊢䊮䊌䉺䊷䊮䈱 ឬ↹䈘䉏䉎䈱㪊ᰴరᐳᮡ䈱ὐᬌ 図 3.6 キャリブレーションパターンと 3 次元座標上の描画点特定例 ขᓧ ᱡᦛᱜᓟ䈱 図 3.7 取得撮像の歪曲補正結果 – 33 – 3.3 実装手法・システム構成 実装する空間接続システムでは, カメラの内部パラメータは事前に取得しておき, リアル タイムでの空間相互接続システムの実行時には取得したパラメータから取得撮像の校正処理 のみを行い, キャリブレーションは行わないこととする. システム実行中はレンズの焦点距 離を変更しないため, 内部パラメーターは変化しない. 3.3.5 視差画像生成 視差画像生成には, Depth Discontinuities by Pixel-to-Pixel Stereo 法 [13] を適応する. この手法は IBR の考えを取り入れており, ステレオカメラの撮像同士に存在する描画され た被写体の走査線上の不連続性を検出することで, ステレオペア間でのピクセルの不一致を マッピングすることで視差画像を生成する. そのため, 処理コストが非常に低く高速に処理 が出来る. 視差画像の算出値では暗い視差画像が得られる. そこで, 視差値を解り易く視覚化するた め, 視差の最小と最大値を 0∼255 になるよう画像の正規化を行っている. この視差画像は 8bit のグレイスケールで表現され, ステレオカメラから取得した撮像の画素間の視差が無い 場合画素値は 0 となり, 視差が最大の場合画素値は 255 になる. つまり, 暗いところほどそ の画素はカメラから遠く, 明るい画素ほどカメラから近いということを表す. また, ステレオ ペアの左画像がサンプリングピクセルとして使用され, 右画像に対してピクセル対応探索が 行われる. そのため, 生成される視差画像の左端は右画像に描画されないオクルージョンの 領域となるため, 視差値はマッピングされない. 本研究で実装したプロトタイプにより, 生成 した視差画像を図 3.8 に示す. 3.3.6 3 次元復元 3 次元復元は生成した視差画像から被写体の空間上の 3 次元位置を導出し, 被写体の構造 モデルを生成することで行う. 構造モデルの生成には GPU 駆動による OpenGL を用いて 行う. OpenGL を用いての 3 次元復元には, 前段階で生成した視差画像と 3 次元上にマッピ – 34 – 3.3 実装手法・システム構成 䉴䊁䊧䉥䊕䉝Ꮐ↹ 䉴䊁䊧䉥䊕䉝ฝ↹ ↢ᚑ䈚䈢ⷞᏅ↹ 図 3.8 生成した視差画像 ングされる原画像が必要となる. 原画像の 3 次元上マッピング時は, 視差画像の各画素に与 えられた 8bit で表現された視差値と実際に 3 次元空間上に復元される原画像の RGB(Red Green Blue 各 8bit) の値を用いて原画像の RGB をマッピングし 3 次元座標上に構造モデ ルを生成する. その際, モデル表示における光源位置などは考慮しないものとする. 視差値は前節の処理で算出しているため, これにステレオカメラの基線長（ベースライン） と焦点距離のパラメータから実空間距離を算出することが出来る [14]. ステレオカメラの基 線長（ベースライン）を SB, 焦点距離を F, 視差値を D としたとき実空間におけるカメラと 任意の被写体との距離 Z は式 3.2 によって算出できる. – 35 – 3.4 仮想視点画像生成結果 Z= 3.4 SB · F D (3.2) 仮想視点画像生成結果 仮想視点画像生成として, 3 次元上の構造モデルを 2 次元平面上に投影変換する. 3 次元上 の構造モデルを 2 次元平面（スクリーン）上に表示する際投影変換が必須となる. 3 次元の 構造モデルの 2 次元平面上への投影として並行投影（直交投影あるいは正射影）と透視投影 （遠近投影）が存在する. 並行投影の場合, 3 次元空間内のベクトル ｚ を考え, そのベクトル に対し並行に物体上の 1 点を 2 次元平面上の 1 点へと投影する. そのため, 視点位置に対し 近くに存在する物体も, 遠くに存在する物体も同じ大きさで 2 次元平面上に描画されてしま う. zy 平面で考えた場合の並行投影の概念を図 3.9 左に示す. 透視投影の場合, 2 次元平面に焦点の概念を追加し, 物体上の 1 点は焦点に収束し, その際 通過する 2 次元平面上に描画されるというものである. そのため, 遠くにある被写体ほど小 さく描画される. これはパースペクティブと呼ばれ, 焦点と 2 次元平面との距離の変化でこ のパースペクティブの強弱が変化する. 焦点距離を短くとるとパースペクティブはきつくな り, 遠近法が強調された描画がなされる. zy 平面で考えた場合の透視投影の概念を図 3.9 右 に示す. 投影変換の概念図 3.9 右において, 焦点位置 Zf から, ある点 P1 (x, y, z) を透視投影する とスクリーン上 (xs , ys , zs ) に P1 (x, y, z) が描画される. また, 透視投影では, P1 と P2 の高 さ (y) は同じであるがスクリーン上に奥の P2 のほうが小さく投影される. ここで, xs と ys は式 3.3 で表現される. zs − zf x z − zf zs − zf ys = y z − zf xs = (3.3) また, スクリーン (zs ) が原点 0 にある場合を想定し, zf < zs とすると, zf は 0 より小さ – 36 – 3.4 仮想視点画像生成結果 y 䉴䉪䊥䊷䊮 P1 ( x, y, z ) ( x, y , z s ) 䉴䉪䊥䊷䊮 y P1 x, y, z P2 P2 xs , y s , z s ὶὐ z zs Ꮐ㧦ਗⴕᛩᓇߩᔨ 図 3.9 zf zs z ฝ㧦ㅘⷞᛩᓇߩᔨ 投影変換 (左：並行投影／右：透視投影) い値となる. そのため −zf を f とした場合の xs と ys は式 3.4 で表現される. ここで, f が 大きくなると xs = x, ys = y に近似してゆく. つまり, 焦点がスクリーンから遠ざかると パースペクティブの影響が弱くなり, 並行投影に近づくことを表している. f x z+f f y ys = z+f xs = (3.4) 本研究では仮想視点画像生成のための投影変換には構造モデルの奥行きを表現するために 透視投影変換を用いる. 仮想視点画像生成結果を図 3.10 に示す. 図中 C, D, E の 3 枚の撮像は, 図中 A, B の撮像 を使用して構造モデルを生成し, 3 次元復元したものである. 図中 D は 3 次元復元した構造 モデルを正面からの視点位置から捉えた場合の視点画像を示し, 図中 C と E に左右の視点 位置から生成した仮想視点画像とそれぞれの実際の空間における視点位置からの画像を図中 F, E に示す. 構造モデルの 2 次元平面への投影には透視投影変換を用いている. そのため, 構造モデルを正面から捉えた場合の視点画像を生成した際, パースペクティブの影響により, 遠くの画素と近くの画素で描画のずれが生じている. また, 左右の視点位置からの撮像再現 については, 例えばパーティションのような手前の被写体に対して, 視点位置変更の際の画 – 37 – 3.4 仮想視点画像生成結果 素の移動量が大きいことがわかる. また, 実装に際しては GPU 駆動による OpenGL を用いているため, 3 次元上への構造モ デルの復元には 1 枚辺り平均で 16msec で復元が出来る. 㪊ᰴరᓳర Ꮐ䈮ⷞὐ⒖േ ᱜ㕙ⷞὐ Ꮐ䈎䉌䈱 ⷞὐ⟎ ᱜ㕙䈎䉌䈱ⷞ ὐ⟎ ฝ䈮ⷞὐ⒖േ ฝ䈎䉌䈱 ⷞὐ⟎ ታ㓙䈱ⷞὐ↹ ታ㓙䈱ⷞὐ↹ 図 3.10 仮想視点画像生成結果 – 38 – 3.5 結言 3.5 結言 本章では, 本研究で構築した空間相互接続システムのプロトタイプについての実装方式と 構成についての解説を行った. また, 実装した空間相互接続システムの処理工程とそれぞれ の処理に関する方式と処理についての解説を行った. 実装したプロトタイプの検討と評価に ついては次の章に記述する. – 39 – 第4章 検証・評価 4.1 緒言 本章では, 本研究において提案した仮想窓接続メタファーの空間相互接続システムに関す る検証と評価について記述する. 検証と評価については本提案システムが要求する項目につ いて行うこととする. 4.2 空間相互接続システムに関する検証・評価 本研究において実装した仮想窓接続メタファーによる空間相互接続システムの評価を行 うに際して, 本提案システムが要求する以下の要求条件についての検証と評価を行うことと する. • 敷設環境に対する制限について • 複数定点からの撮像取得による景観再現可能領域の広域化について • 実時間での景観画像提供について 4.2.1 敷設環境に対する制限についての検証と評価 本システムの敷設環境に対する制限として, コミュニケーションツールとしての仮想窓の 敷設制限と機能制限について考察し, 実装システム敷設に関する環境への制限について検証 と評価を行う. コミュニケーションツールとしての仮想窓の敷設制限と機能制限について, 実際の窓をモ – 40 – 4.2 空間相互接続システムに関する検証・評価 デルとしたことについて考察を行う. 一般に窓とは, 採光と換気の為に設けられた開口部の ことを指して言うが, 本研究において窓とは壁により区切られた空間に居ながらにして他の 隣接空間の景観を得ることが出来る情報伝達システムであると考える. この場合, 窓を設置 する箇所や部屋の環境などが考慮される. システムにおいて窓を設置する箇所については, 空間の壁面に設置することを想定しているため, 通信者がシステムを利用する空間上のどの 位置に居たとしても仮想窓が見えている必要性がある. また, 仮想窓メタファーは通信者の 視点位置が移動しない限り表示する相手空間の景観を変化させないため, 互いに仮想窓の視 界に存在しなければ通信相手の姿を確認することは出来ない. しかし, これらの制限につい ては, 実際の窓を模倣する仮想窓メタファーとして必要な制限であり, これらの制限を無く すことは実際の窓を模倣するという目的から逸脱することになる. 実装システム敷設に関する環境への制限について, 要求されるのは壁面へのカメラと窓の 設置スペース, 仮想視点画像生成システムが接続されるネットワークだけであり, 敷設する 空間同士の景観環境の同一性や設置方向の制限などは存在しない. また, ネットワーク上 で利用される帯域に関しても 2.3.2 節で記述した 5Mbps の通信帯域の確保ができれば可能 としている. そのため, 本システムの敷設環境に対する制限は Cisco 社製の TelePresence 3000[1] などに代表されるテレプレゼンス技術よりも少ないものとなっている. そのため, 多 様な空間環境への敷設が可能なため, システムの適応性が高いと言える. 4.2.2 複数定点からの撮像取得による景観再現可能領域の広域化について の検証と評価 ビデオチャットシステムやテレビ会議システムに代表される従来の単一の定点カメラによ るコミュニケーションツールの場合, 本システムで使用した水平視野角 94°のレンズを 1 台 用いるだけでも相手空間のおおよその景観は取得できる. しかし, 視点位置を変更すること が要求される仮想窓メタファーにおいて, 1 点からの撮像だと, 再現できる景観は 1 点から のみになってしまい. 他の視点に移動した際, 描画できない景観領域が発生してしまう. そ のため, 本研究では複数視点からの景観を取得し, 互いに取得した撮像を用いることで視点 – 41 – 4.2 空間相互接続システムに関する検証・評価 移動した際に発生する描画不能領域を補完し景観再現できる領域を広域化している. そのため, 複数定点から撮像を取得する本提案システムは, 従来の単一定点カメラによる システムよりも, 景観再現領域を広域化することができるため, 通信者に対し, より多くの空 間情報を提供することが可能となる. 景観再現領域の広域化の例を図 4.1 に示す. この図に おいて, カメラ A, B から得られたそれぞれの景観を利用することで景観再現できる領域を 広域化している. また, この図の場合はカメラ A と B の撮像領域が重複していないが, もし 重複している場合でも, 3 次元上に復元しているため, 重複していない場合と同様に互いの画 素を補完し合うことが可能となっている. 䉦䊜䊤㪘 䉦䊜䊤㪘䈎䉌䈱 䉦䊜䊤㪙 䉦䊜䊤㪙䈎䉌䈱 䉦䊜䊤㪘䈎䉌䈱 図 4.1 景観再現領域の広域化 – 42 – 4.2 空間相互接続システムに関する検証・評価 4.2.3 実時間での景観画像提供についての検証と評価 ビデオチャットシステムやテレビ会議システムに代表される従来のコミュニケーション ツールは, 撮像に対する処理や制御をほとんど行わないため, 景観画像を高速に相手空間に 提供することができる. しかし, 提案する空間相互接続システムは取得した撮像に対し処理 を行い, 仮想窓に表示する景観画像を生成してから相手空間に送信する. そのため, 実時間で の景観提供を通信者に対して提供するためには高速な処理実装が要求される. 本研究ではプロトタイプシステムでの各工程処理における処理時間を計測することで検証 を行った. 各工程の処理時間計測は 100 回行い, その平均値を検証に用いた. そのため, カメ ラからは計 400 枚の撮像が得られ, 400 枚の歪曲が補正された画像, そして 200 枚の距離画 像が生成された. そしてシステムの結果として 100 フレームの仮想視点画像が生成された. 今回実装したプロトタイプシステムの各工程処理における処理時間を以下の表 4.1 に示す. 表 4.1 プロトタイプシステムの各工程処理における処理時間 処理項目 平均処理時間 カメラからの撮像取得 (4 枚取得) 9.14msec 校正処理 (4 枚処理) 98.29msec 距離画像生成 (2 枚生成) 579.51msec 3 次元復元 34.31msec 仮想視点画像生成 (全処理) 729.79msec 本研究で試作した空間相互接続システムでは, 仮想視点画像 1 フレームにつき平均で 729.79msec で生成することが出来た. これは, 毎秒約 1.4 フレームで相手空間の景観画像 を描画できることを示している. しかし, 仮想窓メタファーによる空間相互接続システムで の通信者に対する景観画像提供は 1 フレームあたり 33msec での提供, つまり毎秒約 30 フ レームでの提供が要求される. そのため, 本研究における仮想視点画像生成は通信者への景 観画像提供の点で見た場合, 適しているとは言えない. – 43 – 4.3 結言 しかし, 他地点間の相互コミュニケーションではなく, web サービスとして遠隔地点の監 視を行うシステムとしての導入を考えた場合, 毎秒 1.4 フレームの描写でも十分適応させる ことが出来る. これは, web サービスとしての遠隔監視のシステムが 10 秒や 5 秒程度で表 示景観の更新を行う事に基準をおいての見解である. 4.3 結言 本章では, 研究において提案した仮想窓接続メタファーの空間相互接続システムに関する 検証と評価について記述した. 次章では本論文のまとめを記述する. – 44 – 第5章 まとめ 本研究では, 遠隔地点間を空間対空間の概念で接続する新たなコミュニケーションツール である空間相互接続システムを提案した. 空間相互接続システムには仮想窓メタファーの概 念を取り入れることで, 従来には無い空間同士の隣接感を通信者に提供することを想定した. このシステムでは, 壁により隔たれた隣接空間の間に存在する開口部（窓）を模倣する仮想 窓を用いて, 通信者に対して実際の窓を見た際と同様の景観視点変化をもたらす. 本研究で は, この景観視点変化を実現するための機能要求を定め, その要求を満たす空間相互接続シ ステムの実装手法を提案し検討した. 実際の窓から得られる景観変化を実現するためには, 多くの視点位置からの景観画像が必 要となる. 本研究では, IBR 手法による任意視点画像生成の手法を応用し, 新たな仮想視点 画像生成手法を提案した. この提案手法では, 複数の定点カメラからの撮像から空間の構造 モデルを 3 次元上に復元することで多視点位置からの景観画像を生成する手法を想定し, 本 研究ではこの手法を用いた空間相互接続システムを試作した. 実装した空間相互接続システムは 4 台のカメラを用いて空間の景観画像を取得する. そ して, 2 台を 1 セットとして, 取得した景観画像に Depth Discontinuities by Pixel-to-Pixel Stereo 法を適応し, 撮像の画素間の視差を求めステレオ法から画素の距離を得た. 得られ た距離値から OpenGL を用いて 3 次元上に構造モデルを構築し, 構築した構造モデルの視 点位置を変更し透視投影変換によって 2 次元平面上に投影することで仮想視点画像を生成 した. 試作した空間相互接続システムについて, 本研究ではシステムの敷設環境に対する制限に ついての検証と評価を行った. その結果, 本研究で提案した空間相互接続システムは, 窓とい – 45 – 5.1 今後の課題 う実際の空間に存在するデバイスをメタファーとして採用しているため, 敷設する空間同士 の景観環境の同一性や設置方向の制限などがないため, 多様な環境でも用いることが出来る ことを示した. また, 生成した仮想視点画像の結果として, 提案した仮想窓接続メタファーに よる空間相互接続システムは, 複数の定点カメラからの撮像を利用しているため, Skype や 従来型のビデオチャットシステムなど 1 台の定点カメラからの撮像利用で得られる空間情報 よりも, 表現可能な景観領域を広域とすることができた. さらに, 景観画像提供に掛かるまで の処理時間を計測した. 仮想窓メタファーによる空間相互接続システムでの仮想窓に映し出 される相手空間の景観は, 実時間での表示が要求される. しかし, 本研究で実装した空間相互 接続システムでは 1 枚の仮想視点画像を通信者に提供するために, 約 730msec 掛かってし まい, 実時間での景観提供が出来ないことが判明した. そのため, 方式や処理手法の改善によ る処理速度向上が要求される. 本研究では, 仮想窓接続メタファーによる空間相互接続システムのプロトタイプを実装し た. 実装したプロトタイプでは, 空間相互接続システムが通信者に提供する仮想視点画像と システム敷設に関わる制限などを検証した. 仮想視点画像の生成時間は空間相互接続システ ムの要求する条件を満たせなかったが, 画素の 3 次元配置による仮想視点の実現を示すこと ができ, 提案したシステムと方式の実現性を示すことが出来た. 5.1 今後の課題 本研究における今後の課題についてを以下に記述する. 5.1.1 3 次元上への構造モデル構築時のノイズに関して プロトタイプによる仮想視点画像生成の課題として, 3 次元上にプロットした画素の座標 のずれや突出して描画される細かい画素の発生が見られた. そのため, 生成される仮想視点 画像にノイズが生じ不鮮明に見えてしまう. そのため, 生成画像の鮮明化が要求される. こ の画素座標のずれや突出の原因としては, 視差画像生成時のピクセルマッチングの際の誤差 – 46 – 5.1 今後の課題 などが考えられる. 解決手法として, カメラキャリブレーションの完全性の指標を示し, ステ レオカメラの精度を向上させ, 生成した視差画像の誤検出ピクセルを減少させることが考え られる. 5.1.2 仮想視点画像生成処理速度改善に関して 仮想視点画像生成の処理速度については, 4.2.3 節に示した表 4.1 の各工程処理における 処理時間の結果から, 距離画像生成がボトルネックとなっていることがわかる. プロトタイ プで採用したアルゴリズムはピクセル総当りのものに比べて高速なものを使用しているが, 640*480 全てのピクセルに視差値を与えているため, 結果として処理コストが高くなってし まうことが原因として考えられる. そのため, プロトタイプが実装している画素単位での空 間構造の構築手法から, 特徴点抽出による空間上の物体認識を行い, 認識した物体単位での 空間構造の構築を行うことで処理速度が改善されると考えられる. 特徴点抽出による物体認識の手順として, ステレオ関係にあるカメラでの実装を想定して おり, 撮像面の特徴点を抽出し, ステレオペアの取得した撮像同士で特徴点によるピクセル マッチングを行う. そして, 視差値が同じ特徴点同士を線で結ぶ, つまりカメラから等距離に ある画素同士を線で結び, その線で構成された面内に存在する画素全てをカメラと等距離に 存在する画素であると定め, 特徴点を頂点とした面で空間構造の構築を行う. これにより, ス テレオ関係にある両画像の画素同士の探索処理に掛かる処理コストを大幅に削減することが 出来, 処理速度が改善されると考えられる. 5.1.3 通信者への景観画像提供に関して 仮想窓への景観表示は 1 つの仮想窓に対し, 1 人の視点からの仮想視点画像が表示される 事しか考慮されていない. そのため, 複数人通信者が存在する環境においては, 1 人の通信者 への景観画像だけが表示されるため, 複数人が仮想窓を使用し各人が景観画像を得ることが 出来ない. 解決手法として, HMD（Head Mounted Display）による景観画像呈示技術が考 – 47 – 5.1 今後の課題 えられる. これは AR（Augmented Reality）の技術を用い, 通信者がそれぞれ HMD を装 着し, HMD に取り付けたカメラが壁面に貼り付けられたマーカを検出し, そのマーカーを 元に HMD 上に表現された壁面に仮想視点画像を描画する手法である. この技術では通信者 がそれぞれ HMD を装着するという制限事項が付帯するが, 通信者それぞれに対応した景観 画像を提供できる. 実装については, 現在 ARToolKit[15] という C 言語用のライブラリを用いて OpenGL に よる GPU 実装を想定している. 5.1.4 窓表現による隣接感提供の評価 仮想窓メタファーによる空間相互接続システムの有用性を述べる上で, 窓表現による遠隔 地空間との情報交換により, 空間同士に隣接感が提供できるのかどうかの定量的な評価と, 空間同士の隣接感がコミュニケーションに与える影響に対する定量的な評価が必要となる. 今現在, これらの定量的な評価方法については検討中である. – 48 – 謝辞 本研究を進めるに際し, 多大なるご指導, ご鞭撻を賜りました本情報システム工学科の島 村和典教授に心より深く感謝いたします. 情報システム工学科岡田守教授には, 本研究論文の副査をお引き受けいただき, 貴重なご 意見を頂きました. 心より深く感謝いたします. また, 本論提出が大変遅れました事心より お詫び申し上げます. 情報システム工学科坂本明雄教授には, 本研究論文の副査をお引き受けいただき, 貴重な ご意見を頂きました. 心より深く感謝いたします. また, 本論提出が大変遅れました事心よ りお詫び申し上げます. また, 様々な御助言, ご指導を賜った高地工科大学情報システム工学科教員, 研究機材購入 時の手続きなどお世話になった秘書の皆様方に心より感謝いたします. 研究室の同輩として, ご意見ご協力いただきました, 大学院修士課程木下祐太氏, 野崎辰海 氏に心より感謝いたします. 木下氏と大晦日の研究室で一杯のどん兵衛天ぷらそばを二人で 食べた事は, これからどん兵衛を食べるたび感慨深く思い出すことでしょう. また, お米を分 けていただき有難うございました. あと, メカニカルキーボードの打鍵音でイライラしてす いませんでした. 研究室後輩として, 共に研究に励んだ, 大学院修士課程井上健志氏, 島上洋一氏, 徳弘裕人 氏に心より感謝します. また, 同じ研究チームとしてご支援, ご協力を頂きました同研究室 4 年岩城和徳氏に心よ り感謝します. 最後に, 公私共にふがいない私を支えてくれた, 研究室メンバー全ての皆様に心より感謝 いたします. – 49 – 参考文献 [1] Cisco Systems, Inc, “イントロダクション - Cisco TelePresence 3000 - Cisco Systems”, http://www.cisco.com/web/JP/product/hs/tp/tp3000/index.html , 2009. [2] 西崎新悟, 島村和典, “IP 通信環境における遠隔空間の仮想窓接続方式に関する研究”, 平成 18 年度 高知工科大学 学士学位論文, 2006. [3] 西崎新悟, 楠本芳治, 島村和典, “視界表示制御における RFID タグ応用による通信者位 置検出”, ヒューマンインターフェースシンポジウム 2007. [4] Kazunori Iwaki, Shingo Nishizaki and Kazunori Shimamura, “A communicator position sensing using a face extraction from the telescopic camera image”, NEINE’08 pp.397-400, 2008. [5] 楠本芳治, 島村和典, “景観画像の構造化による撮像視点生成に関する研究”, 平成 19 年 度 高知工科大学 学士学位論文, 2007. [6] 島村潤, “全周型複合現実環境の構築と投射型提示方式に関する研究” 奈良先端科学技 術大学院大学 情報科学研究科 情報システム学専攻 博士論文, NAIST-IS-DD0461202, 2006. [7] 堀磨伊也, 神原誠之, 横矢直和, “被写体距離を考慮した Image-Based Rendering によ る広域屋外環境のステレオ画像生成”, 奈良先端科学技術大学院大学 修士論文 NAIST- IS-MT0551109, March 2007. [8] 苗村健, 原島博, “Video-Based Rendering の基礎検討”, 3 次元画像コンファレンス’98, pp.165-170, 1998. [9] 谷本 正幸, 藤井 俊彰,“自由視点映像技術”, 映像情報メディア学会誌, 60, 1, pp.29-34 (2006) [10] Copyright c 2007 Apple Inc. All rights reserved. “アップル - QuickTime - QuickTime VR”, http://www.apple.com/jp/quicktime/products/qt/overview/qtvr.html – 50 – 参考文献 , 2007 [11] R.Bolles, H.Baker, and D.Marimont, “Epipolar plane image analysis: An approach to determining structure from motion”, Int. J. Computer Vision, vol.1, pp.7-55, 1987. [12] Zhengyon Zhang, “A flexible new technique for camera calibration”. IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):pp.1330-1334, 2000. [13] S. Birchfield, C. Tomasi, “Depth Discontinuities by Pixel-to-Pixel Stereo”, International Journal of Computer Vision 35(3):pp.269-293, 1999. [14] 実 吉 研 究 室, “立 体 画 像 認 識（ ス テ レ オ カ メ ラ ）の 研 究”, http://www.ric.titech.ac.jp/saneken/stereocamera.html , 2005 [15] Sunao Hashimoto, “工学ナビ - ARToolKit を使った拡張現実感プログラミング”, http://kougaku-navi.net/ARToolKit.html, 2009 – 51 –