全方位ビデオ映像を用いたネットワークテレプレゼンス

全方位ビデオ映像を用いたネットワークテレプレゼンス
横矢 直和
奈良先端科学技術大学院大学 情報科学研究科
時間と空間を超えて遠隔地に実際にいるかのような没入感覚を提示するバーチャルリアリティ技術にテ
レプレゼンスがある。特に、ネットワークを介した実時間テレプレゼンスはロボットの遠隔操作、遠隔監視、
仮想観光等への応用が期待されている。本稿では、全方位ビデオ映像からの任意視線画像生成に基
づくテレプレゼンス方式の概要と具体的なシステムを紹介する。
１．はじめに
テレプレゼンスにおいて遠隔地の現実世界に実
際にいるかのような没入感覚を提示するためには、
ユーザの自由な視点移動や視線変更に追従してリ
アルタイムに映像を提示する必要がある。近年、全
方位画像を用いたアプローチが注目されているが、
そのきっかけとなったのは、カメラを回転して撮影し
た複数の画像のワーピングとスティッチングによって
作成したパノラマ画像をインタラクティブに表示する
QuickTimeVR [1]の成功である。その後、全方位ビ
デオカメラの開発とともに、テレプレゼンスへの応用
が本格的に始まった[2]。
テレプレゼンスには、1 点への中心投影像を撮影
できる、すなわち、単一視点制約を満たす全方位カ
メラが利用される[3]。単一視点制約を満たす全方位
画像は幾何学的変換によって任意形状の投影面へ
の透視投影画像を生成できるという特徴を持ってお
り、この特徴を利用して、ユーザの視線に応じた画
像を生成・提示することによって全方位ビデオ映像
のインタラクティブ観察が可能になる。以下では、全
方位カメラを用いたテレプレゼンス方式とネットワー
ク環境での具体的なシステム構築事例を紹介する。
２．全方位画像からの任意視線画像生成
全方位カメラ HyperOmni Vision [4]で取得した全
方位画像の例を図 1 左に示す。このカメラは単一視
点制約を満たすため、全方位画像から計算によって、
図 1 右のような通常の平面透視投影画像をはじめと
して、任意の形状をした画像面への投影像を生成
することができる。この特徴を利用して、以下の処理
によってユーザの視線に追従した画像提示を行う。
1. 全方位カメラで現実世界を撮影し、全方位ビデ
オ映像を遠隔地に伝送する。
2. ユーザの観察視線方向を計測（決定）する。
図 1 全方位画像から平面透視投影画像への幾
何学的変換
3.
全方位画像からユーザの視線に対応した平面
透視投影画像を生成し、ユーザに提示する。
この方式は、遠隔地に設置した可動カメラをユーザ
の指示に基づいて機械的に制御する通常の方式と
比べて、
・ 見回しにおける時間遅れが少なく見回し遅延は
原理的に通信時間に依存しない、
・ 全方位画像に対する仮想的なカメラ操作により
複数のユーザが同時に異なる方向を見ることが
できる、
という優れた特長を持っている。初期のスタンドアロ
ン型システム[2]では、グラフィックスワークステーショ
ンを用いて、全方位ビデオ入力・画像変換・画像変
換の各プロセスをビデオレート（約 30 フレーム/秒）で
実行可能であり、ユーザの視線変化から画像提示ま
での時間遅延は、違和感が生じないとされる 100 ミリ
秒以下であった。以下では、ネットワーク対応型シス
テムへの拡張について述べる。
３．ネットワークを介した全方位遠隔監視
全方位ビデオ映像からの実時間画像生成による
テレプレゼンスシステムのネットワーク化と遠隔監視
への応用を目的に図 2 のようなシステム構成の遠隔
監視システムを開発した[5]。本システムでは、
・ 全方位動画像の適応的背景差分による移動物
体抽出
図 2 ネットワーク対応の全方位遠隔監視システム
・ 移動物体を注視した平面透視投影画像生成
により、ネットワークを介して監視者に移動物体追跡
映像を提示することができる。
有線 LAN 環境(100Mbps)において送信側、受信
側とも１サイトでの実装では、全方位ビデオ映像の送
信に DVTS(Digital Video Transport System)を利用
し、約 33Mbps の帯域幅を使っている。ビデオレート
(30 フレーム/秒)での配信が可能であり、監視者に対
する提示画像のフレームレートは約 20 フレーム/秒
である。実験時の監視環境の様子と監視者への提
示画面の例を図 3 に示す。本システムにおいて、ユ
ーザ（監視者）は移動物体抽出に基づいてシステム
が提示する映像を受動的に観察する。
４．全方位ビデオのマルチキャスト配信による
実時間ネットワークテレプレゼンス
前述のシステムでは、観察視線方向はシステム側
が移動物体検出に基づいて自動的に決定していた
が、ユーザが自由に視線変更を行いながらインター
ネット上の全方位ビデオ映像を視聴可能なシステム
の開発も行っている[6]。本システムは、インターネッ
ト上でWebブラウザにより起動される全方位動画像
ビューアによって、
・ サーバ上に蓄積された全方位ビデオあるいは
全方位ライブビデオのマルチキャスト配信
・ Webブラウザ上でのマウス・キーボード操作また
は姿勢計測装置付きHMDによる全方位コンテ
ンツのインタラクティブ鑑賞
が可能である（図4参照）。
本システムの具体的な実装例として、全方位カメ
ラHyperOmni Vision及 び 全 方 位 ビデ オ映 像 の取
得・符号化・マルチキャスト配信用PCを搭載した車
両 、 全 方 位 映 像 視 聴 用 PC 、 有 線 ネ ッ ト ワ ー ク
(100Mbps)、無線ネットワーク(IEEE802.11g)からなる
図 3 遠隔監視システムの監視環境（上）と監
視者への提示画像（下）
図 4 Web ブラウザを用いたネットワークテレプレ
ゼンスシステムの構成
プロトタイプシステムを紹介する(表1及び図5参照)。
本システムでは、屋外を走行しながら車載全方位カ
メラで撮影した全方位ビデオ映像(640×480画素)を
WindowsMediaEncoderでWindowsMedia形式(ビット
レート：832Kbps)に符号化した後、マルチキャストプ
ロトコルによって無線ネットワークに配信する。ネット
ワーク配信された全方位映像は、視聴用PC上で動
作するwebブラウザを用いた全方位動画像ビューア
あるいは姿勢計測装置つきHMDにより視聴すること
ができる。
表 1 全方位カメラ搭載車両のシステム構成
全方位カメラ
SONY DCR-TRV900 ＋
HyperOmni
アコウル 双曲面ミラー
Vision
（視野：水平より上 30 度）
画像取得圧縮符
Pentium4 2.53GHz
号化用 PC
Memory 1GB
Windows XP
無線ネットワーク
IEEE 802.11b/g
車両
日産 ELGRAND
図 6 ネットワークテレプレゼンスシステムを利用
している様子（左上：走行中の全方位カメラ搭載
車両、左下：HMD を装着したユーザ、右：ユーザ
提示画像）
番組制作を目指したインタラクティブテレビの実証実
験も行われた(NHK エンタープライズ 21 による東京
パイロット実験)。次世代インターネットアプリケーショ
ンとしては、イベント中継等のインタラクティブ・インタ
ーネットカメラとしての利用が考えられる。現状では
ネットワークの帯域に問題があるが、ブロードバンド
化の進展に伴って、この問題は解消されよう。
参考文献
図 5 移動体からの全方位ビデオのマルチキャスト
によるネットワークテレプレゼンス
実験では、視聴用PCの計算能力の関係で、全方
位映像のフレームレートを24フレーム/秒に設定した
が、5台のPCで独立に違和感のない視聴が可能で
あることが確認された。視線変化からその方向の画
像提示までの時間遅延は約55ミリ秒であった。なお、
全方位カメラによる撮影からユーザの視線に追従し
た画像提示までの時間遅延は約10秒であった。この
時間遅延の原因には、全方位映像の符号化におけ
るバッファリングと全方位画像ビューアが符号化され
た全方位映像を復号化するためのバッファリングに
よるものがある。実験室内にいるHMDを装着したユ
ーザが遠隔地の屋外環境をインタラクティブに見回
している様子を図6に示す。
５．むすび
本稿では、最近、研究室で進めている全方位カメ
ラを用いたネットワークテレプレゼンスに関する研究
事例を簡単に紹介した。開発したシステムは、現状
でも機能的には実用レベルに近く、デジタル放送で
の利用が期待され、地上波デジタル放送用の教育
[1] S.E. Chen: Quick Time VR - An image-based approach
to
virtual
environment
navigation,
Proc.
SIGGRAPH'95, pp.29-38, Aug. 1995.
[2] Y. Onoe, K. Yamazawa, H. Takemura, and N. Yokoya:
Telepresence by real-time view-dependent image
generation from omnidirectional video streams,
Computer Vision and Image Understanding, Vol.71,
No.2, pp.154-165, Aug. 1998.
[3] 八木康史，横矢直和: 全方位ビジョン: センサ開発と
応用の最新動向, 情報処理学会論文誌：コンピュー
タ ビ ジ ョ ン と イ メ ー ジ メ デ ィ ア , Vol.42, No.SIG13
(CVIM3), pp.1-18, Dec. 2001.
[4] 山澤一誠, 八木康史, 谷内田正彦: 移動ロボットのナ
ビ ゲ ー シ ョ ン の た め の 全 方 位 視 覚 系 HyperOmni
Vision の 提 案 , 電 子 情 報 通 信 学 会 論 文 誌 (D-II),
Vol.J79-D-II, No.5, pp.698-707, May 1996.
[5] 森田真司, 山澤一誠, 寺沢征彦, 横矢直和: 全方位
画像センサを用いたネットワーク対応型遠隔監視シス
テム, 電子情報通信学会論文誌（D-II), Vol.J88-D-II,
No.5, pp. 864-875, May 2005.
[6] 山澤一誠, 石川智也, 中村豊, 藤川和利, 横矢直和,
砂原秀樹: Web ブラウザと全方位動画像を用いたテ
レプレゼンスシステム, 電子情報通信学会論文誌
（D-II), Vol.J88-D-II, No.8, pp.1750-1753, Aug. 2005.