コンピュータビジョン技術による仮想現実・複合現実技術

コンピュータビジョン技術による仮想現実・複合現実技術
斎藤 英雄
慶應義塾大学大学院理工学研究科 〒223-8522 横浜市港北区日吉 3-14-1
E-mail:
[email protected]
あらまし コンピュータビジョンはカメラで撮影された画像をコンピュータに理解させるための技術であり，30
年以上前からコンピュータによる人工視覚の実現を目的として研究されてきた．最近の 10 年は，コンピュータビジ
ョンは色々な目的に利用されており，仮想・複合現実感のためにも盛んに利用されている．本発表では，コンピュ
ータビジョン技術を仮想・複合現実感に応用した研究事例として，筆者が最近行っている関連研究について紹介す
る．
キーワード 自由視点画像，マルチカメラ，カメラキャリブレーション，3 次元形状復元，トラッキング
Free Viewpoint Image Generation from Multiple Viewpoint Images
and its Application to Mixed Reality Presentation
Hideo Saito
Graduate School of Science and Technology, Keio University
3-14-1 Hiyoshi Kouhoku-ku Yokohama, 223-8522, Japan
E-mail:
[email protected]
Abstract Research on image processing and computer vision for multiple viewpoint images has extensively been
performed in recent years. Free viewpoint image generation has especially been attracting a great deal of attention, because is
can be applied to highly immersive visual communications and broadcasting in the next generation. In this article, I would
like to introduce related researches to free viewpoint generation from multiple cameras that I have been performed in recent
years, while referring to related researches. In addition to that, I would also like to introduce application of free viewpoint
generation to mixed reality presentation.
Keyword Free Viewpoint Image, Multiple Cameras, Camera Calibration, 3D Shape Recovery, Tracking
1. は じ め に
筆者は，多視点画像からの自由視点映像生成に関す
複数のカメラを用いて同一シーンを撮影したり，１
る 研 究 を 1997 年 ご ろ に 米 国 の CMU に 滞 在 す る 機 会 を
台のカメラを異動させながら同一シーンを撮影したり
得た際に始め，それ以降，関連する技術についての研
することにより得られる多視点画像を入力とした画像
究を行ってきた．本稿では，これまでに筆者が行って
処 理・コ ン ピ ュ ー タ ビ ジ ョ ン の 研 究 は ，最 近 10 年 以 上
きた多視点画像からの自由視点映像生成に関連した研
にわたって非常に盛んに研究されてきた．
究事例を関連研究の動向とともに紹介する．さらに，
特に自由視点映像生成に関する研究開発は，映像の
最近筆者が展開している，自由視点画像生成技術を複
視聴者や製作者がカメラを実際に移動させたり切り替
合現実感提示に応用しようとする研究事例について紹
えたりすることなく，同一シーンに対して観察したい
介する．
視点を自由に設定して映像見ることができる技術であ
2. Virtualized Reality
り，次世代の映像生成・提示技術として注目を集めて
1995 年 に Kanade ら が 発 表 し た 論 文 [1]で ， Virtualized
いる．
Reality の コ ン セ プ ト が 紹 介 さ れ ，そ れ を 実 現 す る た め
に行った基礎実験の結果が紹介された．このコンセプ
トは単純明快である．つまり，多視点画像を利用すれ
容易ではなくなってくるのである．
そこで，3 次元位置は未知であるが，画像中に投影
ば原理的にはシーンの 3 次元形状復元が可能であり，
されて検出された複数の点の視点間の対応関係のみを
実際は色々難しいにしても，何とかして復元した 3 次
利用したキャリブレーションが，簡単なキャリブレー
元形状を利用することにより，それを任意視点から観
ションとして利用されることがある．このような複数
察 し た「 自 由 視 点 画 像 」を CG 合 成 す る こ と が で き る ，
カメラ間の対応点関係のみに基づくキャリブレーショ
というものであった．これは，つまりのところ，現実
ン は ，弱 キ ャ リ ブ レ ー シ ョ ン [4]と 呼 ば れ た り し て い る
シーンの幾何学的構造情報と，その見え方の情報を一
が，理論的には複数カメラ間のエピポーラ幾何的関係
旦 コ ン ピ ュ ー タ に 取 り 込 み（ 電 子 化 ，も し く は 仮 想 化 ），
を 求 め る こ と に 相 当 し ，２ カ メ ラ の 場 合 は Fundamental
その上で電子化・仮想化された現実シーンを自由に観
Matrix を 推 定 す る こ と が こ れ に 相 当 す る ．
察 し よ う ， と い う も の で あ る ． Kanade ら の 論 文 ［ 1］
筆 者 は ， こ の Fundamental Matrix に 基 づ い て ， 複 数
などで最初に言われた応用としては，バスケットボー
カメラにより撮影された多視点画像から自由視点画像
ルをコート内部から観戦しよう，というものであった
を生成するための技術について研究を進めてきた．そ
が，実際はそこまで仮想視点を移動させてしまうと，
の基本コンセプトになっているのは，射影グリッド空
3 次元形状復元の誤差等が非常に大きく目立ってしま
間 [5]と 呼 ん で い る ，複 数 カ メ ラ か ら 選 ば れ た 2 台 の 基
うために画質が良好な自由視点画像を得ることがで
底 カ メ ラ 間 の Fundamental Matrix と ， 基 底 カ メ ラ と そ
きなかった．
の 他 の カ メ ラ 間 と の Fundamental Matrix か ら 各 カ メ ラ
筆 者 は ， 部 屋 の 壁 ４ 面 と 天 井 に 合 計 49 台 の カ メ ラ
間の幾何学的関係を表現する枠組みである．この枠組
を 固 定 し た 3DRoom[2]を 構 築 し ， さ ら に ， 自 由 視 点 合
み を 利 用 す る こ と に よ っ て ， 例 え ば ， 図 1(a) を 含 む
成の際の画質を入力画像から出来るだけ劣化させな
20 枚 の 多 視 点 画 像 か ら 形 状 復 元 を 行 い ，そ れ に 基 づ い
いようにするために，入力画像を撮影した視点間の視
て 図 1(b)に 示 す よ う な 自 由 視 点 画 像 が 合 成 可 能 で あ る
点内挿（補間）を行うことにより自由視点画像を合成
こ と を 示 し て い る [6]．
す る 手 法 を 実 装 し ，有 効 性 を 示 し た [3]．そ し て ，こ の
研究を通して，多視点画像からの自由視点画像生成の
ための重要な要素技術として，
・
カメラキャリブレーション技術
・
3 次元形状復元技術
・
レンダリング技術
それぞれについて，まだ多くの研究課題が残されてい
ることを痛感し，それぞれの技術を出来るだけ実用レ
ベルに引き上げることが，自由視点画像生成を実用化
させるために重要であると考えた．以下，それぞれの
(a) 入 力 多 視 点 画 像 の う ち の ２ 枚
観点から筆者が行ってきた研究とその関連研究につい
て述べる．
3. カ メ ラ キ ャ リ ブ レ ー シ ョ ン 技 術
多視点画像を利用して自由視点画像を生成するため
に避けて通れないのが，カメラキャリブレーションで
ある．同じ空間を撮影する多視点カメラの内部パラメ
ータと外部パラメータの全てを精度良く推定すること
は容易な作業ではない．特に，撮影対象空間が大きく
なると，その作業には相当の労力を要する．単純な方
(b) 多 視 点 画 像 か ら 生 成 さ れ た 自 由 視 点 画 像 の 例
法としては，撮影対象空間中に 3 次元座標が既知な点
図 １ ： 多 視 点 画 像 間 の Fundamental Matrix の み を 用 い
を複数配置し，それらが各カメラに投影される 2 次元
て生成した自由視点画像
座標と，元の 3 次元座標の関係を利用してカメラキャ
リブレーションは行われる．しかし，対象空間が大き
さらに，複数の人が手持ちで同一対象を撮影してい
くなると，3 次元座標が既知な点を空間中に配置する
る状況を想定し，複数の移動カメラを利用して撮影し
ことが難しくなるため，カメラキャリブレーションは
た多視点画像から自由視点画像を生成するのに上記の
考 え 方 を 利 用 し た 手 法 を 提 案 し た [7]． こ の 手 法 で は ，
2 台の基底カメラ画像のみは固定とし，このカメラに
より定義される 3 次元空間座標系に対して全てのカメ
ラ の 射 影 関 係 を カ メ ラ 間 の Fundamental Matrix の み を
用いて推定することができることを利用して，自由視
点画像の合成を行っている．
上 記 の よ う な Fundamental Matrix に 基 づ く 複 数 カ メ
図２：同一平面に存在する 3 次元座標が既知の５個の
ラ の キ ャ リ ブ レ ー シ ョ ン は ，3 視 点 ，4 視 点 間 の 関 係 を
マーカを撮影した多視点画像と，両端に 2 点のマーカ
表 現 す る た め に ，よ り 高 次 の テ ン ソ ル 表 現 に 拡 張 さ れ ，
が取り付けられている長さが既知の棒を移動させなが
それらを利用したキャリブレーション手法が研究され
ら撮影した多視点画像列を入力画像とした多視点カメ
て い る [8]．
ラキャリブレーション手法
さて，上記の手法のように，カメラ間の 2 次元特徴
点 の 対 応 関 係 の み に 依 存 す る「 弱 キ ャ リ ブ レ ー シ ョ ン 」
では，結局のところカメラの位置や向きの絶対値を知
4. 形 状 復 元 技 術
ることは困難なので，結果的には，対象シーンの 3 次
多視点画像から対象の 3 次元形状を復元することは，
元形状の絶対値を知ることは出来ない場合が多い．そ
自由視点画像の質を本質的に高めるために必須である．
こで，やはり対象空間に配置した 3 次元座標の既知な
文 献 [3]で は ，隣 接 す る 複 数 カ メ ラ に マ ル チ ベ ー ス ラ イ
点などに頼る必要が出てくることも多い．このような
ン ス テ レ オ 法 [11]と ， 全 て の カ メ ラ の シ ル エ ッ ト を 利
場 合 に ，カ メ ラ 間 の 2 次 元 特 徴 点 の 対 応 関 係 も 利 用 し ，
用 し た 視 体 積 交 差 法 [12]を 併 用 し て 形 状 復 元 を 行 っ た ．
これに矛盾の無いような内部パラメータ・外部パラメ
冨 山 ら の 研 究 [13]に お い て も 視 体 積 交 差 法 を ベ ー ス に
Bundle
して，ステレオ法の考え方を併用して，高精度な形状
Adjustment[9] で あ る ．こ の 考 え 方 を 利 用 し て ，図 ２ に
復元が可能なことが報告されている．また，視体積交
ー タ を 推 定 し よ う と す る 考 え 方 が
示すように，同一平面に存在する 3 次元座標が既知の
差法で得られる形状と，実際のシルエットの差を出来
５個のマーカを撮影した多視点画像一組からカメラパ
るだけ小さくするような形状を反復演算で求める手法
ラメータを推定し，さらにこの推定値の精度を向上さ
[6,14]も 高 精 度 な 形 状 復 元 に は 有 効 で あ り ，図 1 で 示 し
せるために，両端に 2 点のマーカが取り付けられてい
た自由視点画像もこの手法で復元した形状を利用して
る長さが既知の棒を任意の姿勢・位置で移動させなが
いる．
ら撮影した多視点画像列から得られるカメラ間の 2 次
この分野では世界的に高いレベルの国際会議であ
元特徴の関係を利用してカメラパラメータの推定精度
る CVPR06 で は ，こ の よ う な 多 視 点 画 像 か ら の 形 状 復
を向上させることにより，多視点カメラのキャリブレ
元 手 法 に つ い て の 比 較 サ ー ベ イ [15]が 行 わ れ ， 最 新 の
ーションを実現するソフトウエアを共同で開発した
アルゴリズムの手法が色々な評価基準で比較された．
[10]． カ メ ラ の 特 性 等 に も 依 存 す る が ， 直 径 １ メ ー ト
こ の 中 で も ，Furukawa ら に よ る 手 法 の 評 価 が 高 く ，こ
ル程度の空間に対して６台のカメラを利用して本手法
れ を 発 展 さ せ た 手 法 が CVPR07 で 報 告 さ れ て い る [16]．
を適用した場合，空間内の長さが既知の２点間の距離
しかし，形状復元精度を向上させようとアルゴリズ
の 推 定 誤 差 が 最 大 で 2mm， 平 均 で 1mm 程 度 に な る よ
ムを工夫すればするほど計算時間は掛かるようになり，
うな精度で全てのカメラのキャリブレーションを行う
動きのある対象についての自由視点画像をターゲット
ことができた．
とすると，この計算時間の短縮の問題は避けては通れ
これは，同一平面特徴点を利用するだけでもカメラ
なくなってしまう．また，対象が静止しているスタテ
キャリブレーションを実現できることが知られている
ィックな物体だ，と仮定すれば，計算時間は気にしな
が，それだけでは十分な精度が得られない場合に，た
く て も 良 く な っ て く る ，と い う 考 え 方 も あ る ．し か し ，
とえその 3 次元位置が未知であっても，任意位置姿勢
対象が静止物体の場合，あえてカメラを利用して多視
にマーカ配置し，そこから得られるカメラ間のエピポ
点画像を撮影しなくても，3 次元スキャナを利用する
ーラ幾何的関係が精度向上に役立つことを意味するも
などして高精度計測をすればよい，という考えも生ま
のである．
れてきてしまう．このような議論については，各手法
の長所・短所をよる検討した上で，実際の要求に合わ
せて選択する必要がある．
一方，対象が何か，ということを限定することによ
って，形状に関連する未知変数を減らして，形状推定
を簡略化することによって，多視点画像から良好な形
視点内挿した映像を生成すると，実視点に近い視点の
状復元を行う，という考え方も有効である．
場合は実画像に近い画質の画像が再生されるため，全
その一例として，人をスケルトンモデルとして考え，
体としての画質が劣化したという印象を抑えることが
人の各関節角度と，各スケルトンの形状を標準形状か
できるという心理的効果を期待できることがメリット
らの変形により表現してパラメータを削減することに
となる．
よって，人が動作しているシーンを撮影した多視点画
像から形状を推定し，自由視点画像を生成した研究が
あ る [17]．
6. 複 合 現 実 提 示
さて，上記のような自由視点画像生成は，一定の映
筆者らのグループでは，自由視点画像の生成を目的
像コンテンツに対して，自由に視点を選択した画像を
にしたものではないが，顔形状の多視点画像からの推
生成してみせるものである．一方，複合現実提示は，
定に，複数の実測顔形状データベースを利用した手法
現実シーンで電子化されている仮想映像を同時に複合
を 提 案 し て い る [18]． こ の 手 法 で は ， 顔 形 状 デ ー タ ベ
的に観察することによって，現実シーンに新たな映像
ースに含まれる形状を主成分分析し，その上位の主成
情報を増強して提示することにより観察者に多くの情
分ベクトルの係数により顔形状を表現することによっ
報を提示しようとするものである．
て ，顔 形 状 を 少 数 の パ ラ メ ー タ（ 筆 者 ら の 実 験 で は 20）
自由視点画像は，このような複合現実提示と非常に
で表現し，このパラメータを多視点画像から推定する
関連したコンテンツである．なぜなら，自由視点画像
ものである．
を見るときには，視点を自由に選択することを暗に述
その結果，同じ顔をレーザースキャナにより計測し
べているわけであり，一方で，複合現実提示は，現実
た 真 値 と 比 較 し て も ，平 均 3mm 以 内 の 誤 差 に 収 ま る 高
シーンを自由な視点で観察しながらも，そこに増強表
精度な形状計測が可能であることを確認した．
示される仮想コンテンツは現実シーンを観察する際に
選択されている視点に応じた変化をする必要があるか
5. レ ン ダ リ ン グ
らである．
文 献 [19]で 筆 者 ら が 生 成 し た 自 由 視 点 画 像 で は ， 復
この考え方による発想に基づいて実現しようとし
元した 3 次元モデルに入力画像のテクスチャをマッピ
たのが，サッカーの自由視点映像を実フィールドで観
ングして自由視点映像を生成した．これは，形状復元
察 す る と い う 試 み で あ る [21]． こ れ は ， 実 際 に は サ ッ
精度が非常に良い場合は良好な自由視点映像が得られ
カーゲームの行われていない空のスタジアムや，スタ
る手法であるが，そうでない場合には，その誤差の影
ジアムの模型を現実世界に用意し，その現実世界のス
響による画質劣化が，生成される自由視点画像に対し
タジアムを観察した際に，その観察した視点に相当す
て，自由視点画像の仮想視点が実視点に近いか遠いか
る仮想視点で生成した自由視点画像をスタジアム画像
に無関係に生じてしまう．
に重畳表示するというものである．こうすることによ
そこで，あくまでも見かけ上の画質劣化を防ぐ方法
って，観察者は，その現実世界に用意したスタジアム
として，隣接する視点間の視点内挿（補間）を利用し
でサッカーの試合が行われているかのような効果を得
て，実カメラ画像に近い視点の場合は，できるだけ実
る こ と が で き る わ け で あ る ．図 ３ に そ の 実 現 例 を 示 す ．
視点画像に近い画像が生成されるような手法を適用す
さらに，同様の考え方に基づいて，図４に示すよう
ることが有効と考えた．その考え方のもとに行った研
な，野球コンテンツを観察することができるシステム
究が，実際のサッカー多視点画像からの自由視点映像
を 構 築 し た [22]．
生 成 で あ る [20]．
この研究では，対象シーンの 3 次元形状を復元する
ことは困難と考えられるために，グランドは平面であ
ると考え，まず，平面領域については，隣接する視点
間 の 平 面 射 影 行 列 か ら 自 由 視 点 画 像 を 生 成 し た ．一 方 ，
選手領域はグランドに立つビルボードのようなもので
ある，という考え方を利用して，隣接する視点間で領
域の輪郭間の対応関係のみを求め，その対応点位置を
視点の移動に応じて移動させ，領域内もそれに応じて
移動させる（ワープさせる）処理によって中間視点画
像を生成した．
このような手法を利用して複数カメラ間を連続的に
図 ３：サ ッ カ ー を 現 実 の ス タ ジ ア ム モ デ ル 上 で 仮 想 的
に 観 察 す る シ ス テ ム ．こ こ で は ，サ ッ カ ー フ ィ ー ル ド
上の直線パターンを利用してカメラ位置姿勢の推定
を行っている．
ブレーション技術と密接な関係があることになる．し
かし，この場合に重要なのは，オンラインで行う，と
いう点であり，オンラインで行うがために，カメラキ
ャリブレーションとしての精度や前提について，多少
の妥協が必要な場合もある．例えば，マーカーの利用
である．しかし，マーカが常に見えるとは限らないの
で，色々なところにマーカを設置しておくことにより
解 決 可 能 で あ る が ，マ ー カ の 位 置 関 係 が 未 知 で あ る と ，
図 ４：野 球 を 現 実 の ス タ ジ ア ム モ デ ル 上 で 仮 想 的 に 観
察するシステム
連続的な複合現実提示が不可能になってしまう．
筆者らは，マーカの位置関係が未知な場合であって
も，それらをフリーハンドのカメラで撮影した画像列
から位置関係をあらかじめ推定しておき，複数マーカ
を連続的に利用することによって広範囲な領域で複合
現実提示を行うことが出来る手法を提案しており，文
献 [22]で 野 球 コ ン テ ン ツ を 広 範 囲 の 視 点 か ら 複 合 現 実
提示できるようにするために利用されている．
図５：障害物により一部を遮蔽された同一シーンを複
数のカメラが観察しているという状況を想定して，障
害物を除去した画像を表示するシステム例
自由視点画像は，従来は映像制作者・撮影者側にあ
った視点の選択権を，観察者（視聴者）に与えること
のできる技術であり，次世代の映像メディアとしての
期待は大きい．しかしながら，視点選択の自由度が増
えることにより，視聴者（観察者）に余計な負担を強
いることも考えられるため，視点の選択をより自然な
形で負担を与えることなく行わせることができる仕組
みも重要と考えられる．その意味では，本稿で紹介し
たような複合現実提示では，現実シーンを観察するこ
聴者が極めて自然な形で視点を選択する仕組みになっ
(b)障 害 物 を 除 去 表 示 し た
画像列
図６：手で文字を描いている時に，パターンを遮蔽し
ているとも考えられる．
ている手を除去した画像を生成した例
とが，視点を自動的に選択していることに相当し，視
ところで，これらの複合現実提示で重要となる技術
は，カメラのオンライントラッキングである．この技
術は，別の見方をすれば，カメラのオンラインキャリ
ブレーションということになり，前述のカメラキャリ
(a) 入 力 画 像 列
一方，仮想物体を提示することとは逆に，余計なも
のを削除して提示するということも複合現実提示の一
種 で あ る ．筆 者 ら は ，図 ５ の よ う に ，複 数 の カ メ ラ が ，
ある障害物により一部を遮蔽された同一シーンを独立
に観察しているという状況を想定し，複数カメラのう
ちいずれかが遮蔽されたシーンを部分的に撮影してい
るという前提に基づいて，各カメラに対して遮蔽物体
を 削 除 し た 画 像 を 提 示 す る 手 法 を 提 案 し て い る [23]．
ここでは，シーン中に設置されたマーカーパターンに
より，各カメラの位置姿勢は常に得られているものと
考 え ，遮 蔽 物 体 に よ り 隠 れ て い る シ ー ン の 画 像 情 報 を ，
それが見えている他のカメラから入手して，隠れてい
るシーンに貼り付けて提示する．図６に，本手法によ
り実際にペンで紙に絵を書いている際に，それを遮蔽
している手を除去して提示した画像例を示す．
7. お わ り に
本稿では，これまでに筆者が行ってきた多視点画像
からの自由視点映像生成に関連した研究事例と関連研
究について紹介し，さらに，自由視点画像を複合現実
提示に応用した研究例について紹介した．
今後は，自由視点映像の生成法にとどまらず，生成
した自由視点画像をどのように利用するのか，またど
のように提示することが効果的なのか，といった応用
面についての研究開発も重要と考えられ，筆者もその
方向についての研究を展開していきたいと考えている．
文
献
[1] Takeo Kanade, P. J. Narayanan, Peter Rander,
“Virtualized Reality:Concept and Early Results,”
Technical Report, CMU-CS-95-153, 1995
[2] Takeo Kanade, Hideo Saito, Sundar Vedula, “The 3D
Room:Digitizing
Time-Varying
3D
Events
bySynchronized Multiple Video Streams,” Technical
Report, CMU-RI-TR-98-34, 1998
[3] H. Saito, S. Baba, T. Kanade, “Appearance-based
virtual view generation from multicamera videos
captured in the 3-D room,” IEEE Trans. Multimedia,
Vol.5, No.3, pp.303-316, 2003
[4] O.Faugeras, Q. Luong, S. Maybank, “Camera
Self-Calibration: Theory and Experiments," in
Proceedings ECCV92, p.321-334, 1992
[5] H. Saito, T. Kanade, “Shape reconstruction in
projective grid space from large number ofimages,”
IEEE CVPR1999, Vol.2, pp.49-54, 1999.
[6] S.Yaguchi,
H.Saito,
“Improving
Quality
of
Free-Viewpoint Image by Mesh Based 3D Shape
Deformation,” Journal of WSCG, Vol. 14, No. 1-3,
pp. 57-64, 2006
[7] S. Jarusirisawad,H. Saito, “New Viewpoint Video
Synthesis in Natural Scene Using Uncalibrated
Multiple Moving Cameras,” IEICE technical report.
Image engineering, Vol.106, No.448, pp. 25-30,
IE2006-142, 2007
[8] 佐 藤 淳 , “テ ン ソ ル と 多 視 点 幾 何 ,” 情 報 処 理 学 会
研 究 報 告 CVIM[ コ ン ピ ュ ー タ ビ ジ ョ ン と イ メ ー
ジ メ デ ィ ア ], Vol.2007, No.42, pp. 33-42, 2007
[9] B. Triggs, P. McLauchlan, R. Hartley, A. Fiztgibbon,
“Bundle Adjustment - A Modern Synthesis,” In B.
Triggs, A. Zisserman, R. Szeliski (Eds.), Vision
Algorithms: Theory and Practice, LNCS Vol.1883,
pp.298-372, Springer-Verlag, 2000
[10] Yuko Uematsu, Tomoaki Teshima, Hideo Saito, Cao
Honghua, “D-Calib: Calibration Software for
Multiple Cameras System,” 14th International
Conference on Image Analysis and Processing
(ICIAP2007), pp.285-290, 2007.
[11] M. Okutomi and T. Kanade, “A Multiple-Baseline
Stereo,” IEEE Trans. on Pattern Analysis and
Machine Intelligence, vo.15, no.4, 1993
[12] A. Laurentini, “The visual hull concept for
silhouette-based image understanding,” IEEE Trans.
PAMI, Vol.16, 2, pp.150-162, 1994
[13] 冨 山 , 片 山 , 岩 舘 , 今 泉 , “視 体 積 交 差 法 と ス テ レ
オマッチング法を用いた多視点画像からの三次
元 動 オ ブ ジ ェ ク ト 生 成 手 法 ,” 映 像 情 報 メ デ ィ ア
学 会 誌 , vol.58, No.6, 2004.
[14] 延 原 章 平 , 和 田 俊 和 , 松 山 隆 司 , “弾 性 メ ッ シ ュ モ
デルを用いた多視点画像からの高精度 3 次元形状
復 元 ,” 情 報 処 理 学 会 CVIM 研 究 会 論 文 誌 , Vol.43,
SIG11(CVIM5), pp.53-63, 2002
[15] S. Seitz, B. Curless, J. Diebel, D. Scharstein, R.
Szeliski, “A Comparison and Evaluation of
Multi-View Stereo Reconstruction Algorithms,” Proc.
IEEE Computer Society Conference on Computer
Vision
and
Pattern
Recognition
(CVPR06),
pp.519-528, 2006
[16] Y. Furukawa and J. Ponce, “Accurate, Dense, and
Robust Multi-View Stereopsis,” IEEE Computer
Society Conference on Computer Vision and Pattern
Recognition (CVPR07), pp., 2007
[17] J. Carranza, C. Theobalt, M. Magnor, H.-P. Seidel,
“Free-Viewpoint Video of Human Actors,” ACM
Trans. on Computer Graphics (SIGGRAPH'03), vol.
22, no. 3, pp. 569-577, July 2003．
[18] Hideo Saito, Yosuke Ito, Masaaki Mochimaru, “Face
Shape Reconstruction from Image Sequence Taken
with Monocular Camera using Shape Database,”
14th International Conference on Image Analysis and
Processing (ICIAP2007), pp.165-170, 2007.
[19] T. Kanade, P. Rander, S. Vedula, and H. Saito,
“Digitizing a 3D Time-Varying Event as is and in.
Real Time,” in Mixed Reality (Y.Ohta and H.Tamura
eds.),. pp.41-57, Ohmsha, 1999
[20] 稲 本 奈 穂 ，斎 藤 英 雄 , “視 点 位 置 の 内 挿 に 基 づ く ３
次 元 サ ッ カ ー 映 像 の 自 由 視 点 観 賞 シ ス テ ム ,” 映
像 情 報 メ デ ィ ア 学 会 誌 ， Vol.58, No.4, pp.529-539,
2004.
[21] Naho Inamoto, Hideo Saito,”Immersive Observation
of Virtualized Soccer Match at Real Stadium
Model,” The Second International Symposium on
Mixed
and
Augmented
Reality
(ISMAR03),
pp.188-197, Oct.2003
[22] Y. Uematsu, H. Saito, “AR Baseball Presentation
System with Integrating Multiple Planar Markers,”
Proc.ICAT2006, LNCS4282, pp.163-174, 2006
[23] 榎 本 暁 人 ， 斎 藤 英 雄 , “複 数 の ハ ン デ ィ カ メ ラ を
利 用 し た Diminised Reality,” MIRU2007 画 像 の 認
識 ・ 理 解 シ ン ポ ジ ウ ム , pp.1277-1282, 2007