Comments
Description
Transcript
修士論文 立体マーカを用いた仮想物体の相互反射表現 伊原章達
NAIST-IS-MT0751013 修士論文 立体マーカを用いた仮想物体の相互反射表現 伊原 章達 2009 年 3 月 9 日 奈良先端科学技術大学院大学 情報科学研究科 情報処理学専攻 本論文は奈良先端科学技術大学院大学情報科学研究科に 修士 (工学) 授与の要件として提出した修士論文である。 伊原 章達 審査委員： 千原 國宏 教授 （主指導教員） 加藤 博一 教授 （副指導教員） 眞鍋 佳嗣 准教授 （副指導教員） 池田 聖 助教 （副指導教員） 立体マーカを用いた仮想物体の相互反射表現∗ 伊原 章達 内容梗概 複合現実感においてコンピュータグラフィクスで描かれた仮想物体と現実環境 を違和感無く融合するための要素のひとつとして，光学的整合性がある．特に， インテリアデザインのように，視的感覚が重要となり，細かな表現が必要とされ ている分野では，光学的整合性は重要な要素であり，写実的なコンピュータグラ フィクスを作成する上で優先すべき問題である．複合現実感においてインタラク ティブな表現を行うためには，実時間での処理が求められる．しかしながらこれ まで，実時間で現実環境と仮想物体の相互反射表現を違和感なく表現する手法は 確立されていない． 本論文では，複合現実感における違和感のない相互反射表現を目的とし，床面 の反射率を考慮した仮想物体の映り込みを表現する手法，床面の粗さを考慮して 仮想物体の映り込みのぼけを表現する手法，および床面に映り込む立体マーカを 除去する手法を提案する．提案手法は，マーカの映り込みによる床面の輝度の変 化を解析することで床面の反射率を推定し，床面の反射率を考慮した仮想物体の 映り込みを可能とする．また，映り込みの生じている領域のエッジ部分の輝度値 の変化幅を解析することで床面の粗さを推定し，床面の粗さを考慮した仮想物体 の映り込みを可能とする．さらに，床面に映り込むマーカ像を映り込み領域周辺 の色情報を用いた近似により平滑化し，映り込みを除去する．本論文では，提案 手法を用いて実験を行い，単色および模様のある床面における反射率の推定と粗 さの推定および床面に映り込むマーカ除去結果を示す．また，提案手法を統合し， ∗ 奈良先端科学技術大学院大学 情報科学研究科 情報処理学専攻 修士論文, NAIST-ISMT0751013, 2009 年 3 月 9 日. i 簡便なシステム構成によるインタラクティブなアプリケーションを構築し，提案 手法の有効性を確認した． キーワード 相互反射，光学的整合性，立体マーカ，拡張現実感 ii Representation of Inter-Reflection Using 3D Marker∗ Akimichi Ihara Abstract To achieve an appropriate representation in Mixed-Reality (MR), a consistency of optics between a real environment and virtual objects is an important issue. Especially for an interior design, the consistency of optics should be a prior topic to make photorealistic Computer Graphics (CG). A simulation in real time is demanded to perform interactive representation in MR. A technique to represent has not been proposed yet an interreflection appropriately between a real environment and virtual objects. This paper aims to achieve an appropriate interreflection in MR. The paper proposes three techniques to represent the interreflection of virtual objects : (1) A technique to simulate the reflectance of a floor, (2) A technique to represent the blur of virtual objects by simulating the roughness of a floor, (3) A technique to remove the interreflected 3D marker onto the floor. The proposed method represents the interreflection of virtual objects considered the reflectance of the floor by analyzing the change of the luminance of the floor. And the proposed method represents the blur of virtual objects considered the roughness of the floor by analyzing the variation width of the luminance of the edge of the interreflection area onto the floor. In addition, the interreflection of the marker is removed with approximating color information of the interreflection area by using color ∗ Master’s Thesis, Department of Information Processing, Graduate School of Information Science, Nara Institute of Science and Technology, NAIST-IS-MT0751013, March 9, 2009. iii information of neighbor area. The proposed method was implemented, and the proposed method has succeeded to depict the interreflection of virtual objects and remove the interreflection of the marker in plain color floors and patterned floors. An interactive application with the proposed methods has demonstrated a MR representation with low computation a cost. Keywords: Inter-reflection, Optical consistency, 3D Marker, Mixed Reality iv 目次 第 1 章 序論 1 第 2 章 複合現実感の光学的整合性に関する従来研究 4 2.1. 光学的整合性のための光源分布の推定 . . . . . . . . . . . . . . . 4 2.2. 映り込みと質感表現による光学的整合性 . . . . . . . . . . . . . . 11 2.3. マーカ除去による光学的整合性 . . . . . . . . . . . . . . . . . . . 14 2.4. 本研究の位置づけ . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 第 3 章 仮想物体の相互反射表現のための手法 17 3.1. 物体表面の反射特性の物理的性質と本研究における前提条件 . . . 17 3.1.1 拡散反射光 . . . . . . . . . . . . . . . . . . . . . . . . . . 18 3.1.2 鏡面反射光 . . . . . . . . . . . . . . . . . . . . . . . . . . 18 3.1.3 本研究における相互反射 . . . . . . . . . . . . . . . . . . . 20 3.1.4 本研究における前提条件 . . . . . . . . . . . . . . . . . . . 20 3.2. 映り込み位置の推定 . . . . . . . . . . . . . . . . . . . . . . . . . 21 3.3. 床面の反射率を考慮した映り込み表現 . . . . . . . . . . . . . . . 22 3.3.1 床面の反射率推定 . . . . . . . . . . . . . . . . . . . . . . . 22 3.3.2 現実環境に映り込む仮想物体のレンダリング . . . . . . . . 26 3.4. 床面の粗さを考慮した映り込み表現 . . . . . . . . . . . . . . . . . 27 3.4.1 床面の粗さ推定 . . . . . . . . . . . . . . . . . . . . . . . . 27 3.4.2 床面の粗さ表現のための仮想物体のレンダリング . . . . . 28 3.5. 床面に映り込んだ立体マーカの除去 . . . . . . . . . . . . . . . . . 28 3.6. 処理の流れ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 v 第 4 章 実験 33 4.1. 実験環境 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 4.2. 単色面における反射率推定と映り込み除去 . . . . . . . . . . . . . 34 4.2.1 反射率αの推定 . . . . . . . . . . . . . . . . . . . . . . . . 34 4.2.2 床面の粗さ σ の推定 . . . . . . . . . . . . . . . . . . . . . 35 4.2.3 映り込み除去 . . . . . . . . . . . . . . . . . . . . . . . . . 37 4.3. 模様のある面における反射率推定と映り込み除去 . . . . . . . . . 37 4.3.1 反射率αの推定 . . . . . . . . . . . . . . . . . . . . . . . . 37 4.3.2 床面の粗さ σ の推定 . . . . . . . . . . . . . . . . . . . . . 38 4.3.3 映り込み除去 . . . . . . . . . . . . . . . . . . . . . . . . . 39 4.4. インタラクティブなアプリケーションへの応用 . . . . . . . . . . . 40 第 5 章 考察 43 5.1. 反射率推定に関する考察 . . . . . . . . . . . . . . . . . . . . . . . 43 5.2. 粗さ推定と映り込み除去に関する考察 44 . . . . . . . . . . . . . . . 第 6 章 結論 46 謝辞 48 参考文献 49 vi 第1章 序論 日本古来の住居では，色調は，畳，障子，壁土などの天然材のような穏やかな ものに統一されていた．しかし，現代の住居には様々な国の文化を映し出す家具 や装飾品，家電製品が所狭しと並べられるようになり，インテリアデザインの多 様化が進んでいる．住居のインテリアは，今や化粧やファッションに次ぐ自己表現 手段になっており，趣味やライフスタイルに合わせたコーディネートをする人々 が増えている．一方で，インテリアデザインの多様化により，全体としての統一 感を保つことが困難になっており，ちぐはぐな印象を受けることがある．私たち は家具を購入するとき，それが自分の部屋空間に合うかどうかを想像し，気に入 れば家具を購入する．しかし，実際に家具を部屋に置いてみると，周りとの調和 が取れておらず部屋に合わないことがある．このように，専門の知識や経験が無 い場合，想像のみで調和の取れた空間を作ることは非常に困難な作業である．そ こで自分の部屋空間に，家具を実際にその場にあるかのように表示することがで きれば，気に入った家具を自分の部屋にバーチャルに配置し，自分の部屋と家具 の調和を確認できるようになり，商品購入後の印象のずれを減らすことが可能に なる． これを実現するための技術として，複合現実感 (Mixed Reality:MR) がある．こ れは，現実環境の中にコンピュータグラフィクス (ComputerGraphics:CG) によっ て作られた物体を融合する技術であり，現実環境と CG を違和感なく融合するた めの融合要素である幾何学的整合性，光学的整合性，時間的整合性に関する研究 が数多くされている．特にインテリアデザインのように，視的感覚が重要であり， 細かな表現が必要とされている分野では，この融合要素のひとつである光学的整 合性は非常に重要であり，視的感覚に一致した CG を作成するうえで優先すべき 問題である． 1 石川らは，2 次元コードと鏡面球から構成される立体マーカを用いて，マーカ が配置された局所的な位置における幾何学的整合性と光学的整合性を満たすアプ リケーションを提案している [1]．このシステムは，前処理もなく，自由にマーカ を配置できる制約の少ない構成であり，現実環境の光源分布を推定し，現実環境 の照明に合わせた CG の陰影を表現できる．しかし仮想物体の映り込みを表現し ておらず，鏡面反射成分を持つ物体を描画できないため，違和感を生じる． 映り込みは，物体間で光が複数回反射し合う相互反射によって，表面が滑らか な物体に周囲の環境が映り込んで観測される現象のことである．金属面やプラス ティック面への映り込みは，物体の質感に大きな影響をもたらしており，複合現 実感において写実的な表現を実現するためには重要な要素である．複合現実感に おける映り込みは，現実環境と仮想物体の間で生じる映り込みを考える必要があ り，仮想物体への現実環境の映り込みと，現実環境への仮想物体の映り込みに分 けることができる．CG の分野において映り込みを表現できる手法として，レイ トレーシング法やフォトンマッピング法などがある．しかしながら，複合現実感 においては，時間的整合性を満たすためにと計算量の少ない手法を適用する必要 があり，計算時間が膨大であるこれらの手法は，複合現実感には適用できない． そこで佐賀野らは，鏡面球を用いて，自由に配置されるマーカの位置に適応した 環境マップ生成手法を提案し，仮想物体への現実環境の映り込みと，現実環境へ の仮想物体の映り込みを実現した [2]．しかし，現実環境に仮想物体を映り込ませ る際，床面の反射特性を考慮していないことや，床面へマーカが映り込むことに よる違和感が生じる． 本研究では，複合現実感における違和感のない相互反射表現を目的とする．床 面の反射特性を考慮するために，床面へマーカが映り込んだ時の輝度の変化を解 析することで，床面の反射率を推定する手法を提案する．また，床面の粗さを考 慮するために，マーカの映り込みが生じている領域のエッジ部分の輝度値の変化 幅を解析することで，床面の粗さを推定する手法を提案する．さらに，床面に映 り込むマーカ像を周辺領域との色情報の近似により除去する手法を提案する．そ して，これらを統合しインタラクティブなアプリケーションを構築する． 本論文の構成を以下に示す．第 2 章では，複合現実感の光学的整合性に関する 2 従来研究ついて述べる．第 3 章では，提案手法と具体的な実装方法について述べ る．第 4 章で提案手法の有効性を確認するための実験とその結果を述べ，第 5 章 でその結果に対する考察を述べる．最後に，第 6 章で結論を述べる． 3 第2章 複合現実感の光学的整合性に 関する従来研究 現実環境と CG により描かれた仮想環境を違和感なく融合するための重要な要 素である光学的整合性に関する研究が数多く報告されている． 現実環境の光源分布を推定することで仮想環境の照明条件の違いによる違和感 を減らす手法，映り込みを仮想物体や現実環境に対して表現することで違和感を 減らす手法，出力される画像にマーカが表示されることでユーザに違和感を与え ることから，画像中のマーカを除去する手法などがある．それぞれの手法につい て以下に述べる． 2.1. 光学的整合性のための光源分布の推定 現実環境の光源分布を推定するには，現実環境から光源分布に関する情報を得 る必要がある．本節では，現実環境に配置された実物体の明るさと影から，光源 分布を推定する手法について述べる．Marschner らは，複数の光源が存在する環 境において観測される物体の明るさは，個々の光源下における物体の明るさの和 に等しいという明るさの線形性理論を用いて，現実環境の光源分布を推定する手 法を提案している [3]．手法の概要を図 2.1 に示す．単光源の方向を変えながら実 物体をあらかじめ複数回撮影しておき，これらの画像を用いて未知の光源分布下 で撮影された物体から光源分布を推定する．正確に光源分布を推定するためには， 推定の対象となる物体が曲率の大きな面を持っている必要がある．そこで Sato ら は Marschner らの手法を改良し，物体が落とすソフトシャドウの明るさを利用す ることで，物体の表面形状に左右されない手法を提案している [4](図 2.2)．手法 の概要を図 2.2 に示す． 4 図 2.1 明るさの線形性による光源推定 [3] 図 2.2 影による光源推定 [4] 5 Debevec らは，撮影するシーン内に鏡面球を配置し，撮影された鏡面球画像か ら光源分布を推定する手法を提案している [5]．ただし，鏡面球だけでは鏡面球か ら光源までの方向は決まるが，距離が一意に決まらない．そこで，図 2.3(a) のよ うに，あらかじめモデリングしておいた部屋の形状を用いることで，鏡面球から 光源までの距離を決定している．推定された光源分布より，図 2.3(b) に示すよう な，実環境の光源分布を反映した仮想物体を描画できる． FKUVCPV UEGPG (a) 光源推定の構成 (b) 光源推定を反映した CG モデリング 図 2.3 鏡面球による光源推定 [5] Powell らは，図 2.4 のように 2 個の鏡面球を用いて，2 つの鏡面球上のハイラ イトの対応付けにより，光源の位置を求める手法を提案している [6]．また Sato らは，図 2.5 のように魚眼レンズを装着したカメラを用いることで，光源分布を 推定している [7]．ここまでに紹介した光源分布の推定手法は，光源の実空間上で の位置を推定しているため，現実環境の照明条件に近い写実的な CG 画像を生成 することが可能であるが，事前に光源分布を推定する必要があり，光源環境の変 化に対応できないため，実時間で光源分布を推定することは難しい． 6 図 2.4 2 個の鏡面球による光源推定 [6] 図 2.5 魚眼レンズによる光源推定 [7] 7 インテリアデザインなどのようにインタラクティブ性が求められる用途には， 実時間での光源推定処理が必要である．神原らは，図 2.6 に示す正方マーカと鏡 面球を組み合わせたマーカを用い，マーカとカメラの位置関係を推定することで， 仮想物体の幾何学的整合性と光学的整合性を同時に実現する手法を提案している [8]．図 2.6 に示すように，撮影される鏡面球画像から，現実環境の大まかな光源 分布を推定し，実時間における仮想物体の陰影表現を実現している． 図 2.6 正方マーカと鏡面球を組み合わせたマーカ (a) カメラ画像 (b) 出力結果 図 2.7 鏡面球を用いた光源推定による仮想物体の陰影表現 [8] 石川らは，図 2.8 のような立方体状のマーカと鏡面球を組み合わせた立体マー カを用い，仮想物体の幾何学的整合性と光学的整合性を同時に実現するインタラ クティブなアプリケーションを構築している [1]．アプリケーションとしてシステ 8 ムを構築する場合，できるだけ制約がなく簡便なシステムが望ましい．そのため， 場所ごとに必要となるような事前作業もなく，ラップトップコンピュータと鏡面 球付のマーカとカメラのみという簡便な機器のみで，自由な場所で自由にマーカ 配置が出来る，制約の少ないアプリケーションとなっている．図 2.9(a) のように， 点光源をサンプリングすることで大まかな光源分布を推定している．図 2.9(b) に 出力画像を示す．しかし，このシステムでは仮想物体により生じる現実環境への 影が写実的に表現できていない． 図 2.8 立体マーカ [1] (a) 光源のサンプリング (b)CG によるインテリアの合成 図 2.9 インタラクティブ MR インテリアデザイン [1] 9 複合現実感において影を実時間で生成する手法がある．Gibson らは，物体間の 可視性による実時間処理が可能な影の生成手法を提案している [9](図 2.10)．さら に神原らは，ステレオカメラを用いて，3 次元情報を考慮した影の生成手法を提 案している [10](図 2.11)．しかし，これらの手法においても，現実環境と仮想環 境間の相互反射が考慮されていない． 図 2.10 高速な影の生成 [9] 図 2.11 インタラクティブ環境での影の生成 [10] 10 2.2. 映り込みと質感表現による光学的整合性 映り込みを実時間で表現する手法として，環境マッピングという手法がある [11]．この手法は，物体間で生じる相互反射のうち 1 次反射のみを考慮し，周り の環境をすべて光源とみなすことで，映り込みを表現する．さらに，物体を取り 囲む環境の画像を撮影し，取得した画像の各画素に反射ベクトルを対応付けた環 境マップを作成する．そして，作成された環境マップから，物体の各頂点におけ る法線ベクトルと視線ベクトルから求められた反射ベクトルと対応する画素をテ クスチャ座標で指定し，テクスチャマッピングすることで高速化を図る手法であ る．環境マッピングの一手法として，SphereMapping[12] がある．図 2.12 に示す ように SphereMapping は，物体を取り囲む仮想的な球を考え，表面が鏡面となっ ている鏡面球を用いて，鏡面球に映り込む画像を撮影することで周囲の環境を取 得し，球状に展開する手法である．SphereMapping は一台のカメラで，シーンと 鏡面球によって映される環境を同時に取得でき，同期やつなぎ目の問題が発生し ないため，インタラクティブな用途への応用が容易である． 図 2.12 SphereMapping[12] 物体の質感を表現するには，金属のように周囲の環境をよく映り込ませる物， プラスティックのようにわずかに映り込ませる物，物体表面が滑らかな物やざら ざらした物など，表現したい材質の反射特性を考慮する必要がある．CG の分野で は，反射特性を設定するための様々なパラメータが提案されている．レイトレー シング法を拡張した手法やフォトンマッピングなどでは，パラメータの調節によ り，様々な質感を表現できる．しかし，これらの手法は反射を緻密に計算してい 11 るため写実的な表現ができるが，実時間での描画は困難である．そのため，複合 現実感では物体表面での反射を近似的に表すことで，高速に描画する方法が必要 となる．物体表面での反射を少数のパラメータで近似するモデルが提案されてい る．Lambert モデル [13] は，完全拡散反射面のみを表した最も単純な反射モデル である．Phong 反射モデル [14] は，鏡面反射成分と拡散反射成分を表した反射モ デルである．また，物理的根拠に基づいた Torrance-Sparrow 反射モデル [15] が提 案されている． Miller らは，SphereMapping を用いて，取得した環境マップを光源のマップと 考え，拡散反射モデルにより環境マップをぼかすことで拡散反射を表現している [16]．さらに Heidrich らは，Phong 反射モデルを反映した環境マップを作成する ことで拡散反射成分，鏡面反射成分のレンダリングを実現している [17]．しかし これらの手法は，事前に反射モデルを用いて，環境マップに対して処理を施す必 要がある．Kautz らは，材質の反射特性を表現するための高速な手法を提案して いる [18](図 2.13)．Phong 反射モデルにより作成された半径の小さなフィルタに より環境マップを平滑化したもの (マップ S) と，半径の大きなフィルタにより環 境マップを平滑化したもの (マップ L) を混合する．混合する割合は，ピクセルご とに異なり，環境マップの中心に近いほどマップ L の割合を大きくする．これに より，反射特性を高速に表現することが可能である. 2 つのフィルタによる混合 に物理的な根拠がないことや，環境の変化に対応したインタラクティブな質感表 現を実装する具体的な手法については述べられていない．図 2.13 に，異なる粗さ パラメータを持つ仮想物体に Kautz らの手法を適用した結果を示す． 12 (a) 表面の粗さ大 (b) 表面の粗さ小 図 2.13 Kautz らによる高速な質感表現 [18] 複合現実間において，インタラクティブに映り込みと質感表現を表現する手 法がある．佐賀野らは，図 2.14 のように石川らの簡便なシステム構成を保持し， Sphere Mapping を用いて仮想物体への現実環境への映り込みを表現する手法を 提案している [2]．さらに，図 2.15 に示すように，Torrance-Sparrow 反射モデル によるシミュレーション画像を用いて，環境マップを平滑化することにより，表 面の粗さを表現する手法を提案している．また，床面に対し仮想物体を高さ軸方 向について反転させ現実環境に合成することで，現実環境への仮想物体の映り込 みを表現している．しかしながらこの手法には，現実環境への立体マーカの映り 込みが生じていることや映り込みのパラメータが実験的に決められていること， さらに映り込みの生じる現実環境の面の粗さを考慮していないことから，光学的 整合性が完全に保たれていないという問題がある． 13 (a) カメラ画像 (b) 仮想物体への映り込み表現 図 2.14 仮想物体への現実環境の映り込み表現 [2] (a) 鏡面球画像の平滑化 (b) 出力結果 図 2.15 仮想物体表面の粗さ表現 [2] 2.3. マーカ除去による光学的整合性 シーンの中に付加されたマーカは合成画像の中で不自然さを目立たせてしまい， ユーザに違和感を与える．そこで画像からマーカを除去することで，ユーザに与 える違和感を減らす手法が提案されている．Siltanen は，マーカ周辺の画素の加 重平均を用いた補間式によって，規則的にマーカ領域部分を補填する実時間での マーカ除去法を提案している [19]．図 2.16 に入力となるカメラ画像と出力結果を 示す．しかしながらこの手法は，周辺領域の色情報が持つ方向性とマーカが置か 14 れた向きとの関係によっては，違和感のあるテクスチャを生成することがある．そ こで安室らは，図 2.17(a) に示すマーカ周辺領域をフーリエ変換することで，マー カ周辺領域に対するマーカの傾き角度を検出し，図 2.17(b) のようにマーカの向 きを補正した上で補間計算を行い，図 2.17(c) に示すテクスチャを生成する手法 を提案している [20]． (a) カメラ画像 (b) 出力結果 図 2.16 テクスチャ補填によるマーカの除去 [19] (a) カメラ画像 (b) 回転後 (c) 生成テクスチャ 図 2.17 テクスチャの方向性を考慮したテクスチャ補填 [20] 2.4. 本研究の位置づけ 複合現実感においてインタラクティブな用途を目的としたアプリケーションに おいて，これまでに相互反射を含めて写実性という点で申し分のない映像を生成 する手法はまだ確立されていない．そこで本研究では，複合現実感においてより 15 写実的な表現を実現するために，仮想物体の映り込む床面の反射率を推定する手 法，映り込みの生じる床面の粗さを推定する手法，床面に映り込んだマーカを除 去する手法を提案する． 16 第3章 仮想物体の相互反射表現のた めの手法 本研究では，実時間において自然な映り込みを表現するために 3 つの手法を提 案する．まず，映り込みによる輝度値の変化を解析することで，床面の反射率を 推定する手法を提案する．次に，映り込みのエッジ部分での輝度値の変化幅を解 析することで，映り込む面の粗さを推定する手法を提案する．また，3D マーカ の映り込みが生じている部分の床面の色情報を取得し，補正することで映り込み を除去する手法を提案する．提案手法の各処理について以下に述べる． 3.1. 物体表面の反射特性の物理的性質と本研究におけ る前提条件 物体表面からの反射光は，物体の材質や形状および光源位置と視点位置により 観測される成分が様々である．不均質で不透明な誘電体の場合，反射光は次の三 つの成分からなると考えられる [21]． • 拡散反射光 • 鏡面反射光 • 相互反射光 図 3.1 に拡散反射光と鏡面反射光の模式図を示す． 17 ᧚⾰᭴ㅧ ᴺ✢ ㏜㕙 శ θi ᢔ ‛㕙 ᧚⾰᭴ㅧ 図 3.1 拡散反射光と鏡面反射光の模式図 3.1.1 拡散反射光 拡散反射光は表面材質の表層部に入った光がランダムな反射や回折，それに材 質構造による散乱などを繰り返した後に再び物体表面に透過されて，全方向へ均 等に拡散される成分である．拡散反射光は物体の色を認識させる光となり，その 反射強度は光源の分光分布と強度および光源位置により変化し，視点位置は関係 しない．CG の分野においては式 3.1 に示す Lambert 余弦法則が一般的に適用さ れている．式 3.1 における，Id は拡散反射成分，Kd は拡散反射率，θi は入射角 をそれぞれ表す． Id = Kd × cos θi (3.1) 3.1.2 鏡面反射光 鏡面反射光は，物体表面に照射した光が表面材質の内部に進入せず，物体表面 において反射される成分である．物体表面が鏡面のように滑らかな場合，表面の 18 図 3.2 鏡面反射の Torrance-Sparrow モデル 法線を軸として入射角と対称の方向に正反射が起こるが，物体表面が滑らかでな い場合は正反射方向の周りに広がりをもって観測される．鏡面反射光の色は，物 体表面の材質の色による影響がなく，光源の色のみが影響するとされている．2.2 節で述べたように，鏡面反射光を表現するために数多くの反射モデルが提案され ている．Torrance-Sparrow モデルは観測点の周辺にある各微小面に生じる正反射 を用いて鏡面反射を近似することにより，物体表面の反射特性を忠実にモデル化 でき，CG の分野においてよく用いられる．図 3.2 の中で，N は表面法線，H は 入射方向と観測方向のなす角の 2 等分線，ϕ は N と H がなす角を表す．通常，こ のモデルにおいてフレネル係数と幾何学的減衰因子は定数として扱われる．その モデルを式 3.2 に示す．θr と Ks はそれぞれ反射角と鏡面反射率係数であり，σ は 観測点で生じる鏡面反射の広がりを表す係数である． Is = Ks × exp(−(ϕ × θ)2 )/cosθr (3.2) 一般に，不均質な誘電体の表面に生じる反射特性を近似できるのは二色性反射 モデル (Dichromatic Refection Model) とされ，反射成分 I は拡散反射成分 Id と 鏡面反射成分 Is の線形和になるとされている [22][23]．モデルを式 3.3 に示す． I = Id + Is 19 (3.3) 3.1.3 本研究における相互反射 相互反射とは，光源により物体が照らされ，照らされた物体が二次光源として 周囲の物体に影響を与える現象である．本研究は，図 3.3 に示すような，4 つの 2 次元コードを持つ立方体と鏡面球を組み合わせた立体マーカを二次光源として 生じる相互反射を対象とする． 図 3.3 立体マーカと映り込み 3.1.4 本研究における前提条件 ここで，本研究における前提条件について述べる． 条件 1 床面は凹凸のない平面とする 条件 2 光源は白色光とする 条件 3 立体マーカは，白黒の無彩色のマーカを用いる 条件 4 立体マーカ背後は一様な黒い面とする 20 条件 1 より，床面に写り込む像は歪んでいないと仮定する．条件 2 より，光源 による床面の色相の変化は生じないものとする．条件 3 より，相互反射の際に 2 次光源である立体マーカによる床面の色相の変化は生じないものとする．条件 4 より，二次光源は立体マーカのみとなり，正反射方向に 1 次光源は存在しないも のとする．ここで，マーカを二次光源として生じる相互反射成分を Is2 とすると， Is = Is2 (3.4) となり，式 3.3 より，式 3.5 が成立する． I = Id + Is2 (3.5) また，マーカ黒色部においては，一次光源からの光を吸収するため，相互反射成 分の項は 0 となり，拡散反射成分のみが観測される．上記条件を踏まえ，以下で 提案手法について詳しく述べる． 3.2. 映り込み位置の推定 提案手法を実現するためには，画像中のマーカの映り込み位置および形状を推 定する必要がある．本研究では，ARToolKit[24] を使用し，カメラと画像中のマー カの位置関係を認識する．マーカの幾何形状は既知であり，かつ 3.1 節で述べた 前提条件 1 より，床面が凹凸の無い平面であるので，床面に映り込むマーカの頂 点座標は，ARToolKit により認識されたマーカ座標を用いて図 3.4 のように推定 できる． 21 [ OO \ OO Z OO ࡑࠞ ㄟࠎߛ㧟㧰ࡑࠞ 図 3.4 マーカ座標における映り込み位置 3.3. 床面の反射率を考慮した映り込み表現 3.3.1 床面の反射率推定 式 3.5 より，カメラで観測される反射成分は拡散反射成分とマーカを 2 次光源 とする相互反射成分の線形和である．ここで，式 3.5 における相互反射成分 Is2 は 式 3.6 のように変形できる．また，床面の反射率をα (0 ≤ α ≤ 1)，マーカ白色 ′ 部の輝度を Is2 とすると，Is2 は式 3.7 のように表すことができ，αは式 3.8 によ り求められる． Is2 = I − Id ′ Is2 = α× Is2 Is2 α = ′ Is2 I − Id = ′ Is2 (3.6) (3.7) (3.8) 図 3.5 において，w はマーカ本体白色部，b はマーカ本体黒色部，wr はマーカ 白色部の映り込み領域，wr はマーカ黒色部の映り込み領域の平均輝度を表す．こ 22 こで，拡散反射成分と相互反射成分の線形和 I は wr ，拡散反射成分 Id は br にあ たり，式 3.6 より， Is2 = wr − br (3.9) のように表せる．しかし，実環境においてマーカ黒色部で観測される輝度は 0 で はないため，br にはマーカ黒色部を 2 次光源とする相互反射成分が含まれる．図 3.5 内で，マーカ黒色部の輝度は b にあたり，マーカ黒色部を 2 次光源とする相互 反射成分は，反射率αを考慮すると α b となる．よって式 3.9 は， Is2 = wr − br + α b (3.10) ′ と表せる．ここで，マーカの白色部の輝度 Is2 は，図 3.5 の w に当たる．よって 求めるαは式 3.11 となる． α = wr − br + α b w (3.11) 式 3.11 をαについて解くと，式 3.12 となる． α = wr − br w−b 23 (3.12) 図 3.5 反射率推定領域の名称 w，b，wr ，br の具体的な導出方法を述べる．3.2 節で述べた手法を用いて，マー カ領域とマーカが映り込んでいる領域を抽出する．これらの領域からそれぞれの 白色，黒色領域を抽出するために，図 3.6 のような，立体マーカに使用する 4 つ の 2 次元マーカと同じパターンを持つ，白，グレー，黒の 3 色に分けられたマス ク画像を用いる．認識されるマーカ位置の誤差に起因する抽出領域のずれを吸収 するため，グレー領域は白色部・黒色部どちらとも見なさない領域とし，各領域 の輝度値導出には用いない． 図 3.6 マスク画像 24 図 3.7 カメラ画像 (a) 白色部 (b) 黒色部 図 3.8 マーカ部より抽出された領域 (a) 白色部 (b) 黒色部 図 3.9 映り込み部より抽出された領域 カメラ画像において図 3.7 のような映り込みが観測されるとき，図 3.8 および 図 3.9 に示す画像領域が抽出される．これら 4 つの画像の斜線部の平均輝度値を 25 それぞれ求め，マーカ本体白色部の平均輝度値を w，マーカ本体黒色部の平均輝 度値を b，白色映り込み部の平均輝度値を wr ，黒色映り込み部の平均輝度値 br と し，式 3.11 によりαを計算する． 3.3.2 現実環境に映り込む仮想物体のレンダリング 本研究では，複合現実感における仮想物体の映り込みをアルファブレンディン グを用いて表現する．ブレンディングの流れを図 3.10 に示す. まず，3.2 節によ り求めた映り込み位置に，図 3.10 に示すように反転した仮想物体をテクスチャ バッファに描画する. 次に，生成したテクスチャ画像に 3.3.1 節で求めたα値を与 え，図 3.10 のようなテクスチャを生成する．α値を与える際に，仮想物体色が 白なら 1，黒なら 0 となるように，重み付けして与える．そして，図 3.10 によ うなカメラ画像と生成したテクスチャ画像をブレンディングすることで図 3.10 に示すように床面に映り込んだ仮想物体を表現する． 図 3.10 仮想物体のレンダリングの流れ 26 3.4. 床面の粗さを考慮した映り込み表現 3.4.1 床面の粗さ推定 映り込む床面が粗い場合，光の散乱により床面にはぼけた像が映り込む．その ため，床面の粗さは複合現実感において，違和感の少ない相互反射表現を行う上 で，考慮されるべき問題である．そこで本研究では，床面に映り込むマーカ像の エッジ部分の輝度値の変化幅を解析することで，映り込む面の粗さを推定する．本 手法では，奥村らによって提案されたぼけ推定の手法 [25] を床面に映り込むマー カ像に適用することで推定を行う．図 3.11(a) に示すカメラ画像を例に，具体的な 推定方法を述べる．3.2 節よりマーカが映り込む領域を推定し，粗さ推定領域と して図 3.11(b) に示す領域をカメラ画像より抽出する．図 3.11(b) に示すように， 白色部の映り込み領域の基準点の x 座標を xw ，黒色部の映り込み領域の基準点 の x 座標を xb とする．また，図 3.11(b) 内において，白色部矩形領域内の平均輝 度を Iw ，黒色部矩形領域内の平均輝度を Ib とする． (a) カメラ画像 (b) 粗さ推定領域 図 3.11 入力画像と粗さ推定に使用する領域 xw から xb 方向に画素を走査し，エッジ部分の輝度値の変化幅を導出するが，変 化の始点と終点を判断するために，閾値 thw を式 3.13，閾値 thb を式 3.14 に示す 27 ように計算する．ここで，th は閾値を定めるための補正項とする． thw = Iw − (Iw − Ib ) × th (3.13) thw = (Iw − Ib ) × th + Ib (3.14) xw から xb 方向に画素を走査し，注目画素の輝度値が thw を下回ったとき，その 点の x 座標を x1 として保持する．画素の捜査を続け，注目画素の輝度値が thb を 下回ったとき，その点の x 座標を x2 として保持する．求める床面の粗さを σ と し，式 3.15 により計算する． σ = |x1 − x2| (3.15) 3.4.2 床面の粗さ表現のための仮想物体のレンダリング 本研究では，床面に映り込む仮想物体をぼかすことで床面の粗さを表現する． 3.3.2 節でブレンディングによる映り込み表現について述べたが，ブレンディング を行う前のテクスチャに平滑化フィルタを施すことで，ぼけた仮想物体のレンダ リングを行う．異なるサイズの平滑化フィルタをあらかじめ用意しておき，使用 するフィルタのサイズを，3.4.1 節で求めた σ により決定する． 3.5. 床面に映り込んだ立体マーカの除去 3.3.1 節に示す手法によりα値を推定したとき，αがある値を上回る場合，映り 込みが生じていると判断し，映り込んだマーカ像を除去する．映り込みが生じる 際，床面の色情報は変化するが，3.1 節で述べたように，無彩色のマーカを用い るため，マーカ像の映り込みによる色相値は変化しない．そこで本研究では HSV 表色系において彩度 S および明度 V を補正することで映り込みを除去する． 映り込みによって観測される色情報がどのように変化するかを述べる．青色面 に白色のマーカが映り込むとき，観測される反射成分は 3.1.4 節で述べたように， 拡散反射成分と相互反射成分の線形和となる．図 3.12 に白色光のスペクトル，図 28 3.13 に青色光のスペクトル，図 3.14 に白色光と青色光の合成スペクトルを示す． 図 3.14 より，HSV 値において輝度値を表す V は，映り込みによって増加すると 考えられる．また，彩度 S は色の純度が高いほど数値が高くなるため，図 3.14 の ような場合，S は減少すると考えられる．そこで，本研究では，映り込みの生じ ている領域の S,V 値をその周辺領域の S,V 値に近似することでマーカの映り込み を除去する． శߩᒝߐ 図 3.12 白色光のスペクトル శߩᒝߐ 図 3.13 青色光のスペクトル 29 శߩᒝߐ 図 3.14 白色光，青色光の合成スペクトル 図 3.15(a) に示す映り込みを例に近似方法を述べる．図 3.15(b) に図 3.15(a) 内 のライン上の HSV 値のグラフを示す． (a) 映り込み除去前 (b) 除去前のライン上の HSV 値 図 3.15 映り込み除去前 具体的な処理について図 3.15 のライン上の処理を例に述べる．3.2 節より，マー 30 カ形状が既知であることから図 3.16 内の M1 ，M2 の座標が決まり，これらの座 標を元に図 3.16 内の点 A，B のを座標を決定する．点 A，B それぞれの S，V 値 を図 3.16 に示す矩形領域内の平均値とし，2 点間の S，V 値それぞれの傾きを求 める．求めた点 A，B の S，V 値と傾きにより，AB 間の画素それぞれの S，V 値 を平滑化する．立体マーカのサイズは既知であることから，映り込み領域全体に 対して上記処理を施す．なお，鏡面球の映り込みが生じている領域に関しても同 処理を施す． 図 3.16 映り込み領域拡大図 3.6. 処理の流れ 図 3.17 に処理の流れを示す．キャプチャしたカメラ画像の各フレームにおいて， ARToolKit によりマーカを探索する．マーカが検出されなければ，そのフレーム において仮想物体は視野内に存在しないものと判断し，キャプチャした画像をそ のまま出力する．画像中にマーカが存在する場合，その位置姿勢を計測し，映り 込むマーカ像の位置を推定する．推定された位置より，3.3.1 節の手法で用いる画 像領域を抽出し，床面の反射率αを推定する．α値に閾値を設け，閾値を下回る 31 場合は，床面への映り込みは生じていないものとし，入力画像に重ねて仮想物体 をレンダリングし，出力する．閾値を上回り，映り込みが生じていると判断され た場合，色情報の平滑化により，床面に映り込んだマーカを除去し，入力画像か ら映り込んだマーカが除去された画像をメモリに一時的に保持する．次に，推定 された映り込み位置に対して，求めたα値を適用して仮想物体をレンダリングし， ブレンディングのためのテクスチャ画像を生成する．床面に映り込んだマーカを 除去した画像と生成したテクスチャ画像をブレンディングすることで，床面の反 射率を考慮した仮想物体の映り込みを表現する．最後にブレンディングされた画 像に対して，仮想物体のレンダリングを行い，結果を出力する． 図 3.17 処理の流れ 32 第4章 実験 3 章で提案した各手法について効果を検証するために実験を行う．実験は，単 色面，模様のある面で行い，それぞれの面における効果を検証する．また，提案 手法を統合したインタラクティブなアプリケーションの実装を行う． 4.1. 実験環境 3.1 節で述べた条件に基づき，白色光源，凹凸の無い床面，立体マーカ背後は 一様な黒い面という環境で実験を行う．システムの全体図を図 4.1 に，使用機材 を表 4.1 に示す． 図 4.1 システム全体図 33 表 4.1 使用機材 CPU : Intel Core2 Duo E8400 3.00GHz PC Memory : 2.5GB Graphic Board : NVIDIA GeForce 8600 GTS カメラ Logitech Qcam VGA(640 × 480) 一辺 5cm の立方体 立体マーカ モノクロ印刷した 2 次元コード (一辺 5cm) 直径 7cm の鏡面球 4.2. 単色面における反射率推定と映り込み除去 4.2.1 反射率αの推定 3.3.1 節の手法によって推定される床面の反射率αの有効性を確認する実験を 単色の床平面を用いて行った．推定したα値の効果のみを検証するために，立体 マーカを設置していないシーンを背景画像として保持し，保持した画像に対して 仮想物体のレンダリングを行う．また，仮想物体表面には白黒のチェック柄のテ クスチャを適用し，実際の白黒のマーカの映り込みとの比較により評価する．図 4.2 に，異なる反射率を持つ複数の単色面における実験結果を示す．図 4.2 左に推 定に使用した画像，図 4.2 右に 3.3.2 節で述べた方法により床面に映り込む仮想物 体のブレンディングを行った画像を示す．提案手法により導出されるα値は，図 4.2(a) に示す面では，およそ 0.32，図 4.2(b) に示す面では，およそ 0.42 となった． 単色面において，床面への仮想物体の映り込み表現を違和感無くできているのが 分かる． 34 (a) 青色面 (b) 黒色面 図 4.2 単色面における床面の反射率αを反映した映り込み表現 4.2.2 床面の粗さ σ の推定 3.4.1 節の手法によって推定される床面の粗さ σ の有効性を確認する実験を単 色の床平面を用いて行った．4.2.1 と同じ条件下で，粗い面を持つ床面において実 35 験を行った．提案手法により導出される σ 値は，図 4.3(a) に示す面において，お よそ 45 となり，7 × 7 の平滑化フィルタが選択される．図 4.3(b) に平滑化フィル タを適用していない画像，図 4.3(c) に平滑化フィルタを適用した画像を示す．平 滑化フィルタにより，面の粗さを表現できているのが分かる． (a) カメラ画像 (b) 平滑化フィルタ無 (c) 平滑化フィルタ有 図 4.3 単色面における床面の粗さ σ を考慮した映り込み表現 36 4.2.3 映り込み除去 3.5 節で提案した床面に映り込んだマーカを除去する手法の有効性を確認する 実験を図 3.15(a) に示した単色面で行った．図 4.4(a) に映り込み除去後の画像，図 4.4(b) に図 3.15(a) 内のライン上の HSV 値のグラフを示す．S,V 値の平滑化によ り，床面へのマーカの映り込みを除去できているのが分かる． (a) 映り込み除去後 (b) 除去後のライン上の HSV 値 図 4.4 映り込み除去後 4.3. 模様のある面における反射率推定と映り込み除去 4.3.1 反射率αの推定 4.2.1 節と同様に，模様のある床面において推定される床面の反射率αの有効性 を確認する実験を模様のある床面で行った．α値は，図 4.5(a) に示す面では，お よそ 0.34，図 4.5(b) に示す床面では，およそ 0.24 となった．図 4.5 より，模様の ある床面において，違和感の無い仮想物体の映り込みが表現できていることが分 かる． 37 (a) 模様 1 (b) 模様 2 図 4.5 模様のある床面における床面の反射率αを反映した映り込み表現 4.3.2 床面の粗さ σ の推定 4.2.2 節と同様に，模様のある床面において推定される床面の粗さ σ の有効性 を確認する実験を模様のある床面で行った．図 4.6(a) に示す面では，σ 値はおよ そ 38 となり 5 × 5 の平滑化フィルタを，図 4.6(b) に示す面では，σ 値はおよそ 48 38 となり 9 × 9 の平滑化フィルタを適用している．模様のある床面において，床面 の粗さを判断できていることが分かる． (a) 粗さ小 (b) 粗さ大 図 4.6 模様のある床面における床面の粗さ σ を考慮した映り込み表現 4.3.3 映り込み除去 4.2.3 節と同様に，模様のある面において推床面に映り込んだマーカを除去する 手法の有効性を確認する実験を行った．図 4.7 より，床面の模様を保持した上で 39 マーカの映り込みを除去できていることが分かる． (a) 模様 1 (a) 模様 2 図 4.7 模様のある面における映り込み除去 4.4. インタラクティブなアプリケーションへの応用 複合現実感は，実時間で変化していく実環境と仮想物体を融合することが可 能な技術であり，実時間での実環境と仮想物体の融合が，インテリアデザインや 工場における作業支援など，より快適なアプリケーションの構築を可能にすると 40 考えられる．また，複合現実感の技術が一般レベルまでに普及するには，専門家 による事前準備等が必要のないシステムであり，どのような環境においても適応 可能な可搬性に優れたシステムの構築が必要とされる．そこで本研究では，立体 マーカ，シーンを撮影するためのカメラ，演算処理をするためのラップトップコ ンピュータのみといった比較的簡便なシステム構成でインタラクティブなアプリ ケーションを実装した．なお，表示する仮想物体表面には，佐賀野らの手法を用 いて現実環境の映り込みを表現する．実装の様子を図 4.8 に示す．図 4.8(a) のよ うに，カメラによって撮影されるシーン内に立体マーカを配置する．カメラ画像 より床面への立体マーカの映り込みを除去した画像を図 4.8(b) に示す．図 4.8(c) には，マーカ上の仮想物体のみを重畳表示したものを示す．図 4.8(d) には，マー カ上の仮想物体に加え，床面への反射特性を考慮した仮想物体の映り込み表現を 行ったものを示す． 41 (a) 入力画像 (b) 床面への映り込み除去 (c) 仮想物体への現実環境の映り込み (d) 床面への映り込み 図 4.8 アプリケーション実装の様子 42 第5章 考察 5.1. 反射率推定に関する考察 本研究で提案した床面の反射率αを推定する手法を用いることで，4.2.1 節，4.3.1 節で示した床面において，違和感の無い床面への仮想物体の映り込みを表現でき た．しかし，床面が粗い模様の場合，図 5.1 に示すように，マーカ位置によって 映り込み白色部，黒色部領域内のテクスチャパターンが大きく異なるため，導出 される平均輝度値が安定せず，マーカの局所的な移動によりα値が変動する．安 定してα値を推定するためには，映り込み領域の白色部，黒色部それぞれの領域 にテクスチャパターンが一周期以上含まれている必要があると考えられる． 図 5.1 粗い模様の床面におけるマーカ位置によるα値の変動 43 5.2. 粗さ推定と映り込み除去に関する考察 床面の粗さを推定する手法を用いて，4.2.2 節，4.3.2 節で示した床面において， 床面の粗さを考慮した映り込みを表現できた．また，床面に映り込んだ立体マー カを除去する手法を用いることで，4.2.3 節，4.3.3 節で示した床面において，2 次 元コード部分の映り込みに関しては除去できた．しかし，鏡面球の映り込んでい る領域の一部においては後で言う色の変化が起こり不自然な除去結果となった． これは，鏡面球に映り込んだ一次光源の鏡面反射成分により床面の一部に強いハ イライトが生じ，床面の元の色相値が取得できなかったためと考えられる．また， 特定の模様の床面で，粗さ推定，映り込み除去において不自然な結果が得られた． 例として，図 5.2 に示す床面をあげる．映り込みの生じていないときの画像を図 5.3(a) に，映り込みが生じているときの画像を図 5.3(b) に，それぞれの画像中の ライン上の色情報のグラフを図 5.3(c)(d) に，除去後のグラフを図 5.3 に示す．こ れら３つのグラフより，床面の模様による S，V 値の変化と映り込みによる S，V 値の変化を区別無く補正しているため，模様が保存されないと考えられる．粗さ 推定に関しても，輝度値 V を利用しているため，映り込みによる V 値の変化と 床面の模様による V 値の変化の区別ができていないことが原因と考えられる． 44 (a) カメラ画像 (b) 映り込み除去後 図 5.2 不自然な映り込みの除去 (a) 映り込み無 (b) 映り込み有 (b) 映り込み除去後 (c) 映り込み無 (d) 映り込み有 (e) 映り込み除去後 図 5.3 映り込みによる色情報の変化と除去後の色情報 45 第6章 結論 本論文では，複合現実感において視覚的に違和感のない現実環境と仮想物体と の相互反射表現を行うために，立体マーカの映り込みによる床面の輝度の変化を カメラ画像より抽出し床面の反射率を推定する手法，床面の映り込み領域におけ るエッジの輝度の変化幅ををカメラ画像より抽出し床面の粗さを推定する手法， HSV 表色系における S，V 値の平滑化によりマーカの映り込みを除去する手法を 提案し，アプリケーションを実装した． 提案手法が違和感なく相互反射を表現できるか確認するために実験を行った． 実験結果より，提案手法は反射率の異なる床面において反射率を推定し，違和感 のない仮想物体の映り込みを表現できることが示された．しかしながら，床面の 模様が粗い場合，安定した反射率の推定が行えないことがあった．また，異なる 粗さの床面において床面の粗さを推定し，映り込む仮想物体をぼかすことで床面 の粗さ考慮した映り込み表現ができた．提案手法を用いて，単色面および模様の ある面において，HSV 表色系での S，V 値を平滑化することにより床面へのマー カの映り込みを除去できたが，床面の模様が S，V 値の変化によるものである場 合，映り込み除去後の画像において模様が保存されないことがあった．さらに， 提案手法と佐賀野らの手法を統合し，立体マーカと鏡面球とカメラとラップトッ プコンピュータのみで構成される簡便なシステム構成によるインタラクティブな アプリケーションを構築した．実験結果より，幾何学的整合性，光学的整合性， 時間的整合性を同時に満たし，違和感の少ない相互反射表現を実現できているこ とを確認した． 今後は，映り込む床面のテクスチャパターンの解析や映り込み周辺領域の情報 の利用による，複雑な模様の床面における映り込み除去が望まれる． 本手法により，複合現実感において人間の視覚とずれの少ない表現を行い，イ 46 ンテリアシミュレーションなどにおいて写実的な表現が必要とされる場面での応 用が期待される．インテリアデザインへの応用だけでなく，店頭で写実的な仮想 物体を表現することにより，展示スペース，コストの削減へとつながり，インタ ネットショッピングなど幅広く応用されることを願う． 47 謝辞 本研究の機会を与えてくださり，またその遂行において貴重な御指導，御鞭撻 をいただきました情報科学研究科像情報処理学講座 千原國宏教授に深く感謝の 意を表します．副指導教官として貴重な御助言をいただきましたインタラクティ ブメディア設計学講座 加藤博一教授に深く感謝いたします．本研究の問題設定の 段階より本論文を執筆するに至るまで，多岐にわたり的確で本質的な御指導，御 助言をいただきました像情報処理学講座 眞鍋佳嗣准教授に心より御礼申し上げ ます．ミーティングや発表練習において数多くの御助言，御検討をいただきまし た像情報処理学講座 井村誠孝助教，池田聖助教に深く感謝いたします．本研究を 遂行するにあたり多くの貴重な御助言，御検討をいただきました神戸大学学術情 報基盤センター 佐々木博史助教，像情報処理学講座 浦西友樹研究員に深く感謝 いたします．研究室での研究活動の際に，有益なご助言をいただきました東京都 老人総合研究所 坂田宗之研究員，像情報処理額講座 桐島俊之研究員に深く感謝 いたします．日頃より研究活動を様々な形で御支援，御協力いただきました像情 報処理学講座 山田真絵秘書に深く感謝いたします．研究活動や日常生活において 多くの御協力をいただきました像情報処理学講座博士後期課程および前期課程の みなさま，そして諸先輩に深く感謝いたします． 48 参考文献 [1] 安室喜弘, 石川悠, 井村誠孝, 南広一, 眞鍋佳嗣, 千原國宏. 立体マーカを用い た実空間における仮想物体の調和的表現∼インタラクティブ MR インテリア デザイン∼. 映像情報メディア学会, Vol.57, No.10, pp.1307-1313, 2003. [2] 佐賀野正行，安室喜弘, 眞鍋佳嗣, 千原國宏. 鏡面球を用いた複合現実感にお ける映り込みと質感表現. 映像情報メディア学会 2006 年冬季大会講演予稿集， pp.6-7, 2006. [3] S.R.Marschner and D.P.Greenberg. Inverse Lighting for Photography. IS&T/SID Fifth Color Imaging Conference, pp.262-265, 1997. [4] I.Sato, Y.Sato and K.Ikeuchi. Illumination from Shadows. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 25, No. 3, pp.290-300, 2003. [5] P.Debevec. Rendering Synthetic Objects into Real Scenes: Bridging Traditional and Image-based Graphics with Global Illumination and High Dynamic Range Photography. International Conference on Computer Graphics and Interactive Techniques, pp.189-198, 1998. [6] M.W.Powell, S.Sarkar and D.Goldgof. A Simple Strategy for Calibrating the Geometry of Light Sources. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.23, No.9, pp.1022-1027, 2001. [7] I.Sato, Y.Sato and K.Ikeuchi. Acquiring a Radiance Distribution to Superimpose Virtual Objects onto a Real Scene. IEEE Transactions on Visualization and Computer Graphics, Vol.5, No.1, pp.1-12, 1999. 49 [8] M.Kanbara and N.Yokoya. Real-time estimation of light source environment for photorealistic augmented reality. Proc.of 17th International Conference on Pattern Recognition, Vol.2, pp.911-914, 2004. [9] S.Gibson, J.Cook, T.Howard and R.Hubboldy. Rapid Shadow Generation in Real-World Lighting Environments. Eurographics Symposium on Rendering, pp.219-229, 2003. [10] 神原誠之, 横矢直和. 現実環境の照明条件と奥行きの実時間推定による仮想物 体の陰影表現が可能な拡張現実感. 画像の認識・理解シンポジウム (MIRU2004) 講演論文集, pp.247-252, 2004. [11] J.Blinn and M.Newell. Texture and Reflection in Computer Generated Images. Communications of the ACM(SIGGRAPH ’76 Proceedings), pp.542-546, 1976. [12] J.F.Blinn and M.E.Newell. Texture and Refection in Computer Generated Images. CommunicationsoftheACM, Vol.19, No.10, pp.542-547, 1976. [13] J.D.Foley, A.V.Sam, S.K.Feiner and J.F.Hughes. Computer Graph- ics:Principles and Practice(Second Edition in C), Addison-Wesley Pub, 1990. [14] B.T.Phong. Illumination for Computer Generated Pictures. Communications of the ACM, Vol.18, No.6, pp.311-317, 1975. [15] K.E.Torrance and E.M.Sparrow. Theory for Off-specular Refection from Roughened Surfaces. Journal of the Optical Society of America, Vol.57, No.9, pp.1105-1114, 1967. [16] G.S.Miller and R.C.Hoffman. Illumination and Refection Maps: Simulated Objects in Simulated and Real Environments. SIGGRAPH’84 Course Notes for Advances Computer Graphics Animation, 1984. 50 [17] W.Heidrich and H.P.Seidel. Realistic,Hardware-accelerated Shading and Lighting. International Conference on Computer Graphics and Interactive Techniques, pp.171-178, 1999. [18] J.Kautz, P.P.Vazquez, W.Heidrich and H.P.Seidel. A Unified Approach to Prefiltered Environment Maps. Eurographics Workshop on Rendering Techniques 2000, pp.185-196, 2000. [19] S.Siltanen. Texture Generation over the Marker Area, Proc.of ISMAR2006, pp.253-254, 2006. [20] 安室喜弘, 平松和洋, 冬木正彦. AR・MR 表示のための可視マーカ部のテクス チャ補填. 第 52 回システム制御情報学会研究発表会講演会論文集, pp.743-744, 2008. [21] R.Klette, K.Schluns and A.Koschan. Computer vision. Springer-Verlag, 1998. [22] S.A.Shafer. Using color to separate refection components. Color Research and Application, Vol.10, pp.210-218, 1985. [23] G.J.Klinler, S.A.Shafer and T.Kanade. The measurement of highlights in color images. International Journal of Computer Vision, Vol.2, pp.7-32, 1990. [24] H.Kato, M.Billinghurst, I.Poupyrev, K.Imamoto and K.Tachibana. Virtual Object Manipulation on a Tabletop AR Environment. Augmented Reality, 2000. (ISAR 2000). Proceedings. IEEE and ACM International Symposium on, pp.111-119, 2000. [25] 奥村文洋, 神原誠之，横矢直和．拡張現実感のための実画像のぼけ推定に基 づく実時間画像合成. 電子情報通信学会，Vol.105, pp.55-60, 2005. 51