Comments
Description
Transcript
3次元モデルからの インテグラル立体像への変換手法
研究発表 １ ３次元モデルからの インテグラル立体像への変換手法 片山美和 A Method for Converting 3 D Models into Integral Three−dimensional Images Miwa KATAYAMA ABSTRACT We are investigating how to convert 3 D models into elemental images of integral three dimensional images. A display system of integral photography consists of a highresolution liquidcrystal panel and a lens array. The ray tracing method is used to convert 3D models into elemental images. This conversion has two problems. One is degradation from aliasing, and the other is calculation cost. To suppress the aliasing of elemental images, two types of filter can be used. Orthogonal projection enables the conversion process to be accelerated. Motion picture sequences are reconstructed as elemental images. In this paper, we discuss the method for converting 3D models into elemental images and report on an experiment. １．はじめに ることが特徴である。 大手メーカーによる立体テレビの発売あるいは有料 インテグラル立体方式の基本的な性能を検証するた 放送事業者などによる立体映像サービスの開始など， めには，さまざまな被写体の立体像が必要である。こ 近年，立体映像に対する関心が高まっている。これら れらの立体像はインテグラル立体方式専用のカメラを の立体映像は，主に，専用の眼鏡を必要とする２眼式 用いて撮影するが，被写体が大きく，専用カメラで撮 の立体映像である。将来の立体映像システムとしては， 影できない場合や画角などの関係で希望の構図で撮影 眼鏡が不要で，長時間鑑賞しても目が疲れない，目に することが困難な場合がある。そこで，多視点映像を 優しいシステムの実現が望まれる。その有力な候補の 基に３次元モデルを生成し，その３次元モデルをイン １） １つが当所で開発を進めているインテグラル立体方式 テグラル立体像に変換する手法を開発した２）。３次元モ である。この方式はスーパーハイビジョンなどの超高 デルを利用することで，被写体の配置や構図などを自 精細映像技術とレンズアレーなどの光学技術を融合し 由に設定できるので，専用のカメラでの撮影が困難で た方式であり，表示装置で被写体の空間像を再構成す あったシーンのインテグラル立体像を生成し表示する 4 NHK技研 R&D/No.128/2011.7 撮影系 レンズアレー 液晶ディスプレー 表示系 要素レンズ レンズアレー カメラ 観察者 再生立体像 被写体 要素レンズ 要素画像 表示 インテグラル画像 １図 インテグラル立体の撮像系と表示系 ことが可能になる。本稿では，提案手法を用いて立体 動画コンテンツを制作し，その有効性を確認した。ま ず，光線追跡法を用いた基本的な変換手法について説 明する。次に，レンズアレーや表示画素の構造に起因 設置されたカメラ ひず するエイリアジング（折り返し歪み）を抑制するフィ ルター処理および変換処理の高速化などについて述べ る。 ２．インテグラル立体方式 インテグラル立体方式の撮像系と表示系を１図に示 す。撮像系では微小レンズを密に配置したレンズアレー を通して被写体をカメラで撮影する。アレーを構成す ２図 カメラドーム る微小レンズを要素レンズという。各要素レンズには それぞれ小さな像が映っており，小さな像が要素レン 像の画素値を基に内挿して求める。３次元モデルの形 ズの数だけ密に並んでいる。この小さな像を要素画像， 状と色情報をカメラ映像から作成するので，一般的な 要素画像の集合をインテグラル画像といい，カメラで ３次元CGとは異なり，しわなどの素材感や柔らかい物 インテグラル画像を撮影する。表示側ではディスプレー 体の動きなどを自然に表現することができる。 にインテグラル画像を表示し，レンズアレーを通して ３次元モデルの形状を求めるために，24台∼40台の 見る。レンズアレーを通すことで，撮影時の光線が再 カメラを用いる。まず，各カメラの撮影画像から人物 現され立体像が観察できる。 のシルエット領域を抽出して，３次元形状の概形を計 算する。次に，概形情報を基に詳細な形状を求める。 ３．３次元モデル ３） ３次元モデル とは被写体の立体的な形状情報と色情 報を持つ３次元データである。人物を取り囲むように 色情報は撮影画像から，モデルの形状を表す三角パッ チの頂点にRGB値を与えて決定する。今回使用するモ デルは能の演者のモデル３）である。 配置した複数のカメラを用いて同期撮像し，その映像 ３次元モデルを生成すると，カメラの置かれていな から人の３次元モデルを生成する（２図） 。３次元モデ い位置から見た映像も生成することができる。また，３ ルの形状を頂点で表し，近接する３頂点で形成される 次元モデルを時系列に連続再生することで，人の動き 三角パッチでその表面を表現する。３次元モデルの色 を動画再生することも可能である。３次元モデルを３ 情報は三角パッチの３頂点にマッピングされた撮影画 視点から観察した例を３図に示す。 NHK技研 R&D/No.128/2011.7 5 研究発表 １ （a） 視点位置左 （b） 視点位置中央 （c） 視点位置右 きゅうこう 協力 （社） 観世九皐会 ３図 3次元モデル レンズアレー ディスプレー レンズアレー ディスプレー面 レンズ中心 仮想カメラ 3 次元モデル の表面 ｚ 要素画像 A 単位ベクトル 求めようとする 画素位置 焦点距離 （a）正面図 ｙ 仮想カメラまでの距離 （b）側面図 ４図 表示系 ３次元モデルのデータ形式は通常の３次元CGと同じ ■画素を計算 １画素ずつ求める。要素画像Aに含まれる■ データ形式で，三角パッチの頂点座標，頂点接続情報， ■画素から発する 対象画素とする。光線追跡法では，■ 色情報で構成される。被写体の配置や大きさを変え， ■画素の値を求める。■ ■画 光線の逆の経路をたどり，■ 背景の３次元CGと組み合わせることで自然な合成表示 素から発した光は要素画像Aに対応する要素レンズの中 も可能である。 ■画素からレンズ中心 心を通る光線を形成するので，■ を向く単位ベクトルを求める。単位ベクトルの延長線 ４．３次元モデルからインテグラル立体像への 変換 上で，レンズアレー面から一定距離だけ離れた位置に 4.1 仮想カメラによる撮影 て撮影する。仮想カメラの中心で撮影される３次元モ ３次元モデルをインテグラル立体像へ変換する手法 ■画素の方向に向け 仮想カメラを置き，仮想カメラを■ デルの表面の の画素の値を■ ■画素の画素値とする。 を４図を用いて説明する。被写体から出た光線の一部 これをすべての表示画素で行うことで，インテグラル がレンズ中心を通り観察者の目（仮想カメラ）に届く 画像を生成する。 経路をたどるように光線追跡を行う。４図（a）は表示 ３次元モデルから変換された要素画像を５図に示す。 系を正面から見た図である。レンズアレーの各レンズ ５図（a）はインテグラル画像であり，レンズアレーの の水平方向の並びは１列おきにレンズの半径分だけず レンズ配置に応じて要素画像が並んでいる。その一部 れており，隙間が少なく密度の高い配置である。４図 を拡大した図を５図（b）に示す。作成した要素画像を （b）は表示系と仮想カメラを横から見た図である。レ 使って立体表示した結果，３次元モデルを配置した位 ンズアレーをディスプレー面から焦点距離だけ離して 置に立体像が結像し，再構成されることが確認できた。 設置する。４図（b）はレンズアレーと仮想カメラの間 4.2 高画質化のためのフィルター処理 に３次元モデルが存在する場合を示している。仮想カ インテグラル立体方式では，要素レンズの間隔やディ メラをレンズアレーから離れた位置に置くことによっ スプレーの画素ピッチで被写体の解像度が決まる。要 て，レンズアレーから手前に飛び出した立体像も再生 素レンズの間隔や画素ピッチで決まるナイキスト周波 可能になる。 数以上の空間周波数を持つ立体像は高域成分を除去し 光線追跡法を用いて，ディスプレー面の画素の値を 6 NHK技研 R&D/No.128/2011.7 なければエイリアジングを生じる４）。4.1節で述べた手法 （a） インテグラル画像 （b）要素画像の拡大表示 ５図 生成した要素画像 フィルター適用範囲 レンズアレー レンズ中心 3 次元 ｘ オブジェクト 視点 表面 レンズ中心 ｙ （a）レンズ中心における光線のサンプリング （b）レンズアレーに起因するエイリアジングを 抑制するためのフィルター ６図 レンズアレーに起因するエイリアジングを抑制するためのフィルター で３次元モデルをインテグラル立体へ変換して表示し た結果，エイリアジングが原因と考えられる孤立点の ようなノイズが観測された。特に，視点を移動した場 4.2.2 表示画素に起因するエイリアジング抑制フィル ター 要素画像はレンズアレーのレンズにより結像した画 合に，孤立点のノイズがちらついて観測された。また， 像であり，要素画像にエイリアジングが生じると立体 結像位置がディスプレーから手前または奥に離れた場 像に画質劣化が生じる。要素画像のサンプリング間隔 合には像の鮮明度が下がった。立体画像のこれらの劣 は７図（a）に示すように表示画素間隔になるので，表 化を抑制する手法として，以下の２種類のフィルター 示画素の大きさに相当する領域で平均値をとって，エ を適用することとした。 イリアジングを抑制する。そのために，表示画素を分 4.2.1 レンズアレーに起因するエイリアジング抑制 割する。例として表示画素を３×３の９点に分割した フィルター レンズアレーを通して被写体を観察する場合の光線 は６図（a）のようになる。レンズ中心を通過する光線 様子を７図（b）に示す。９点の分割画素の画素中心に おける画素値を求めた後，それらの平均値を求め，そ れを表示画素の値とする。 は目に入り，レンズ中心を通過しない光線は遮られて 目に入らない。つまり，被写体からの光線はレンズ中 ５．考察 心でサンプリングされる。このサンプリングによって 5.1 フィルターの効果 エイリアジングが発生し，画質が劣化する。このエイ フィルターを適用した場合と適用しない場合の立体 リアジングを抑制するために，仮想カメラで撮影した 映像の画質を比較した。８図に示すように，結像位置 画像の中心からレンズの半径に対応する範囲の画素値 （立体像の位置）をレンズアレーの前方15cm，レンズア の平均値を求める５）。すなわち，６図（b）に示すよう レー上，レンズアレーの後方15cmの３種類とした。イ に，レンズ中心を含むひし形の領域内での平均値を求 ンテグラル立体表示装置で表示した立体像をデジタル め，それをレンズ中心を通過する画素の画素値とする。 カメラで再撮した結果を９図に示す。能演者の輪郭や NHK技研 R&D/No.128/2011.7 7 研究発表 １ ディスプレー面の画素構造 要素画像の表示画素 画素中心 レンズ中心 x 立体像 元の画素中心 画素 y 分割により追加 された画素中心 (a) 画素構造に起因する光線のサンプリング (b) 画素分割による平均化 ７図 表示画素に起因するエイリアジングを抑制するためのフィルター レンズアレー 仮想カメラ 15cm 15cm 200cm ８図 立体像の結像位置 結像位置 フィルター処理 前方15ｃｍ レンズアレー面上 後方15ｃｍ レンズアレー用 ／表示画素用 OFF/OFF OFF/ON ON/OFF ON/ON ９図 フィルターを適用した立体像の再撮 8 NHK技研 R&D/No.128/2011.7 装束の細かな模様の領域でざらついて見えるのがエイ レンズアレーとディスプレー リアジングによる画質劣化である。立体像の結像位置 がレンズアレー上の場合には，レンズアレーに起因す フレームメモリー るエイリアジング抑制フィルターで劣化が低減できて いる。また，２つのフィルターを用いることで，立体 像の結像位置によらず，エイリアジングを抑制できる ことが確認できた。 5.2 変換処理の高速化 5.2.1 正射影手法を適用することによる高速化 10図 インテグラル立体動画表示システム インテグラル立体像を生成する際には，仮想カメラ による３次元モデルの撮影（表示画素値の算出）に最 も時間を要する。これまでは４図に示すように１つの 次元CGで作成した能舞台背景とを合成し，インテグラ 表示画素の値を求めるたびに，３次元モデルを１回ず ル立体像へ変換した６）。10図に示すように，3,840 2,400 つ撮影していたが，レンズ中心から相対座標が同じ位 画素のモニターにフレームメモリーを用いて動画再生 置では，すべてのレンズで光線の向きが平行になるの した結果，人物・背景共に劣化の少ない立体像が表示 で，正射影手法 ＊１ を用いて一括して撮影することとし た。全体の撮影回数は１つの要素画像に含まれる画素 でき，視点を移動したときにおいても立体像は自然に 変化して見えることを確認した。 数と等しくなり，インテグラル立体像の生成を大幅に 高速化することができた。 5.2.2 GPU処理による高速化 ６．まとめ ３次元モデルからインテグラル立体像へ変換する手 4.2節で述べた画質劣化抑制の演算処理をCPUではな 法を提案し，立体視により効果を確認した。また，エ く，高速のGPU（Graphics Processing Unit）で演算す イリアジングによる画質劣化を抑制するために，２種 るようにした。これにより３次元モデル１体を1,024 類のフィルター処理を導入し，有効であることを示し 768画素のモニターでインテグラル立体として表示しな た。 がら，マウスなどの操作により視点位置を実時間で変 今後，人の３次元モデルだけではなく，カメラ画像 更することが可能となった。 から背景もインテグラル立体像へ変換する検討を行う。 5.3 動画コンテンツの生成 また，多様なコンテンツを作成し，将来のテレビとし 画質劣化抑制，高速化手法を用いて3,840 2,400画素 のインテグラル立体像の動画コンテンツの生成を行っ た。10フレーム/sで生成した能演者の３次元モデルと３ てインテグラル立体像に求められる特性を検証する予 定である。 本研究の一部は，独立行政法人情報通信研究機構か らの委託研究「革新的三次元映像技術による超臨場感 ＊１ 平行に進む光線を光線方向と垂直な平面に投影する手法。 コミュニケーション技術の研究開発」の中で実施した。 NHK技研 R&D/No.128/2011.7 9 研究発表 １ 参考文献 1）洗井，河北，佐々木，日浦，三浦，奥井，山下，三谷，岡野，配野，吉村，古屋，佐藤： “フル解像度スーパーハイビジョ ンを用いたインテグラル立体テレビ， ”映情学技報，Vol.33（42） ，pp.58（2009） 2）M. Katayama and Y. Iwadate： “A Method for Converting Threedimensional Models into Autostereoscopic Images Based on Integral Photography， ”Proc. of SPIE（2008） 3）冨山，折原，片山，岩舘： “表示視点に依存した3次元動オブジェクトへの面テクスチャマッピング手法， ”情処学研資， CVIM, Vol.91, pp.1724（2004） 4）H. Hoshino, F. Okano, H. Isono and I. Yuyama： “Analysis of Resolution Limitation of Integral Photography， ”J. Opt. Soc. Am. A, Vol.15, No.8（1998） 5）片山，岩舘： “3次元モデルからインテグラル・フォトグラフィ立体像への変換手法の検討， ”映情学技報，Vol.32（44） ， pp.1720（2008） 6）片山，岩舘： “3次元モデルからのインテグラル立体像生成の高速化と高画質化， ”映情学年次大，Vol.124（2010） 7）M. Katayama, Y. Iwadate, K. Tomiyama and H. Imaizumi： “A System for Generating Arbitrary Viewpoint Images， ” Proc. of SPIE, Vol.4864, pp.202210（2002） かたやま み わ 片山美和 1995年入局。同年から放送技術研究所にて ３次元映像情報の取得や符号化の研究に従 事。現在，放送技術研究所テレビ方式研究部 専任研究員。博士（工学） 。 10 NHK技研 R&D/No.128/2011.7