Comments
Description
Transcript
光線空間法に適した画像のキャッシング
NII Journal No.1 (2000.12) 研究論文 光線空間法に適した画像のキャッシング Image Caching for Light Field Rendering 後藤田 洋伸 国立情報学研究所 Hironobu GOTODA National Institute of Informatics 要旨 光線空間法は、実写ベースのレンダリング手法の一種である。あるシーンをレンダリングするとき、この方法で は、予め計算しておいた放射輝度データを組み合わせることにより、特定の視点に対応した画像（ビュー）を生 成する。放射輝度データは、4 次元のスカラー場をなしている。レンダリング、すなわちビューの生成は、この 4 次元場から 2 次元場を抽出する作業に帰着される。 光線空間法は、写実的なビューの生成を可能にする一方、膨大な量のデータを必要とする。生成されるビューの 解像度にも依存するが、4 次元場の大きさが数ギガバイトに及ぶことも少なくない。このため、メモリ容量の小さ いコンピュータ上での実装は困難である。また、ネットワークベースのアプリケーション (VRML など ) へ組み込 む際にも、こうしたデータ量の多さが障害となっている。 本稿では、光線空間法に適した画像のキャッシング手法を提案する。これにより、ネットワーク環境下での光線 空間法の利用を可能にする。この方法は、既に生成に転送された画像を再利用し、新たに転送される画像を予測 するという考えに基づいている。視点を連続的に動かしたり、ズーム倍率を連続的に変動させたりする場合、一 度転送した画像が再度参照されることが多い。こうした性質を利用しながら、新たに必要とされるデータの圧縮 を図る。 ABSTRACT Light field rendering is a variation of image-based rendering that generates a view of a scene corresponding to an arbitrary viewpoint by composing a set of precomputed radiance data. The radiance data form a 4D scalar field, from which a 2D image is extracted as the output of the rendering. Although light field rendering can generate very realistic images, it requires a vast amount of radiance data. Depending on the resolution of the output image, the size of the data will become several giga bytes or more. This certainly limits the domains where the light field rendering is applicable. For example, it is difficult to implement it on small computers that do not have enough memory, or to incorporate it into network-based applications like VRML. This paper proposes an image caching method appropriate for light field rendering. The method enables us to use the light field rendering in an networked interactive graphics environment. By caching the previously transmitted images, it becomes possible to reuse them for predicting the forthcoming images. When the viewpoint is moving continuously, some portion of the 4D field will be repeatedly referred to in the rendering task. The proposed caching method takes advantage of this property to reduce the amount of data to be newly transmitted. [ キーワード ] 実写ベースのレンダリング、データ圧縮、レンダリングサーバ、仮想現実 [Keywords] image-based rendering, data compression, endering server, virtual reality 33 光線空間法に適した画像のキャッシング 1. はじめに はじめに の総転送量を減らすことも考えられる。 ここ数年、実写ベースのレンダリング手法 (Image 本稿では、光線空間法に適した画像のキャッシング手 based rendering) が、注目を集めている [11]。これは、コ 法を提案する。この手法は、高性能のコンピュータを ンピュータグラフィクスの一手法で、複数の画像を基 レンダリングサーバ (rendering server) として利用し、レ にして、任意の視点に対する画像（ビュー）を生成す ンダリングサーバが生成する画像を小型のコンピュー るというものである。実写ベースのレンダリング手法 タ（クライアント）で受信し表示するという枠組みの は、従来から使われてきた幾何モデルに基づくレンダ 中で、特に効果を発揮する。クライアントでは、レン リング手法よりも、より手軽に画像を生成することが ダリングサーバから送られてくる画像データをキャッ できる。また、カメラやビデオで撮影した画像／映像 シングし、それに基づいてビューを部分的に生成する。 を取り込んで利用することもでき、より写実的な画像 こうすることにより、サーバからは、クライアントで の生成が可能である。 生成された部分的なビューと完全なビューとの差分だ 光線空間法 (light field rendering) は、実写ベースのレ けを、送信すればよいことになり、サーバ／クライア ンダリング手法の一種である [6,9]。この方法は、 「シー ント間のデータ転送量を削減するのに貢献する。 ンの中を飛び交う光線を、予め全て計算するなり計測 2. 関連研究 関連研究 するなりしておけば、画像を生成するときには、それ らの光線の中から視点に飛込んでくるものを取り出し 実写ベースのレンダリングは、伝統的な幾何モデルに て、投影面上に並べるだけでよい」という考え方に基 基づくレンダリングに代わる手法として、注目される づいている。ここで言う光線とは、物体や環境から放 ようになってきた。伝統的なレンダリングでは、物体 出される放射輝度データを指す。遮蔽物のない状況で の形状を多角形等で近似し、これに照光処理や透視変 は、放射輝度データは、4 次元のスカラー場を使って記 換等を施して、ビューの生成を行なう。一方、実写ベー 述できることが知られている。光線空間法は、こうし スのレンダリングでは、 「形状」のような三次元的な情 た 4 次元場から 2 次元場を切り出し、ビューとして出 報を利用するのではなく、いくつかの視点から眺めた 力する。 ときに得られる「画像」を基にして、レンダリングを 光線空間法は、いろいろな実写ベースのレンダリング 行なう。ビューを生成するときの視点位置や視線方向 手法の中でも、特に写実的な画像の生成が可能なこと に、どのような任意性を持たせるかによって、色々な で知られている。その反面、レンダリングに膨大な量 レンダリング法が提案されている。視点は固定するも の放射輝度データを必要とする。出力するべき画像の のの視線の回転は許すものや [3]、決められたパスに 解像度にも依存するが、放射輝度データの量が数ギガ 沿った視点の移動を許すものなど [2]、様々である。光 バイトにも及ぶことも珍しくない。これだけの量の 線空間法は、視点位置や視線方向に完全な任意性を与 データを、予め計算しておいたり蓄えたりしておくこ えるもので、物体をあらゆる角度から眺めたときに得 とは、PC 等の小型のコンピュータでは困難である。ま られる画像を基にする。これは、空間内に飛び交う光 た、レンダリングの際に、これらのデータを一度に処 （放射輝度）を、全てデータとして記録することに相当 理しなければならないため、相当のメモリ容量を持つ する。 光線空間法 [6,9] は、様々なレンダリング手法の中で コンピュータが要求される。 ネットワーク・アプリケーション（VRML など）に も、アルゴリズムの複雑さという観点からは、最も簡 おける光線空間法の利用となると、状況はさらに深刻 単な部類に属する。他のレンダリング手法が、何らか である。ネットワークの帯域幅は、一般には数 Kbps ～ の計算を通して輝度情報を生成するのに対して、光線 数 Mbps 程度であり、GB 単位のデータの転送には向い 空間法は、既にあるデータの中から必要な輝度情報を ていない。とはいえ、数 GB もある放射輝度データのう 探し出し平面上に並べることにより、画像を生成する。 ち、ある特定の視点に対応したビューの生成に関与す このため、光線空間法では、膨大なデータを予め用意 るのは、ほんの僅かに過ぎないため、全てをまとめて しておく必要がある。Levoy と Hanrahan は、こうした 一度に転送してしまうのは、実はあまり得策ではない。 データに対して、ベクトル量子化と Lempel-Ziv 符号化 むしろデータを少しずつ分けて転送し、一旦転送され に基づく圧縮法を適用し、100 分の１ 程度にデータを たデータをできる限り再利用することにより、データ 圧縮することに成功した [9]。しかし、その後は、こう 34 NII Journal No.1 (2000.12) した圧縮技術の研究報告はなされておらず、まだ色々 な工夫を凝らす余地が残されているように思われる。 これまでのところ、光線空間法の活用形態は、レンダ リングと表示とを、同一のコンピュータで行なうとい うものに限られている。しかし、レンダリングには、膨 大なデータの処理が伴うため、大容量メモリを搭載し た高性能コンピュータが必要である。そこで、レンダ リングを専用にこなすサーバ機を設置し、レンダリン グ結果の表示を普通のコンピュータで行なうという、 いわゆるサーバ／クライアント形態での活用も考えら れる。レンダリングサーバという考え方は、取り立て て新しいものではなく、幾何モデルに基づくレンダリ 図 1: 立方体を利用した光線のパラメータ化 ングの場合には、いろいろな検討がなされている [10]。 サーバとクライアントとが、協調動作することにより、 の境界面と、どこかで交差する。従って、境界面上の 両者の間でやり取りされるデータ量を軽減するアプ 全ての点において、そこを通過する光線を記録してお ローチも提案されている [8]。 けば、全ての光線をデータ化できる。 サーバからクライアントに送信されるデータを、画像 例えば、球の内部にある物体を、光線空間法を用いて ストリームと見なせば、動画圧縮技術がここに適用で レンダリングすることを考えてみよう。この場合、物 きる。MPEG 規格を用いることにすると、圧縮、伸長 体から放射される光線や、物体で反射する光線を、球 の双方に、専用ハードウエアを活用することもできる 面上で捉え、データとして記録する。これは、球面上 [7]。一方、表示解像度を動的にコントロールするので の全ての点において、物体がどのような画像として見 あれば、四分木コーディングに基づく方法が有効であ えるのかを、記録しておくことに相当する。球面上に る [5]。これらのアプローチは、短い時間間隔の中での 配置された視点には、位置として二次元の自由度 ( これ フレーム相関は考慮するものの、一度転送したデータ を (u,v) と表す ) があり、視線方向として二次元の自由 をキャッシングしたり再利用したりする機能はないた 度 ( これを (θ,φ) と表す ) がある。従って、球面を通 め、同じシーンを繰り返し眺める場合でも、データの 過する光線は、(u,v,θ,φ) の四つのパラメータに依存す 転送はその都度必要となる。また、二次元的な画像ス る関数となる。光線の輝度情報は、RGBα などのスカ トリームとして見做す方法では、三次元空間構造に由 ラー値として表すことができる。従って、放射輝度デー 来する性質 ( 例えば、 「角度によって見え方が変わる」 タは、4 次元のスカラー場をなす。以上の議論は、球面 といったことなど ) を利用するのは難しい。 の外部にある物体に対しても同様に適用される。 本稿では、サーバとクライアントとが協調して動作す 空間を区切る境界面として球面を使うのは、事象の対 ることにより、両者の間で転送されるデータ量を削減 称性を考慮した自然な考え方ではある。しかし、実際 するというアプローチを、光線空間法の場合に拡張す 問題としては、レンダリングの際に、三角関数を数多 ることを目指す。これにより、光線空間法を用いた分 く評価しなければならないなど、不都合な面が多い。そ 散レンダリング環境を構築することが可能となる。本 こで、球面の代わりに、立方体を使う方法が提案され 稿で提案する方法は、こうしたネットワーク環境下で ている [6,9]。この場合、任意の光線は、二つの面を必 特に効果を発揮するものだが、単一コンピュータ上で ず通過することになる。各々の面において、通過点の 放射輝度データそのものを圧縮する技術としても、利 座標をそれぞれ (u,v)、(s,t) とすると、これらの面を通過 用可能である。 する光線は L (u,v,s,t) と表記できる ( 図 1)。立方体に基 づく表現では、レンダリングの際に、グラフィクスハー 3. 光線空間法 ドウエアの持つテクスチャマッピング機能を活用でき ることが、知られている [9]。 光線空間法 [6,9 ] は、ある決められた空間の中を通過 する光線を、全てデータとして記録しておくという考 境界面が立方体で、そこを通過する光線が、L (u,v,s,t) え方に基づいている。空間内を通過する光線は、空間 のように表記されているものとしよう。境界面上に視 35 光線空間法に適した画像のキャッシング 点 (u0,v0) がある場合には、そこから眺めたときに得ら れるビューは、L (u0,v0,s,t) を、カメラのズーム倍率に合 わせて適当に拡大縮小したものである。視点が境界面 上にはなく、三次元空間中の任意の位置にある場合に は、まず全ての光線の中から、その点を通過する光線 を検索する。続いて、そうした光線と投影面 (image plane) との交差を計算し、交差点を光線の輝度値で塗り 潰すことにより、画像を生成する。これは、レイトレー シング (ray tracing) 法と非常によく似ている。若干異な るのは、レイトレーシング法では、三次元の物体に対 して、光線の軌跡をトレースするのに対して、光線空 図 2: 画像のキャッシングと予測の枠組 間法では、光線の束に対して、条件に合う光線がある かどうかを検索するという点である。 質に由来するビューの相関関係を利用して、転送の対 最後に、4 次元スカラー場を、実際にはどのようにし 象となるデータを圧縮する方法も考えられる。こうし て構成するのかについて、触れておくことにしよう。こ た圧縮は、一旦転送された画像データを利用して、そ れには、幾何モデルから合成する方法と、実画像を直接 の後に転送される画像データを、クライアント側であ 取り込む方法とがある。幾何モデルから合成する方法で る程度予測することによって初めて可能となる。完全 は、伝統的なコンピュータグラフィクス技術を用いて、 に予測できる場合には、サーバからクライアントに転 境界面上の任意の点を視点としたビューをレンダリン 送するデータ量はゼロでよい。不完全な予測しかでき グし、これを L (u,v,s,t) という表現に変換する。実画像を ない場合には、予測された画像と実際の画像との差分 取り込む方法では、レンダリングされた画像の代わり を、転送することになる ( 図 2)。 に、その視点で撮影された実画像を利用する。実画像を このように、クライアントでは、転送された画像デー 利用する場合には、照明条件などの細かい修正を撮影後 タを捨てずに貯めておくことになる。これが画像の に施すことは、極めて困難である。こうした制約を取り キャッシングである。他の分野におけるキャッシング、 除くため、同一の視点において、異なるシャッター速度 例え ば CPU にお ける キャ ッシ ュメ モリ の利 用や、 で複数枚の画像を撮影しておき、それらのデータをもと WWW におけるプロキシーサーバの利用では、キャッ に、照明条件をパラメータ化するといった試みも行われ シュのサイズに上限がある。ここで扱う画像のキャッ ている [4]。 シングでは、議論を簡単にするため、キャッシュのサ イズの制限がないものとえる。むしろ、できるだけ多 4. 画像のキャッシング くの情報を使いながら、如何に予測の精度を上げるか 光線空間法では、画像 ( ビュー ) を生成するために、 という部分に、焦点を当てる。 4 次元場を扱う。L (u,v,s,t) というベクトル場があると 以下では、 「サーバ／クライアント間のデータ転送量 き、パラメータ u,v,s,t の各々が、仮に 100 個の異なる値 を削減するための画像キャッシング」についてのみ議 を取るとすると、4 次元場の大きさは 1 億に達する。一 論するが、この画像キャッシング手法は、4 次元場の圧 般に、ベクトル場の大きさは、生成される画像の解像 縮にも適用可能であることに注意しておこう。4 次元場 度の 4 乗に比例する。こうした膨大な量のデータを、小 L (u,v,s,t) は、視点 (u,v) を連続的に変化させることによっ 型のコンピュータで処理することは難しいため、高性 て生じた二次元画像 L (u,v) (s,t) のストリームだと見倣す 能の大型コンピュータをレンダリングサーバとして利 こともできる。そこで、このストリームを、サーバか 用するのが自然である。 らクライアントへ転送することを考えてみよう。この このとき、サーバ ( 大型コンピュータ ) とクライアン ような転送データを削減する方法があるということ ト ( 小型コンピュータ ) との間で、データの転送が発生 は、これは即ち、画像ストリーム全体を圧縮する方法 する。サーバの生成する画像を、そのままの形で転送 があるということに外ならない。このように、本稿で するという方法もあるが、同一の 4 次元場から複数の 提案する画像キャッシング手法は、4 次元場の圧縮にも ビューが逐次生成されるという場合には、4 次元場の性 適用できる。 36 NII Journal No.1 (2000.12) 合には、これをキャッシュしておき、不完全な形でし か得られていない場合には、捨てることにする。ブロッ クの個数はピクセルの総数と比べてはるかに小さいた め、管理が容易である。 4.2 Disparity 値を利用した画像予測 次に、視点が移動する場合を取り扱うことにしよう。 この場合には、連続するビューの間に重なり合う領域 があっても、そこでのピクセルのパターンが同一とな ることはない。このため、何らかの補正を施す必要が 生じる。 三次元物体を、角度を変えながら眺めてみると、光の 反射などの効果により、色や輝度が変化するのが一般 的である。しかし、角度の変化が微小な場合には、色 図 3: ブロック単位での画像管理 や輝度の変化もごくわずかで、ほぼ同一だと見做すこ ともできる。実際、視差に基づいて奥行きを推定する 4.1 画像の再利用 画像の再利用 視点位置が固定されている状況を想定しよう。この場 ときには、こうした色や輝度の不変性を利用する。さ 合、視線方向の動きに従って、ビューが変化すること て、色や輝度の不変性を仮定すると、視点と物体との になる。視線方向が緩やかに動く場合には、連続する 距離さえ分かれば、視点の移動に対応したビューの変 ビューの間に、強い相関関係が存在する。視野が互い 化を、ほぼ完全に予測することができる。ただし、以 に重なり合っている領域では、ピクセルのパターンが 前には見えなかったが、視点の移動によって見えるよ 全く同一である。従って、サーバからクライアントへ うになったという部分については、予測できない。 のデータ転送の際にも、重なり合っている領域のデー 光線空間法では、三次元物体から発せられる光線を基 タは送らなくても済む。このように、全く同一の画像 礎データとするが、三次元形状そのものは扱わない。 領域があるときには、既に転送された画像を再利用す 従って、視点と物体との距離は不明である。しかし、実 ることにより、新たに転送するデータ量を削減するこ 際には、距離そのものが正確に分かっている必要はな とができる。 く、視点を移動した際に投影面上での位置がどれだけ 上記のような画像の再利用を可能にするためには、視 ずれるのかという、disparity 値さえ判明していればよい 点ごとに画像データをまとめて管理する必要がある。 ( 図 4)。この値は、二つの画像を見比べて、ほぼ同一色 ここで、視点の位置を (x,y,z) とし、視点に近い側の境界 と見做せる点のペアを探し出すことによって計算でき 面を uv 平面、遠い側の境界面を st 平面としよう。この る。すなわち、ある視点に対応した画像が与えられて 視点において得られるビューは、(x,y,z) と st 平面とを結 いるとき、視点の移動に呼応して、画像中の各ピクセ ぶ光線の束から構成される。必ずしも全ての光線が視 ルがどれだけ動くのかが分かっていれば、新しい視点 野の中に収まるわけではない。これらの光線の一部が での画像をほぼ予測できることになる。 「画像中の各ピクセルがどれだけ動くのか」という情 ビューを構成し、クライアントへ画像データとして送 報は、クライアント側にはない。これは、サーバのみ られる。 ビューが一つしかない場合には、その境界線は単純な が知り得る情報である。こうした情報の総量は、画像 長方形となっている。しかし複数のビューが重なり そのものの情報量にも匹敵する量となるため、そのま 合っている場合には、境界線はもっと複雑な形状とな まの形でサーバからクライアントに転送するわけには る。従って、ピクセル単位で画像データの管理を行う いかない。そこで、ブロック毎に移動量の平均値を計 のは困難である。代わりにブロック単位で画像を管理 算し、その平均値のみをサーバから転送するという方 することにしよう。すなわち、図 3 にあるように、st 平 法を取ることにする。類似のアイディアは、光線空間 面をいくつかのブロックに分割する。あるブロックを 法の処理を簡略化し高速化するための手法として、既 埋め尽くす画像データが、完全な形で得られている場 に提案されている [1]。また、MPEG 規格における動き 37 光線空間法に適した画像のキャッシング この方法では、移動量がブロックの境界でも連続とな るので、ギザギザが生じるといった現象は、改善され る ( 図 5)。 以上をまとめると、 • 視点の動きを、クライアント側で検知する。この 情報をサーバに渡す。 • サーバでは、新しい視点に対応する画像を計算す る。さ ら に、古 い 画 像 と 新 し い 画 像 と の 間 の disparity 値を、粗いグリッド上で評価し、これをク ライアントに渡す。 • クライアントは、グリッド上での disparity 値を双 一次補間し、全てのピクセル上での disparity の近 似値を得る。これを基に、新しい画像の予測をす る。 図 4: 同一点から放射された光線の disparity • 同じ予測計算を、サーバ上でも行なう。さらに、 サーバでは、新しい画像と、予測された画像との 差分を計算し、これをクライアントに渡す。 • クライアントは、差分画像と予測画像とを組み合 わせ、新しい視点に対応する画像を得る。 というやりとりが、サーバとクライアントの間で行な われることになる。 視点の動きに関する情報や、disparity 値の情報量は、 画像の情報量と比べるとわずかな量に過ぎない。画像 予測がうまく機能し、差分画像がベクトル量子化等の 方法によって十分に圧縮できるならば、サーバとクラ イアントとの間で転送される情報量を相当量削減でき ることになる。 4.3 画像予測の簡略化 画像予測の簡略化 前節のアルゴリズムは、disparity 値の計算を、視点の 変化に関する情報を受け取ってから、実行することに 図 5: 近似方式の違いと予測される画像 なっている。しかし、disparity 値の計算は、プロセッサ 補償にも類似しているが、ここでの移動量はブロック に相当な負荷をかける処理である。サーバでは、この 単位ではなく、より細かなピクセル単位だという違い 他にも、画像生成、画像予測、差分計算などの処理も がある。 こなさなければならないため、できる限り負荷の高い ブロック毎に移動量の平均値を計算する方法では、ブ 処理を避けるのが賢明である。 ロックの境界で移動量が不連続となる。このため、こ 以下では、4 次元場に対して前処理を施すことによ れを基に画像予測を行なうと、もとの画像が滑らかで り、disparity 値の近似計算を高速化する方法を述べる。 あっても、予測後の画像にはギザギザが生じてしまう。 4.3.1 視点が境界面上を動く場合 視点が境界面上を動く場合 こうした問題を避けるため、ブロックの頂点（グリッ ド）で移動量を計算し、ブロック内部のピクセルの移 まず視点の移動が境界面上に限定されている場合を 動量については、頂点での移動量を双一次補間 (bilinear 考えてみる。ここで、4 次元場 L (u, v, s, t) が、uv 平面 interpolation) した値を用いるという方法が考えられる。 上で、一様なグリッド状に離散化されているものとし 38 NII Journal No.1 (2000.12) 図 6: uv 平面の離散化に基づく disparity の近似計算 図 7: 一般の視点移動に対応した disparity の近似計算 よう。隣り合うグリッド (u0, v0) および (u1, v1) に視点が を推定することにしよう。 位置しているとき、対応する画像は、L (u0, v0) (s, t) お 線分 x1x2 の長さと δx との比から、頂点 g の方角か ら来る光線が、三次元空間中の点 p から発せられてい よび L (u1, v1)(s, t) と なる。こ の画 像ペ アに 対し て disparity 値を予め計算しておくことにする。こうしてお ることが分かる。点 p の位置が大まかに分かると、今 けば、視点が、(ua, va) から、(ub, vb) へと移動するとき、 度は線分 w1w2 と点 p との位置関係から、δw を割り出 (ua, va) に最寄りのグリッドから、(ub, vb) に最寄りのグ すことができる。このようにして、各ブロックの頂点 リッドまで、グリッド上のパスを設定し、そのパスに における disparity 値を近似計算することができる。 沿って、予め計算しておいた disparity 値を足し合わせ 4.4 画像予測の効果 画像予測の効果 ていくことができる ( 図 6)。これにより、(ua, va) から (ub, vb) までの視点の移動に対応する、disparity 値を近似 簡略化された画像予測が、どの程度有効なのかを調べ 的に計算できる。 るため、次の実験を行なった。ここでは、サンプルと なるシーンとして、POVTM Ray Tracer パッケージに含ま 4.3.2 一般の視点移動 一般の視点移動 れている woodbox を用いた。サンプル画像の例を、 次に、視点が三次元空間中を自由に移動する場合を取 図 8 (a),(b),(c) に示す。図 8 (d) と (e) は、それぞれ、視 り上げる。移動前の視点位置を w1 、移動後の視点位置 点が (a) から (b)、(a) から (c) へ移動したとき、前節で を w2 とする。これらの視点におけるビューは、いくつ 述べた方法を使って予測した画像である。ここでは、画 かのブロックに分割することができる。ブロックの頂 像の大きさは、320 × 240 であり、ブロックの大きさは 点の一つを g と呼ぶことにしよう。図 7 に示すように、 8 を採用した。図 8 (f) と (g) は、それぞれ、(b) と (d)、 w1 と g を結ぶ線分と uv 平面との交点を x1 とし、w2 に (c) と (e) の差分画像である。灰色のバックグラウンドに 対する同様の交点を x2 とする。 黒い点がいくつか現われているが、これが予測しきれ 前節で述べた方法は、視点が境界面上にある場合に適 なかった部分である。 用できる。すなわち、視点位置が x1 から x2 へ移動した 差分画像を見ても分かる通り、画像予測がうまく働い とき、頂点 g の方角から来る光線がどれだけ移動する ていることが分かる。これらの差分画像を圧縮すると、 のか (disparity 値 ) を計算することができる。一方、視 下表に示す圧縮率が得られた。Lempel-Ziv 符号化は、損 点が w1 にあるときのビューと、x1 にあるときのビュー 失のない圧縮を行う。大体、1/3 程度に圧縮されている。 とは、頂点 g の周辺だけを取ってみると、似通った画 一方、JPEG アルゴリズムは、損失を伴う圧縮を施す。 像となっている。実際、前者は後者を縮小したものに 人間の目では区別がつかない程度の損失を許容した場 なっている。同様のことは、視点が w2 におけるビュー 合、1/50 程度にまで圧縮されている。元画像をそのま と、x2 におけるビューについても言える。そこで、視 ま圧縮した場合と比べても、かなり小さな数値となっ 点が x1 から x2 へ移動したときの頂点 g の移動量 δx を ており、画像予測が差分画像の圧縮に貢献したことが 使って、視点が v1 から v2 へ移動したときの移動量 δw 分かる。 39 光線空間法に適した画像のキャッシング の有効性は、シーンの複雑さと密接に関係しているも のと思われる。予備的な実験においても、幾何モデル を用いて合成された情景と、実際の撮影画像から構成 (a) (b) された情景とでは、異なる傾向が観察されている。こ (c) うした結果を分析し、提案したキャッシング手法の有 効性を評価することは、今後の課題として残されてい る。 光線空間法の応用範囲は、実験室レベルの仮想現実シ (d) (b) ステムから、高度なシミュレーションシステムや、電 (f) 子博物館のような実システムへと、今後ますます広 がっていくものと思われる。本稿で提案した手法は、光 線空間をネットワーク上で分散レンダリングすること を可能にするものであり、こうしたシステムへの適用 (c) (e) が期待できる。 (g) 参考文献 画像名 非圧縮時 Lempel-Ziv [1] Burton, L.,“Viewing Complex Scenes with Error- JPEG 画像 (a) 230,400 164,399 (71%) 13,116 (6%) 画像 (b) 230,400 159,715 (69%) 12,654 (5%) 画像 (c) 230,400 159,170 (69%) 13,005 (6%) 画像 (f) 230,400 63,505 (28%) 4,543 (2%) 画像 (g) 230,400 70,759 (31%) 4,866 (2%) Buffered Light Fields”, VRAIS'98, pp.113-119, IEEE, 1998. [2] Chen, E.; Williams, L., “View Interpolation for Image Synthesis”, Proc. SIGGRAPH '93, ACM, pp.279 -288, 1993. [3] Chen, E., “QuickTime VR -An Image-Based Approach to Virtual Environment Navigation”, Proc. SIGGRAPH 図 8: 実験結果 '95, ACM, pp.29 -38, 1995. [4] Debevec, P.; Malik, J.， “Recovering High Dynamic 5. まとめ まとめ Range Radiance Maps from Photographs”, Proc. 光線空間法は、近年注目を集めているレンダリング手 SIGGRAPH '97, pp.369 -378, ACM, 1997. 法の一つである。この方法は、膨大な量の放射輝度デー タを必要とするため、大容量メモリを持つ高性能コン [5] Finkelstein, A.; Jacobs, C.; Salesin, D.,“Multiresolution ピュータを使うことが前提とされてきた。本稿では、光 Video”, Proc. SIGGRAPH '96, pp.281 -290, ACM, 1996. 線空間法を、サーバ／クライアント環境においても活 [6] Gortler, S.; Grzeszczuk, R.; Szeliski, R.; Cohen, M., 用できるようにするため、これに適した画像のキャッ “The Lumigraph”, Proc. SIGGRAPH '96, pp.43 -54, シング手法を提案した。 ACM, 1996. 提案したキャッシング手法では、サーバからクライア ントに一旦送信されたデータをもとにして、次に送ら [7] Legall, D., “MPEG -A Video Compression Standard for れてくるデータの予測を行なう。光線空間法の基とな Multimedia Applications”, CACM, Vol.34, No.4, pp.46 - る放射輝度データは、空間の三次元構造に関する情報 58, 1991. [8] Levoy, M., “Polygon-Assisted JPEG and MPEG を内包している。三次元構造に関する様々な知識を活 用し、データ予測を行なう方法を提案した。これによ Compression of Synthetic Images”, Proc. SIGGRAPH り、サーバとクライアントの間でやり取りされる情報 '95, ACM SIGGRAPH,pp.21 -28, 1995. [9] Levoy, M.; Hanrahan, P., “Light Field Rendering”, Proc. 量を削減できる見通しがついた。 SIGGRAPH '96, pp.31 -42, ACM, 1996. 実際に、どの程度キャッシングが有効であり、ネット [10] Rohlf, J.; Helman, J., “IRIS Performer: a high ワーク上を転送される情報量が削減できるのかについ performance multiprocessing toolkit for realtime 3D ては、さらに詳細な実験が必要である。キャッシング 40 NII Journal No.1 (2000.12) graphics”, Proc. SIGGRAPH '94, pp.381 -394, ACM, 1994. [11] 新谷幹夫 ; 杉山和宏 ,「実写ベースのコンピュータ グラフィクス技術」, 情報処理 ,vol.41, no.6, pp.676 681, 2000. 41