Comments
Description
Transcript
オンライン自由視点映像生成の 可変解像度処理による
「画像の認識・理解シンポジウム 」 年 月 オンライン自由視点映像生成の 可変解像度処理によるフレームレート安定化 鍋嶋 累Ý 上田 恵Ý 有田 大作Ý 谷口倫一郎Ý 九州大学大学院システム情報科学府 〒 福岡県春日市春日公園 あらまし 著者らは 現実世界の対象を自由な視点から表示する自由視点映像のオンライン生成について研究を行って いる 既存のシステムの処理は 視体積交差法を用いた形状復元 ボクセル表現 ボクセル表現から三角パッチ表現へ の変換 三角パッチの色付けの大きく 段階に分かれる 既存のシステムは 対象物体の表面積が増加すると三角パッ チの数が増加するため 処理速度が低下してしまうという問題点が指摘されていた そこで 本研究では形状復元の空 間解像度を変化させ三角パッチの数をほぼ一定にすることによりフレームレートを安定化させる手法を提案する 具 体的には 分木を利用した視体積交差法によって空間解像度を徐々に上げながら形状復元を行い 一定の時間が経過 すると処理を打ち切ることにより空間解像度を可変にする このシステムを実装しフレームレートが安定することを 確かめた キーワード 自由視点映像 可変解像度 分木 Ý Ý Ý Ý ! " # $ % & $" $" ' ( ! " " # " $ % & から対象を表示する自由視点映像について研究を行っている はじめに 金出らが 研究の背景 のコンセプトを提案 して以来 自由視点映像の研究は盛んに行われている その中 現在 電話やラジオやテレビなどがテレプレゼンスとして用 で 特に著者らは 自由視点映像のオンライン生成について研究 いられている しかしながら 人間は三次元空間に生きている している この応用例として サッカーやボクシングなどのス ため これらのような一次元 二次元の情報メディアよりも三次 ポーツ中継を自由視点映像として生中継することなどが考えら 元の情報メディアのほうが直感的であると考えられる そこで れる 著者らは現実世界の対象の動作をそのまま記録し 自由な視点 455 㪚㪸㫇㫋㫌㫉㫀㫅㪾㩷㪸㫅㪻㩷 㪺㫆㫅㫊㫋㫉㫌㪺㫋㫀㫅㪾㩷㫍㫀㫊㫌㪸㫃㩷㪺㫆㫅㪼 A Visual cone intersection 㪚㫆㫃㫆㫉㫀㫅㪾 B A D A D A’ 㪚㪿㪸㫅㪾㪼㩷㫍㫆㫏㪼㫃㩷㫀㫅㫋㫆 㩷㫋㫉㫀㪸㫅㪾㫌㫃㪸㫉㩷㫇㪸㫋㪺㪿 B A’ Camera Object Visual cone Result of visual cone intersection D 㪠㫅㫋㪼㪾㫉㪸㫋㫀㫆㫅㩷㫆㪽 㪺㫆㫃㫆㫉㩷㫀㫅㪽㫆㫉㫄㪸㫋㫀㫆㫅 㪸㫅㪻㩷㪾㪼㫅㪼㫉㪸㫋㫀㫆㫅㪾㩷 㪸㩷㪽㫉㪼㪼㪄㫍㫀㪼㫎㫇㫆㫀㫅㫋㩷㫀㫄㪸㪾㪼 C E D A’ D A Display B A D A Data Flow 㪚㪸㫄㪼㫉㪸 図 視体積交差法 㪚㪸㫄㪼㫉㪸㩷㪠㫄㪸㪾㪼 㪭㫆㫏㪼㫃 㪚㫆㫃㫆㫉 PC 研究の目的 図 既存のシステム構成 既存の自由視点映像のオンライン生成システム の処理の 概略は以下の通りである 詳細は次章で説明する る 隣接した 個のボクセルを頂点とする立方体（キューブ） 形状復元 を考え 各頂点におけるボクセルの有無の組み合わせで立方体 カメラ画像から対象物体の形状情報を獲得し 視体 積交差法を用いて形状復元を行い 対象のボクセル表現を得る にどのように面 三角メッシュ が構成されるか判断する 立方 ボクセルとはピクセルの概念を 次元に拡張したものである 体の頂点は ボクセル表現から三角パッチ表現への変換 ボクセルデータを りあるが 回転対称 反転を考慮すると 通りになる しかし 個なのでボクセルの有無の組み合わせは 通 三角パッチ表現に変換する 三角パッチ表現とは物体表面を三 これにより生成された等値面が閉じていることをマーチング・ 角形の集合で表現することで その集合の中の一つの三角形を キューブ法は保証していない そこで離散マーチング・キュー 三角パッチと呼ぶ ブ法 が提案されている 離散マーチング・キューブ法とは 色付け マーチング・キューブ法を発展させた手法で点の連結性を考慮 カメラと仮想視点の位置関係を基に三角パッチに色を 塗る しており ここで 対象物体の表面積が増加すると三角パッチの数が増加 等値面の位相的な問題が起こらない 閉曲面が得られる するため 三角パッチに変換する処理以降は処理速度が低下し 生成面パタンが てしまう 自由視点映像のオンライン配信を考えると 対象の 通りに減るため 処理時間が短縮さ れる 動きを自然に表示させるには処理速度の安定が必要不可欠であ といった利点がある 既存のシステムでは離散マーチング・ る そこで本研究では空間解像度を対象にあわせて変化させ キューブ法を用いて対象物体表面を生成している 三角パッチの数をほぼ一定にすることによりフレームレートを 安定化させる手法を提案する 空間解像度を可変にするために システム構成 自由視点映像生成には多くの処理時間を必要とする そこで 形状復元の処理を空間解像度を徐々に上げながら行い 一定の 時間が経過すると処理を打ち切るようにする しかし 既存の 並列画像処理を行なう システムでの視体積交差法では空間解像度を徐々に上げていく のひとつである % ことは難しいため 本研究では佐藤ら によって提案された し 実時間多視点動画像処理アプリケーションを構築するため 分木を利用した視体積交差法を導入した のプログラミングツールである ! を用いて オンラインで とは スイッチ型ギガビット "#$ で接続された & クラスタ上で動作 図 に既存のシステム構成を示す 以下に各 & での処理を オンライン自由視点映像生成システム 述べる この章では既存のオンライン自由視点映像生成システムにつ ノード ' カメラ画像を取得し その中から対象物体を抽出 いて述べる まず 既存のシステムにおいて用いている諸手法 し 抽出した画像から視体積を構築する 視体積をノード に に関して述べ その後にシステムの概要を述べる 対象物体を抽出した () 画像をノード に送る 対象物体の 視体積交差法 抽出は カメラ画像に対し背景差分を施した後に クロージング 視体積交差法は 次元形状を復元する際によく用いられる手 法である 複数のカメラで得られた対象の 次元シルエット像 処理を施すことで行う 背景差分を施した際 背景に前景と似 たような色が存在した場合 対象領域に穴が生じることがある を 次元実空間 ボクセル空間 に逆投影し 視点を頂点とする ので クロージング処理によりその穴を閉じる ノード は形状復元だけに使用しており ノード に視体 錐体 視体積 を各カメラごとに得る 視体積交差法は その錐 体の共通部分を求め対象の形状を復元する手法である 図 積を送り 画像は送信しない 色付けに多くのカメラを使用し マーチング・キューブ法 ても 精度向上にあまり寄与しないと考え 処理時間の短縮のた マーチング・キューブ法 は等値面生成の手法の一つであ め色付けには使用しない ノード ノード は カメラ位置 456 Root …… Division … … … Only gray voxels are divided … Subdivision … 䲒䲒 ̖ ̖ … … ̖ ̖ ̖ … … … … ̖ ̖ Bottom ̖ ̖̖̖̖̖̖̖̖̖̖̖̖̖̖̖̖̖̖̖̖̖̖̖̖̖̖̖̖̖̖̖̖̖̖̖̖̖̖̖̖̖̖ … .GCHPQFG … Node Black voxel Gray voxel Whitevoxel Octtree Voxel 図 ボクセルと 分木 図 パスアルゴリズム に偏りが起こらないように決めている ノード ' 台の & で全てのカメラ画像に対して視体積交差 1DLGEV ノード の 多段に分けて視体積交差を行なう ノード およびノード を行なうと処理時間がかかりすぎるためノード から送られてきた各視体積の共通領域を求める 得られた視体 Vertices projected on the silhouettes of input images Unknown vertices 積をノード に送る ノード ' ノード から送られてきた各視体積の共通領域を 図 失敗ボクセル 求める ここで対象物体のボクセル表現が得られる さらに 得 られたボクセル表現に対し離散マーチング・キューブ法を施す 白ボクセル ことにより三角パッチ表現へ変換する そして 三角パッチに されるもの 変換されるボクセルとその対応する三角パッチパタンをノード 黒ボクセル と に送る 三角パッチとして送らないのは 三角パッチは もの つのボクセルに対し複数の三角パッチが張られるのでデータ 頂点がすべて入力画像のシルエット部分に投影 頂点がすべて入力画像の背景部分に投影される 灰色ボクセル その他 シルエットの境界部分 量が大きく送受信に時間がかかるためである ノード ' ある特定の大きさのボクセル 以下 初期ボクセルと呼ぶこと から送られてきた 三角パッチに変換さ とする の 頂点を調べて上記の 種類のボクセルに判別する れるボクセルとその対応するパタンより三角パッチを再構成す さらに 図 のように灰色ボクセルのみ 分割する そして分 る 得られた三角パッチに ノード から送られてきた画像を 割されたものに対して繰り返しボクセルを判別し 分割を繰り ノード 基に色を付ける 得られた色情報をノード に送る 返す ここで粗大なボクセルから最も細かいボクセルへの分割 ノード ノード と同様に三角パッチを再構成する ノー のことをパスと呼び このアルゴリズムをパスアルゴリズムと ド からの色データとユーザから入力された仮想視点位置か 呼ぶこととする ら重み付き色付き対象形状を生成 すなわち対象物体の自由視 マルチパス再分割アルゴリズム 点映像を生成する 上記の判別方法は大変単純なものであるので 実際には誤り ノード からノード へのボクセルの流れは が提供 がしばしば起こる 例えば 頂点を避けるような細長い先端部 するストリーミング処理を利用して遅延の削減を図っている 分は実際には灰色ボクセルであり分割するべきであるが 黒ボ 具体的にはノード において クセルと判定してしまい分割を行わない このようなボクセル フレーム分の視体積構築処理 が完了する前に 得られたボクセルから順に次のノードへ送信 することにより遅延時間の削減を図る これを避けるために図 のマルチパス再分割アルゴリズム を用いる 分木を利用した視体積交差法 * + 既存の視体積交差法では空間解像度を徐々に上げていくこと は難しいため 本研究では佐藤らによって提案された 分木を では初期ボクセルにパスアルゴリズムを施す において失敗ボクセルを探索し 発見された場合は * + において失敗ボクセルを 分割し 再び * + に戻る 失敗ボ * + あ るいは * + で得られる隣接した最小の灰色ボクセルをつなぐ 分 木 と 復元した形状の表面となるはずである 最小のボクセルと 個の子ノードを持 は 最大解像度におけるボクセルのことであり図 において葉 つ木を指す ボクセルを 等分に分割し，分割されるボクセル ノードを指す ここで もし白ボクセルと黒ボクセルが 近傍 を親 分割してできたボクセルを子として，親子関係を 分木 で隣接していれば 得られた表面は閉じていないことになるの 構造で考える 図 で これらを失敗ボクセルとする また 失敗ボクセルは分割可 分木とは子ノードを持つノードは必ず * + クセルが発見されない場合は そこで処理を終える 利用した視体積交差法を導入する を失敗ボクセルと呼ぶ 図 ボクセル占有判別 能なボクセルのみとする さらに 白ボクセルと黒ボクセルが ボクセルを以下の三つに判別する 隣接する時は必ず つ以上木の階層が異なる 図 457 Step1. 㪘㫇㫇㫃㫐㩷㫀㫅㫀㫋㫀㪸㫃㩷㫍㫆㫏㪼㫃㫊㩷㪽㫆㫉 㪸㩷㫇㪸㫊㫊㩷㪸㫃㪾㫆㫉㫀㫋㪿㫄㪅 Division … Subdivision … 㫎㪿㪼㫅㩷㫊㫆㫄㪼㩷㪽㪸㫀㫃㪼㪻㩷㫍㫆㫏㪼㫃㫊 㪸㫉㪼㩷㪻㪼㫋㪼㪺㫋㪼㪻 … Step3. 㪪㫌㪹㪻㫀㫍㫀㪻㪼㩷㪽㪸㫀㫃㪼㪻㩷㫍㫆㫏㪼㫃㫊㪅 㪘㫇㫇㫃㫐㩷㫋㪿㪼㩷㫆㪹㫋㪸㫀㫅㪼㪻㩷㫍㫆㫏㪼㫃㫊㩷㩷 㪽㫆㫉㩷㪸㩷㫇㪸㫊㫊㩷㪸㫃㪾㫆㫉㫀㫋㪿㫄㪅 Step2. 㪛㪼㫋㪼㪺㫋㩷㪽㪸㫀㫃㪼㪻㩷㫍㫆㫏㪼㫃㫊㪅 … … … … … Step1 /WNVKRCUUUWDFKXKUKQP CNIQTKVJOKPCEGTVCKP URCEGTGUQNWVKQP … … … … … …………………………………………… … Leaf 㫎㪿㪼㫅㩷㪸㫅㫐㩷㪽㪸㫀㫃㪼㪻㩷㫍㫆㫏㪼㫃㫊 㪸㫉㪼㩷㫅㫆㫋㩷㪻㪼㫋㪼㪺㫋㪼㪻 … … … … … … … Using the information about the ancestors, leaf nodes are distinguished … Step2 Leaf nodes are sent 㪜㫅㪻㪅 図 … マルチパス再分割アルゴリズム 㪝㪸㫀㫃㪼㪻㩷㫍㫆㫏㪼㫃 㪞㫉㪸㫐㩷㫍㫆㫏㪼㫃 … … … … … … … Step3 Gray voxels and failed voxels are subdivided … … … … … … ……………………………………………… … Step4 /WNVKRCUUUWDFKXKUKQP CNIQTKVJOKPVJGPGZV URCEGTGUQNWVKQP Leaf … … … … … … Black voxel Gray voxel White voxel Unknown When there is a black voxel neighboring a white voxel, the difference of the hierarchy is always 2 or more. 図 Black voxel Gray voxel White voxel 図 … … … Afterward, procedures from Step2 to Step4 are repeated untill a certain time passes 形状復元の流れ 葉ノードの情報を送る 前回の空間解像度で分割できなかった灰色ボクセル 失敗ボクセルを空間解像度を上げて分割する 白ボクセルと黒ボクセルが隣接する例 次元 * + の空間解像度でマルチパス再分割アルゴリズム を用いて失敗ボクセルをなくす 失敗ボクセルを 分割し 得られたボクセルにパスアルゴリ ズムを施す そして 再び失敗ボクセルが見つかる限り * + と * + を繰り返す 最終的に灰色ボクセルのみで閉じた表面 て分割できないノードまで分割し終えた時のみ 子孫の葉ノー つけることができない ドを灰色ボクセルとする 初期ボクセルが対象物体より大きく 対象物体がそのボ * + クセルの中に完全に含まれる場合 白ボクセルとして送り 空間解像度が最大となり分割不可能と 結が失われ 別の連結が起こった時 図 なった灰色ボクセルは頂点の占有情報を送る さらに ストリー 失敗ボクセルの探索方法の詳細は次章で説明し この問題は実 ミング転送を利用して送信することにより遅延の削減を行う 験で評価する * + 可変解像度処理によるフレームレート安定化 において 現在の空間解像度においては分割で きないが その後の * + において空間解像度を上げることに 形状復元 他の失敗ボクセルとは別に保持しておき その後の * + にお 分木を利用した 木 いて分割を行う を使うことにより ある一定の時間が経過した時に木の葉まで 達していなくても 先祖のノードにおける占有情報により空間 解像度は低いが形状を復元することができる そのため形状復 元の処理を途中で打ち切り フレームレート安定化を図ること ができる 失敗ボクセル探索 マルチパス再分割アルゴリズムにおいて一度目に失敗ボクセ ルを探す時は 白ボクセルを全走査する 白ボクセルの表面と隣 接する最小ボクセルを全走査し 黒ボクセルがないか探す 黒 ボクセルが発見された場合 そのボクセルの親ノードへのリン 処理の概要 形状復元処理を以下に示す 図 クを辿り分割されていないノードまで辿る 分割されていない * + から * + は最 ノードがあればそれを失敗ボクセルとして分割する さらに 元 大解像度となるまで繰り返し行う 一定の時間が経過すると * + の白ボクセルが分割されていなければ白ボクセルも失敗ボクセ が終了した際に処理を打ち切る 打ち切りを行う ルとして分割する 二度目以降の失敗ボクセル探索は その直 空間解像度を打ち切り解像度と呼ぶこととする * + より分割できるような失敗ボクセルが見つかった場合 これは 形状復元を行うための視体積交差法に * + において 次の * + でマルチパス再分割アルゴリズ ムの空間解像度を上げることにより分割できる灰色ボクセルは 最小の灰色ボクセルが密集し 灰色ボクセルの本来の連 において あるノードを黒ボクセルと判定した時は そ 時も同様である 一方灰色ボクセルは その空間解像度におい を得ることができる しかし 以下の場合は失敗ボクセルを見 * + のノードの子孫の葉ノードを黒とする 白ボクセルと判定した 前に失敗ボクセルを分割して得られた白ボクセル 黒ボクセル ある一定の空間解像度までマルチパス再分割アルゴリ ズムを施す を全走査する これは 失敗ボクセルとなる部分がその直前の パスで分割して発生したのであれば 新たに発生したボクセル 458 6JGGFIGQHVJGXQZGNKP VJGHKPGUVURCEGTGUQNWVKQP $NCEMXQZGN )TC[XQZGN 6JGITC[XQZGNUEQPPGEV DGECWUGQHVJGENQUGPGUU 5QVJGUWTHCEGKUENQUGF 1DLGEV 9JKVGXQZGN 6JGHCKNGFXQZGNKUPQVFGVGEVGF マルチパス再分割アルゴリズムを施した結果 対象物体 図 正しい結果 失敗ボクセルが見つからない例 次元 㪚㪸㫇㫋㫌㫉㫀㫅㪾 A Visual cone intersection 㪚㫆㫃㫆㫉㫀㫅㪾 B A D A D A’ Visual cone form one camera Visual cone form three camera 㪚㪿㪸㫅㪾㪼㩷㫍㫆㫏㪼㫃㩷㫀㫅㫋㫆 㩷㫋㫉㫀㪸㫅㪾㫌㫃㪸㫉㩷㫇㪸㫋㪺㪿 Camera Object A’ Visual cone Space A 㪠㫅㫋㪼㪾㫉㪸㫋㫀㫆㫅㩷㫆㪽 㪺㫆㫃㫆㫉㩷㫀㫅㪽㫆㫉㫄㪸㫋㫀㫆㫅 㪸㫅㪻㩷㪾㪼㫅㪼㫉㪸㫋㫀㫆㫅㪾㩷 㪸㩷㪽㫉㪼㪼㪄㫍㫀㪼㫎㫇㫆㫀㫅㫋㩷㫀㫄㪸㪾㪼 C B A’ D E D D 5WTHCEGCTGC Display D B A A Data Flow 㪚㪸㫄㪼㫉㪸 図 視点数と視体積の表面積 PC 㪚㪸㫄㪼㫉㪸㩷㫀㫄㪸㪾㪼㩿㪩㪞㪙㪀 㪚㪸㫄㪼㫉㪸㩷㫀㫄㪸㪾㪼㩿㪞㫉㪸㫐㩷㪪㪺㪸㫃㪼㪀 㪭㫆㫏㪼㫃 㪚㫆㫃㫆㫉 のみ走査すれば良いためである 図 システムへの組み込み 既存のシステムのように 視点ごとに視体積を作り共通部分 を求めるのではなく を求める 視点ごとに視体積を構築して共通部分 せずに済むボクセルが増えるため 参照せずに済む頂点が減り 処理時間が短くなると考えられる カメラ画像を取得し その中から対象物体を抽出す ' 既存のシステムと同じである 験 分木を 利用した視体積交差法の精度を計測した 本実験では合計 ノード およびノード から送られてきた抽出 画像を用いて視体積を求める 頂点を参照する際は 実 理時間 遅延時間 処理の打ち切りによる精度の低下 () 画像を色付けのために送る 視点から 台の &表 を利用した 各 & は % 結合されており !!%), ! によって相互に 以上で通信が可能である さらに 台の -... ディジタルカメラ が接続されており 全て の画像をそれぞれ参照し すべて占有の時のみその頂点を占有 とする ノード はノード に対し視体積と空間解像度情報 を 回以上送り 処理の打ち切りの際に前回送った視体積と空 ノード ' ノード 本手法を用いてオンラインで自由視点映像を生成し その処 だしノード は視体積構築のためだけに用いるので データ量 間解像度情報が最終的な結果であることをノード ド と に送る ノード に送る た を少なくするために白黒画像を送る 一方ノード には ノード ' に変換されるボクセルとその対応する三角パッチパタンをノー 実験と考察 以下に提案するシステム構成を示す 図 る 対象物体を抽出した画像をノード に対し空間解像度に合わせた離散マーチング・キューブ法を施 すことにより三角パッチ表現へ変換する そして 三角パッチ 視点ごとに視体積を構築することにより表面積が 小さくなり 灰色ボクセルは減少する 図 ! それにより分割 ノード ' 本研究のシステム構成 に伝える のカメラは同期信号発生装置により同期がとられている 図 にカメラ配置とノード において視体積交差をする際のカメ ラの組み合わせを示す カメラ画像の解像度は ノード からぞれぞれ得られた視体積の共通部分 を視体積が送られてくる毎に求める ただし 空間解像度が違 ! ! で 最大空間解像度は 最小ボクセルの一辺を 木の深さは 初 期ボクセルの空間解像度は として実験を行った ま う場合は最も高いものにあわせる さらに 得られたボクセル 459 の性能 ! 表 㫉㫆㫆㫋㪄㫄㪼㪸㫅㪄㫊㫈㫌㪸㫉㪼 㪈㪇㪇 㪐㪇 " メモリ 㪏㪇 㪎㪇 #$$%&& コンパイラ 㪍㪇 㪌㪇 㪋㪇 㪊㪇 ECO ECO ⓨ㑆⸃ᐲ㩷㪍㪋㬍㪍㪋㬍㪍㪋 㪉㪇 ECO ECO %GKNKPIE IEECOGTC OGTC TC ⓨ㑆⸃ᐲ㩷㪈㪉㪏㬍㪈㪉㪏㬍㪈㪉㪏 㪈㪇 㪇 㪇 㪈 㪉 㪊 ECO ECO 㪋 㪺㪸㫄㪼㫉㪸㩷㫀㫅㪻㪼㫏 㪌 㪍 㪎 㪏 ECO ECO ECO Camera 図 Camera combination Camera 斜め上から見た図 図 上から見た図 とした つまり その誤差を求めた 結果を図 に示す 結果を見ると 色付け 誤差は空間解像度が下がると多少大きくなるが その増加量は 実験のカメラ配置と組み合わせ た 打ち切り解像度は 分木の深さ 空間解像度 におけるもともとの色付け誤差に 比べると小さい の 段階 の空間解像度の 色付け誤差 形状の精度についての考察 失敗ボクセル探索は完全でないため 既存の方法と完全に一 までマルチパスアルゴリズムを行い 葉ノードを送信した後 深 致した形状は得られない そのため どの程度形状が一致するの さ の解像度の にする か測定した 空間解像度が において すべての 自由視点映像についての考察 ボクセルを画像と照らし合わせる既存の視体積交差法と 分木 図 に 入力画像とそれと同じ視点からで形状復元処理が固 定解像度の時と可変解像度の時の生成画像を示す 固定解像度 の時 空間解像度は となっている 可変解像度 の時 対象が二人であるため形状復元時に打ち切りが起こって を利用した視体積交差法により得られた対象のボクセル表現を 比較した ただし 分木を利用した視体積交差法は打ち切りは 行わず 大きなボクセルは最小ボクセルまで分割して比較する おり 空間解像度は となっており 空間解像度が 低いために形状が荒い また 対象の表面にある灰色ボクセル 再現率 / を白ボクセルとしたために 空間解像度が高い時よりも形状は 多少大きくなっている そのため 対象の境界部分など色付け #' # が正しく行われていない部分が現れてしまう しかし 空間解 #' 像度が低くても姿勢や動きはほぼ認識できたので 空間解像度 セル が の形状情報も十分利用できると思われる )' さらに 図 に可変解像度で 実際にはカメラのない視点か のボクセル数 既存のシステムでの視体積交差法で占有と判断されたボク 分木を利用した視体積交差法で占有と判断されたボクセル 対象が人 らの生成画像を示す 小さな立方体は カメラ位置を表す 先ほ !! 人で計測すると 再現率は平均 0 となった よって 既存のシステムの手法と比べ 遜色がないと言える どと同様に打ち切りが起こっており 空間解像度は 処理時間についての考察 となっている 自由視点映像のオンライン配信の際には フレームレートの 最後に 図 に可変解像度で 対象人数が変化する時の生成 平均だけでなく 分散も重要な要素であると考えられる これ 画像を示す 対象が二人の時は形状復元時に打ち切りが起こって は 分散が大きい場合 オンライン配信における通信用バッファ おり 空間解像度は となっているが 対象が一人の を大きくとらなければならす それにより遅延が大きくなって 時は処理時間が比較的短いため 空間解像度は しまうためである となっている 対象に合わせて空間解像度が変化していること がわかる 図 に 本手法と既存のシステムの手法において対象が 人 から 人に変わった時のフレームレートを示す およそ ! フ 処理の打ち切りによる精度の低下 レーム目から ! フレーム目で対象が 人から 人へと増加す 処理を打ち切った際には 空間解像度が下がるため精度は劣化 る 既存のシステムの手法は人が 人から 人になるとフレー する そこで 空間解像度が の時と ムレートが著しく低下している すなわち 対象によってフレー の時においてどの程度色付け誤差が増大するのか測定した 色 ムレートが変化してしまい安定しているとはいいがたい 一方 付け誤差の測定は 得られた色付きの三角パッチ頂点をカメラ 本手法では対象の変化にかかわらずおよそ 画像に投影し () 値の 乗平均平方根誤差を求めた その際 投影された三角パッチ頂点間には線形補間した () !1+ を保っている このことより 既存のシステムの手法に比べ本手法はフレーム 値を用い レートが一定の数値以上で安定しているといえる ただし 本 460 原画像 生成画像 可変解像度 図 原画像とそれと同じ視点における生成画像 生成画像 生成画像 図 生成画像 生成画像 固定解像度 実際にはカメラのない視点からの画像 可変解像度 生成画像 図 生成画像 生成画像 対象人数が変化する時の生成画像 可変解像度 手法は既存のシステムの手法に比べてフレームレートの小さな から 人に変わった時の遅延時間を示す 遅延時間は 全 揺らぎが起こっている これは を終え の内部時計は一致しているという前提で カメラ画像が入力さ てから処理を打ち切るかどうか判断するため 処理の打ち切り れた時刻と自由視点映像を生成した時刻との差を計算すること が一定の時間で起きるとは限らないためである によって求めた また データは前節と同じものを使っている 章での * + * + & 遅延時間についての考察 既存のシステムの手法は人が 人から 人になると遅延時間が 図 に 本手法と既存のシステムの手法において対象が 人 著しく増加しているが 本手法では変化があまり見られない こ 461 '( =59-3 <8#>+ ?58 + 03 =+ )859 98#12 33- "# @5 3 >43 -:$ /3- :3- -# #5 :-3 A0 >% 43 5# <4 -56+ -3$& 777 <B+ 44& ; + .0 & '( 939 /3@9-+ )859 <5012 -3#35 ?% :3-3 <3 :3- ? 94 <33 $3C-0 :-3 <%>43 #56+ -3$#5 3: 9 -% 3 0435 3 ? ? -3$55#+ 5!% 3+ )-5553+ 44& ;+ )95538 -$+ 4@- & '( 上田 恵+ 有田 大作+ 谷口 倫一郎12 次元ビデオ映像のオンライ ン生成6+ 画像の認識・理解シンポジウム ?%<+ 3& + 44& %+ && '( 3- 3+ -33 <538+ A8- 3!>+ 359 *!>12 #%"5 933-5$ ? $35-$3 5# #3 4-536+ 情報処理学会論文誌+ 3& + /3& + 44& ;+ & '( , 7& 3-5+ -C0 7& 12 <-$9# @51 A #9 533 ? -:$ 35-$3 A#3-96+ 34- -49$5+ 3& + /3& + 44& ; + & ' ( 剣持 雪子+ 小谷 一孔+ 井宮 淳12 点の連結性を考慮したマーチン グ・キューブ法6+ 信学技報+ < % + 44& ;+ & ' ( 有田 大作+ 花田 武彦+ 谷口 倫一郎：2 分散並列計算機による実時間 <+ ビジョン6+ 情報処理学会論文誌+ 3& + /3& 44& ; + & ' ( 吉本 廣雅+ 有田 大作+ 谷口 倫一郎12 カメラを利用した多 視点動画像獲得環境6+ 第 回 画像センシングシンポジウム講演 論文集+ 44& % + & 㪊㪌 㪊㪇 㪉㪌 㪉㪇 㪽㫉㪸㫄㪼㩷㫉㪸㫋㪼 㩿㪽㫇㫊㪀 㪈㪌 㪈㪇 ኻ⽎߇ੑੱߩᤨ ኻ⽎߇৻ੱߩᤨ 㪌 㪇 㪇 㪋㪇 㪏㪇 㪈㪉㪇 㪈㪍㪇 㪉㪇㪇 㪉㪋㪇 㪉㪏㪇 㪊㪉㪇 㪽㫉㪸㫄㪼 㪺㫆㫅㫍㪼㫅㫋㫀㫆㫅㪸㫃㩷㫋㪼㪺㪿㫅㫀㫈㫌㪼 図 㫇㫉㫆㫇㫆㫊㪼㪻㩷㫋㪼㪺㪿㫅㫀㫈㫌㪼 フレームレート 㪊㪇㪇 㪉㪌㪇 㪉㪇㪇 㫃㪸㫋㪼㫅㪺㫐 㪈㪌㪇 㩿㫄㫊㪼㪺㪀 㪈㪇㪇 㪌㪇 ኻ⽎߇ੑੱߩᤨ ኻ⽎߇৻ੱߩᤨ 㪇 㪇 㪋㪇 㪏㪇 㪈㪉㪇 㪈㪍㪇 㪽㫉㪸㫄㪼 㪉㪇㪇 㪺㫆㫅㫍㪼㫅㫋㫀㫆㫅㪸㫃㩷㫋㪼㪺㪿㫅㫀㫈㫌㪼 図 㪉㪋㪇 㪉㪏㪇 㪊㪉㪇 㫇㫉㫆㫇㫆㫊㪼㪻㩷㫋㪼㪺㪿㫅㫀㫈㫌㪼 遅延時間 れは 本方法では空間解像度が低いことにより三角パッチに変 換して以降のノードの処理時間が短縮されたためであると考え られる お わ り に 本稿では オンライン自由視点映像生成の可変解像度処理に よるフレームレート安定化を提案した さらに 実験により対 象に依らずフレームレートが安定したことを示した 今後の課 題としては フレームレートの揺らぎを小さくする ボクセルではなく木を送ることにより 送信量を圧縮する 異なる空間解像度が混在するボクセルを三角パッチに変 換する 色情報を圧縮する 自由視点映像のオンライン配信の実現 などが挙げられる 文 献 ' ( )& *+ & ,& -+ & .& /-012 3$45 -0 -556+ 777 ,3-85934 3 9 4-53 3: 5 $5+ 44& ;+ . & '( 斉藤 英雄+ 木村 誠+ 矢口 悟志+ 稲木 奈穂：2 射影幾何に基づく 多視点カメラの中間視点映像生成6+ 情報処理学会論文誌+ 3& + /3& < + 44& ;+ & '( 北原 格+ 大田 友一：2 大規模空間に適した 次元形状表現手法 による自由視点映像の実時間生成6+ 信学技法+ <+ 44& ;+ & 462