画像電子学会ワードテンプレート (タイトル)

画像電子学会
The Institute of Image Electronics
Engineers of Japan
年次大会予稿
Proceedings of Visual Computing 2015
見た目の転送を用いた疎な多視点画像からの流体ボリュームのモデリング
Fluid Volume Modeling from Sparse Multi-view Images by Appearance Transfer
岡部 誠 1,4
土橋 宜典 2,4
Makoto Okabe1,4
安生 健一 3,4
Yoshinori Dobashi2,4
尾内 理紀夫 1
Ken Anjyo3,4
Rikio Onai1
1 電気通信大学
1 The University of Electro-Communications
2 北海道大学
2 Hokkaido University
3 ｵｰ･ｴﾙ･ｴﾑ･ﾃﾞｼﾞﾀﾙ
3 OLM Digital, Inc.
4 科学技術振興機構 CREST
4 JST, CREST
1. は じ め に
炎，煙，爆発など，流体の視覚効果は映像製作に欠か
せ な い ． コ ン ピ ュ ー タ ･ グ ラ フ ィ ク ス (CG)に お い て ，
流体は最重要課題の 1 つとして長年研究されてきた．
しかし，流体アニメーションの製作は未だ難しく時間
の掛かる作業であり， 映像製作の工程の中でボトルネ
ックの 1 つとなっている．
流体アニメーションの製作には大きく 3 つの手法があ
る．1 つ目の流体シミュレーションは様々な種類の流
体 を リ ア ル に 作 る こ と が で き る [1]．し か し ，流 体 シ ミ
ュレータへの入力はパラメータなど抽象的なものであ
るため，出力される映像との関係が掴みにく い．専門
家でも望みの流体を得るまで に，多くの試行錯誤が必
要 で あ る ． 2 つ 目 は 動 画 の 編 集 で あ る [2]． 多 く の 映 像
製作会社は独自の動画データベースを持つ．ポスト･
プロダクション担当のアーティストはデータベースか
ら適切な流体動画を選び，動画編集ツールでシーンに
重ね合わせることで流体効果を演出する．しかし，2
次元の動画ではカメラが動くシーンなど，3 次元的な
効 果 が 必 要 な 場 合 に 対 応 で き な い ．3 つ 目 は イ メ ー ジ ･
ベ ー ス ･モ デ リ ン グ で あ る [3,4,6]．流 体 を 複 数 の カ メ ラ
で異なる方向から撮影し ，それを基に 3 次元流体アニ
メ ー シ ョ ン を 作 る ． こ の 手 法 は 入 力 (多 視 点 動 画 )と 出
力 (3 次 元 流 体 )の 関 係 は 分 か り や す い が ，複 数 カ メ ラ を
用いての撮影作業が面倒である．
本稿では単一視点や直交 2 視点などの非常に疎な多視
点画像から 3 次元流体ボリュームをモデリングする手
法を提案する．入力の視点数が少ないので，複数カメ
ラの設置やキャリブレーションなど ，撮影者の負担が
軽減される．一方，入力の視点数が少ないとモデリン
グ に 必 要 な 情 報 が 不 足 す る ． 図 2(上 段 )は 最 小 二 乗 法
(LSM)[6]で モ デ リ ン グ し た ボ リ ュ ー ム で あ る ． 水 平 方
向 に 回 転 し ，他 の 視 点 (15 度 ，45 度 ，75 度 の 方 向 )か ら
見ると不自然にボケて見えるように感じる．この理由
は 「 人 は 入 力 (図 2 の 左 端 と 右 端 )の 見 た 目 を 覚 え て い
て ，他 の 視 点 か ら 見 て も 同 様 の 見 た 目 を 期 待 す る た め 」
図 1: 単 一 視 点 (左 )や 直 交 2 視 点 (右 )な ど ， 非 常 に
疎な多視点動画 から 3 次元流体アニメーションを
作 る ． Autodesk Maya 2015 の 流 体 シ ミ ュ レ ー タ を
用いて流体の見た目や動きを編集することが可
能 (左 図 で は 乱 気 流 を 加 え た )．
図 2: 左 端 と 右 端 を 入 力 画 像 と し ， LSM で モ デ リ
ングしたボリュームを上段 ，提案手法でモデリン
グしたボリュームを下段に示す ．
というのが我々の仮説である．
提案手法は見る人のこの「期待」に応えるようにボリ
ュームをモデリングする ．あらゆる方向から見た時に
ボリュームが入力画像と似た見た目を持つよう ，ボリ
ュ ー ム ･モ デ リ ン グ の 新 し い エ ネ ル ギ ー 関 数 を 定 義 し ，
それを簡単で効率の良い 繰り返しアルゴリズムで最小
化 す る ．図 2(下 段 )に 示 す よ う に ，提 案 手 法 で モ デ リ ン
グしたボリュームはあらゆる方向から見てもボケてお
らず，自然な見た目を持つ．画像が与えられると，提
案手法は自動的にボリュームをモデリングする．
画像電子学会
The Institute of Image Electronics
Engineers of Japan
年次大会予稿
Proceedings of Visual Computing 2015
データベースの流体 動画を扱うアーティストは，選ん
だ動画を単にそのまま使うことはなく ，望ましい映像
を作るため必ず編集を行う ．我々も流体アニメーショ
ン を 編 集 す る た め ， Autodesk Maya 2015 の 流 体 シ ミ ュ
レータを用いて流体の見た目や動きを編集できる手法
を 提 案 す る (図 1)．
2. 提 案 手 法
疎 な 多 視 点 画 像 (図 3-a)が 入 力 さ れ る と ，LSM を 適 用 し
て 初 期 ボ リ ュ ー ム (図 3-b)を 作 る ．こ の ボ リ ュ ー ム は 図
2(上 段 )の よ う に 他 の 視 点 か ら 見 る と ボ ケ て お り ，ま た
図 3-b の よ う に 斜 め 上 か ら 見 下 ろ す と グ リ ッ ド 構 造 が
見え不自然である．
図 3: 提 案 手 法 の 処 理 の 流 れ ．
提 案 手 法 は 次 の 3 ス テ ッ プ を 繰 り 返 す ．1) 現 在 の ボ リ
ュームを多視点方向に投影してレンダリングする．今
回 は 縦 軸 周 り に 180 の 方 向 に 投 影 し ， 180 枚 の 投 影 画
像 を レ ン ダ リ ン グ し た (図 3-c)．2) テ ク ス チ ャ 分 析 ･合
成 手 法 [5]を 用 い ，各 投 影 画 像 が 入 力 画 像 (図 3-a)と 似 た
見 た 目 を 持 つ よ う 修 正 す る (図 3-d)． 3) 修 正 し た 画 像
に LSM を 適 用 し ，3 次 元 ボ リ ュ ー ム を 得 る (図 3-e)．今
回の実験では，以上の 3 ステップを 8 回繰り返した．
以上のアルゴリズムは輝度画像を入力とし，密度場の
ボリュームを作る．
多視点動画が入力された 時は，上記のアルゴリズムを
各動画フレーム毎に独立に適用する ．結果として得ら
れ る ボ リ ュ ー ム ･シ ー ケ ン ス は 時 間 的 な 一 貫 性 が 保 障
さ れ な い ． そ こ で ， Autodesk Maya 2015 の 流 体 シ ミ ュ
レ ー タ に ボ リ ュ ー ム ･シ ー ケ ン ス を 読 み 込 み ，動 画 か ら
測 定 し た オ プ テ ィ カ ル ･フ ロ ー を 用 い て 滑 ら か な 流 体
アニメーションをレンダリングする ．この時，流体シ
ミ ュ レ ー タ の レ ン ダ リ ン グ ･パ ラ メ ー タ を 編 集 す る こ
と で 色 付 け が で き る (密 度 値 が 色 に マ ッ ピ ン グ さ れ る )．
また，乱気流など，流体の動きに関するパラメータを
編集することもできる．
3. 結 果 と 考察
提 案 手 法 を CG 画 像 (図 3)と 実 際 の 流 体 を 撮 影 し た 画 像
(図 1， 2， 4)の 両 方 に 適 用 し た ． 図 1(左 )と 図 4 に 単 一
視点で撮影された 流体動画から作った流体アニメーシ
ョンを示す．図 4 には入力動画の解像度とフレーム数
を示す．単一視点の場合，流体を正面及び真横から見
た画像が同一である ，と仮定してモデリングを行う．
図 4 のスライスに示すように， 結果のボリュームは対
角 線 に 対 し て 左 右 対 称 と な る ． 比 較 と し て stochastic
tomography (ST-SAD) [3]の 結 果 を 載 せ た ． ST－ SAD の
結果が四角く，グリッド構造を持つのに対し，提案手
法の結果は丸みがあり ，有機的な構造を持っている．
参考文献
[1] Bridson, R., and Müller-Fischer, M. 2007. Fluid
simulation: Siggraph 2007 course notes . In ACM
SIGGRAPH 2007 Courses, 1 –81.
[2] Bhat, K. S., Seitz, S. M., Hodgins, J. K., and Khosla,
P. K. 2004. Flow-based video synthesis and editing.
ACM Trans. Graph. 23, 3, 360 –363.
[3] Gregson, J., Krimerman, M., Hullin, M. B., and
Heidrich, W. 2012. Stochastic tomography and its
applications in 3d imaging of mixing fluids. ACM
Trans. Graph. 31, 4, 52:1–52:10.
[4] Hasinoff, S. W., and Kutulakos, K. N. 2007.
Photo-consistent reconstruction of semitransparent
scenes by density-sheet decomposition. IEEE Trans.
Pattern Anal. Mach. Intell. 29, 5, 870–885.
[5] Heeger, D. J., and Bergen, J. R. 1995. P yramid-based
texture
analysis/synthesis.
In
Proc.
of
SIGGRAPH ’95, 229–238.
[6] Ihrke, I., and Magnor, M. 2004. Image-based
tomographic reconstruction of flames. In Proc. of
SCA ’04, 365–373.
画像電子学会
The Institute of Image Electronics
Engineers of Japan
年次大会予稿
Proceedings of Visual Computing 2015
図 4: 単 一 視 点 の 動 画 か ら 作 っ た 流 体 ア ニ メ ー シ ョ ン ．左 か ら 右 に ，入 力 動 画 の フ レ ー ム ，ST-SAD で モ デ リ ン グ
し た ボ リ ュ ー ム と そ の ス ラ イ ス ， 提 案 手 法 で モ デ リ ン グ し た ボ リ ュ ー ム と そ の ス ラ イ ス ， Autodesk Maya 2015 で
レンダリングした最終結果 ．