PDF 0.3MB

修士論文要旨 (2011 年度)
確率奥行マップを用いたディジタル・リフォーカス法
Digital Refocusing Method Using Probability Depth Maps
電気電子情報通信工学専攻 池藤広司
10N5100005C Koji IKEFUJI
Signal Processing Lab
Block diagram of our method
1.
まえがき
多視点カメラ
⊗ h3
⊗ h2
⊗ h1
近年，撮像系を物理的に工夫することで複数条件化で
存在確率
の画像群を同時に取得し，それらを処理することによって
新しい視覚効果を付与するコンピュテーショナルイメー
確率
ぼけカーネル
⊕
フィルタ
処理
ジングの研究が盛んに行われている．
多視点画像から自由に焦点合わせを変化させた画像
（自由焦点画像）を生成する手法として，取得画像を平行
自由焦点画像
移動させて重み付け加算平均する合成開口法 [1] がある．
7 January 2011
多視点画像の視点間隔が十分に小さい場合は，この合成
IWAIT2011
8
図 1: 提案手法のアルゴリズム
開口法により，単なる線形処理によって滑らかな焦点ぼ
群 {Ii } から原点における自由焦点画像 I を生成するこ
けを容易に生成できる．一方で視点間隔が大きい場合，
とを目的とする．
焦点ぼけ領域にゴースト劣化が生じる問題がある．この
2.2
ゴースト劣化を抑制するためには，奥行シーンを推定す
確率奥行マップの生成
るか，視点間の画像を内挿することで密な光線データと
奥行方向（Z 軸方向）に L 層のレイヤ Z = dj (j = 1
する必要があるが，後者は視点間の画像すべての内挿を
，· · · ，L) を仮定する．原点の画像において，画素 (m，n)
行うため処理量が多く高度な処理技術を必要とする．
における奥行 dj の確からしさを p(m，n; dj ) と表し，確
率奥行マップと呼ぶ．確率奥行マップ p(m，n; dj ) の生
本研究では，多視点画像から確率奥行マップ [2] を用
成方法を以下に述べる．
いて奥行を推定し，これに基づいて自由焦点画像を生成
する新手法を提案する．確率奥行マップから求める被写
まず，奥行 dj に基づいて，原点の画像の画素 (m，n)
体の存在確率を重みとして採用することで空間可変型の
に対する取得画像 Ii の対応点を求める．次に，対応点を
ぼけカーネルを生成し，それを取得画像群の一枚に施す
中心とした 9 × 9 ブロック内での輝度値の分散値を求め
ことで自由焦点画像を高品質に生成できることを示す．
る．最後に，得られたカメラ台数分の分散値を用いて再
2.
提案手法
2.1
問題設定
度分散値を計算することで，奥行 dj における代表の分
散値 σj2 (m，n) を決定する．同様な処理をすべてのレイ
ヤで行い，p(m，n; dj ) を次式のように生成する．
XY Z 世界座標系の XY 平面に N 台のピンホールカメ
ラが Z 軸に平行に配置されているとする．ただし，カメ
p(m，n; dj ) =
ÁX
L
σj2 (m，n)
σj2 (m，n)
(1)
j=1
ラの外部および内部パラメータはすべて既知である．i 番
目のカメラにおける取得画像を Ii (m，n) (i = 1，· · · ，N )
2.3
ぼけカーネルの生成
と表す．ただし，原点の取得画像は IO (m，n) と表す．こ
焦点を合わせる奥行を dp (p ∈ {1，
...，L})，所望の開
こに，(m，n) は画素の座標である．本稿では，取得画像
口半径を R とする．このとき，奥行 dj に対する錯乱円
1
1
の半径 rj は次式で与えられる．
¯
¯
¯1
1¯
rj = ¯¯ − ¯¯ R
(2)
dj
dp
√
標準偏差が 2ri の 2 次元ガウス関数を画素間隔でサ
各奥行の画像を作成する．(以下，確率カラーマップ) 作
ンプリングした後，サンプル値の和を正規化して，ぼけ
斑点状の歪みが生じている．この原因は，各奥行の画像
カーネル h(k ，l; rj ) を作る．ただし，j = p のときは，
にぼけカーネルを先に施すと，統合時にぼけによるにじ
h(k ，l; rj ) はデルタ関数とする．
み込みが強く発生するためである．提案手法では，ぼけ
成した画像に h(k ，l; rj ) を畳み込み，すべての結果を加
算した．手前に焦点を合わせたときの生成画像を図 2 (c)
に示す．合焦領域は概ね良好であるが，非合焦領域には，
カーネルを先に統合し，一枚の画像に施すことによって
原点の取得画像 I0 に施すべきぼけカーネルを h(k ，l; rj )
この影響を抑えている．
の確率奥行マップによる重み付け加算
hs (k ，l; m，n) =
L
X
奥行を一意に決定し，奥行マップに基づいてぼけカー
p(m，n; dj )h(k ，l; rj )
(3)
ネルを生成し，原点の画像にぼけを与えた場合の画像（一
j=1
部拡大）との比較を図 4 に示す．奥行マップを用いた方
として生成する．その結果，生成されるぼけカーネルは，
法では奥行を一意に決定するために，物体の境界付近に
空間可変型となる．
2.4
おいて不正確な奥行が推定されている．その結果，背景
自由焦点画像の生成
の Checker にぼけが生じていない領域がある（図 4 (b)
自由焦点画像 I は，原点の取得画像 I0 にぼけカーネ
の楕円で示した領域）．提案手法では，奥行を一意に決
ル hs (k ，l; m，n) を施して生成する．
I(m，n) =
X
定せず存在する確率を重みとして利用しているため，こ
IO (k ，l)hs (k ，l; m，n).
(4)
のような劣化が抑えられていると考えられる．
k，l
3.
実験
3.1
シミュレーション実験
さらに開口半径 R = 5.0 とした自由焦点画像の正解
画像と図 4 (a)，図 4 (b) の PSNR での定量評価を以
下で示す．前者の PSNR 値は 39.66[dB] であり，後者は
中心が原点の 5×5 の 2 次元格子点からの画像を 3DCG
38.76[dB] となった．また開口半径 R = 10.0 とした正
ソフト（Pov-ray）を用いて作成した．画像の解像度は
解画像でも評価を行い，前者では 35.23[dB]，後者では
640×480，画角は 50 度，視点間隔は 5 とした．シーン
34.19[dB] を示した．定量評価方法の PSNR において自
は奥行の異なる 3 枚の平板から構成され，手前から画像
由焦点画像への適用が有効であるかは不確かであるが，
“Lena”，“Pepper” および “Checker” がマッピングして
両者とも提案手法が 1[dB] 近く高いため，提案手法の有
ある．それらの奥行は順に 150.0，167.6，190.0 である．
用性を示していると考えられる．
奥行の数を L = 10 とし，dj = (L − 1)((L − j)/150 −
(j − 1)/190)−1 として各奥行を設定した．また，所望の
3.1.1
奥行推定における算出方法
開口半径 R = 5.0 とした．この条件では，合成開口法で
多視点カメラの対応点の色情報が似ているほど被写体
生成した自由焦点画像にゴースト劣化が生じる．
が存在する確率が高くなり，生成画像にも大きな影響を
提案手法による生成画像を図 2 (a) と (b) に示す．こ
与える為，確率奥行マップから奥行を推定する際の算出
こでは，焦点を合わせる奥行を前景の d1 と背景の d10 と
方法の検討を以下に示す．今回は提案手法で用いた分散
した．合焦領域は鮮鋭であり，非合焦領域には滑らかな
の分散，一般的な正規化相関を検討した．
焦点ぼけの効果が見られる．
確率奥行マップによる存在確率の算出結果をより分か
ぼけカーネルを一つに統合する効果を検証するために，
りやすくするために，1 層目と推定した奥行に色情報を
各奥行にぼけカーネル h(k ，l; rj ) を施す手法を試みた．
付与した確率カラーマップを生成した．各算出方法を利
原点の画像 I に対して，各確率奥行マップを乗算して，
2
2012/2/10
2012/2/10
(a) 提案手法
（Lena に合焦）
(b) 提案手法
（Checker に合焦）
(c) 奥行ごとぼけカーネルを施す手法
（Lena に合焦）
図 2: シミュレーション結果
(a) 分散の分散
(b) 正規化相関
(c) 中心カメラにおける分散
図 3: 各算出方法の検討
用して生成した確率マップ画像を図 3 (a),(b) に示す．本
来 lena のテクスチャが存在する奥行を，確率奥行マップ
にて推定し色情報を付与した画像である．
分散の分散による確率カラーマップは，テクスチャの
変化が穏やかな領域の場合でも，高精度な奥行推定が行
(a) 提案手法 (確率奥行マップを利用)
われているため，Lena が鮮明となっている．ここで図1
3 (c) は，中心のカメラのブロック領域での分散値を正規
1
化し画像とした結果である．取得画像に対して分散を取
ることで，テクスチャの変化が激しいエッジ付近が抽出
されたため，奥行推定が高精度となったと考えられる．
より一般的な正規化相関では，劣化した確率カラー
(b) 比較手法 (奥行マップを利用)
マップとなった．これは相関値の取りうる値が −1∼1 と
図 4: 確率奥行マップの効果 (一部画像拡大)
狭い範囲のため，精度が低くなったと考えられる．また
Checker において，推定誤りから異なる奥行が 1 層目と
視点画像データベース」を使用した．それらの画像は，
推定された．これは，正規化相関が基準の画像と対応す
カメラを水平および垂直方向に 20[mm] 間隔で移動さ
る画像の対のみの算出となるため，ブロック領域で色情
せて，合計 25 視点から取得したものである．画像の解
報に対応できず，推定誤りが生じたものである．
3.2
像度は 480×360[pixels]，すべてのカメラの画角は 27.4
実シーンによる実験
度である．対象シーンは人形であり，その奥行き範囲は
実写の多視点画像を用いて，提案手法による任意視
590–1500[mm] である．奥行の数を L = 32 とし，dj =
点画像の生成を行った．多視点画像には，
「筑波大学多
3
を図 5 (c) に示す．奥行を一意に決定するために奥行の
推定誤りが発生するため，所望の焦点ぼけ効果が生成で
きていないことがわかる．
4.
むすび
本研究では，多視点画像から推定した確率奥行マップ
を用いて空間可変なぼけカーネルを生成し，一枚の取得
画像をフィルタリングすることによって自由焦点画像を
(a) 提案手法 (前景に合焦)
生成する手法を提案した．奥行を一意に決定する手法で
は，推定誤りが生じた領域において，所望な焦点ぼけ効
果が得られなかった．また，分散の分散を用いた確率奥
行マップがより高精度な奥行推定となることを示した．
今後は，PSNR 以外の定量評価を検討すべきである．
謝辞
久保田彰准教授には，日々御多忙にもかかわらず，献
身的に御指導頂いたことで充実した研究活動が出来まし
(b) 提案手法 (背景に合焦)
た．また，国内外の学会に参加する機会を与えて頂き，
大変よい経験となりました．ありがとうございました．
研究業績
1. 池藤広司，久保田彰，“確率奥行きマップを用いた
多視点画像からの自由焦点画像の生成”，画像電子学会
第 250 回研究会講演予稿，pp 63-66，2010
2. 池藤広司，久保田彰，“確率奥行マップを用いたディ
ジタル・リフォーカスの検討”，Forum on Information
Technology 2010，第 9 回情報科学フォーラム，I-055，
pp 369-370，2010
(c) 比較手法 (奥行マップを利用，前景に合焦)
図 5: 実シーンによる結果
3. Koji Ikefuji，Akira Kubota，“A Digital Refocusing Method Using Probability Depth Maps””，Workshop on Picture Coding and Image Processing，WP229，pp 93，2010
(L − 1)((L − j)/590 − (j − 1)/1500)−1 として各奥行を
設定した．さらに，所望の開口半径 R = 20 とした．シ
ミュレーション実験同様，合成開口法で生成した自由焦
4. Koji Ikefuji，Akira Kubota，Toru Adachi，“A
Digital Refocusing Method Using Probability Depth
Maps””，International Workshop on Advanved Image
Technology 2011，1569362391，2011
点画像にゴースト劣化が生じる条件である．
提案手法によって生成された自由焦点画像を図 5 (a)，
図 5 (b) に示す．前者の合焦面は前景 (590[mm]) であり，
参考文献
後者の合焦面は背景 (1500[mm]) である．シミュレーショ
[1] A.Isaksen，L.McMillan，S.J.Gortler，“Dynamically reparameterized light fields”，SIGGRAPH2000，pp 297-306，2000
ン結果同様，合焦領域は鮮鋭であり，非合焦領域には滑
らかな所望の焦点ぼけ効果が見られる．
また，奥行マップに基づいてぼけカーネルを生成し，
[2] 國田，上野，田中，“多層信頼度マップを用いた 3 次
元映像の実時間生成システム”，映情学誌， Vol. 60，
No. 7， pp. 1102–1110， 2006
原点の画像にフィルタリングして生成した自由焦点画像
4