Optical flowの推定

Optical flowの推定
画素ごとに運動を推定する
画像1
画像2
Optical Flowの例
平行移動
回転
拡大・縮小
Optical flowの例
問題の定義: optical flow
画像 H から画像 I までの画素の運動を推定する方法は?
• 画素の対応付け問題を解決する
– Hにある画素を与え、Iにおいて、その画素の近くから同じ色の画素を探す
重要な仮定
• 色の定常性:
色の定常性 Hにある点はIにも同じ色に見える
– グレイ画像の場合、それは明るさ定常性になる
• 微小運動:
微小運動 点の移動量は小さい
これはoptical flow問題という
問題という
Optical flowの拘束 (grayscale images)
それらの拘束について詳しく見てみよう
• 明るさ定常性: Q: 方程式は?
I ( x + u , y + v ) − H ( x, y ) = 0
• 微小運動: (u と v は1画素以下)
– I についテーラー（Taylor）展開する:
∂I
∂I
u + v +２次以上の高次項
∂x
∂y
∂I
∂I
≈ I ( x, y ) + u + v
∂x
∂y
I ( x + u , y + v ) = I ( x, y ) +
Optical flow方程式
二つの方程式を合併すると
0 = I ( x + u , y + v ) − H ( x, y )
∂I
∂I
≈ I ( x, y ) + u + v − H ( x, y )
∂x
∂y
∂I
∂I
≈ ( I ( x, y ) − H ( x, y ) ) + u + v
∂x
∂y
∂I
∂I
≈ ∆I + u + v
∂x
∂y
Optical flow方程式
∂I
∂I
u + v = − ∆I
∂x
∂y
∇I ⋅ [u　v ] = − ∆I
T
ここで、
 ∂I ∂I 
∇I =  
 ∂x ∂y 
T
Optical flowの方程式
∇I ⋅ [u　v ] = − ∆I
T
Q: 画素あたりに、未知数、方程式はいくつ？
方程式＝１ 未知数＝２
一意的な解が得られない
Aperture problem （このように見えるが）
Aperture problem （本当は．．．）
Aperture problem (覗穴問題）
Aperture problem の詳細
[u　v ] = − ∆I
∇I ⋅ T
エッジ勾配
内積
移動ベクトル
すなわち
| ∇I | ⋅ | エッジに対する垂直運動成分 |= − ∆I
エッジ勾配
垂直成分
移動ベクトル
Aperture problem の詳細
エッジ勾配
[u　v ] = −∆I
∇I ⋅ 内積
移動ベクトル
すなわち
| ∇I | ⋅ | エッジに対する垂直運動成分 |= − ∆I
この方程式の本当の意味は？
• エッジの勾配方向の速度成分は計算できる
• エッジと並行する速度成分は決定できない
これは、Aperture problemという
練習問題
Optical flow の方程式を導出しなさい。
前提： 画素が移動しても明るさが変化しない
画像が空間的にも、時間的にも微分可能である。
画素の移動量は微小である。