光線空間理論

平成22年度
平成 年度
多次元情報処理
(Multidimensional information
processing)
大学院理工学研究科
集積システム専攻
藤井 俊彰
１．導入
（３次元映像・自由視点映像への関心の高まり）
1
1. 導入
近年，3次元映像が注目を集めている？
大越孝敬：三次元画像工学，産業図書, 1972
３D元年
３D関連商品：
2010年、各社から製品化
各社ホームページより
2
情報通信研究機構（NICT）の
ホームページより
３次元テレビシステム
３次元映像とは？
２次元映像
３次元映像
撮影：中京TV
３次元：次元が３ !?
ex. 3次元画像処理（ボクセル）
3次元CG など
• 人間に立体感
立体感を与えることのできる画像
立体感
3
人間の立体感の要因(1/3)
大きさ，遠近法，重なり，陰影，テクスチャ勾配
両眼視差，輻輳，目の焦点調節，運動視差
「3次元映像ハンドブック」
「立体視テクノロジー」：出澤（電気通信大）
人間の立体感の要因(2/3)
大きさ，遠近法，重なり，陰影，テクスチャ勾配
両眼視差，輻輳，目の焦点調節，運動視差
「3次元映像ハンドブック」
「立体視テクノロジー」：出澤（電気通信大）
4
人間の立体感の要因
・大きさ，遠近法，重なり，陰影，テクスチャ勾配
・両眼視差，輻輳，目の焦点調節，運動視差
これを満足するものが
３次元映像！
「立体視テクノロジー 」：畑田
様々な３次元映像方式
5
1838年：Wheatstoneの立体鏡
1903年：F.E.Ives パララックス ステレオグラム
6
1908年：M.G.Lippmann インテグラル・フォトグラフィ(IP)
３次元映像の種類
２眼ステレオ法
多眼ステレオ法
ホログラフィ，キノフォーム
体積走査法
レンチキュラ方式，インテグラルフォトグラフィ(IP)
光波面再生法
眼鏡あり：アナグリフ，偏光・液晶シャッタ眼鏡方式
眼鏡なし：パララックスバリア，レンチキュラ方式
移動スクリーン、バリフォーカルミラー，可変焦点法
その他
空間像形成，錯視を用いたもの(DFD)
7
２眼ステレオ法
左右眼に視差のある２つの平面画像を提示
左右像分離方式
要眼鏡
裸眼観察 可能
•アナグリフ（赤青眼鏡）
• 偏光眼鏡
• 液晶シャッタ眼鏡
• レンチキュラー方式
偏光眼鏡
• パララックスバリア方式
3D映画の方式
XpanD （液晶シャッター）
RealD （円偏光）
○3Dメガネが安い。
○多少ルーズな姿勢で見てもゴーストが出にくい。
×偏光板を通る分、少し映像が暗くなる。
Dolby 3D（多層カラーフィルタ）
○映画館は設備投資が安く済む（通常のホワイトスクリーン利用可）
○スクリーンが反射する光に偏りが無いので、席の場所を選ばない。
×3Dメガネが重い（液晶シャッター機構＋バッテリー）、画面が暗い。
○他の方式に比べ色再現性が高い。色調が豊か。
×大スクリーンが難しい。
IMAX3D （直線偏光）
○画面が明るい。
○メガネが軽い
○IMAX3Dを名乗るシアターはそれ全体が3Dのために設計されている。
×直線偏光のため、首を傾けるだけでゴーストがでる。姿勢をしっかり維持しなければいけない。
8
偏光方式マイクロポール(Xpol)の仕組み
レンチキュラ方式の原理
三洋電機
山田（日本工業大）
9
パララックスバリア方式の原理
西田，山本（徳島大）
多眼ステレオ法
多視点画像を提示．運動視差に対応できる．
• レンチキュラ方式
• 集束化光源列(FLA)
•インテグラル・フォトグラフィー（ＩＰ）
（蝿の目レンズ板方式）
10
高密度指向性表示
（High-Density Directional 表示、HDD 表示)
高木（東京農工大）
ホログラフィーの原理
ホログラム記録
（フレネル・ホログラム）
ホログラム再生
佐藤（湘南工科大）
11
電子ホログラフィ
S.A.Benton(MIT), 吉川（日大）
インテグラル・フォトグラフィー
（Integral Photography; IP, 1908年）
（NHK放送技術研究所，1997年）
Depth control Lens
GRIN lens array
Real
image
Object
image pickup device
Viewer
Reproduced
image
12
インテグラル立体画像
（2009年5月，NHK放送技術研究所公開資料より）
Upper viewpoint
Lower viewpoint
Left viewpoint
Right viewpoint
再生像の例（NHK放送技術研究所）
13
Depth-Fused 3D （DFD), NTT
一般画像において、前後像の明るさの割合を変化させて、
任意の奥行き位置を表現
DepthCube
14
空中像描画法（産業技術総合研究所）
360度立体ディスプレイ（日立）
15
光線再現型
時分割ディスプレイ（円筒型）
•立体像サイズ：直径２００×高さ２５６［mm］
•画素数：１２５４×２５６
•光線角度間隔：＜１°
•カラー動画像表示(約10秒間)
•スリット円筒直径：430mm
•回転数：1800rpm(スリット)
100rpm(LEDアレイ)
圓道，梶木，本田，佐藤,
"全周型3次元ディスプレイ"，
信学論, J84-D-II, 6, pp. 1003-1011(2001).
16
円筒型ディスプレイの原理
1次元光源アレイ（LEDアレイ）
（低速回転）
• 回転によって光線の方向
を走査
• 時分割で視差画像を表示
スリット付円筒遮光板
（高速回転）
「デジタルコンテンツEXPO2009」出展
」出展,
「デジタルコンテンツ
」出展 2009.10
17
ニンテンドー ３DS
３Ｄ映像が楽しめるゲーム機「ニンテンドー３ＤＳ」を
発表する任天堂の岩田聡社長
（15日、ロサンゼルス）＝ＡＰ
ニンテンドー3DSでは、裸眼で立体的なゲーム映像を見ることができる。過去に任天堂から発売された
ファミコン3Dシステムなどでは専用の3D眼鏡を装着する必要があったが、ニンテンドー3DSではその必要がない
視差バリア方式3D液晶ディスプレイを搭載するとみられている
シャープの3D液晶
視差バリア方式
の概念図
薄型化
スイッチ液晶を用いた視差バリア方式
http://www.sharp.co.jp/3d-tech/
18
４．光線空間法とは？
３次元統合画像通信の構想 (原島＆藤井，1992)
( Integrated 3-D Visual Communications)
Camera Array
Multi-View Image
Computer Generated
Ray
Space
？？
Common
Data
Format
Multi-View Imge
Spatial Imaging
Compression
Hologram
入力－出力は１対１
Hologram
19
３次元統合画像通信の構想 (原島＆藤井，1992)
( Integrated 3-D Visual Communications)
Camera Array
Multi-View Image
Ray
Space
？？
Multi-View Imge
Common
Data
共通データ
Computer Generated
Format
Spatial Imaging
Compression
Hologram
Hologram
「3次元統合画像符号化の基礎検討」（１９９４）
藤井：「３次元統合画像符号化の基礎検討」，
東京大学工学系研究科 博士論文 (1994).
http://hdl.handle.net/2261/1866
20
3次元空間情報の光線空間表現
Multi-view image: A1 , A2 , L , AN ⊆ U
A'j ⊆ U
Virtual view image:
U
AN
A1
Ai
A2
A2
A'j
A'j
A1
U : all ray data
Ai
AN
３次元空間情報の光線空間表現
21
３次元空間情報の光線空間表現
y
光強度 f
位置(x, y)
方向
(θ,φ)
x
物体
基準面
z
• 基準面の通過位置と方向で
光線をパラメータ化
• 光線のもつ属性として輝度値
f を導入
f(x,y,θ,φ)で空間情報を表現
光線空間表現と呼ぶ
[1] 藤井：「3次元統合画像符号化の基礎検討」，東京大学，博士論文 (1994).
[2] T. Fujii,T. Kimoto,M. Tanimoto,” Ray Space Coding for 3D Visual
Communication ” , Picture Coding Symposium ’96, pp. 447-451, 1996.3.
[3] 藤井，金子，原島：“光線群による３次元空間情報の表現とその応用 ”,
テレビジョン学会誌, Vol.50, No.9, pp. 1312-1318, 1996.9.
Light Field Rendering (Stanford大)
M.Levoy, P.Hanrahan, “Light Field Rendering,“
Proc. ACM SIGGRAPH '96, pp. 31-42 (1996.8).
22
光線空間の例（x-u軸,y一定)
u=tanθ
x
23
実空間と光線パラメータ空間の関係(1)
縦方向視差（φ）を無視，y=const.の断面
u = tan θ
P(X,Z)
x
X
x
z θ Ray
実空間
光線空間
実空間内の一本の光線 ＝ 光線空間上の「点」
実空間と光線パラメータ空間の関係(2)
縦方向視差（φ）を無視，y=const.の断面
u = tan θ
P(X,Z)
x
X
z θ Ray
実空間
x
X = x + uZ
光線空間
実空間内の一点を通る光線群＝光線空間内で直線上に並ぶ
24
光線空間の例（x-u軸,y一定)
u = tan θ
物体
Ｘ
x
Ｚ
X = x + uZ
光線空間は直線構造からなる
（∵ランベルト反射則）
光線空間の例（x-u軸,y一定)
u=tanθ
x
25
光線空間の性質
実空間の一点を通る光線群は光線空間で
直線をなす
光線空間は直線構造からなる（生成）
（ピンホール）カメラでの撮影は直線上の
データの観測である（取得）
撮影による光線群のサンプリング
水平視野
y
1
2
34
5
垂直視野
水平視野
位置
Y
u (= tan θ )
( x, y)
方向
X
(θ , ϕ )
垂 直視 野
x
5
4
視域
空間光線
f ( x, y, u)
3
2
カメ ラ 1
Z
26
撮影による光線群のサンプリング
y
y
x
z
5
4
u = tan θ
3
2
1
x
5
3 4
2
1
実空間
光線空間
f ( x , y , u)
光線群の切り出しによる
自由視点画像の合成
y
断 面１
断 面２
x
u
断 面１ の 画像
空 間光 線
f ( x, y, u)
断 面２ の 画像
27
ステレオ画像・多視点画像生成
X = x + uZ
X
u = tan θ
P(X,Z)
x
多視点画像生成
のための仮想視点
ステレオ画像生成
のための仮想視点
Z
実空間
光線空間
視点 P(X,Z)を通る光線群を取り出す
光線空間を用いたカメラ操作の実現(1)
ズーム
X = x + uZ
X
u = tan θ
x
P(X,Z)
光線空間
Z
実空間
28
光線空間を用いたカメラ操作の実現(2)
可変焦点画像の生成
X = x + uZ
X
u = tan θ
x
レンズ
P(X,Z)
Z
実空間
画像面
光線空間
輝度値の平均をとる
Refocus Imaging
Refocus Imaging 社
http://www.refocusimaging.com/about/
Light Field Camera
29
Refocus Imaging：原理
4次元光線空間を
IPの原理を利用して
2次元にして取得
後段の信号処理で
フォーカスを制御
Ren Ng et al., “Light Field Photography with a Hand-held Plenoptic Camera,”
Stanford Tech Report CTSR 2005-02
極座標による表現（球面光線空間）
y
η
光強度 f
α
方向
(θ,φ)
ξ
x
位置 (ξ
,η )
x
r
( X, Z )
z
ξ = − r sin(θ − α )
ξ
f (ξ , η , θ , ϕ )
z
基準面
θ
-π
π
極座標系
30
Background 120 mm
1300 mm
Rotation per
sample： 0.25°
Turntable
TV Camera
640x480 pixels
(24 bits/pixel)
Amount of data：640x480x3 x (360x4) = 1.3 (GB)
0°
90°
360 images
物体の実サイズ
撮影距離
180°
360 images
: 12cm x 12cm
: 130 cm
31
光線空間データの例（円形カメラ配列）
ξ
π
0
θ
ξ
π
0
θ
自由視点映像の生成
(a)
(b)
(c)
(d)
50 cm
Real camera
positions
6 cm
(c)(b)(a)
(d)
32
光線空間ビューア（Ray-Space Viewer)
object
virtual camera
virtual viewpoint area
光線空間の構成:
光線空間の構成
1度あたり4枚の視差画像 , 合計 1440 枚
３次元統合画像通信の構想 (原島＆藤井，1992)
( Integrated 3-D Visual Communications)
Camera Array
Multi-View Image
Ray
Space
？？
Multi-View Imge
Common
Data
共通データ
Computer Generated
Format
Spatial Imaging
Compression
Hologram
Hologram
33
３次元統合画像通信の構想 (藤井 & 原島，1993)
( Integrated 3-D Visual Communications)
Camera Array
光線空間
Multi-View Image
Computer Generated
Ray Space
Common
Data
Format
Multi-View Imge
Spatial Imaging
Compression
Hologram
Hologram
さまざまな3次元映像方式の中間記述フォー
マットとして光線空間を導入
光線空間の入力・処理・出力として3次元映
像システムを定式化
「光線空間法に基づく3次元映像システム」へ
34
光線空間法に基づく3次元映像システム
T. Fujii, M. Tanimoto,
"Free-Viewpoint TV System Based on Ray-Space Representation",
SPIE ITCom Vol. 4864-22, pp.175-189 (2002).
3-D シーン
光線空間
Ray-Space
表示
データ取得
光線空間
符号化
視点指定
35