Part 1 Binocular correspondence computation in V4

脳科学入門
２つの目で見る１つの世界
～両眼立体視～
藤田一郎
Ichiro Fujita
脳が３次元世界を再構築する
1
脳が３次元世界を再構築する
木彫り
ジグゾー
Snowden R, Thompson P, Troscianko T (2006)
Basic Vision, Oxford UP
両眼立体視（stereopsis）
両眼視差を検出し、それに
基づき、奥行き知覚を得る
２つの目はわずかに異なる角度から
世界を見ている 左右の目に映る
像はわずかに異なる 両眼視差
奥行き（深さ）の知覚
L
左目像
右目像
R
知覚される世界
2
「両眼視差が立体知覚を生む」
Charles Wheatstone(1802-1875)
ハプロスコープ
ステレオグラム
赤メガネを左目に、青メガネを右目に
Stereo demo
anaglyph by Hiroshi Shiozaki
3
両眼視差とは何か？
Object
注視点
What is Binocular Disparity?
O bject
O bjectFixation point
Fixation point
Fixation point
O bject
Fovea
Fovea
Fovea
Left retina
Left retina
Left retina
R ight retina
R ight retina
R ight retina
Zero disparity
(Fixation plane)
C rossed disparity U ncrossed disparity
(Far)
(N ear)
中心窩
左網膜
右網膜
視差なし
Zero disparity
(注視面)
左網膜
右網膜
交差視差
Crossed disparity
(手前)
左網膜
右網膜
非交差視差
Uncrossed disparity
(奥)
両眼立体視は形や色の情報処理とは
独立に行うことができる
4
問題
脳のどこが、どのような計算
（情報処理）を介して、
両眼視差の検出から
奥行き知覚の形成を行うのか？
一次視覚野（V1）と両眼立体視
◆ 両眼からの情報はV1で初めて
一細胞に集まる（収れんする）
◆ 両眼視差はV1で検出される
受容野内の刺激の両眼類似度（相関）を
計算している（視差エネルギーモデル）
(Ohzawa, DeAngelis & Freeman (1990) Science 249:1037-1041)
◆ 両眼立体視にはV1以後の
大脳皮質領野が必要
外側膝状体
V1細胞の性質は、両眼立体視の
さまざまな特性を説明できない
(Cumming & Parker (1997) Nature 389: 280-283.)
一次視覚野
V1
5
視覚にたずさわる大脳皮質
ヒト
サル
視覚にたずさわる大脳皮質
空間視経路（頭頂葉経路）
見えているものに働きかける
こわれると運動失行
サル
物体視経路（側頭葉経路）
ものが何であるかを知る
こわれると視覚失認、
相貌失認
ヒト
6
両眼立体視は頭頂葉経路の機能と
考えられてきた
教科書的定説
■ 頭頂葉経路は、色のない、動きのある、立体的な世界を見ている
■ 側頭葉経路は、色がつき、静止した、平らな世界を見ている
頭頂葉
経路
PPC
MT/MST
両眼奥行き情報
V1
LGN
V2
側頭葉
経路
Retina
IT
V4
Kandel et al. (2000) Principles of Neural Science (4th Ed.)
神経細胞は電気パルス
で情報を伝える
7
側頭葉で起きていること
ＮＨＫサイエンスアイ〔1999〕よりクリップ
側頭葉細胞はその性質にしたがって
柱状構造（コラム）をつくっている
Fujita, Tanaka, Ito, Cheng (1992) Nature, 360: 343-346.
Wang, Fujita, Murayama (2000) Nature Neurosci., 3:807-813.
8
Surface perception depends on color,
luminance, shape, and binocular disparity
L eye image
R eye image
Human:
Nakayama & Shimojo (1992)
Science, 257:1357-1363.
Monkey: Uka, Tanaka, Kato, Fujita (1999)
Vision Res., 39:2399-2410.
定説は正しいのか？
MT
MST
動き、位置、両眼視差
〔注〕イメージ図です
V1
形、色、模様
V4
IT
Ungerleider, Macko, Mishkin (1982) TINS
9
実験はこんな感じです
定説は正しくなかった
細胞応答（インパルス／秒）
側頭葉視覚連合野（IT）の細胞が
両眼視差情報を伝えている
両眼視差
IT
両眼視差による形 両眼視差による面
20
Lum
Tex
Disp-L
DispR
10
0
-1.0
Near
手前
0
1.0
Disparity
(deg) 奥
両眼視差(度）
Far
Takanori Uka
Hiroki Tanaka
Tanaka et al. (2001) J Neurophysiol
Uka et al. (1997) SFN
Uka et al. (2000) J Neurophysiol
Peter Janssen
Janssen et al. (1998) ARVO
Janssen et al. (1999) PNAS
10
定説は正しくなかった
Masayuki
Watanabe
Seiji Tanabe
細胞応答（インパルス／秒）
V4の細胞も両眼視差情報を伝えている
V4
-2
‘Near’
手前
Takahiro Doi
David Hinkle
Hinkle & Connor (2001) NeuroRep 12:365-369.
Watanabe et al. (2002) J Neurophysiol 87:1960-1973.
Tanabe et al. (2004) J Neurosci 24:8170-8180.
-1
0
1
2
‘Far’
奥
両眼視差(度）
Binocular
disparity (deg)
Tanabe et al. (2004) J Neurosci 24:8170-8180
See also Hegde & Van Essen (2005) J Neurophysiol
Tanabe et al. (2005) J Neurophysiol
Hinkle & Connor (2005) J Neurophysiol
多くの皮質領野が両眼視差を処理
それは一体なぜか？
Bruce Cumming
Kristine Krug Takahiro Doi
(Parker, Nat Rev Neurosci, 2007)
Andrew Parker
Jenny Read
11
仮説：異なる経路は
両眼立体視において
異なる役割を果たす
側頭葉経路
頭頂葉経路
対応点問題
解決する
解決しない
計算内容
両眼対応計算
両眼相関計算
伝える視差
相対視差
絶対視差
（相対視差も？）
奥行きの大きさ
細かい・粗い
粗い
刺激変化の速さ
遅い時
速い時
刺激輝度
明るい時
暗い時
仮説：異なる経路は
両眼立体視において
異なる役割を果たす
側頭葉経路
(V4, IT)
頭頂葉経路
(MT, MST)
対応点問題
解決する
解決しない
計算内容
両眼対応計算
両眼相関計算
Kristine Krug
Tanabe et al. (2004) J. Neurosci., 24: 8170-8180.
Kumano et al. (2008) J. Neurophysiol ., 99: 402-408.
IT:
Janssen et al. (2003) Neuron, 37: 693-701.
MT: Krug et al. (2004) J. Neurophysiol., 92: 1586-1596.
MST: Takemura et al．(2001) J. Neurophysiol ., 85: 2245-2266.
V4:
12
両眼対応点問題
Correspondence Problem
■ Fusion of a pair of natural scenes
Left-eye image
Right-eye image
田辺誠司
Correspondence based on specific features
■ Correspondence can be made without feature analysis
Random Dot Stereogram (Bela Julesz)
Left-eye
Right-eye
対応点問題
右目像と左目像をどう対応させるか
左眼像
右眼像
~1960‘の考え：同じ視覚特徴を対応させる
視覚特徴を抽出せずに対応をとることができる
Random Dot StereogramBela
(Bela Julesz、1971)
Julesz
左眼像
右眼像
13
ダイナミックランダムドットステレオグラム：
両目で見えて片目で見えない奥行き
Right eye
image
Solid-figure
Random-dot
stereogram (SFS) stereogram (RDS)
Left eye
image
両眼立体視を担う脳内機構
は両眼対応を正しく行う
14
Correspondence problem:
computational aspects
Unique
solution
Contrast
reversed
pattern
(Anticorrelated pattern)
Global match
No global match
L eye
Numerous
solutions
Same
contrast
pattern
(Correlated pattern)
R eye
L eye
Correct match
False match
R eye
Correspondence problem:
computational aspects
Contrast reversed pattern
(Anticorrelated pattern)
Global match
No global match
L eye
Same contrast pattern
(Correlated pattern)
R eye
L eye
Correct match
False match
R eye
15
Correspondence problem:
neurophysiology in V1
Depth
perception
Not exist
Possible
Solid Shape
R-eye
image
L-eye
image
V1 cell responses
Responses
Visual stimulus
Correspondece
problem
（Solution）
右眼像
Exist
(with solution)
Possible
Responses
Correlated RDS
左眼像
Disparity
右眼像
左眼像
Exist
(No solution)
Impossible
Poggio et al. 1985
Responses
Julesz, 1971
Anticorrelated RDS
Barlow et al. 1967
Pettigrew et al. 1968
Disparity
Wheatstone, 1838
Disparity
Julesz, 1971
Cogan et al., 1993
Ohzawa, DeAngelis, Freeman1990
Cumming & Parker 1997
Correspondence computation beyond V1
MT / MST
cRDS
aRDS
MT: Krug et al., 2004
MST:Takemura et al., 2001
IT
cRDS: selective
aRDS: non-selective
Janssen et al. 2003
V4
V1
cRDS
??
aRDS
Ohzawa et al., 1990
Cumming, Parker, 1997
16
16 / 31
Responses of an example V4 cell
30
V4
Mean discharge rate
(spikes/s)
20
10
R
L
U
Vergence response
(deg)
Seiji Tanabe
cRDS
aRDS
0
-2
0.2
-1
‘Nea
0r’
0
1
Binocular disparity (deg)
2
‘Far’
-0.2
Crossed
(near)
Uncrossed
(far)
-2 Umeda,
-1Fujita (2004)0 J Neurosci
124:8170-8180.
2
Tanabe,
まとめ２ 側頭葉経路で両眼対応点問題
の解決がなされている
 V4 cells reduce disparity
selectivity to anticorrelated RDS
MT: Krug et al., 2004
MST:Takemura et al., 2001
 This reduction is more prominent
in V4 than in V1, MT, and MST
 The reduction is present from the
response onset, and for cells
with the shortest response
latency
MT / MST
disparity
IT
 The correspondence
problem is solved gradually
along the ventral pathway
cRDS: selective
aRDS: non-selective
V4
V1
cRDS
aRDS
disparity
Janssen et al. 2003
disparity
Ohzawa et al., 1990
Cumming, Parker, 1997
17
Approaches
Part 1 Binocular correspondence
computation in V4
Part 2 Coding of relative disparity by V4 cells
Part 3 Involvement of IT neurons in a fine
depth localization of objects
Part 4 Psychophysics of human depth perception
奥行き知覚は、相対視差に依存する
左眼像
右眼像
FP
FP
注視点
右眼網膜座標
円柱
円錐
a2
a1
左眼網膜座標
r = a1 – a2
r ：円柱に対する円錐の相対視差
18
ダイナミックRDS：
両目で見えて片目で見えない奥行き
Right eye
image
Solid-figure
Random-dot
stereogram (SFS) stereogram (RDS)
Left eye
image
対応点問題の解決
数ある対応の中から正しい対応の組を選ぶ
19
仮説：異なる経路は
両眼立体視において
異なる役割を果たす
側頭葉経路
(V4, IT)
頭頂葉経路
(MT, MST)
伝える視差
相対視差
絶対視差
（相対視差も？）
奥行きの大きさ
細かい・粗い
粗い
Takahiro Doi
V4: Umeda et al. (2007) J. Neurophysiol, 98: 241-252.
IT:
Janssen et al. (2000) Neuron, 27: 385-397.
MT: Uka & DeAngelis (2006) J. Neurosci., 26: 6791-6802.
Psychophysics: Doi et al. (2011) J. Vision , in press.
両眼奥行き判断は
相対視差に依存している
(Westheimer, Exp Brain Res, 1979)
20
両眼奥行き判断は
相対視差に依存している
(Westheimer, Exp Brain Res, 1979)
両眼奥行き判断は
相対視差に依存している
(Westheimer, Exp Brain Res, 1979)
21
両眼奥行き判断は
相対視差に依存している
奥行き弁別閾値= 8 arcsec
手前?
奥?
2.5 m
4 mm
(Westheimer, Exp Brain Res, 1979)
両眼奥行き判断は
相対視差に依存している
(Westheimer, Exp Brain Res, 1979)
22
両眼奥行き判断は
相対視差に依存している
(Westheimer, Exp Brain Res, 1979)
両眼奥行き判断は
相対視差に依存している
(Westheimer, Exp Brain Res, 1979)
23
両眼奥行き判断は
相対視差に依存している
奥行き弁別閾値= 80 arcsec
手前?
奥?
10倍！)
(比較対象がある時の
2.5 m
40 mm
(Westheimer, Exp Brain Res, 1979)
仮説：異なる経路は
両眼立体視において
異なる役割を果たす
側頭葉経路
頭頂葉経路
刺激変化の速さ
遅い時
速い時
刺激輝度
明るい時
暗い時
Psychophysics: Doi et al. (in preparation)
24
刺激の性質により
２つの経路の貢献
が変わる
両眼相関
計算
２つの
側頭葉経路
頭頂葉経路
両眼対応
計算
両眼相関
計算
２つの計算過程の奥行き知覚への相対的貢献度
細かい奥行き（0.03度）
遅い更新速度（10.6Hz）
粗い奥行き（0.48度）
遅い更新速度（10.6Hz）
粗い奥行き（0.24度）
遅い更新速度（5.3Hz）
粗い奥行き（0.24度）
速い更新速度（42.5Hz）
まとめ
１．両眼視差の最初の検出はV1で起こる
２．奥行き知覚の成立にはV1以後が大事
３．側頭葉経路の領野（V4, IT）を含む
多くの視覚野が視差情報処理に関わる
４．頭頂葉経路と側頭葉経路は異なる計算
を採用し、異なる機能を持ち、異なる
視覚刺激条件下で働く
５．両眼立体視の機能検査は、統制された
視覚環境下で行うべきである
６．両眼立体視の脳メカニズムの理解は
急速に進展しつつある。注目を。
25