SOM型学習と反ヘブ学習による複雑型細胞の受容野形成モデル

ＳＯＭ型学習と反ヘブ学習による複雑型細胞の受容野形成モデル
A model of complex cell development by the combination of SOM-type and anti-Hebbian learning
∗
∗∗
伊達 章 ， 倉田 耕治
∗ 情報通信研究機構 けいはんな情報通信融合研究センター， ∗∗ 琉球大学工学部 機械システム工学科
目的
複雑型細胞がもつ性質は，神経活動の時間的持続性を利用したヘブ学習
（トレース学習）により説明されてきた．従来のモデルで示された結果
と同等な性質を，トレース学習なしに実現できる可能性を示したい．
¶
µ
結論
トレース学習なしに複雑型細胞のもつ位置不変な選択性が獲得できる
モデルを開発し，その性質を計算機実験により確認した．モデルは外側
漆状核 (LGN) と視覚一次野の単純型細胞および複雑型細胞の神経活動
をそれぞれモデル化した E 層，S 層および C 層からなり，C 層の各素子
が E 層と S 層から入力を受け学習により選択性を獲得する．学習アルゴ
リズムとして，E 層と C 層の間には反ヘブ学習，S 層と C 層間には自己
組織マップ（SOM）型のヘブ学習を用いた．
¶
µ
¶
1
¶
2
³
学習アルゴリズム
µ
´
´
mij,, wik
³
!"#%$ ) & '()*+-,.
0
1
2
5
3
%
4
6
7& ,.
C/
89:; &7<%=">8?
´
³
位置不変性獲得の自己組織化モデル
µ
³
4
3
2
1
@
0
!
1
A
"
%
4
%
6
!
B
D
C
E
H
F
I
G
:
;
E/
C/
&7<%=">8?
´
1. 近傍学習：
∆mi = αhci(x − mi)
|c − i|2
hci = exp {−
}
2
2σ
Hebb
Hebb
S
入力刺激
x
mi
α
c
C
mij
∆wik = −γ (uk yi − β)
(5)
i = 1, · · · , 4, k = 1, · · · , 64
(6)
1 if
i=c
0 otherwise
yi =
(7)
静的パターン (長さ 3 の線分)
入力信号 (8 × 8 × 4 次元)
yi
C 層の i 番目の素子の出力
C 層 i 番目の素子の参照ベクトル
uk E 層の k 番目の素子の出力
学習の強さを表す正の実数
β = E[u¯k ]E[ȳi] = 0.0117(= 3/64 × 1/4).
勝者
P64
c = argmin (− k=1 wik uk + ||mi − x||2)
i
wik
uk
(4)
(
E
xj
2. 反へブ学習：
本モデルの特徴： 式 (6) により，学習過程の平衡状態では，結合 wik が結ぶ二個の素子の
活動 uk , yi は統計的に独立になる．E 層 uk は入力刺激の場所を表現している．C 層 yi が
入力刺激の線分方向のみの情報を表現するようになると E 層と C 層の表現は独立になる．
yi
¶
1000000...
Image I(x, θ)
3
³
計算機実験 結果 その 1： 提案モデル（反 Hebb 項あり）
µ
´
a
3
x
θ
θ
α
I(x, θ) ⇒ θ
2 34
1
x
b
β
E
C
γ
Figure 1: 上：複雑型細胞の位置不変な反応選択性．中：提案するモデルの構造．Földiák(1991) のモデル
に，場所にのみ選択的に反応する素子からなる層（E 層）を考慮した構造になっている．下：本モデルの
情報処理構造 (模式図)
¶
µ
0
c
³
背景： Földiák (1991) のモデル
Layer S
´
d
Layer C
Hebb-type
(Temporal Trace)
wij
Simple units
xj
Complex units
Figure 3: 参照ベクトルおよび反応選択性の初期状態と学習後．a, c 参照ベクトル mi, i = 1, · · · , 4． b,d
反応選択性．a, b は時間 t = 0，c, d は時間 t = 60000 のときの状態．mi の分布は，最も大きい値をもつ結
合を白，最も小さい値をもつ結合を黒となるように変換して表示．
yi
¶
Figure 2: 入力層 (左．S 層）の各場所には 4 方向の線分検出素子（単純型細胞）が配置されている．S 層の
各素子は，学習前，出力層（右，C 層）の各素子と全結合している．その結合荷重 wij は神経活動の持続
性を利用したヘブ学習（トレース学習）により可塑的に変化し，学習が進むに従い，S 層の同じ傾きの線
分検出素子どうしが，出力層 (C 層) の同一素子と結合するようになる．
Földiák (1991) の学習アルゴリズム：
yk =
(t)
∆wij
ȳi(t)
入力刺激
t
(t)
wij
xj
yi
ȳi
=
=
(t)
(t) (t)
αȳi (xj − wij )
(t)
(t−1)
(1 − δ)ȳi
+ δyi
(1)

1
if argmax (
0
otherwise
P256
i
j=1 wij xj )
µ
4
³
結果 その 2：
（反 Hebb 項なし）
=k
(3)
(2)
8 種類：4 種類の傾き ×2 種類の動きの方向の動的パターン
時刻 t
S 層の j 番目の素子と C 層の i 番目の素子との結合荷重
S 層の j 番目の素子の出力, j = 1, . . . , 256
C 層の i 番目の素子の出力, i = 1, · · · , 4
yi の時間平均
Figure 4: E 層から C 層への結合がない場合．他の条件はすべて図 3 の場合と同一
´