バッチ学習型競合連想ネッ トとその性質

計 測 自 動 制 御 学 会 論 文 集
Vol.42, No.8, 916/925
(2006)
バ ッチ学 習 型 競 合 連 想 ネ ッ トとそ の性 質
黒
Batch
木
秀
Learning
Shuichi
一 ＊ ・西
田
Competitive
KUROGI*,
Takeshi
健*・ 渕
Associative
NISHIDA*
Net
川
康
and
裕
Its
and Yasuhiro
Properties
FUCHIKAWA*
So far, the competitive associative net called CAN2 has been developed to utilize the competitive and associative schemes for learning to achieve efficient piecewise linear approximation of nonlinear functions. Although
the conventional online learning methods for the CAN2 have been shown effective, they basically are for infinite
number of training data. Provided that only a finite number of training data are given, however, the batch
learning scheme seems more suitable. We here present a batch learning method to learn a finite number of
training data efficiently by means of combining competitive learning, associative learning and reinitialization
using asymptotic optimality. Finally, we apply the present method to learning to approximate sevaral artificial
benchmark functions and show that the batch CAN2 calculates faster and achieves smaller MSE (mean square
error) than the conventional online CAN2, and it has several advantages superior to the SVR (support vector
regression).
Key Words: competitie associative net, batch learning, piecewiselinear approximation, comparative experiment
to support vector regression
トと し,競 合 部 分 を ゲ ー ト とす る 混 合 エ キ ス パ ー トモ デ ル9)
1.
競 合 連 想 ネ ッ トCAN2
は じ め に
(Competitive
Associative
Net
2)
と して も捉 え られ る.こ
の 類 似 手 法 と して た と え ばMARS
(multivariate
regression
adaptive
splines)モ
デ ル10)は
連
は競 合 ネ ッ ト1)と 連 想 ネ ッ ト2)の 機 能 を用 い て非 線 形 関 数 を
続 的 な 区 分 的 線 形 近 似 を 行 な う の に 対 し,競 合 連 想 ネ ッ トは
学 習 し区 分 的 線 形 関 数 と し て 近 似 す る ニ ュ ー ラ ル ネ ッ トで あ
各 区 分 領 域 で 最 適 な 線 形 近 似 を行 な う た め に不 連 続 な近 似 を
り3),非 線 形 時 変 プ ラ ン トの 制 御4),降
行 な う点 な どが 異 な る.
水 量 推 定5),非
線 形関
さ て従 来 のCAN2は
数 の 学 習 問 題6)な どへ 応 用 され 種 々 の側 面 か ら そ の 有 用 性 が
示 さ れ て い る.特
に2000年
度 電子情報通信 学会総 合大会 シン
ポ ジ ウ ム ・降 水 量 推 定 コ ン テ ス トで はCAN2を
訓 練 デ ー タ を1個 ず つ 処 理 して ネ ッ ト
の パ ラ メ タ を少 しず つ 更 新 し て い く オ ン ラ イ ン学 習 法 を 用 い
て い た.し
用 い た 手 法5)
か し訓 練 デ ー タ が 有 限 個 の 場 合 に は 訓 練 デ ー タ全
の 成 績 を得 て お り,そ の性 能 の 高 さが 示 さ れ た 結 果
体 を用 い て ネ ッ トの パ ラ メ タ を 一 括 して変 更 して い くバ ッ チ
で あ る と考 え る.こ の ネ ッ トの 特 徴 は 訓 練 誤 差(訓 練 デ ー タ に
学 習 の枠 組 の ほ うが よ り効 率 的 な学 習 法 が 構 成 で きる と考 え ら
対 す る 近 似 の 二 乗 平 均 誤 差)を 最 小 化 す る た め に,勾 配 法 に 基
れ る.そ
づ く競 合 学 習 に よ り入 力 空 間 を 区 分 し,再 帰 的 最 小 二 乗 法 に
つ か の 間 題 に 適 用 し た11)∼15).特
基 づ く連 想 学 習 に よ り各 領 域 で の線 形 近 似 を最 適 化 し,さ ら に
tional Joint Conference
が 第2位
の類 似 手 法 と して,局
所 線 形 モ デ ル7)や
区 分 的 線 形 ニ ュ ー ラ ル ネ ッ ト8)が あ るが,そ
れ らは訓練 入 力
mation
Challengeの
on Neural
小 化 す る た め の 手 法 で あ るK近
あ る と考 え られ る.
neighbor)
Networks)の
ッチ 学 習 型CAN2の
本 的 な性 質 を 示 す こ と を 目 的 と す る.特
点 に 違 い が あ る.ま
違 い,お
その連 想 部分 をエ キス パ ー
(Support
九州工業大学工学部 北九州市戸畑区
Faculty of Engineering, Kyushu Institute
(Received April 13, 2005)
(Revised March 13, 2006)
Infor-
Uncertainty
winner)15)に
性 能 の高 さ が 示 され た 結 果 で
自体 を 最 小 化 す る た め の 競 合 学 習 に よ り入 力 空 間 を 区 分 す る
たCAN2は
時系列予測
(Neural
Predictive
本 稿 で は こ の バ ッチ 学 習 型CAN2を
訓 練 誤差
(Interna-
回 帰 部 門 で は 第1位(regression
選 ば れ,バ
を 用 い て 入 力 空 間 を 区 分 す る の に 対 し,CAN2は
にIJCNN2004
Processing)のEvaluating
ベ ク トル 集 合 と各 区 分 領 域 の 中 心 ベ ク トル との 距 離 測 度 を 最
傍 法(K-nearest
バ ッ チ学 習 法 を考 案 し,い く
コ ンペ テ ィ シ ョ ン で は 第3位14),NIPS2004
漸 近 最 適 性 の 条 件6)を 用 い て勾 配 法 の 局 所 解 問 題 に対 処 して
い る こ と に あ る.こ
こで 著 者 ら はCAN2の
提 案 し(注1),そ
の基
に オ ン ラ イ ン型 と の
よび 他 手 法 の う ち で も関 数 近 似 性 能 の 高 か っ たSVR
Vector
Regression)と
の 比 較 実 験6)を 通 し て提 案
of Technology
(注1)
本稿 の 一部 はSCI2004な
どで発 表 して い る が,よ
細 に論 文 誌 に掲 載 す るの は本 稿 が初 め てで あ る.
TR 0008/06/4208-0916 (c)
2005 SICE
り詳
計 測 自動 制御 学 会論 文 集
手 法 の 性 質 を示 す.以
習 法 を示 す.こ
下,ま
ず2でCAN2と
第42巻
第8号
2006年8月
917
そ のバ ッチ学
の 学 習 法 は従 来 の オ ン ラ イ ン学 習 法 と 同様 の
手 順 を繰 り返 す 手 法 で あ るが,各
手 順 に お い て有 限 個 の デ ー
タ か ら得 られ る 情 報 を 用 い て よ り効 果 的 に 学 習 す る よ う に構
成 して い る.つ
ぎ に3で
い くつ か の 非 線 形 関 数 に対 し,従 来
の オ ン ラ イ ン学 習 法 お よびSVRと
バ ッチ 学 習 型CAN2の
2.
2.1
CAN2に
まずk次
の比 較 数 値 実 験 を行 な い,
諸 性 質 を 示 す.
バ ッ チ 学 習 型CAN2
よ る関数 近似
元 ベ ク トルxj△=(xj1,
とス カ ラ値yj∈Rを
xj2,…,xjk)T∈Rk×1
入 出 力 とす る シ ス テ ム
(1)
yj
を 考 え る.こ
こ でj=1,2,…
は異 な るデ ー タ を表 わ す
た め の 添 字 で あ り,∫(xj)はxjの
0で
分 散 が
σ2dの
関 数,djは
観 測 雑 音 と す る.CAN2は
ルwi△=(wi1,…,wik)T∈Rk×1と
(Mi0,
Fig.1
effect
input
vector
x
by
the
movement Ģwi
we
suppose
when
the
1
意 の 入 力 ベ ク トル,x△=(1,xT)T∈R(k+1)×1は
任
上 式(2)の
線 形 近 似 の バ イ ア ス 項 を 生 成 す る た め に1を 付 加 し た ベ ク ト
る.こ
XEX1
は 競 合 に よ り選 択 さ れ る ユ ニ ッ トの番 号 を表 わ す.以
上の関
の ボ ロ ノ イ 領 域(ま た は
デ ィ リ ク レ領 域 と もい う)
で あ る.こ
区 分 的 線 形 近 似 を行 な う こ と
のEの
ボ ロ ノ イ領 域Viに
最 小 化 問 題 は 非 線 形 問 題 で あ り,本 手 法
訓 練 デ ー タ 集 合Dに
な う こ と を1回
に よ りEを
想 行 列 の 更 新,お
なわ ち
よ び(3)再
対 して そ れ ぞ れ1回
ず つ行
の バ ッチ 学 習 と し,こ の 学 習 を 繰 り返 す こ と
逐 次 的 に最 小 化 す る 手 法 を用 い る.以 下,各
手
順 を説 明 す る.
勾 配 法 に基 づ く荷 重 ベ ク トル の 更 新
まず 連 想 行 列Mi(i∈I)の
で き る;今,あ
θw=0.1と
値 が 変 化 しな い と仮 定 す る と,
る 荷 重 ベ ク トルwiを
最 適 化 す る こ とが
含 む ボ ロ ノ イ 領 域Vi
の 微 小 な 幅 θw(<1;後
述 の実 験 で は
し た)を も つ 境 界 領 域
Wil={x￨x∈Xi∪Xlお
り得 ら れ る有 限個 の 訓 練 デ ー タの 集
合D={(xj,yj)￨j∈J}が
こ でX={xj￨j∈J}は
訓 練 出 力(ス カ ラ ー)の 集
よ びJ={1,2,…,n}は
あ り,訓 練 デ ー タ の 個 数nは
各 訓 練 デー タの添 字集 合 で
有 限 で あ る.CAN2の
学 習 した 後,シ
学習の
目 的 は,こ
の 訓 練 デ ー タ集 合Dを
ス テ ム方
程 式(1)へ
の 任 意 の 入 力xに
対 して 雑 音 の な い シ ス テ ム 出力
推 定 値y=f(x)を
出力 で きる よ うにな る こ と
こ で そ の よ う な 学 習 を達 成 す る に は 訓 練 デ ー タ に
よ び
(2x-wi-wl)T(wi-wl)
与 え ら れ て い る とす る.こ
8W}
(6)
w2-wl2
訓 練 入 力(ベ ク トル)の 集 合,
y={yj=f(xj)+dj￨j∈J}は
で あ る.そ
属する
学 習 の 目的 と漸 近 最 適 条 件
シ ス テ ム 方 程 式(1)よ
y=f(x)の
求 め れ ば よい と考 え ら れ
の 手 順 を繰 り返 す 解 法 を適 用 す る.す
とそ の 隣 接 領 域Vlと
バ ッチ学習 法
(5)
Ei
以 下 の よ う に勾 配 法 の 考 え 方 に よ りwiを
を意 味 す る.
合,お
初 期 化,を
(4)
1EI
CAN2の
(x-wi)>0.
is one-dimensional
訓 練 入 力 ベ ク トル の 集 合 で あ り,Ei△=(1/n)Σx∈xl‖e(x)‖2
2.2.2
V={xi=argminx-wl}
2.2.1
train-
Vi•¿Wil
iEI
(1)荷 重 ベ ク トル の 更 新,(2)連
(3)
c=argminx-wi
iEI
CAN2の
(b)
二 乗 の平 均(期 待 値)を 表
こ でXi={x∈X∩Vi}は
で は つ ぎの3つ
よび
2.2
space
を 最 小 化 す るwiとMi(i∈I)を
こ でx=(x1, x2,…,xk)T∈Rk×1は
数y=f(x)の
A
into
s=ĢwTi
input
e(x)2=
iEI
に よ り,上 記 シ ス テ ム の 観 測 雑 音 を 除 い た 関 数y=f(x)の
に分 割 して,関
moves
わすエ ネル ギー
(2)
数 近 似 は 入 力 空 間V=RkをN個
movement Ģwi.
Vl•¿Wil
対 す る 近 似 誤 差e(xj)△=y-yjの
E_
ル,お
of the
(a)
for simplicity.
い て
_~C-MCx
近 似 を 行 な う.こ
in
荷 重 ベ ク ト
も つ ユ ニ ッ ト をN個
σ ∈I={1,2,…,N})用
of the
ing
Here,
平 均 値 が
連 想 行 列Mi△=
Mi1,…,Mik)∈R1×(k+1)を
Example
に あ る 訓 練 ベ ク ト ルx∈Wilに
対 して,Wiが
Δwiだ
属 す る 領 域 がViか
巧
け 変 化 す る こ と に よ りxが
ま た ばVlか
らViに
s△=ΔwTi(x-wi)の
す る.す
移 動 す る と き,エ
参 照),f(x)に
つs>0の
ら第iユ
け増 加
と き(Fig.1
よる ネ ッ トの 近 似 誤 差 は第lユ
誤 差el(x)(△=Mlx-f(x))か
ら
ネ ル ギ ーEは
符 号 で(e2i(x)-e2l(x))/nだ
な わ ちx∈Vl∩Wilか
微小 量
ニ ッ トに よ る
ニ ッ トに よ る 誤 差
918
T. SICE
ei(x)に
変 化 し,逆 にx∈Vi∩Wilか
差 はei(x)か
s<0,ま
らel(x)に
つs>0,の
August
2006
つ
と き はxが
た が っ て エ ネ ル ギ ーEも
こ れ は ΔwlとEが
No.8
ときの誤
変 化 す る.一 方,x∈Vl∩Wilか
た はx∈Vi∩Wilか
る 領 域 は変 化 せ ず,し
つs<0の
Vol.42
属す
変 化 し な い.
不 連 続 な 関 係 を もつ こ とを 意 味 す る が,
Fig.2
今,Wil内
に訓 練 ベ ク トルxが
と,(6)式
よ りVi∩WilとVl∩Wilは
Example
一 様 に 存 在 す る と仮 定 す る
同 面 積 な の でWil内
の 半 数 の 訓 練 ベ ク トル に よ りエ ネ ル ギ ーEが
of the
nmin=2,
Vi
is
original
insuficient,
nearest
変 化 し,Δwi
augmentation
the
to
and
wi
is
of
training
the
training
dataset
training
augmented
so
vectors.
For
Xi={xi1}
in
vector xj2
that
(•¸
Xi:={xi1,
Vi)
xj2}
and |Xi|=nmin.
に よ る エ ネ ル ギ ー の 増 加 量 ΔEは
QED-4w1
2n
(7)
で 近 似 で きる と考 え られ る.こ
~i-
0
(e2(x)-ei(x))
で あ り,AiはViに
を横 に 並 べ た行 列,お
こで
IEA1XEWil
こ でniが
x-wi
ξi‖2<0と
減 少 が 期 待 で き る.し
ωi(i∈I)に
集 合 で あ る.
用 い て Δwi=γ
た が っ て す べ て の荷 重 ベ ク トル
Mi=YiXi+はEiを
とす る更 新 式 が 得 られ る.こ
こで:=は
辺 に代 入 す る こ とを表 わ す.さ
訓 練 入 力 ベ ク トルxjの
要 素xjlの
max~xj1-Xm1
max
1=1,...,k
対
な る ま でwi
な わ ち,
Mxi-wi,
mm
x1Ex-x2
(13)
lxal=nmin}
取
(10)
jEJ
~mEJ
と な る よ う にXiを
更 新 す る.こ
で 最 も大 き く更 新 さ れ る要 素wilは
訓
γ0倍 以 下 に な る
微 小 に 更 新 さ れ る こ と を 保 証 す る.
以 上 の よ う に バ ッチ 学 習 法 で は す べ て の 訓 練 デ ー タ の 情 報
を用 い る こ と が で き る が,訓
練 デ ー タが
1個 ず つ 与 え られ る従 来 の オ ン ラ イ ン 学 習 法 で の 学 習 係 数6)
取 りう る 範 囲 を 予 想 して 注 意 深 く設 定 す る必 要 が
きす ぎ る 場 合 やViの
あ る.
か し経 験 的 に はkの
最 小 化 問 題 は各iに
変 化 し な い と す る と,E=
用 いて
こ で以 上 の 方 法 はViの
外 から
大
注 意 深 く選 択 す べ きで
大 き さ に か か わ らず,nmin=3
多 くの事 例 で よ い 性 能 を 示 し た こ と を 付 記 し て お
く.こ れ は 多 くの 関 数 近 似 問 題 に お い て は比 較 的小 数 の 訓 練
デ ー タ しか 与 え られ な い の でnminを
大 き く しす ぎ る と あ ま
り よ い 結 果 が 得 ら れ な い こ と,お
よ び3∼4個
が あ れ ばMi=YiXi+が
を最 小 に す る 機 能 に よ り,
‖Mi‖
の訓 練 デ ー タ
予 測 誤 差 が 発 散 し な い よ う な比 較 的 良 い 解 が 得 られ る の で は
な い か と考 え る.
連 想 行 列Mi=YiXi+は
つ ぎ のRLS
y∈Yiに
線 形最小 二乗 法 に よる連想 行列 の 更新
のXiを
最適 形状 が 球 で な い場合 には不適 切 な
直 接 計 算 す る こ と もで き る が,
(Recursive
め る こ と もで き る.す
荷 重 ベ ク トルwi(i∈I)が
照),こ
球 形 近 傍 領 域 の 訓 練 デ ー タ を 補 充 す る の で,nminが
あ る.し
(11)
る と(9)式
補 充 し(Fig.2参
デ ー タ を 補 充 す る恐 れ が あ り,nminは
は ξiの 要 素 ξilの 最 大 値
と してDxとDξ
Σi∈IEiの
ら に あ る 定 数nminに
場 合 に は￨Xi￨=nminと
Xi:={x~xj-wi<
Mi=YiXi+を
練 入 力 ベ ク トル の 要 素 が 取 り う る 幅Dxの
2.2.3
ユ ニ ッ トに つ い て はwiとMiの
れ る ま で 行 な わ な い こ と とす る.さ
ら に学 習係 数 は γ=γ0Dx/Dξ
maxmaxi1
1=1,...,kiEl
はei(x)の
の解 決
更 新 お よ び この ユ ニ ッ トに よ る 関 数 近 似 は 再 初 期 化(後 述)さ
ま た は4が
の で,wiが
を最 小 に
の 解 は 未 知 ベ ク トル に 対 す る 関 数 近 似
策 と し て,ま ずni=0の
wiの
で あ る.す
述 した解
を行 な うた め に一 般 に は 妥 当 で あ る と は 限 ら な い.こ
右 辺 で 計 算 した値 を左
りうる幅
お よ びDξ
要 素 数 で あ る.こ
り も小 さ い と,上
り十 分 小 さ な 正 定 数(後 述 の実 験 で は γ0=
し た),Dxは
D~=
はXiの
の 近 傍 の 訓 練 デ ー タ を補 充 す る,す
(9)
対 応 す るyj∈Yi
最 小 に す る解 の う ち ‖Mi‖
し て1≦ni<nminの
w2:=w2-YZ
0.001と
ξi
な り,エ ネ ル ギ ー
つい て
と し,γ0は1よ
よび 物
ベ ク トル の 次 元kよ
す る も の に な るが,こ
添 字lの
した が っ て 十 分 小 さ な 学 習 係 数 γ(>0)を
Eの
(8)
Hx-w2
隣 接 す る 領 域Vlの
とす る と,ΔE=-(γ/2n)‖
を順 に横 に並 べ た行 列,Yi∈R1×nlはxjに
Least
Square)法
に よ り逐 次 的 に 求
な わ ち す べ て のx∈Xiと
対応する
つい て
MZ:=MZ+
つい て
(y-1)xlgZ
1+xT!/x
(14)
お よび
Ez=1MZX1-YZ2
(12)
!i:=Pi-
を 最 小 化 す る線 形 問題 とな り,そ の解 はMi=YiXi+と
こ こ でXi+はXiの
は す べ て のxj∈Xiか
な る.
一 般 化 逆 行 列 を 表 わ し,Xi∈R(k+1)×ni
ら生 成 した 列 ベ ク トルxj=(1,xTj)T
[gxxTY2
(15)
1+xT!2x
に よ る 更 新 を,す
初 期 値 はMi=Oと
べ て のi∈Iに
Ψi=I/∈0と
つ い て 行 な う.各 行 列 の
し,Oは
零 行 列,Iは
計 測 自動 制御 学 会 論 文 集
単位行 列 を表 わ し,∈0は 小 さ な定数 で あ る(後 述 の実 験 で は
60=10-4と
第42巻
第8号
2006年8月
919
の等号 が成 立 す るの は
した).こ の初 期化 は,バ ッチ学 習 の繰 り返 しご
0Cp
(18)
2v21+4/k--ˆê’èa2-Z-(a=1,2,...,N)
とに行 な うこ と もで きるが,最 初 のバ ッチ学 習時 に のみ一 度
だ け行 な うこ と もで きる.い くつ か の実 験結 果 に よる と,連
とな る と き の み で あ り,こ れ が 漸 近 最 適 条 件 を 表 わ す.な
想行 列 を直 接計 算す る場合 やRLS法
以 下,αiを
で バ ッチ 学習 の 繰 り返
しご とに初期 化す る場合 はバ ッチ学 習の 繰 り返 しの途 中 で訓
練 デー タ に対 す る二 乗 平均 誤差 が 不安 定 に なる場合 が あ った
が,最 初 のバ ッチ学 習 時 に一 度 だ け初 期化 す るRLS法
では
量 子 化 歪 あ る い は単 に歪 と い う.こ
お,
の 条 件 を以 下
の よ う に利 用 す る.
ま ず 第iユ
ニ ッ トの 二 乗 誤 差 和Si=nEiを
(5)式,(16)式,(17)式
そ の よ うな不 安定 な現象 は起 こ らなか った ので,後 述 の実 験
お よ び(18)式
計 算 す る と,
よ り,
Szoe(x)2
で は後者 の方 法 を用 い た.な お前 者 の場合 に不 安 定 に なった
XEX1
要 因 と して,バ ッチ学 習 の繰 り返 しの途 中 で,あ る連 想行 列
Miの
inJe(x)JJ2p(x)dx
ひ とつ の要素 の値 が突 然 非常 に大 き くな り,学 習 の繰
り返 し と ともに次 第 に発 散 して い く現 象 を観 察す る こ とがで
(19)
きた.こ れ はバ ッチ学 習 の繰 り返 しに よ り得 られ るXlとYi
の み を用 いて計算 したMlは
不安 定 に なる こ とがあ り,後 者
の手 法 は これ を取 り除 く働 きが あ る もの と考 え られ る.
が 得 ら れ る.こ
こ で 上 式 の 近 似 は(5)式
と(16)式
散 と連 続 の 違 い に 基 づ く近 似 を 表 わ す.い
以 上 の処理 の うち(2)式 に よ り訓練 デ ー タを補充 す る処 理
多 数 あ りf(x)が
ま荷 重 ベ ク トル が
線 形 近 似 で き る領 域Viの
は訓 練 デ ー タすべ て を用 い るバ ッチ学 習 の枠組 で のみ 行 な う
と,そ の 領 域 で のCiは0,し
こ とが で きる処理 であ る.逆 に オ ンラ イ ン学 習で は この処 理
測 雑 音 の 分 散 σ2dの 推 定 値
に お け る離
存 在 を仮 定 す る
た が っ て αiは0と
な る の で観
が不可 能 なため,訓 練 デー タが少 ない領域 での近似性 能が バ ッ
2.2.4
が 得 られ る.こ
漸近 最適 条件 に基 づ く再 初期 化
前 述 の荷重 ベ ク トルwiの
(20)
Q~=min{S1In2iEI‚¨‚æ‚ÑnZ/ne}
チ学 習 よ り劣 る可 能性 が あ る こ とが わ か る.
更新 で用 い た勾 配法 に は局所解
nlが
こ で し き い値 πθ(>k)は
入 力 ベ ク トル の 次 元k以
問題 が 内在 す る.そ こで荷 重 ベ ク トルが 十分多 い場 合 を仮 定
Si=0と
して得 られ る最適 条件(漸 近最 適条 件 とい う)を 用い て荷重 ベ
の 定 数 で あ る.以
訓練 デー タの個 数
下 の と きMの
最適化 によ り
な り σ2dが正 し く推 定 で き な く な る こ と を防 ぐた め
ク トル を再 初期化す る学習 法 とそ の有効性 が示 され てお り6),
上 に よ り歪 α,の 推 定 値
S2-Qdnz
(21)
6b._
本稿 で もこの手法 を利用 す る.以 下,こ の条件 を要 約 して示
72
し,そ の使用 法 を説 明 す る.ま ず 漸近 最適 条件 とは,荷 重 ベ
が 得 ら れ,こ
ク トルが 十分多 い場合 の荷 重 ベ ク トル の最適配 置 におい ては,
ど うか を 判 断 す る た め に,つ
れ ら の αi(i∈I)が(18)式
各 ボ ロノ イ領 域 にお ける観 測雑 音 を除い た二乗 誤差 和 が等 し
くな る,と い う条件 で あ り,以 下 の ように定式 化 され る.ま
ず(5)式 のエ ネル ギー を連続 化 して
E=~
お よび
~ea
(i2)
こ こ でb∈Iで
(16)
Me(x)2p(x)dx
H
ln(N)
あ り,θ α(>1)お
<αi>は 推 定 歪 αi(i∈I)の
を 満 た して い る か
ぎ の 条 件 式 を 用 い る.
(22)
<OH
よ び θH(<1)は
平 均,Hは
正 定 数,
次 式 で 与 え ら れ るエ
ン トロ ピ ー
i:IVi
と表 わ す.こ
る.今,各Viは
こ でp(x)は
訓 練 ベ ク トルxの
十 分 小 さ く,各Vl内
で 近 似 で き,f(x)は2次
確 率密 度 で あ
でp(x)は
H_-
In
一 定 値pi
関 数 で 近 似 で き る とす る.す
ると
ネ ッ トの エ ネ ル ギ ー は
a
aEIjEI7
で あ る.条
件 式(22)の
(23)
~jEIa7
左 方 の 不 等 式 は あ る 推 定 歪 αbが 平
均 値 よ りか な り大 きい と き成 立 し,右 方 の 不 等 式 は す べ て の
αi(i∈I)が
1+4/kC
p1vz+o2pzvz
あ ま り均 一 で な い と き成 立 す る.こ の 連 立 不 等 式
は 安 定 した 漸 近 最 適 性 の 判 断 を 行 な う た め に ベ ク トル 量 子 化
SFr
>N-4/kIC(x)p(x)
1
1+4/k
(17)
+Ud
献16)を
と な る こ と が 導 か れ る(詳 し く は 文 献6)参
∫VldxはVlの
呼 ば れ,関
照).こ
体 積 で あ り,Ci△=C(wi)は
数f(x)の
さ を 表 わ す.ま
位 置x=wlに
量子 化 係 数 と
た ‖g(x)‖α=(∫V￨g(x)￨αdx)1/α
ら に(17)式
の 右 辺 はEの
こ でvi=
お け る非線 形 性 の強
‖C(x)p(x)‖1/1+4/kは 与 え られ たf(x)とp(x)に
な る.さ
にお け る 漸 近 最 適 性 の 判 断 に用 い られ た もの で あ る(詳 細 は文
で あ り,
対 し定 数 に
最 小 値 を表 わ し,こ の 式
参 照).な
お 後 述 の 実験 で は再 初 期 化 が 適 度 に起 こ る し
きい 値 と して θα=5お
を用 い た.こ
よび θH=0.75+0.15(N-100)/400
こ で この θHは ユ ニ ッ ト数 がN=100と500
の と き そ れ ぞ れ θH=0.75と0.90と
れ た経 験 則 か ら導 い た.さ
す る と良 い 結 果 が 得 ら
て 条 件 式(22)が
満 た され る と き,
そ の左 方 の 不 等 式 を満 た す 大 きい 歪 を もつ 第bユ
重 ベ ク トルwbの
ニ ッ トの 荷
近 くに小 さ な 歪 を も つ ユ ニ ッ トの 荷 重 ベ ク
920
T. SICE
トル を移 動 す る こ と に よ り,よ
No.8
August
2006
り最 適 解 に 近 づ け る こ とが で
き る と考 え られ る.す な わ ち,今,す
べ て のi∈Iに
j番 目 に 大 きい αiを もつ ユ ニ ッ トを第b(j)ユ
と き,j番
Vol.42
目 に小 さ い 第s(j)=b(N-j)ユ
つ いて
ニ ッ ト とす る
ニ ッ トを 次 式 に
よ り再 初 期 化 す る.
W3(j):=Wb(j)+Br(Xc(j)-Wb(J))
(24)
J"1s(j):=Mb(j)
こ こ でxc(j)は
(25)
一wb(j)に 最 も近 い 訓 練 ベ ク トル で あ る.ま
新 しいws(j)に
対 す る ボ ロ ノ イ領 域Vs(j)に
つ の 訓 練 ベ ク トルxc(j)が
θrは1.9と
した.な
た
は 少 な く と も1
存 在 す る よ う に,再
お 前 節 で 述 べ たni=0と
初 期 化 の係 数
なるユ ニッ ト
は αiが 最 も小 さ い ユ ニ ッ トと して 優 先 的 に再 初 期 化 す る.
Fig.3
Benchmark
functions
以 上 の よ う に バ ッチ 学 習 で は 訓 練 デ ー タす べ て を用 い て 歪
の 推 定 値 αiを 計 算 で き るが,従
来 の オ ン ライ ン学習 では各
領 域 の 近 似 誤 差 を あ る 時 定 数 で漏 れ 積 分 し て 求 め て お り,そ
の 時 定 数 の 決 定 に注 意 を 要 し た.ま
(9x12)2(9X22)2
4
f2(x)=4exp
た バ ッチ 学 習 で は 再 初 期
化 さ れ た 荷 重 ベ ク トル の ボ ロ ノ イ領 域 に 少 な く と も1つ
練 ベ ク トル が 存 在 す る よ う に構 成 で き た が,オ
の訓
+34exp
(9i+1)2x(9x2+1)2
4910
+1exp2
(9x17)2(9x2-3)2
4
ンライ ン学習
で は再 初 期 化 す る荷 重 ベ ク トル を補 充 す べ き領 域 の荷 重 ベ ク
トル と 同 じベ ク トル に 再 初 期 化 し,そ の と き入 力 さ れ た 訓 練
-1exp-(9x1-4)2-(9x2-7)2
ベ ク トル を 学 習 させ て い た た め,再 初 期 化 さ れ た ボ ロ ノ イ 領
域 内 に訓 練 ベ ク トル が 存 在 せ ず 近 似 性 能 が 低 下 す る 可 能 性 が
あ る.
f3(x)=
3.
数 値 実 験
の コ ンペ テ ィ シ ョン で使 用 し,優 れ た 成 績 を得 て い る.特
はstereopsis(両
タ)と い う性 質 の 異 な る3つ
力 次 元 が そ れ ぞ れ4,
に,
の デ ー タ セ ッ トに 適 用 し た.入
値(予 測 分 布 の 中 心)と 予 測 分 布 を 求 め る 課 題 で あ り,訓 練
数 は そ れ ぞ れ500,
た.こ
427,
150, 20,000,お
20,000の
よ び テ ス トデ ー タ
デ ー タ セ ヅ トが 使 用 され
れ ら さま ざまな入 力次元 や デー タ数 を もつ デー タセ ッ
トに対 し,提 案 手 法 のMSE(二
第1位,第2位,第1位
乗 平 均 予 測 誤 差)は そ れ ぞ れ
の 成 績 を得 る こ と が で き た.こ
(cos(4πr)+1)/2
(r≦1/4)
0
(そ の ほ か)
(-3/2)2+(x2-1/22
((x1-0.5)(x2-0.5)≧0)
1
(そ の ほ か)
のコ
まず 各 関 数fi(i=1,2,3,4)に
対 して 入 力 ベ ク トルxを
正 方 領 域S={x=(x1,
x2)￨x1,x2∈[0,1]}内
ム に 選 ん でfi(x)を
し,デ ー タの 個 数n=j×103(j=1,5,10,50)の
D(j;n)を
作 成 し た.つ
がN=100,
200,
ぎ に各 訓 練 デ ー タ集 合 をユ ニ ッ ト数
300,
バ ッチ 学 習 させ た.こ
400お
よび500の
ネ ッ トに そ れ ぞ れ
の と きネ ッ トを評 価 す る た め 訓 練 デ ー タ
デ ー タ と して格 子 点x∈L(K)={(0.5+i/32,
的 に わ か り や す い 入 力 次 元 が2次
覚
元 の デ ー タ セ ッ トに対 す る
数 値 実 験 結 果 を 示 し,提 案 手 法 の 基 杢 的 な性 質 を検 討 す る.
3.1
提 案 手 法 の 学 習 性 能 を つ ぎ の4つ
び 文 献6)参
fi(x)=
求 め た.こ
L(K)=L(0)は
準備
fi(x1, x2)
i,j=0,±1,士2,…,±(16+K)}と
を用 い て,ネ
(i=1,2,3,4)に
つ い て 検 討 し た(Fig.3お
照).
tanh(9x2-9x1)+1
9
よ
0.5+j/32)T￨
そ の 関 数 値y=fi(x)
こ でKは
非 負 の 整 数 で あ り,K=0の
と きの
訓 練 デ ー タ を生 成 し た 単 位 正 方 領 域 内 の 点
と きのL(K)は
域 の 外 の 点 を含 む こ と と な る.し
の と き 内 挿 能 力,K≧1の
わ せ て 汎 化 能 力,さ
で き る.な
よび テス ト
ッ トに よ る推 定 値 す と の二 乗 平 均 誤 差E(K)testを
集 合 と な り,K≧1の
の 関 数fi(x)=
生成
デ ー タ集 合
用 さ れ て お り,そ の うち で もバ ッチ 学 習 型CAN2が
下 で は,視
0.01]内 の 一
様 乱 数 に よ る雑 音 を加 え て 訓 練 デ ー タy=fi(x)+dを
ンペ テ ィ シ ョ ン で は最 新 の 種 々 の ニ ュ ー ラ ル ネ ッ ト手 法 が 適
優 れ てい
単位
か ら ラ ンダ
計 算 した あ と,区 間[-0.01,
に対 す る ネ ッ トの 出 力 の 二 乗 平 均 誤 差Etrain,お
る こ とが 示 され た 結 果 で あ る と考 え ら れ る.以
≦1/2)
業の秘 密デ ー
12, 37の ベ ク トル か ら そ の 関 数 の 予 測
デ ー タ 数 は そ れ ぞ れ192,
(0≦x2-ξ
{0
f4(x)=
眼 立 体 視 の デ ー タ),gaze(計
算 機 ス ク リ ー ン上 の注 視 デ ー タ),outaouais(企
(x2-ξ>1/2)
2(x2-ξ)
=2.1x1-0.1;r
前 述 の よ う に,提 案 手 法 はす で にIJCNN2004やNIPS2004
NIPS2004で
{1
と き外 挿 能 力,お
ら にEtrainは
おL(0)はFig.3で
学 習 した 単 位 正 方 領
た が っ てE(K)testはK=0
よ び 両 者 を合
学 習 能 力 を表 わ す と解 釈
関 数 を描 画 す る た め に用 い た
計 測 自動 制 御 学 会 論 文集
第42巻
第8号
2006年8月
Fig.5
Fig.4
Etrain
and
E(0)test vs.
the
number
of batch
921
Etrain
and
E(0)test vs.
n and
N
learning
iterations
33×33の
格 子 点 の 集 合 で あ り,こ の 集 合 に よ り生 成 さ れ た
テ ス トデ ー タ集 合 は ネ ッ トが 各 関 数 を 学 習 で き た か ど う か を
判 断 す る た め に妥 当 な 集 合 で あ る と考 え ら れ る.
な お 以 下 の 計 算 結 果 は,Intel (R) Pentium
CPU
1200MHzのCPU,主
てVine
Linux
(R) III Mobile
メ モ リ512Mバ
2.6,倍
精 度 計 算 のCプ
イ ト,OSと
し
ロ グ ラ ム とgcc-2.95
の コ ンパ イ ラ を使 用 して 得 た も の で あ る.
3.2
バ ッ チ 学 習 回 数 に 対 す るMSEの
ま ず 各 関 数fiに
変化
つ い てn=1,000と50,000の
訓 練 デー タ
集 合 を そ れ ぞ れ ユ ニ ッ ト数 がN=100と500のCAN2で
バ ッチ 学 習 さぜ た 場 合 の 学 習 回 数 に 対 す るEtrainとE(0)test
をFig.4に
示 す.こ
の 図 か らす べ て の 関 数 の 学 習 は ほ ぼ100
回 の バ ッチ 学 習 で 収 束 して い る と考 え られ る.な
のEtrainとE(0)testに
は振 動 が 見 ら れ る が,こ
再 初 期 化 の 影 響 で あ る.す
おf3とf4
た 再 初 期 化 の 直 後 は 近 似 誤 差 が 大 き く な る こ と もあ る.た
だ
つ いて は勾配 法 に よるわず か な荷 重 変化 に よっ
て も振 動 が 起 こ っ た.こ
れ はf4が
不 連 続 関数 で あ る こと に
数nと
繰 り返 した 後 のCAN2の
ユ ニ ッ ト数Nに
示 す.本
実 験 で は 訓 練 デ ー タy=fi(x)+dは
テ ス トデ ー タ は 雑 音 を含 ま ない の で,ネ
E(0)testはEtrainよ
る と関 数f4以
Etrainよ
訓 練 デー タ
対 す るEtrainとE(0)testをFig.5に
の 雑 音 を 除 去 し左y=fi(x)の
雑 音 を含 む が
ッ トが 訓 練 デ ー タ 中
み を う ま く学 習 す る な らば,
り も小 さ く な る ・ こ の 見 地 か ら 同 図 を見
外 で訓 練 デ ー タ 数nが
大 きい と き はE(0)testは
り も小 さ くな り,雑 音 を 除 去 す る学 習 が 行 な わ れ て
以 上 の 結 果 を さ ら に 定 量 的 に検 討 す る と,ま
は 最 適 値 が 存 在 す る と考 え られ る.す
の 雑 音dの
に な っ て い た の で,ネ
ッ トが 雑 音 を含 ま な い 真 の 関 数fiを
学 習 し て い る場 合 のEtrainは
Etrainが
こ の σ2dの値 に な る.さ
らに
こ の 値 よ り小 さ くな りす ぎ る と ネ ッ ト は訓 練 デ ー
σ2dよ り
考 え られ る ・ そ こ でFig.5のEtrainとE(0)testを
ユ ニ ッ ト数
Nに
示 す.ま
対 して 再 描 画 した もの をFig.6とFig.7に
Fig.6か
ずEtrainに
な わ ち 訓 練 デ ー タy=
標 本 分 散 σ2dは作 成 し た す べ て の 訓 練
らf4以
外 お よ びn=1,000以
適 値 で あ る σ2d=3.3×10-5の
よ り小 さ なE(0)testはf4以
合 に 実 現 さ れ て い る.こ
外 のEtrainは
ず
そ の最
近 傍 に あ り,良 好 な 学 習 能 力
が 得 られ て い る と考 え ら れ る.さ
ら にFig.7か
ら3.3×10-5
外 お よ びnとNが
十 分 大 きい 場
れ ら の 結 果 はNを
大 き くす る と よ
り多 くの 区 分 領 域 を 用 い て よ り複 雑 な非 線 形 関 数 を 近 似 で き
るが,デ
い る もの と考 え ら れ る.
fi(x)+d中
デ ー タ集 合 につ い て ほ ぼ 理 論 値3.3×10-5=∫0.0010x2dx/0.01
小 さ くな っ て い れ ば雑 音 を 除去 した 学 習 が 行 な わ れ て い る と
学 習 能 力 と内 挿 能 力
バ ッ チ 学 習 を100回
N
タ を 過 学 習 し て い る と考 え ら れ る.一 方,E(0)testが
起 因 して い る と考 え ら れ る.
3.3
Etrain vs.
な わ ち 再 初 期 化 が 起 こ る場 合 は 起
こ ら な い 場 合 よ り も近 似 誤 差 の 変 動 が 大 き い こ とが 多 く,ま
し 関 数f4に
Fig.6
れ ら の 多 くは
ー タ数nが
えない場 合 が 生 腸
少 な い と各 区分 領 域 の 学 習 が 良 好 に行 な
こ とか ら理 解 で き る.ま
たf4のE(0)test
が 小 さ くで き な か っ た 場 合 の検 討 は 後 述 す る(3.7参
照).
922
T. SICE
Vol.42
No.8
August
2006
Fig.9
Fig.7
E(0)test vs.
E(K)test vs.
n and
K
N
な おf4でn=5,000の
と きは そ の 例 外 に な っ て い る が,ほ
か の 場 合 と比 べ る と そ の 差 は ほ とん どな い とみ る こ とが で き
る.CAN2bがCAN2oよ
り・E(0)testを
小 さ くで き た主 な要 因
は,連 想 行 列 の 計 算 に お い て ボ ロ ノ イ領 域 内 の 訓 練 デ ー タ 数
が 少 な い 場 合 の 処 理 を 施 した こ と(2.2.3参
照)な ど が 考 え ら
れ る.
つ ぎ にSVMTorchはf1とf2の
びf3のn=1,000の
す べ て のnに
と き,CAN2bよ
実 現 で きた こ とが わ か る.こ
あ る1点
ついて お よ
り も小 さ なE(0)testを
れ はCAN2bがk次
元空 間上 の
の 関 数 値 を 雑 音 を除 去 して 近 似 す る た め に は(k+1)
個 よ り も多 くの 訓 練 デ ー タが 必 要 な の に対 しSVMTorchは
ガ ウ ス カ ー ネ ル 関 数 の 機 能 に よ りf1やf2の
よ う な滑 ら か な
関 数 を少 数 の 訓 練 デ ー タ を 学 習 して 内 挿 す る 能 力 に優 れ て い
る こ とが 原 因 で あ る と考 え ら れ る.
逆 にf3のn≧5,000お
Fig.8
E(0)test vs.
n
よ びf4の
す べ て のnに
CAN2bの
ほ うがSVMTorchよ
f3やf4は
区 分 的 に線 形 な 関 数 部 分 を も ち,そ
対 して
り も 内 挿 誤 差 が 小 さ い の は,
の部分 は滑 ら
か に 変 化 す る カ ー ネ ル 関 数 の 和 で 近 似 す る よ り も区 分 的 線 形
関 数 と して 近 似 す る ほ うが 誤 差 を小 さ くで き る こ とが 原 因 で
3.4
他 手 法 の 内 挿 能 力 との 比 較
Fig.7で
各 関 数fiと
各nに
対 し て 最 小 のE(0)testを 抽
出 し た も の をFig.8のCAN2bの
実 線 で 表 わ す.比
め,従 来 の オ ン ラ イ ン 学 習 型CAN2の
の 破 線 で 示 す.さ
gation
ら に 文 献4)に
Net)やRBFN
(Radial
も良 い 結 果 を 示 したSVR
おSVMTorchを
の 方 法 は 付 録Aを
(Radial
Basis
Fig.8に
Net)よ
り
Regression)の
用 い た 理 由 とそ の パ ラ メ ー タ探 索
た カ ー ネ ル 関 数 はRBF
な わ ち ガ ウ ス 関 数K(x,y)=
用 い た.
お い て まずCAN2bは
訓 練 デ ー タ 数 に対 す る外 挿 能 力
前 節 でSVMTorchは
にこの か
結 果 を同 図 の細 い 実線 で 表
Function)す
タ 集 合 に 対 し てCAN2oよ
Vector
3.5
ガ ウ ス カ ー ネ ル 関数 を用 い てCAN2b
よ り も優 れ た 内 挿 能 力 を示 す 場 合 が あ る こ とが わ か っ た が,逆
(Backpropa-
Basis Function
参 照 の こ と.ま
exp(-‖x-y‖/r2)を
較 のた
結 果 を 同 図 のCAN2o
お い てBPN
(Support
一 手 法 で あ るSVMTorch18)の
わ す.な
あ る と考 え ら れ る.
ネ ル関 数 はK≧1に
対 す るE(K)testす な わ ち 外 挿
能 力 を制 約 す る と 考 え られ る.そ
をCAN2bとSVMTorchに
示 す.こ
つ い て計 算 した 結 果 をFig.9に
の 図 よ りSVMTgrchのf1,
はK=0で
はCAN2bよ
同 程 度 に な り,K≧2で
る こ とが わ か る.ま
ほ と ん どす べ て の 訓 練 デ ー
た めn=5,000に
f2, f3に 対 す るE(K)test
り小 さい が,K=1でCAN2bと
はCAN2bの
たf4で
ほ うが 小 さ くな っ て い
は す べ て の 場 合 につ い てCAN2b
の ほ うが 小 さ くな っ て い る.こ
り小 さ なE(0)testを 実 現 して い る.
こ でK=0∼5のE(K)test
の結 果 を よ り詳 細 に検 討 す る
つ い て のCAN2bとSVMTorchの
の 誤 差y-y=fi(x)-yをK=5に
出 力y
対 応 す る 領 域,す
なわ
計 測 自動 制御 学会 論 文集
第42巻
第8号
2006年8月
923
Fig.11
Camputational
りCAN2bはCAN2oよ
cost
り も平 均 し て 約10倍
程度 少 ない 時
間 で 計 算 で き て い る こ とが わ か り,ま た 最 も時 間 が か か っ た
場 合 で も約15分
で あ っ た.こ
れ はバ ッチ学 習 法 は オン ライ
ーン学 習 で 行 な う 共 通 の 処 理 を 一 括 し て 行 な う よ う に工 夫 し て
い る の で 一 般 に短 時 間 で 学 習 で き る こ と を反 映 して い る.ま
たSVMTorchは
関 数f1とf2の
びf3のn=1,000の
場 合 につ い てCAN2bよ
で 計 算 で き て い る が,関
Fig.10
Extrapolation error of CAN2b (left) and SVMTorch
(right)
数f3とf4で
く時 間 が か か っ て お りn=50,000の
示 す.図
よ りCAN2bの
1.15625]の
区分 的線 形近似 が
訓 練 領 域 外 で も良 好 に 機 能 し て い る こ とが わ か る.こ
れに対
訓 練 領 域 か ら離 れ る に つ れ て 大 き な誤 差 が
出 て い る が,こ れ はSVMTorchの
出 力 は訓 練 領 域 か ら離 れ る
200, 300, 400, 500以
Fig.11の5倍
約8回
付 録Aの
幅rがf1,
誤差 の大 きさは訓練 領域 か
f2, f3, f4で
0.0160と
れ は この 場 合 の
そ れ ぞ れ0.1432,
0.1680,
か な り小 さか っ た こ とか ら理 解 で きる.
な お 外 挿 能 力 は学 習 す べ き 関 数 の 性 質 に大 き く依 存 す る の
で,一
般 的 な性 質 と し て記 述 す る こ と は 困 難 で あ る が,少
な
3.7
関 数f4と
関 数f4に
SVMTorchの
3.6
ッ チ 学 習 型CAN2は
良 い 成 績 を残 し て い る.
計 算時 間
示 す.図
よ
た 最 適 値 以 外 の パ ラ メ ー タ値 を用 い て
は含
だ し実 際 に は 計 算 時 間 を 計 測 す る
テ ス トデ ー タ
つ い て,再 びFig.8を
見 て,CAN2b,
CAN2o,
い ず れ の 手 法 で もE(0)testの 値 が ほ か の 関 数 に
比 べ て 数 桁 大 き な値 に な っ て い る こ と に つ い て 考 え る.ま
ず こ の 結 果 は ネ ッ トや 学 習 法 に よ る の で は な く,こ の 関 数
f4に 特 有 の 性 質,よ
各 訓 練 デ ー タ に対 し て最 小 のE(0)testを 与 え る パ ラ メ ー タ を
用 い た と きの 学 習 に要 した 計 算 時 間 をFig.11に
な わ ち 約70倍
用 した.
良
が 要 求 され,バ
の時
こ の 数 値 実 験 以 外 は複 数 の 性 能 の 異 な る 計 算 機 を並 列 して 使
の
ー タ セ ッ トに お い て も外 挿 能 力
約32∼40倍
段で
た不 感 帯 ∈=0.01
選 択 も含 め る と さ ら にそ の2倍,す
め て い な い 場 合 もあ る.た
くと も本 稿 で扱 った 関 数 に つ い て は バ ッチ 学 習 型CAN2は
コ ンペ テ ィ シ ヨ ン のgazeデ
段 階 的 な探 索 法 で4∼5段,各
80分 以 上 か か っ て得 た 結 果 が 最 適 で な い た めFig.11に
い 性 能 を示 し て い る とい え る.さ
ら に 前 述 のNIPS2004で
外 は 固 定 して 行 な っ た の で 各
探 索 に必 要 で あ っ た とい え る.ま
要 した こ と に な る.ま
0.05612,
の計算 時
ず つ の 探 索 を行 な っ た の でFig.11の
間 がrの
理 解 で き る.ま
RBFの
と き約40分
程 度 と見 積 もる こ とが で き る が,SVMTorchは
パ ラ メ ー タrを
と0.001の
たSVMTorchの
り も長
パ ラ メ ー タ 探 索 は ユ ニ ッ ト数
に 従 い 訓 練 デ ー タ の 関 数 値 の 平 均 値 に近 づ い て い くこ とか ら
ら離 れ る につ れ て 急 速 に増 加 し て い る が,こ
り も短 い 時 間
はCAN2bよ
訓 練 デ ー タ集 合 に 対 して パ ラ メ ー タ 探 索 を 含 め た計 算 時 間 は
誤 差 は 訓 練 領 域 で あ るx1,x2∈[0,1]
の 外 で もそ れ ほ ど大 き くな く,CAN2bの
し,SVMTorchは
N=100,
領 域 につ い てFig.10に
つい てお よ
間 が か か っ た.
な おCAN2bとCAN2oの
ちx1, x2∈[-0.15625,
す べ て のnに
り具 体 的 に は こ の 関 数 の 不 連 続 性 に 起
因 す る もの で あ る と考 え ら れ る.さ
ら に テ ス トデ ー タセ ッ ト
E(0)testを 生 成 した 格 子 点 集 合L(0)={(0.5+i/32,
0.5+
924
T. SICE
Vol.42
関 数 値 が 不 連 続 な 直 線x1=
0.5とx2=0.5上
の 点 を 含 ん で い る の で,学
評 価 を す る の に 適 し て い な い 可 能 性 が あ る.そ
習結果の
い う格 子
点 集 合 を用 い て テ ス トデ ー タ を作 り,再 実 験 した.そ
得 ら れ,さ
雑 音 の分 散 σ2d=3.3×10-5よ
ら にN=800と
びN=800で7.2×10-4,ま
よ
た こ の テス トデ ー タ を 用 い て
パ ラ メ ー タ を再 探 索 したSVMTorchで
は4.5×10-3ま
か小 さ くす る こ と が で き な か っ た.以
CAN2oやSVMTorchよ
でし
上 の結 果 はCAN2bは
り もf4の
よ うな 不 連 続 関 数 を学 習
す る 能 力 に も優 れ て い る こ と を示 し て い る と考 え ら れ る.
4.
お わ り に
本 稿 で はバ ッ チ学 習 型CAN2の
諸 性 質 を 明 ら か に し た.ま
学 習 法 に つ い て検 討 しそ の
ず バ ッチ 学 習 法 は 従 来 の オ ン ラ イ
ン学 習 に 以 下 の よ う な 処 理 を付 加 す る こ と に よ り性 能 向 上 を
図 っ て い る こ と を 示 した.す
な わ ち バ ッチ 学 習 法 は 荷 重 ベ ク
トル を勾 配 法 に よ り更 新 す る 際 に は 訓 練 デ ー タ の変 動 範 囲 に
応 じた 学 習 係 数 の 値 を 用 い る こ と に よ り荷 重 ベ ク トル の 変 化
量 が 微 小 量 に な る よ う に して お り,ま た 連 想 行 列 を更 新 す る
際 に は 再 初 期 化 さ れ た荷 重 ベ ク トル の ボ ロ ノ イ 領 域 内 の 訓 練
デ ー タ の個 数 が 小 さい と き に そ の 周 囲 か ら訓 練 デ ー タ を補 充
す る 手 法 を用 い て い る こ と を示 した.さ
用 い て 再 初 期 化 す る 際 に は,訓
らに漸近最 適 条件 を
練 デ ー タの す べ て を 用 い て 歪
の 推 定 値 が 計 算 で き る こ と な ど,バ
ッ チ 学 習 法 の有 用 性 を示
し た.最 後 に オ ン ラ イ ン 学 習 法 お よ びSVRと
験 を行 な い バ ッチ 学 習 型CAN2の
本 稿 で は入 力 次 元 が2次
の比 較数 値 実
諸 性 質 と有 効 性 を示 し た.
の い くつ か の 関 数 を 学 習 す る 際 の 諸
性 質 を数 値 実 験 を用 い て 検 討 した に す ぎな い が,本
学 習法 が
よ り高 次 の 入 力 次 元 を もつ 関 数 に つ い て も有 効 に適 用 可 能 で
あ る こ とは 前 述 し たIJCNN2004やNIPS2004の
コ ンペ テ ィ
シ ョン で好 成 績 を修 め た こ と か ら理 解 で き る と考 え る.な
滑 ら か な 関 数 の 内 挿 能 力 はSVMTorchよ
明 した が,今
後,そ
お,
り も劣 る こ とが 判
の 原 因 を さ ら に 追 究 し,対 処 法 を検 討 し
た い と考 え て い る.ま
203/212
5)
数 の モ デ ル の 学 習 と 切 り替 え を 行 う競 合 連 想
大,
田:競
SD-1,
合 連 想 ネ ッ トを 用 い る 降 水 量 推 定,信
260/261
黒 木 秀 一:競
合 連 想 ネ ッ トの 漸 近 最 適 性 と 非 線 形 関 数 の 遂 次
学 習 へ の 応 用,電
184/194
後,さ
子 情 報 通 信 学 会 論 文 誌 D-II,
J86-D-II-2,
(2003)
7) J.D. Farmer and J.J. Sidorowich: Predicting chaotic time
series, Phys. Rev. Lett., 59, 845/848 (1987)
8) H. Chandrasekaran and M.T. Manry: Convergent design of a piecewise linear neural network, Proceedings of
IJCNN1999, 2, 1339/1344 (1999)
9) R.A. Jacobs, M.I. Jordan, S.J. Nowlan and G.E. Hinton:
Adaptive mixtures of local experts, Neural Computation,
3, 79/87 (1991)
10) J.H. Friedman: Multivariate adaptive regression splines,
Ann Stat, 19, 1/50 (1991)
11) S. Kurogi, N. Araki, H. Miyamoto, Y. Fuchikawa, T.
Nishida, M. Mimata and K. Itoh: Temperature Control of
RCA cleaning solutions using batch learning competitive
associative net, Proceedings of SCI2004, V, 18/23 (2004)
12) S. Kurogi, T. Ueno and M. Sawa: A batch learning method
for competitive associative net and its application to function approximation, Proceedings of SCI2004, V, 24/28
(2004)
13) S. Kurogi, T. Ueno and M. Sawa: Batch learning competitive associative net and its application to time series
prediction, Proceedings of IJCNN2004, CD-ROM (2004)
14) CATS benchmark: http://www.cis.hut.fi/~lendasse/
competition/results.html
15) Evaluating Predictive Uncertainty Challenge:
http://predict.kgb.tuebingen.mpg.de/pages/home.php
16)
西 田,黒
木:再
初 期 化 法 を 用 い た 適 応 ベ ク トル 量 子 化,電
報 通 信 学 会 論 文 誌 D-II,
J84-D-II-7,
1503/1511
子情
(2001)
17) T. Joachims: Making large-scale suppoert vector machine learning practical, in Advances in Kernel Methods, ed. B. Scholkopf, C.J.C. Burges, and A.J. Smola,
169/184, The MIT Press (1999). Software available at
http://svmlight.joachims.org/
18) R. Collobert and S. Bengio: SVMTorch-Support
vector machines for large-scale regression problems, Journal of
Machine Learning Research, 1-1, 143/160 (2001). Software
available at ftp.idiap.ch/pub/learning/SVMTorch.tgz
19) Stefan Ruping, mySVM-Manual, Universitat Dortmund:
Lehrstuhl Informatik VIII (2000). Software available at
http://wwwai. cs.uni-dortmund. de/SOFTWARE/
MYSVM/
た非 線 形 時 変 の 温 度 制 御 系 へ の 応 用11)
<<付
録>>
ら に 良 好 な 性 能 を得 る た め の 検 討 も行
A.
な っ て い く計 画 で あ る.
本 研 究 の 一 部 は 文 部 科 学 省 科 学 研 究 費,基
16300070の
学総
(2001)
に お い て もバ ッチ 学 習 法 に よ る い くつ か の 性 能 の改 善 が 得 ら
れ て い るが,今
測 自動 制 御 学 会 論 文 集, 37-3,
(2001)
黒 木,藤,寺
すると
はN=500で1.4×10-3お
田:複
ネ ッ トを 用 い る 適 応 予 測 制 御,計
6)
り も小 さ な値2.5×10-5が
得 られ た.一 方,CAN2oで
2006
黒 木,西
の結 果
訓 練 デ ー タ に 対 し,ユ ニ ッ ト数N=500で
E(0)test=1.1×10-4が
4)
こ で新 た に
L33(0)={i/33,j/33)T￨i,j=0,1,2,…,33}と
n=50,000の
August
3) S. Kurogi and S. Ren: Competitive associative networks
for function approximation and control of plants, Proc.
NOLTA '97. 775/778 (1997)
j/32)T￨i,j=0,±1,±2,…,±16}={i/32,j/32)T￨
i,j=0,1,2…,32}はf4の
No.8
援 助 を 受 け ま し た.こ
参
考
文
盤 研 究(B)
こ に感 謝 致 しま す.
献
1) A.C. Ahalt, A.K. Krishnamurthy, P. Chen and D.E.
Melton: Competitive learning algorithms for vector quantization, Neural Networks, 3, 277/290 (1990)
2) T. Kohonen: Associative Memory, Springer Verlag (1977)
SVRの
CAN2と
諸 手 法 とパ ラ メ ー タ探 索
比 較 す るSVRの
SVMTorch18)お
手 法 と し て,SVMlight17),
よ びmySVM19),に
つ い て 試 行 した が,各
手 法 は 最 適 化 ア ル ゴ リズ ム や 収 束 条 件 の 定 義 の 違 い な ど に よ
り,同 じパ ラ メ ー タ値 を 用 い て も異 な る結 果 が 得 られ た.た
え ば 関 数f3のn=50,000の
mySVM,
SVMlight,
と
訓 練 デ ー タ集 合 の学 習 に対 して
SVMTorchの
パ ラ メ ー タ を粗 い 最 適 化
に よ り求 めE(0)testの 値 を そ れ ぞ れ4.1×10-5,
1.6×10-5,
計 測 自動 制御 学 会 論 文 集
Table
A.1
A course-to-fine
RBF
for
method
to
search
the
width
r of
第42巻
第8号
西
2006年8月
田
健 (正会員)
SVR
ス テ ッ プ1.第i=1段
の 刻 み 幅 を Δ1=0.1と
r=jΔ1(j=1,2,…)に
対 す るE(0)testを
の細 か な変動 は鞭
し な が ら4∼5点
増 加 し始 め たな らば この段 の 縣
与 え たrをr=ri*と
計財
平 成10年
卒.平14年
し,
る.E(0)test
を 終 了 し,最
九 州 工 業 大 学 工 学部 設計 生 産工 学 科
同大 学 院博 士 後 期課 程 修 了.同 年 よ
り九 州工 業 大 学 ・制 御 ・助 手.工 博.主 にニ ュ ー
ラル ネ ッ トに よるパ ター ン認識 の研 究 に従事.日
程 度 の範 囲 でE(0)testが
す る.i:=i+1と
925
本 神 経 回路 学 会,電 子 情報 通信 学 会 な どの会 員.
小 のE(0)testを
お き,ス
テ ップ2
し,前
段 での最
に い く.
ス テ ッ プ2.
刻 み 幅 を Δi=0.1/5i-1と
適 値r=Ti*
-1を
中 心 と し た8点r=ri*-1+jΔi(j=
±1,±2,±3,±4)に
の段 の跡
が5%未
す る.轍
の跡
値E(0)test(ri*-1)に
対するこ
値E(0)test(ri*)の 減 少 率1-E(0)test(ri*)/E(0)test(ri* -1)
満 な ら こ の探 索 を 終 了 す る.そ
と お き,ス
1.8×10-5と
テ ッ プ2を
繰 り返 す.
す る こ とが で き たが,そ
の と き の 学 習 に 要 した
で あ っ た.各
訓 練 デ ー タ に対 し て粗 い 最 適 化 に よ り各 手 法 が 実 現 で き た 最
小 の 一E(0)testの
大 小 関 係 は デ ー タ 集 合 に よ り異 な っ た が,計
算 時 間 は 常 にSVMTorchが
SVMTorchで
す,各
最 も短 か っ た.そ
こで 本 稿 で は
パ ラ メ ー タ値 を よ り詳 細 に 最 適 化 した 結 果 を 示
パ ラ メ ー タは以 下 の よ う に設 定 し探 索 した:SVRの
ジ ン と訓 練 誤 差 の トレ ー ドオ フ係 数Cは1,000と
不 感 帯 の 幅 ∈は0.01と0.001に
件 の 誤 差(以 下,∈Tと
表 記 す る)は
f3とf4で
は1,000,000回
した が,
れは関 数
で も終 了 し な か っ た が,そ
こで 打
で 打 ち切 っ た と き と ほ
と ん ど同 じで あ っ た か らで あ る.カ
ー ネ ル と し てRBFす
わ ちK(x,y)=exp(-‖x-y‖/r2)を
A.1の
束判 定 条
∈T=0.0001と
で 終 了 させ た.こ
ち 切 っ た と き のE(0)testは100,000回
Table
マー
し(注2),
つ い て 調 べ た.収
最 適 化 繰 り返 し回 数 は100,000回
な
使 用 し,そ の 幅rは
手 順 に よ り刻 み 幅 を 段 階 的 に小 さ くす る 手 法
で 探 索 し た.
[著
黒
木
秀
者
紹
介]
一 (正会員)
昭和55年
九州 工業 大学 工 学 部電 気工 学科 卒.昭
和60年 東 工 大 大 学 院 博 士 課 程 修 了.同 年 よ り九
州工 業大 学 制御 助 手 を経 て 平成3年 同大 ・助教 授.
工 博.主 にニ ュ ー ラル ネ ッ トの研 究 に従事.日 本
神 経 回路 学 会,電 子 情 報 通信 学 会 な どの 会員.
(注2)
係 数Cを
大 き くす る と訓 練 誤 差 は 小 さ く な る が,大
きす
ぎ る と過 学 習 が 起 こ り近 似 関 数 は 滑 ら か で な く な る.SVMTorch
の デ フ ォ ー ル ト値C=100で
C=1,000と
は 訓 練 誤 差 は 小 さ くで き ず,
し て 小 さ な 訓 練 誤 差 が 得 ら れ る よ う に な っ た.
さ ら に 汎 化 誤 差 を 小 さ くす る た め にTable
化 を 行 な いFig.10の
A.1に
康
裕 (学生会 員)
よ るrの
最適
よ う な 滑 ら か さ の 近 似 誤 差 が 得 ら れ た.
九 州 工 業大 学 工 学 部 機 械 知 能 工 学 科
卒,平 成15年 同大大 学 院博 士 前期 課程 修 了.現 在
同大 大学 院博 士後 期 課程 に在 学 中.主 にニ ュ ー ラ
ル ネ ッ トに よ るパ ター ン認 識 の研 究 に従 事.日 本
神 経 回路 学会,電 子 情報 通信 学会 な どの学 生 会員.
う で な け れ ばi:=i+1
時 間 は そ れ ぞ れ お よそ307分,129分,40分
川
平 成13年
つ い てE(0)testを 計 算 し,そ の 最 小 値 を与 え
たrをr=ri*と
渕