W-18

信学技報
TECHNICAL REPORT OF IEICE.
社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,
INFORMATION AND COMMUNICATION ENGINEERS
グループ学習を行うファジィART
井澤
遥†
冨田 真人†
松下 春奈†
西尾 芳文†
† 徳島大学工学部 〒 770–8506 徳島県徳島市南常三島 2–1
E-mail: †{isawa,tomita,haruna,nishio}@ee.tokushima-u.ac.jp
あらまし
適応共鳴理論 (Adaptive Resonance Theory: ART) は教師なしニューラルネットワークである．ファジィ
ART はアナログ入力に対応可能な ART モデルであり，カテゴリ空間の大きさを警戒パラメータによって決定する．
また，入力データはそれぞれの適したカテゴリに分類されるが，共通のカテゴリに分類されるべき入力データが別々
のカテゴリに含まれる場合がある．そこで本研究では，より効果的なカテゴリの分類を行うために，
“ グループ学習
(Group Learning: GL) ”の機能を加えたファジィART（ファジィART-GL）を提案する．ファジィART-GL の最大の
特徴は，類似したカテゴリに“ つながり（コネクション）”を持たせる点にあり，その振る舞いと有効性について検証
した．
キーワード
ファジィART，データ分類，教師なし学習
Fuzzy ART with Group Learning
Haruka ISAWA† , Masato TOMITA† , Haruna MATSUSHITA† , and Yoshifumi NISHIO†
† Department of Electrical and Electronic Engineering, Tokushima University
2–1 Minami-Josanjima, Tokushima 770–8506, Japan
E-mail: †{isawa,tomita,haruna,nishio}@ee.tokushima-u.ac.jp
Abstract Adaptive Resonance Theory (ART) is an unsupervised neural network based on competitive learning
which is capable of automatically finding categories and creating new ones. Fuzzy ART is a variation of ART, allows
both binary and continuous input pattern. Fuzzy ART has limits of category space size by the vigilance parameter.
Thus, input data are classified in each appropriate category. However, Fuzzy ART often makes input data of the
common categories classify several categories. In this study, we propose an additional step, called “Group Learning ”, for Fuzzy ART in order to obtain more effective categorization. This algorithm is called Fuzzy ART with
Group Learning (Fuzzy ART-GL). The important feature of group learning is that creating a connection between
similar categories. We investigate the behavior of Fuzzy ART-GL with application to the recognition problems.
Key words Fuzzy ART, classification, unsupervised learning
1. は じ め に
ことにより分類の可否を判断し，どのカテゴリにも適合しない
適応共鳴理論 (Adaptive Resonance Theory: ART) は人間
た，このモデルは任意の入力データに応じて安定したカテゴリ
場合，その入力を新しいカテゴリとして保持する点にある．ま
の認知情報処理モデルとして S.Grossberg らによって提案され
認識をすることができる．この特徴により，記憶に関する安定
た教師なしニューラルネットワークである [1]- [2]．ART は教師
性と可塑性のジレンマを回避できることから，ART は分類器
なしカテゴリ学習やパターン認識，分類などに用いらるニュー
として非常に高い性能を持つことになるので，近年パターン認
ラルネットワークモデルとして発達してきた．一般に，ニュー
識モデルとして注目を浴びている．その複数存在する ART シ
ラルネットワークの学習では，新しい情報を学習すると過去の
ステムの中でも，従来の ART にファジィ論理を用い，パター
記憶が失われ，過去の記憶の保持を重視すると新しい記憶が困
ン認識に適応させたファジィART に着目する．
難になるという“ 安定性と可塑性のジレンマ”が問題であると指
ファジィART は全ての ART システムの特徴が組み込まれて
摘されているが，ART はこの問題を回避することを目的とし
おり，アナログ入力に対応可能な ART モデルである [3]- [4]．し
たシステムである．ART の特徴は，入力と記憶（カテゴリ）の
かしこのシステムにおいて共通のカテゴリに含まれる入力デー
整合度を警戒パラメータと呼ばれる分類精度の基準と比較する
タを別々のカテゴリとして分類してしまうという問題がある．
—1—
そこで本研究では，より効果的なカテゴリの分類を行うために，
“ グループ学習 (Group Learning: GL) ”の機能を加えたファ
ジィART（ファジィART-GL）を提案する．ファジィART-GL
の最大の特徴は，ファジィART 本来の構造や荷重ベクトルを変
ただし，ファジィ理論を用いた演算は以下のように定義する．
(p ∧ q)i ≡ min(pi , qi )
ノルムは | · | 以下のように定義する．
更するのではなく，付加的なステップとして，類似したカテゴ
リに“ つながり（コネクション）”を持たせる点にある．ただし，
m
X
| P |≡
この考えは Martinetz や Schulten によって提案されたヘッブ
学習 (Hebbian learning) [5]- [6] を元にしていることから，ファ
ジィART-GL はファジィART とヘッブ学習を融合させた新し
い ART であるといえる．また，ファジィART-GL を用いるこ
(4)
| pi |
(5)
i=1
また，選択パラメータ α は適当な正のパラメータである．
次に，F2 層では，選択強度 Tj に関して競合作用が発生し，
最大の選択強度をもつニューロンが勝者 J として活性化する．
とで，共通のカテゴリに含まれる入力データを同一カテゴリと
して分類し，上述の分類課題を克服することを目的としている．
TJ = max{Tj : j = 1 · · · n}
j
(6)
第 2 節では，ファジィART-GL のアルゴリズムについて説明
する．第 3 節ではいくつかのシミュレーション結果から，ファ
ただし，最大の選択強度をもつ F2 ニューロンが複数存在する
ジィART-GL により引き起こされる振る舞いとその有効性を
場合，最小のインデックス番号を持つ F2 ニューロンを勝者と
検証する．
する．また，グループ学習のために，2 番目に大きい選択強度
を持つニューロンを 2 番目の勝者 J2 とする．
2. ファジィART-GL
2. 共鳴，リセット: F2 ニューロン J に属する記憶 wJ を F1 層
ファジィART は，F1 層（入力層）と F2 層（カテゴリ層）か
ら構成されている．また，F1 層の i 番目のニューロンと F2 層
の j 番目のニューロンはボトム・アップ荷重wij ，トップ・ダ
ウン荷重wji により相互結合している．さらに，ファジィART
に供給し，その後，F1 層で，入力I と記憶 wJ から整合度を算
出する．
AJ =
| I ∧ wJ |
|I|
(7)
の動作は，選択パラメータ α，警戒パラメータ ρ，学習比パラ
そして，分類精度の基準である警戒パラメータ ρ と比較する．
メータ β により特徴づけられる．
AJ < ρ を満足する場合，F2 ニューロン J は入力I が属するカ
入 力 ベ ク ト ル: 入 力 ベ ク ト ル I は m 次 元 実 数 ベ ク ト ル
テゴリではないと判断し，リセットする．リセットされた F2
I = (i1 , i2 , · · · , im )，(ii ∈ [0, 1]) である．
ニューロンは入力I が変更されるまで，永続的に不活性化する．
荷重ベクトル: 荷重ベクトル wj = (wj1 , · · · , wjm )，(j =
また，AJ >
= ρ を満足する F2 ニューロン J が検出されるまで，
ここまでの過程を繰り返す．一方，AJ >
= ρ を満足する場合，F2
1, · · · , n) は F2 層のニューロンに関する記憶であり，ファジィ
ART ではボトム・アップ荷重とトップ・ダウン荷重は等しい
ニューロン J は入力I が属するカテゴリと判断し，共鳴する．
(wij = wji )．また，見込まれるカテゴリ数 n は任意であり，
3. 学習: AJ >
= ρ を満足するとき，荷重ベクトル wJ を更新
する．
荷重ベクトルの初期値は以下のように設定する．
wj1 = · · · = wjm = 1
(1)
パラメータ: ファジィART の動作は選択パラメータ (α > 0)，
学習比パラメータ (β ∈ [0, 1])，警戒パラメータ (ρ ∈ [0, 1]) の
3 つのパラメータにより特徴付けられる．
コネクション: 提案したファジィART は付加的ステップとして
“ グループ学習 ”を行う．これは勝者カテゴリ J と 2 番目の勝
wJ (t + 1) = β(I ∧ wJ (t)) + (1 − β)wJ (t)
(8)
t は学習ステップである．通常，学習比パラメータは β = 1 に
設定する．また，全ての有効 F2 ニューロンがリセットされた
場合，F2 層には n + 1 番目のニューロンを新たに追加し，荷重
ベクトル wm+1 に入力I をそのまま記憶する．
wn+1 = I
(9)
者カテゴリ J2 との間に結合関係をもたせるもので，以下に示
すステップで作られる．学習中に形成された結合関係は，コネ
クション C (C ⊂ n × n) に保存されていく．C の初期値は空
集合とする．
C = /0
つニューロン J2 の間に結合関係をもたせ，全学習終了後，直
接的，間接的に結合されているニューロンの集合を，1 つのグ
1. 選択: 正規化された入力が F1 層に与えられ，F2 層の各
ループをみなす．入力ベクトルI と 2 番目の勝者ニューロン J2
の整合度を算出し，
ニューロンに対して選択強度 Tj を計算する．
| I ∧ wj |
(α+ | wj |)
ファジィART の付加的なステップである．最も大きい選択強
度をもつ勝者ニューロン J と，2 番目に大きい選択強度をも
(2)
2. 1 ファジィART-GL のアルゴリズム
Tj =
4. グループ学習: 本研究で提案するグループ学習は，従来の
(3)
| I ∧ wJ2 | >
=ρ
|I|
(10)
—2—
式 (10) を満足した場合，勝者ニューロン J と 2 番目の勝者
トル wj の単調減少により，高速学習下において補数コーディ
ニューロン J2 の間にコネクションを形成する．
ングを用い学習させると，長方形 Rj の最大の大きさは以下の
C = C ∪ {(J, J2 )}
(11)
勝者ニューロン J と 2 番目の勝者ニューロン J2 間の結合年齢
age を 0 にリセットする．
(12)
また，勝者ニューロンと直接的なつながりを持つニューロン間
の全ての age を増加させる．
(19)
3. 1 シミュレーション 1
入力データは，図 1(a) に示すような 1600 点の二次元データ
がランダムに分布しているものである．この 1600 点の入力デー
タのうち 800 点は横軸 0.0 から 0.2，縦軸 0.0 から 0.6 の範囲
j ∈ NJ
(13)
ここで，NJ は勝者 J が直接つながりを持つニューロンの集合
に分布しており，残りの 800 点は横軸を 0.4 ずらした範囲に分
布している．また，学習のパラメータを以下のように設定した．
α = 0.1, β = 1.0
を表す．
age が AT (t) を超えた場合，それらのコネクションを取り
除く．
(J, j) ∈
/ C,
| R j |<
= m(1 − ρ)
3. シミュレーション結果
age(J,J2 ) = 0
age(J,j) = age(J,j) + 1,
式で表される．
age(J,j) >
= AT (t)
(14)
ρ = 0.61
（ファジィART）
ρ = 0.8
（ファジィART-GL）
図 1(b)，(c) は，従来のファジィART とファジィART-GL の
シミュレーション結果である．ただし，前節で述べているよう
AT (t) = ATi (ATf /ATi )t/tmax
(15)
に長方形はカテゴリを表すものとする．これらの結果から，従
ただし，tmax は最大学習回数であり，ATi と ATf はそれぞれ，
来のファジィART は，不必要なカテゴリの分類を行い，一つの
AT の初期値，最終値とする．
クラスタ内に複数のカテゴリができているのが見てわかる．つ
2. 2 補数コーディング
まり，図 1(b) のように共通のカテゴリに含まれる入力データが
ファジィART では，式 (8) からも明らかなように，荷重ベク
別々のカテゴリに分類されていることがわかる．一方，図 1(c)
トル wj の大きさは単調減少する．その結果，新たな入力に対
のような提案したファジィART-GL の結果から，濃淡の違いに
して既存のカテゴリがリセットされやすくなり，同時に 0 に近
よって入力データが効果的に分類されていることがわかる．こ
い荷重ベクトルにより特徴付けられるカテゴリの数が多くなる
れは，入力データがカテゴリに含まれるかどうかを判断する際
という問題が生じる．これを防ぐために，補数コーディングさ
に，勝者カテゴリ J だけでなく，2 番目の勝者カテゴリ J2 との
れた入力を使用するのが一般的である．補数コーディングとは，
つながりを考慮することで，より正確な判断ができているから
入力ベクトルI の各要素 ai の補数を入力ベクトルに含め，入力
だと考えられる．また，カテゴリ間につながりをもたせること
ベクトルを 2m 次元のベクトルにすることをいう．本研究では，
で，カテゴリ同士に関連性が生じ，入力による依存性を軽減す
2 次元の入力を扱うこととするので，入力ベクトル I は以下の
ることができている．これらの特徴から，ファジィART-GL は
ようになる．
効果的に入力データを適したカテゴリに分類しているので，上
述のファジィART における分類問題を克服しているといえる．
I = (a, aci ) ≡ (a1 , a2 , 1 − a1 , 1 − a2 )
(16)
補数コーディングされた入力に対するファジィART のカテゴ
リ空間は長方形 Rj として形成される．式 (16) より，荷重ベク
トル wj は以下のように表すことができる．
wj =
(v j , ucj )
3. 2 シミュレーション 2
入力データは図 2(a) に示すような 3200 点二次元のデータが
ランダムに分布しているものである．この 3200 点の入力デー
タのうち 1300 点は左上のクラスタ上，400 点は左下のクラス
タ上，残りの 1500 点は右下のクラスタ上に分布している．ま
(17)
た，学習のパラメータを以下のように設定した．
ただし，uj と v j は 2 次元ベクトルとし，それぞれ uj ，v j は
α = 0.1, β = 1.0
カテゴリ空間である長方形の対頂点となる．
ρ = 0.7
（ファジィART）
ρ = 0.82
（ファジィART-GL）
| Rj |≡| v j − uj |
(18)
図 2(b)，(c) は，従来のファジィART とファジィART-GL
また，式 (18) は長方形 Rj の大きさを表す．ここで，警戒パラ
のシミュレーション結果である．これらの結果から，シミュ
メータは分類精度の基準である．つまり，警戒パラメータを 1
レーション 1 での結果と比べ，従来のファジィART とファジィ
に近い高い値に設定すると，精度が高く，大きさの小さい長方
ART-GL の違いをはっきりと見ることができる．図 2(b) から，
形が得られる．また，逆に 0 に近い低い値に設定すると，精度
従来のファジィART は図 1(b) の結果と同じように，共通のカ
が低く，大きさの大きい長方形が得られる．ただし，荷重ベク
テゴリに含まれる入力データが別々のカテゴリに分類されてい
—3—
1
1
1
0.9
0.9
0.9
0.8
0.8
0.8
0.7
0.7
0.7
0.6
0.6
0.6
0.5
0.5
0.5
0.4
0.4
0.4
0.3
0.3
0.3
0.2
0.2
0.2
0.1
0.1
0.1
0
0
0.2
0.4
0.6
0.8
0
0
1
0.2
0.4
(a)
0.6
0.8
1
0
0
0.2
0.4
(b)
0.6
0.8
1
0.6
0.8
1
(c)
図 1 シミュレーション結果 (a) 入力データ (b) ファジィART の学習結果 (c) ファジィART-GL
の学習結果
1
1
1
0.9
0.9
0.9
0.8
0.8
0.8
0.7
0.7
0.7
0.6
0.6
0.6
0.5
0.5
0.5
0.4
0.4
0.4
0.3
0.3
0.3
0.2
0.2
0.2
0.1
0.1
0.1
0
0
0.2
0.4
0.6
0.8
1
0
0
0.2
0.4
(a)
0.6
0.8
1
0
0
0.2
0.4
(b)
(c)
図 2 シミュレーション結果 (a) 入力データ (b) ファジィART の学習結果 (c) ファジィART-GL
の学習結果
るのがわかるが，ファジィART-GL は図 2(c) のように，濃淡
の違いによって入力データが効果的に分類されていることがわ
かる．これは入力データが，図 2(a) に示すような L 型や T 型
といった別々のカテゴリに分類されやすい形であるためだと考
えられる．
シミュレーション 1 とシミュレーション 2 の結果から，共通
のカテゴリに含まれる入力データをより効果的に分類するため
に，類似したカテゴリにコネクションをもたせることで，有益
な効果をもたらしているということができる．
4. ま と め
本研究では，より効果的な分類を行うために，従来のファジィ
ART に“ グループ学習 ”の機能を加えたファジィART-GL を
提案した．この提案した“ グループ学習 ”の機能は，カテゴリ
同士にコネクションをもたせるというものである．また，2 種
類の 2 次元入力データを用いてシミュレーションを行い，従来
のファジィART とファジィART-GL の分類の違いを明確にし
ながら，その振る舞いを調査し，ファジィART-GL の有効性を
確認した．
今後の課題としては，3 次元以上の入力データに対しての
リケーションへの可能性を見出したいと考えている．
文
献
[1] G. A. Carpenter, S. Grossberg, D.B. Rosen, “Fuzzy ART:
Fast stable learning and categorization of analog patterns by
an adaptive resonance system,” Neural Networks, vol. 4, pp.
759-771, 1991. Tech. Rep. CAS/CNS-TR-91-015. Boston,
MA: Boston University.
[2] G. A. Carpenter, S. Grossberg, and D. B. Rosen, N. Markuzon, J. H. Reynolds, D. B. Rosen, “Fuzzy ARTMAP: A neural network architecture for incremental supervised learning of Analog Multidimensional Maps,” Neural Networks,
vol. 3,pp. 698-713, 1991. Tech. Rep. CAS/CNS-TR-91-016.
Boston, MA: Boston University.
[3] C. A. Carpenter. “Distributed learning, recognition, and
prediction by ART and ARTMAP neural networks,” Neural
Networks, vol. 10, pp. 1473-1494, 1997.
[4] T. Frank, K. F. Kraiss and T. Kuhlen, “Competitive analysis of Fuzzy ART and ART-2A network clustering performance,” IEEE Trans. Neural Networks, vol. 9, pp. 544-559,
1998.
[5] T. M. Martinetz and K. J. Schulten, “A “neural-gas” network learns topologies,” Artificial Neural Networks, pp.
397-402, 1991.
[6] T. M. Martinetz and K. J. Schulten, “Topology representing networks,” Neural Networks, vol. 7, no. 3, pp. 507-522,
1994.
ファジィART-GL の適用や，ファジィART-GL の新しいアプ
—4—