Comments
Description
Transcript
パルスニューラルネットワークのための競合学習手法
社団法人 電子情報通信学会 THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS 信学技報 TECHNICAL REPORT OF IEICE. パルスニューラルネットワークのための競合学習手法 黒柳 奨† 平田 浩一† 岩田 彰† † 名古屋工業大学 電気情報工学科 〒 466-8555 名古屋市昭和区御器所町 E-mail: †[email protected] あらまし 我々はパルスニューロンモデルを用いた汎用的な時系列情報処理ニューラルネットワークの構築を目的に研究を 行っている。従来のマカロックピッツタイプのニューロンモデルを用いたニューラルネットワークの応用例として競合学習を 原理としたベクトル量子化ネットワークおよび SOM ネットワークが広く用いられているが、このモデルは静的なベクトル演 算を基本としているため、音のような時系列情報を扱うのには不向きである。そこで、本稿では時系列信号に適した競合学 習を実現するべく、パルスニューロンモデルをもちいたニューラルネットワークによる競合学習手法を提案し、学習実験によ りその有効性を検証する。 キーワード パルスニューロンモデル、時系列信号処理、競合学習、勝者ニューロン、SOM A Competition Learning Rule for the Pulsed Neuron Model Susumu KUROYANAGI† , Kouichi HIRATA† , and Akira IWATA† † Dept. of Electrical and Computer Eng., Nagoya Institute of Technology Gokiso-cho, Showa-ku, Nagoya, 466-8555 E-mail: †[email protected] Abstract We have constructed a neural network model for the temporal information process based on the pulsed neuron model. In this article, we focus on the competition learning and the dicision algorithm of “winner” neuron for the temporal signals, and propose an competition learning rule in which the “winner” neuron dicided by adapting the neurons’ threshold. Key words Pulsed Neuron Model, Temporal Signal Processing, Competition Learning, Winner-Neuron, SOM —1— 1. は じ め に 近年、空間写像を自動的に獲得する手法のひとつ としてニューラルネットワークが幅広く応用されて いる。一般的にこれらネットワークを構成するニュー ロンモデルとしては、マカロック・ピッツ・タイプの モデル (McCalloc Pits type Neuron; 以下 MPN と略 について結合重みを更新する学習方法で、入力空間 の統計的な性質を反映した代表ベクトルを結合重み として持つニューロンを、学習により獲得すること が可能である。このため、入力ベクトル空間の解析、 情報の圧縮、大量のデータのおおまかな分類などに 広く利用されている。音に関する信号処理などの時 系列情報処理においてもこの競合学習は非常に有益 な手法であるが、前述のように MPN モデルを基本 としたニューラルネットワークはこれらのデータを 扱うのには不向きである。 そこで、本稿では時系列信号に適した競合学習を 実現するべく、PN モデルをもちいたニューラルネッ トワークによる競合学習手法を提案し、学習実験に 記) [1] が用いられている。このモデルは入出力値と して神経パルスの頻度情報に相当する実数値を用い るものであり、入力信号群と結合重みの積和演算を 主として行う。MPN モデルは入力信号を静的な多次 元ベクトルとして扱えるため 2 次元画像を用いた視 覚情報処理の工学的モデルとして非常に有利である。 また、これまでの研究において MPN モデルを用い る数多くのネットワークモデルや学習アルゴリズム が提案されており、これらを用いた画像認識、文字 認識などの多くの応用システムが提案されている。 しかし、この MPN モデルは扱う信号が静的なた め、音や運動といった時間的に変化する信号すなわ ち時系列信号を扱うには不向きである。MPN はある 程度記号化された静的な多次元ベクトルを想定して いるため、時間的に変化する入力信号に対しては離 散時間における入力の変化を一定の時間窓で切り出 して用いる必要がある。一方、近年入出力信号をパ ルス列に限定したニューロンモデル、パルスニュー ロン (以下 PN) モデルを用いた研究が注目されてい る。このモデルは、従来の MPN によるネットワー クのように信号をある一定の時間窓で切り出して静 的なベクトルに変換する必要がなく、また各入力の 本稿で用いるパルスニューロン (PN) モデルの摸 式図を図 1 に示す。これは、単一神経細胞の電気的 活動を模倣したものであり、入力信号、出力信号は ともにパルス列である。それぞれ信号の大きさはパ ルスの頻度として表される。 本モデルは、入力神経線維、他のニューロンとの 結合点であるシナプス、各シナプスにおける局所膜 電位、そのニューロンの内部電位、出力パルスを他 のニューロンに伝達する軸索から構成される。 PN モデルにおいては前段の各パルスニューロン からのパルスが到着すると、その部分の局所膜電位 pn (t) が結合重み wn 分上昇し、その後時定数 τ で 静止電位まで減衰する。PN モデルの内部電位 I(t) 瞬時値は 1 か 0 の 2 値しかとらないため、MPN モデ ルのように積和演算を必要としない。また、MPN を 用いたネットワークとは異なり、時系列信号を扱う ためにフィードバック結合などの特別なネットワー ク構造を必要としないため、これまでの研究で得ら れた多くの知見、すなわちバックプロパゲーション 学習則を用いた階層型ネットワーク、自己組織化マッ プなど、従来の MPN のためのネットワークモデル、 アルゴリズムを比較的容易に時系列信号処理に適用 することが可能であると考えられる。 我々はこの PN モデルに注目し、本モデルを用いた 汎用的な時系列情報処理ニューラルネットワークの 構築を目的に研究を行っている [2], [3]。従来の MPN モデルを用いたニューラルネットワークの応用例とし て競合学習を原理としたベクトル量子化ネットワー クおよび SOM ネットワークが広く用いられている。 競合学習は入力信号にもっとも類似するニューロン はその時刻の各局所膜電位の総和として表される。 ニューロンはこの内部電位が閾値 T H を越えた時発 火 (出力パルスを発生) する。ただし神経細胞には発 火に関する不応期 RP が存在するため、本モデルに おいてもある発火から RP sec の間は内部電位が閾値 を越えた場合でも発火はしない。PN モデルの振る 舞いは時定数 τ によって大きく変化する。τ が不応 期 RP に対して充分小さい場合は膜電位の時間的な 加算は起きず、PN モデルは入力パルスの時間的な 同時到着をあつかうことになる。一方、τ が不応期 RP に対して充分大きい場合は各シナプスにおいて 膜電位の時間的な加算により入力信号の頻度を膜電 位として表現することが可能となる。 PN モデルは入出力信号がともにパルス列である ため、本モデルをシーケンシャルに接続した場合に パイプライン処理による高速な信号処理が期待でき る。また、各ニューロンは非同期独立に演算が可能 よりその有効性を検証する。 2. パルスニューロンモデル —2— なる入力ベクトルをネットワークに投入し、評価値 として上述の式 1 を計算する。そして各ニューロンの うちもっとも評価値が大きいニューロンを選択、この ニューロンについてのみ結合重みが更新される。こ の結合重みの更新はそのニューロンの参照ベクトル をさらに入力ベクトルに近づける目的で行われ、今 入力ベクトル xj に対してニューロン Nk が最も大き い評価値を得たとするとその更新量は p 1(t) input pulse x 1(t) w1 x 2(t) w3 w4 ... x 3(t) x 4(t) output pulse w2 I(t) TH wn p n(t) ∆wk = α(xj − wk ) x n(t) 図1 パルスニューロンモデル なため、大多数のニューロンを実装した場合にも同 期処理の問題を回避することが可能である。 3. コホーネンの競合学習アルゴリズム ニューラルネットワークの基本的な学習手法は大 きく教師あり学習と教師無し学習に分けることがで きる。教師あり学習においては、各ニューロンは出 力値と教師信号の値の差を誤差として定義し、この 誤差を最小にするように学習が進行する。一方、教 師なし学習においては、各ニューロンにおいてそれ ぞれが何らかの評価値を自ら計算し、その評価値を 元に学習が進行する。この教師なし学習における代 表的な学習則がコホーネンの競合学習則 [4] である。 以下、MPN モデルを基本としてこの競合学習則に ついて簡単にまとめる。 3. 1 量子化アルゴリズム 今、n 次元ベクトルのための量子化アルゴリズ ムを考える。ネットワーク上に m 個のニューロン Ni (i = 1...m) を用意し、それぞれ結合重み wi = (wi1 , wi2 , ..., win ) を持つ。この結合重みが示すベク トルを参照ベクトルと言う。ある入力ベクトル xj = (xj1 , xj2 , ..., xjn ) がネットワークに入力された場合、 各ニューロンにおいて評価値 EVij が計算される。 1 D(wi , xj ) D(X, Y) = |X − Y| EVij = (1) (2) ここで D(X, Y) は二つのベクトル間のユークリッ ド距離を表すことから、評価値は入力ベクトルと参 照ベクトルが近い程大きい値となる。そして、この 評価値が最も大きかったニューロンをその入力ベク トルに対する代表ベクトルとみなす。 3. 2 コホーネンの競合学習則 ベクトル量子化のためのニューロンは、学習過程 より獲得することが可能である。この場合、対象と (3) で表される。α は学習係数であり 0 < = α < = 1 の値 をとる。このコホーネンの学習則は、各ニューロン がその評価値を比較し最も評価値の高いニューロン (これを勝者ニューロンと呼ぶ) だけが学習を行う競 合学習の一種である。 以上の学習アルゴリズムを全入力データに対して 順番に繰り返し適用する。これにより入力データに よって構成される入力ベクトル空間を効率よく量子 化する参照ベクトル群が成長することになる。この 競合学習則は、大きく分けて以下の３つの要素から 成り立っている。 • すべてのニューロンに対して入力ベクトルと の類似度を評価値として計算する • 評価値のもっとも大きいニューロンを勝者ニ ューロンとして決定する • 勝者ニューロンに関して結合重みを更新する。 後述の PN モデルのための競合学習則に関しても、 この３つの要素について実現方法を検討することと する。 3. 3 自己組織化マップ コホーネンの競合学習則の一種類として自己組織 化マップ (Self- Organizing Maps:SOM) と呼ばれる 学習手法がある [4]。この学習手法は前述の競合学習 手法について、勝者ニューロン以外にニューロンどう しの配置関係において近傍に存在するニューロンに ついても同様に学習を行う手法である。これにより、 入力ベクトル群のトポロジカルな関係を保持したま まベクトル量子化が可能となる。近傍ニューロンに ついては学習の初期の段階ではほぼすべてのニュー ロンを対象とし、学習の進行にともない徐々にその 範囲を狭めていく。この SOM アルゴリズムは学習 の初期の段階ではすべてのニューロンが学習に参加 するため、結合重みベクトルが入力ベクトル群の平 均値を学習することとなる。このため学習結果が結 合重みの初期値にほぼ依存しないという特徴を持つ。 また、競合学習則においては一度も勝者にならなかっ —3— たニューロンが学習に全く参加しないという問題が あるが、SOM においてはこのような事態は起こらな い。本稿の最後で述べる学習実験においても、これ ら特徴を有する SOM アルゴリズムを用いることと する。 4. パルスニューロンのための競合学習 則 前節にて説明した MPN モデルの競合学習則を PN モデルに適用することを考える。この時、もっとも 留意しなければならないのは結合重みの与え方であ る。MPN モデルの場合、結合重みは基本的に入力 データと同じ値域をもち、基本的に非負の値である。 そして入力データに対する評価値のもっとも大きな ニューロンを検索し、そのニューロンについて学習 を行う。このため、学習後の結合重みはそのままそ のニューロンの代表ベクトルを表すことが可能であ り、また勝者ニューロンとその他のニューロンの評 価値の差がごくわずかな場合も非常に大きかった場 合にも、安定して勝者ニューロンを決定することが 可能である。 これに対して、PN モデルは外部への出力データは 内部電位と閾値の比較によって生成されるパルスで あり、結合重みをすべて非負の値にした場合は、充 分に高い閾値を設定しない限りすべてのニューロン がすべての入力パターンに対して発火してしまう。 この問題の解決方法のひとつとして、我々は結合重 みの更新則に LVQ タイプの更新則を適用し、正負の 結合重みを用いるモデルを提案した [5] が、この場合 学習後の結合重みがそのまま入力パターンの代表ベ クトルとはならないため、学習後の結合重みの利用 の点で問題があった。これらの点をふまえ、以下に PN モデルのための競合学習則を提案する。 4. 1 入力信号に対する評価値：内積型 SOM Kohonen の競合学習においては、入力ベクトルと 各ニューロンの結合重みのユークリッド距離をもと に評価値を計算している。しかし、この演算はニュー ラルネットワークの基本演算である積和演算では実 現が困難であり、ある意味特殊なニューロンモデル を用いるニューラルネットワークであると言える。 PN モデルに競合学習を適用する場合においてもこ の違いは大きな問題であり、この評価値をそのまま PN モデルに実装することは困難である。 Kohonen はニューラルネットワークの基本演算と の親和性の高いモデルとして内積型の SOM を提案 している [4]。この手法においては各ニューロンは評 価値として入力ベクトルと結合重みベクトルの内積 値 EV 0 を計算する。3. 1 節と同様に結合ベクトルを wi 、入力ベクトルを xj とし、両ベクトルのなす角 を θij とすると EVij0 = wi · xj = n X (4) wik xjk (5) = cos(θij )|wi ||xj | (6) k=1 であり、今各ニューロンの結合重みベクトルのノル ムを一定値と仮定するならば、この値は入力ベクト ルと各結合重みのなす角が小さいほど大きな値とな る。よって結合重みのノルムを、例えば常に 1 に正 規化するならば、各ニューロンの内部状態はそのま ま評価値として用いることが可能となる。本稿にお いても PN モデルにおける競合学習則としてこの内 積型の評価手法を用いることとする。 内積型の評価手法に従い結合重みベクトルが常に 正規化されるのであれば、勝者ニューロンにおける 学習式も以下のように簡単化することが可能である。 勝者ニューロンの結合ベクトルを wwin とすると、 wwin = wwin + αxj (0 < =α< = ∞) (7) で更新が可能である。ただし、本手法では入力ベク トルとのなす角を評価値として用いているため、入 力ベクトルのノルムの違いを扱うことは出来ない。 4. 2 勝者ニューロンの決定 Kohonen の競合学習においては各ニューロンにお いて計算された評価値をそのままニューロンの出力 としているため、これらニューロンの他に、各ニュー ロンの評価値を比較し最大値を求める外部モジュー ルが不可欠である。 PN モデルに競合学習則を実装することを考えた場 合、各ニューロンの内部電位 I を外部モジュールに対 して出力するためには大幅なモデルの変更が必要で あり望ましい方法とはいえない。また、PN モデルの 出力関数を変更することで内部電位をパルスに頻度 変調したものを出力することも考えられるが、この 場合勝者ニューロンを求めるためには外部モジュー ルにおいてある一定期間のパルス数をカウントする 必要があり、PN モデルの利点のひとつである非同 期独立動作性が大きく損なわれてしまう。 PN モデルに適用可能な勝者ニューロンの決定方 法としては、Kohonen が側抑制結合と自己フィード バック結合を持つ神経回路網により勝者を決定する ことができることを示しており [4]、二見ら [6]、井口 —4— ら [7] はこの手法をもとに、各ニューロン同士に側抑 制結合をもたせ、お互いの出力を打ち消し合うこと でもっとも内部電位の高かったニューロンだけが勝 ち残る手法を提案している。しかし、この手法は基 本的にフィードバック結合によりネットワークの安 定点を求める方法であり、入力パターンが時々刻々 と変化する場合に入力パターンの追従が難しい。ま たネットワーク規模に応じて各抑制結合の程度など を詳細に設定する必要があるという問題点もある。 そこで本稿では、外部に数個の状態検出ニューロ ンをもうけて制御を行う方法を提案する。これら制 御用ニューロンの発火状況に応じて各ニューロンの 閾値を一律に変化させることで、唯一つのニューロ ンが発火する状況を保持し、これにより勝者ニュー ロンを決定する。提案法では、入力信号によって生 成された内部電位には制御を加えず、各ニューロン に一律の閾値変動を加えることで制御を行うため、 各ニューロンの内部電位は入力信号の頻度情報を保 持することが可能である。 図 2 に提案ネットワークの模式図を示す。制御用 ニューロンとしては、競合学習層のニューロンがひ とつも発火していないときに発火する「無発火検出 ニューロン」と、競合学習層のニューロンが二つ以上 発火している時に発火する「複数発火検出ニューロ ン」の二つを用いた。これら制御用ニューロンは図 1 で示した PN モデルと同じものであり、それぞれ結 合重み、膜電位減衰時定数、閾値を変更することで 実現している。 「無発火検出ニューロン」が発火した ときには、各競合学習ニューロンがより発火しやす いように一律閾値を下げ、逆に「複数発火検出ニュー ロン」が発火した場合には各競合学習ニューロンの 閾値を一律に上げることでより少ない数のニューロ ンが発火するように制御する。閾値変化は各競合学 習ニューロンにおける、制御用ニューロンからの結 合重みとして実現が可能であり、この結合に対する 膜電位減衰の時定数を充分に大きくしておけばよい。 いずれの制御ニューロンも、発火条件は競合学習 層のニューロンの数によらず一定であるので、提案 手法はネットワーク規模が変更されてもこれら制御 ニューロンのパラメータを変更する必要はないとい う利点を持つ。 4. 3 結合重みの更新 上記ネットワークにおいて発火したニューロンを 勝者ニューロンと考え、各ニューロンの発火を学習 のトリガとして用いる。 学習すべき入力パターンの表現法としては、結合 図2 競合学習ネットワーク 重みを 1 に固定したシナプスにおける局所膜電位、 入力膜電位 pi を用いる。図 3 に学習に必要な要素を 加えた競合学習パルスニューロンモデルを示す。こ の図において、 「無発火検出ニューロン」からの結合 重み wno が閾値の減少変化量に相当し、「複数発火 検出ニューロン」からの結合重み wtwo が閾値の上 昇変化量に相当する。ただし、それぞれは内部電位 の変化量として実現しているため、符合が逆転し、 wno > 0,wtwo < 0 である。各膜電位 pin の結合重み はそれぞれ 1 である。 本手法では、入力パルス列によって発生する内部 電位の総量が大きく変動する場合には、この変動量 を吸収するために閾値の変化が大きく生じることに なる。このため結果として閾値の変化が入力信号の 変化に追従できないおそれがある。そこで、内部電 位 I(t) に対して、入力膜電位 pi の総和を一定の比率 βpi で差引く方法を導入した。これは制御ニューロン によって行われる制御がある種のフィードバック制 御的に働くのに対して、フィードフォワード制御的 に働く機構と考えることができる。このフィードフォ ワード制御は閾値の制御に対してのみ働き、結合重 みの更新に対しては影響を及ぼさない。 勝者ニューロンつまり発火したニューロンにおけ る結合重みの更新は発火した時刻を t とすると次式 で表すことができる。 wi (t) + α · pii (t) wi (t + 1) = qP n 2 j=1 (wi (t) + α · pii (t)) (1 < = ∞) =α< = n, 0 < =i< (8) この計算式には重みのノルムを 1 に正規化するため の自乗計算と除算が含まれている。これらは PN モデ ルにおける演算として高負荷であり望ましいもので —5— w two x 1(t) w no w1 w3 x 2(t) I(t) TH wn p n(t) pi n(t) x n(t) 図3 競合学習ニューロン はないが、ここで必要となるのは各競合学習ニュー ロンの結合重みのノルムを一定値に保つことであり、 本稿ではその実現の 1 手法としてこの記述を用いて いる。 なお、この更新手法を勝者ニューロンの近傍のニ ューロンに対しても適用することにより、PN モデル のための競合学習において SOM アルゴリズムを実 現することが可能である。後述のシミュレーション においては、すべての競合学習ニューロンを有効に 学習に参加させるため、そして学習後の結合重みの 評価を容易にするために SOM アルゴリズムを適用 することとする。 5. 学習シミュレーション 前節までに提案した競合学習手法の動作を計算機 上のシミュレーションで確認した。学習対象として、 人工的な 25 次元数字パターンと、我々の提案してい る音源定位システムの時間差抽出モデルの出力パル ス列を用いた。 5. 1 簡易パターンによる学習動作検証 提案した学習手法を用いることで競合学習が可能 であること、および学習後の検討重みが入力パター ンに類似のベクトルを形成していることを確認する ため、人工的に作成した 25 次元の入力パルス列を使 用して学習実験を行った。図 4 に学習に用いた入力 パターンを 5x5 のマトリックスで示す。それぞれ各 マスは入力パルスの発火頻度を表しており、黒いマ スは平均発火頻度 900 回/秒で確率的にパルスを発火 させた場合を、白いマスは 0 回/秒の発火を表す。学 習後の結合重みの確認を容易にするため、それぞれ 0 から 9 の数字を模したパターンとしている。この パターンをそれぞれ 100msec ずつ提示し、計 1 秒の 学習パターンを作成した。パターン同士の類似度を 考慮にいれ、競合学習ニューロンは 6 個用意し、結 図 4 学習に用いた 25 次元パターン 合重みの初期値を乱数により与え、2000 回の学習を 行った。近傍ニューロンに関しては、1000 回の学習 で半径が 0 となるように線形に範囲を狭めていく。 ニューロンは 1 次元上に配置しているとし、終端が 存在しないようにループ上に配置している。実験に 用いた各種パラメータを表 1 に示す。 表 1 ニューロンの各種パラメータ 競合学習ニューロン ニューロン数 閾値 T H 学習係数 α 膜電位減衰の時定数 τ 学習回数 学習半径の収束回数 6 0.0 5 × 10−7 20msec 2000 1000 wno 1.0 wtwo -1.0 βpi 0.23 制御ニューロンに対する膜電位減衰の時定数 10sec 無発火検出ニューロン 各競合学習ニューロンに対する結合重み 閾値 膜電位減衰の時定数 τ 複数発火検出ニューロン 各競合学習ニューロンに対する結合重み 閾値 膜電位減衰の時定数 τ -1.0 -0.01 1msec 1.0 2.0 1msec 実験結果を図 5,6 に示す。図 5 は学習後の各競合 学習ニューロンの発火の様子である。横軸に時間を しめし、縦軸にニューロンを示す。それぞれのマス は 10msec あたりのニューロンの発火頻度を濃淡で表 している。各入力パターンごとに特定のニューロン が発火しており、入力の変化に応じて比較的短い時 間で発火するニューロンが変化していることが確認 できる。図 6 は学習後の各ニューロンの結合重みで ある。値の大きさをそれぞれ濃淡で表している。こ の図より、各ニューロンが入力パターンを結合重み のパターンとして獲得しており、またそれぞれ類似 度の高い結合重みが近傍に位置していることが分か る。このことから提案手法について、勝者ニューロ ンの決定方式が有効であり、またベクトル量子化が 可能であることが確認できた。 —6— t 10msec / 競合学習実験結果 図 8 ITD 抽出モデルの概要 Channel 図5 0.3 #1 #3 #2 0.0 Left inputs #5 #4 図6 Left Input Right Input 図7 Right inputs #6 学習後の各結合重み Band Pass Filters Center Demodulator Pulse Generator ITD Extractor 1 ITD Mapper ILD Extractor 1 ILD Mapper 音源定位システムの概要 5. 2 連続変化データによる学習動作検証 連続的に変化する入力データに対して競合学習が 可能であることを検証するために、我々が提案して いる PN モデルを用いた音源定位システム [2] を用い て学習実験を行った。図 7 に本音源定位システムの 概要を示す。本システムは大きく、音-パルス変換部、 PN モデルを用いた両耳間時間差 (Inter-aural Time Difference:ITD) および音圧差 (Inter-aural Level Difference:ILD) 抽出モデル、PN モデルを用いたマッピ ングネットワークの 3 つからなる。人間は ITD およ び ILD を用いて音源の方向を知ることができる [8]。 本モデルはこれらの特徴量を PN モデルを用いて抽 出、特定の PN モデルの発火にマッピングすること で音源の方向を推定するものである。しかし、各 PN モデルの結合重みは設計者が手動で設定する必要が あり、この点が大きな問題となっていた。本実験で はこのシステムのうちの ITD の抽出部分に着目し、 ITD 抽出モデルの出力パターンを競合学習し、自己 組織的にマッピングを生成することを行った。 入力信号は、まず 24 チャネルのバンドパスフィル タ群にて周波数ごとに分解され、包絡線の検出をし たのちに確率的にパルス列に変換される。そして両 耳より生成したパルス列を ITD 抽出モデルに入力す 図 9 ITD 抽出モデルの出力例 ることで ITD を PN モデルの発火パターンとして抽 出する。ITD 抽出モデルの概要を図 8 に示す。左右 の入力は時間遅れを伴いながら伝播し、各ニューロ ンは両方からパルスがほぼ同時に入力されたときに 発火をする。このモデルを位相情報が保持されてい る低域 10 チャンネル分、10 組用意し、PN モデル により 2 次元マトリクスを形成する。図 9 はホワイ トノイズを入力として ITD をあたえることなく音源 定位システムに入力したときの ITD 抽出モデルの出 力である。横軸はニューロンを表し、縦軸は周波数 チャネルを表す。入力信号のサンプリング周波数は 48kHz であり、1 チャネルあたり 121 個の PN モデ ルを用意した。各マスはそれぞれ PN モデルの発火 頻度を濃淡で表している。この図より分かるように ITD 抽出モデルは中心に縦に強く発火するニューロ ン群が存在し、その両側に八の字を描いて強く発火 するニューロンが存在している。入力信号に ITD が 加えられた場合には、この発火パターンを保持した まま、パターンが全体に与えられた ITD に相当する だけシフトする。よってこの発火パターンのシフト の大きさにより ITD の大きさ、すなわち音源の方向 を推定することができる。この ITD 抽出モデルの出 力は ITD の大きさに対してトポロジカルなパターン を示すため、提案する競合学習手法を用いた SOM ネットワークを後段につなげることで、自己組織的 に ITD の変化量をマッピングすることが可能である と考えられる。 学習実験には名古屋工業大学共同研究センター内 の無響室を使用した。ホワイトノイズ発生源の前方 2m の位置にダミーへッド KU100 を配置し、右耳を 音源に向けた状態から 2 秒間で 180 度ダミーへッド —7— 表 2 ニューロンの各種パラメータ 競合学習ニューロン ニューロン数 閾値 T H 学習係数 α 膜電位減衰の時定数 τ 学習回数 学習半径の収束回数 (a) 15 0.0 5 × 10−6 20msec 1000 500 wno 0.08 wtwo -1.12 βpi 0.029 制御ニューロンに対する膜電位減衰の時定数 10sec (b) 1000 t 図 10 5 0msec / 競合学習実験結果 を回転させることで両耳間を移動する音を録音した。 録音にはポータブル DAT レコーダ SONY TCD-D10 を使用し、サンプリング周波数 48kHz,16bit で量子 化を行った。このようにして収集した音を前述の音 源定位システムに入力し、ITD 抽出モデルの出力パ ルス列を競合学習ネットワークの入力として用いた。 学習回数は 1000 回とした。競合学習ニューロンの数 は 15 で、それぞれ 121x10 の 1210 次元のパルス列を 入力として受け取る。 認識用のデータとして、学習用データを作成した ときと同様の環境において録音した 5 秒間のデータ を使用した。このデータにおいてはダミーへッドの 右耳を音源にむけた状態から 2 秒かけて 180 度回転 し、左耳を音源に向ける。そして 1 秒間の停止の後、 2 秒かけて反対に 180 度回転し、右耳を音源の方向 に向けた。実験に用いたニューロンの各種パラメー タを表 2 に、実験結果を図 10 に示す。実験結果にお いてはそれぞれ先ほどの図 5 と同様に横軸に時間、 縦軸にニューロンを示している。1 マスは 50msec ご との発火頻度をあらわす。図 10(a) は学習前の初期 状態で行った認識結果である。この時、各ニューロ ンは音源の方向とは関係なく発火しており、また全 体を通してほとんど発火しないニューロンも見受け られる。図 10(b) は学習後の認識結果である。同図 下部に示したダミーへッドの回転量に伴い、発火す るニューロンが変化している様子が確認できる。こ の結果より、本システムが連続的に変化する入力パ ターンに対して時々刻々と勝者ニューロンを変更し ている様子が確認でき、また学習後のニューロンが 音源の方向の順に並んでいることからトポロジカル なマッピングが実現できたことが確認できた。 無発火検出ニューロン 各競合学習ニューロンに対する結合重み 閾値 膜電位減衰の時定数 τ 複数発火検出ニューロン 各競合学習ニューロンに対する結合重み 閾値 膜電位減衰の時定数 τ -1.0 -0.01 0.21msec 1.0 1.62 1msec 習手法を提案し、競合学習則の一種である SOM を 用いて提案手法の有効性を確認した。計算機上のシ ミュレーションの結果、提案手法を用いることで時 間的に変化するパターンに対しても勝者ニューロン を検出することが可能であり、また学習により自己 組織マップを形成可能であることが示された。本手 法は頻度変調されたパルス信号であれば適用が可能 であるため、生理学実験で得られた生体パルス信号 やデルタシグマ変換を行った信号などに対しても競 合学習が可能である。今後は提案手法の時間方向の 解像度などについて詳細な検証を行う予定である。 文 献 [1] Pitts,W.H., and W.S.McCulloch, “A logical calculus of the ideas immanent in nervous activity”, Bull.Math.Biophysics, 5, pp.115–133, 1943. [2] 黒柳 奨, 岩田 彰, “音源方向定位聴覚神経系モデルに よる ITD,ILD の脳内マッピングの実現”, 電子情報通 信学会論文誌 D-II, Vol.J79-D-II, No.2, pp.267–276, 1996. [3] 黒柳 奨, 岩田 彰, “パルスニューロンモデルのための 教師あり学習則”, 信学技報 NC-97-151, pp.95–102, 1998. [4] Kohonen,T., “Self-Organizing Maps”, SpringerVerlag, 1995. [5] 黒柳 奨, 岩田 彰, “パルスニューロンモデルのための 教師無し学習則 –時系列信号のベクトル量子化–”, 信 学技報 NC-99-69, pp.53–60, 1999. [6] 二見 亮弘, 星宮 望, “時系列パターンを学習・弁別 する神経回路モデル”, 電子情報通信学会論文誌 A, Vol.J68-A, No.5, pp.481–488, 1985. [7] 井口 尚彦, 福島 邦彦, “パルス型神経回路モデルの自 己組織化”, 信学技報 NC2000-131, pp.25–32, 2001. [8] 勝木 保次, 村田 計一, 吉田 登美男, 亀田 和男, “新版 聴覚と音声”, pp 1–240, 電子情報通信学会 (1980). 6. ま と め 本稿ではパルスニューロンモデルのための競合学 —8—