パルスニューラルネットワークによる 教師なし学習手法の FPGAへの実装

平成 23 年度創成シミュレーション工学専攻修士論文梗概集
計算システム分野
パルスニューラルネットワークによる 教師なし学習手法の FPGAへの実装に関する研究
学籍番号 22413582 氏名 ZHENG DONG
指導教員名
1 はじめに
岩田彰 教授
又，ニューラルネットワークに対する学習法則は
現代社会では，
様々な先進な技術が活用され，
人々
多数提案されているが，ネットワークの規模が変更
により良い生活を提供している．それらの技術の中
されても同じ制御ニューロンを用いることが可能な
で一つとしては，ニューラルネットワークである．
ので，
本研究は競合学習法則[4]を用いることにした．
パルスニューロンモデルを用いて構築したニューラ
それから，SOM[5]を用いて教師なしニューラルネ
ルネットワークは，パルスニューラルネットワーク
ットワークを構築した．既存の 3 つの勝者決め方法
といい，入出力に0または1のみのパルス信号を用い
と 2 つの学習手法を紹介した．ニューロンの内部膜
ているため計算量を減らすことができることが利点
電位と閾値を比較で勝者決定手法に組み合わせの学
である．このパルスニューロンモデルを用いてさま
習手法では，新しい学習手法を 2 つ提案した．
ざまな研究開発が行われた[1]．
提案一 定数シフトによる学習手法
(1)
2 背景と目的
ニューラルネットワークとは，脳機能に見られる
FPGA への実装を考え，計算を簡略化した手法を提
いくつかの特性を計算機上のシミュレーションによ
案する．提案する学習手法について結合重みの更新
って表現することを目指した数学モデルである[2]．
式を式(1)に示す．
図２の様に重みベクトルを入力ベ
FPGA（Field-Programmable Gate Array）とは，製
クトルに近づける．
造後に設計者が構成を設定できる集積回路であり，
プログラマブルロジックデバイスの一種である[3]．
本研究の目的は，パルスニューロンモデルを用い
たパルスニューラルネットワークに対し，ハードウ
ェア実装に適した教師なし学習手法に関するアルゴ
リズムを検討し，学習機能を持つパルスニューラル
ネットワークを FPGA へ実装することである．
3 方法
本研究では，固定小数点数による定数パルスニュ
図２ 定数シフトによる学習手法
ーロンモデルを用いて研究した．図１にパルスニュ
提案二 単純加減算による学習手法
ーロンモデルの例を示した．
この方法では，結合重みベクトルや入力ベクトル
をベクトルとしてではなく単純な数列として扱う．
本手法による結合重みの更新式を式(2)に示す．
(2)
図１ パルスニューロンモデル
平成 23 年度創成シミュレーション工学専攻修士論文梗概集
計算システム分野
る学習手法や単純加減算による学習手法は式を簡単
4 実験
実験では，
式(3)で学習させる手法を比較用として，
提案した2つの手法との比較実験を行った．
化したためハードウェアへの実装が容易であるとい
う利点が考えられる．そこで定数シフトによる学習
(3)
手法を用いた教師なし学習手法によるパルスニュー
ラルネットワークをFPGAへ実装し実験を行う．
実験手法では，パルスニューロンモデルによる
10x10個のSOMを用いる．入力には画像の各画素値で
5 ハードウェアへの実装
あるRGB24ビットの値をパルス列に変換したものを
実験では，まずFPGAに実装した際にどの程度のロ
用いる．元画像の全ピクセルを順にパルスニューラ
ジックセルを使用するのかを検証する．実装した提
ルネットワークに入力していき，学習を行う．学習
案手法よるパルスニューラルネットワークは入力検
終了後，認識過程として再度各ピクセルを入力し，
査ユニット，多発火及び無発火検出ユニット，競合
100個のニューロンの出力うち勝者となったニュー
学習ニューロン群の三つのユニットから成る．但し
ロンの出力で各ピクセルの色を量子化し画像を生成
実装の上では競合学習ニューロンは 4×4=16個と
する．
する．結果によって，一つの競合学習ニューロンで
は，約1％のリソース消費量があることがわかった．
6 まとめ
本研究では，パルスニューラルネットワークによる
教師なし学習手法のFPGAへの実装に関する研究を行
図３ 原図
図４ 比較用結果
った．まず，FPGAへの実装のために簡略化したニュ
ーラルネットワークの学習アルゴリズムを二つ提案
した．定数シフトによる学習手法，単純加減算によ
る学習手法は比較手法より約1/4の計算時間で計算
できた．誤差値は各手法ともおおよそ変わらないた
め，計算時間を短縮した学習手法でも同じ量子化能
図５ 提案一結果
図６ 提案二結果
力があることがわかった．また実装に適している手
結果は図３～図６に示した．所用時間とピクセル
あたりの誤差値は表１に示した．誤差値の計算は式
法とパラメータを採用してFPGAへ実装し，消費する
ハードウェアリソースについて検証した．
(4)の通りである．
7 参考文献
[1] 内海嘉宏 岩佐要 Mauricio Kugler 黒柳奨 岩田彰
誤差値＝
(4)
表１ 図３処理の結果
画像１
処理時間（s）
誤差値
比較用
提案一
「聴覚障害者のためのパルスニューラルネットワークを用い
た音源識別システム」 IEICE technical report. ニューロ
コンピューティング 108(480), 7-12, 2009.
提案二
[2] ウイキペディア 「ニューラルネットワーク」
3722
770
843
http://ja.wikipedia.org/wiki/ニューラルネットワーク
142
192
180
[3] Wikipedia 「FPGA」http://ja.wikipedia.org/wiki/FPGA
更に，10枚画像を対象として各学習手法によって
[4] 黒柳奨 平田浩一 岩田彰 「パルスニューラルネット
学習した．結果から，定数シフトによる学習手法や
ワークのための競合学習手法」 電子情報通信学会技術研究
単純加減算による学習手法は内積値による学習手法
報告. NC, NeuronComputing 101(737), 113-120, 2002.
とほぼ同等の量子化能力があり，かつ計算時間が約
[5] Teuvo Kohonen 徳高平蔵 「自己組織化マップ」 シ
1/4にできることがわかった．
加えて定数シフトによ
ュプリンガーフェアラーク東京, 2005.