...

パルスニューラルネットワークによる 教師なし学習手法の FPGAへの実装

by user

on
Category: Documents
25

views

Report

Comments

Transcript

パルスニューラルネットワークによる 教師なし学習手法の FPGAへの実装
平成 23 年度創成シミュレーション工学専攻修士論文梗概集
計算システム分野
パルスニューラルネットワークによる 教師なし学習手法の FPGAへの実装に関する研究
学籍番号 22413582 氏名 ZHENG DONG
指導教員名
1 はじめに
岩田彰 教授
又,ニューラルネットワークに対する学習法則は
現代社会では,
様々な先進な技術が活用され,
人々
多数提案されているが,ネットワークの規模が変更
により良い生活を提供している.それらの技術の中
されても同じ制御ニューロンを用いることが可能な
で一つとしては,ニューラルネットワークである.
ので,
本研究は競合学習法則[4]を用いることにした.
パルスニューロンモデルを用いて構築したニューラ
それから,SOM[5]を用いて教師なしニューラルネ
ルネットワークは,パルスニューラルネットワーク
ットワークを構築した.既存の 3 つの勝者決め方法
といい,入出力に0または1のみのパルス信号を用い
と 2 つの学習手法を紹介した.ニューロンの内部膜
ているため計算量を減らすことができることが利点
電位と閾値を比較で勝者決定手法に組み合わせの学
である.このパルスニューロンモデルを用いてさま
習手法では,新しい学習手法を 2 つ提案した.
ざまな研究開発が行われた[1].
提案一 定数シフトによる学習手法
(1)
2 背景と目的
ニューラルネットワークとは,脳機能に見られる
FPGA への実装を考え,計算を簡略化した手法を提
いくつかの特性を計算機上のシミュレーションによ
案する.提案する学習手法について結合重みの更新
って表現することを目指した数学モデルである[2].
式を式(1)に示す.
図2の様に重みベクトルを入力ベ
FPGA(Field-Programmable Gate Array)とは,製
クトルに近づける.
造後に設計者が構成を設定できる集積回路であり,
プログラマブルロジックデバイスの一種である[3].
本研究の目的は,パルスニューロンモデルを用い
たパルスニューラルネットワークに対し,ハードウ
ェア実装に適した教師なし学習手法に関するアルゴ
リズムを検討し,学習機能を持つパルスニューラル
ネットワークを FPGA へ実装することである.
3 方法
本研究では,固定小数点数による定数パルスニュ
図2 定数シフトによる学習手法
ーロンモデルを用いて研究した.図1にパルスニュ
提案二 単純加減算による学習手法
ーロンモデルの例を示した.
この方法では,結合重みベクトルや入力ベクトル
をベクトルとしてではなく単純な数列として扱う.
本手法による結合重みの更新式を式(2)に示す.
(2)
図1 パルスニューロンモデル
平成 23 年度創成シミュレーション工学専攻修士論文梗概集
計算システム分野
る学習手法や単純加減算による学習手法は式を簡単
4 実験
実験では,
式(3)で学習させる手法を比較用として,
提案した2つの手法との比較実験を行った.
化したためハードウェアへの実装が容易であるとい
う利点が考えられる.そこで定数シフトによる学習
(3)
手法を用いた教師なし学習手法によるパルスニュー
ラルネットワークをFPGAへ実装し実験を行う.
実験手法では,パルスニューロンモデルによる
10x10個のSOMを用いる.入力には画像の各画素値で
5 ハードウェアへの実装
あるRGB24ビットの値をパルス列に変換したものを
実験では,まずFPGAに実装した際にどの程度のロ
用いる.元画像の全ピクセルを順にパルスニューラ
ジックセルを使用するのかを検証する.実装した提
ルネットワークに入力していき,学習を行う.学習
案手法よるパルスニューラルネットワークは入力検
終了後,認識過程として再度各ピクセルを入力し,
査ユニット,多発火及び無発火検出ユニット,競合
100個のニューロンの出力うち勝者となったニュー
学習ニューロン群の三つのユニットから成る.但し
ロンの出力で各ピクセルの色を量子化し画像を生成
実装の上では競合学習ニューロンは 4×4=16個と
する.
する.結果によって,一つの競合学習ニューロンで
は,約1%のリソース消費量があることがわかった.
6 まとめ
本研究では,パルスニューラルネットワークによる
教師なし学習手法のFPGAへの実装に関する研究を行
図3 原図
図4 比較用結果
った.まず,FPGAへの実装のために簡略化したニュ
ーラルネットワークの学習アルゴリズムを二つ提案
した.定数シフトによる学習手法,単純加減算によ
る学習手法は比較手法より約1/4の計算時間で計算
できた.誤差値は各手法ともおおよそ変わらないた
め,計算時間を短縮した学習手法でも同じ量子化能
図5 提案一結果
図6 提案二結果
力があることがわかった.また実装に適している手
結果は図3~図6に示した.所用時間とピクセル
あたりの誤差値は表1に示した.誤差値の計算は式
法とパラメータを採用してFPGAへ実装し,消費する
ハードウェアリソースについて検証した.
(4)の通りである.
7 参考文献
[1] 内海嘉宏 岩佐要 Mauricio Kugler 黒柳奨 岩田彰
誤差値=
(4)
表1 図3処理の結果
画像1
処理時間(s)
誤差値
比較用
提案一
「聴覚障害者のためのパルスニューラルネットワークを用い
た音源識別システム」 IEICE technical report. ニューロ
コンピューティング 108(480), 7-12, 2009.
提案二
[2] ウイキペディア 「ニューラルネットワーク」
3722
770
843
http://ja.wikipedia.org/wiki/ニューラルネットワーク
142
192
180
[3] Wikipedia 「FPGA」http://ja.wikipedia.org/wiki/FPGA
更に,10枚画像を対象として各学習手法によって
[4] 黒柳奨 平田浩一 岩田彰 「パルスニューラルネット
学習した.結果から,定数シフトによる学習手法や
ワークのための競合学習手法」 電子情報通信学会技術研究
単純加減算による学習手法は内積値による学習手法
報告. NC, NeuronComputing 101(737), 113-120, 2002.
とほぼ同等の量子化能力があり,かつ計算時間が約
[5] Teuvo Kohonen 徳高平蔵 「自己組織化マップ」 シ
1/4にできることがわかった.
加えて定数シフトによ
ュプリンガーフェアラーク東京, 2005.
Fly UP