Comments
Description
Transcript
非線形ニューロダイナミクスとハードウェア実装に関する研究
SURE: Shizuoka University REpository http://ir.lib.shizuoka.ac.jp/ Title Author(s) 非線形ニューロダイナミクスとハードウェア実装に関す る研究 米山, 輝 Citation Issue Date URL Version 2002-03-23 http://doi.org/10.14945/00003380 ETD Rights This document is downloaded at: 2017-03-28T23:55:56Z 静岡大学 博士論文 非線形ニューロダイナミクスと ハードウエア実装に関する研究 締周伏摩周厘 平成14年2月 大学院電子科学研究科 電子応用工学専攻 米山輝 論 文趣 本論文では、高速にニューラルネットワークの解析を行う解析法、及び効果的にシナプス荷重 を求める方法について提案する一．さらに、ニューラルネットワークの特徴である、アナログ、非 線形、高並列処理性といったニューロダイナミクスのメカニズムの解明、及び性能評価を正確に 行うために、アナログ回路によりニューラルネットワークの設計を行う。．これらの研究を通して、 高度な知識情報処理装置のキーデバイスとしてのニューラルネットワークの実用化を目指す亡． 一般的にニューラルネットワークの動作解析は、ニューラルネットワークの動作方程式である 微分方程式を解析することにより行われる、−．この解析法は、詳細で高精度な結果を得ることがで きる反面、非常に多くの解析時間が必要であった「．そこで本論文では、ニューラルネットワーク の動作方程式である微分方程式を解析することなく、ニューラルネットワークの動作検証を行う 解析法を提案する。この解析法は、Ⅰ（illeticベクトルと呼ばれる特徴量とニューロンの出力との 関係を用いることにより、ニューロンの出力ベクトルの安定状態、及び状態遷移を高速に解析す ることが可能である「．さらに、多値論理ニューロンから構成されるニューラルネットワークに拡 張することにより汎用性をもたせる。 また、効果的にニューラルネットワークのシナプス荷重を求める方法についても提案する。．こ の設計法は、ニューラルネットワークのダイナミクスからシナプス荷重の拘束条件を求め、この拘 束条件を線形計画法により解くことによりシナプス荷重を求めるている「．ニューラルネットワー クの学習法としてよく用いられるバックプロパゲーション法では、誤差関数が収束するようにシ ナプス荷重を逐次更新するのに対し、提案設計法では、ニューラルネットワークのダイナミクス からシナプス荷重の拘束条件を求めている。．このため、より正確にかつ、容易にニューラルネッ トワークの設計を行なうことが可能であると考えられる。． 次に、アナログ回路によるニューラルネットワークの設計について述べる（．これまで、ニュー ラルネットワークを実現する方法として、その機能モデルを現行のコンピュータを用いて実行す る、計算機シミュレーション手法が多く用いられてきた「．しかし、ニューラルネットワークをシ ミュレーションするためには、その冗長な処理機構の特徴によって、極めて膨大な量の演算を行 う必要があるL二．このため数千ニューロン、数百万シナプスを超える実用規模のニューラルネット ワークを生態脳並みの時間で処理することは、現行のコンピュータでは不可能である〔．そこで、 ニューラルネットワークを高速に処理、実行することを目的とした、ニューロハードウェアに関 する研究が盛んに行なわれるようになった「．相互結合型ニューラルネットワークを集積回路で実 装する場合、ニューロン数の2乗のシナプスが必要であるため、シナプス荷重の集積化が最大の 問題となる仁．そこで本論文では、集積化に適した2種類のシナプス回路の提案を行う「．提案する 回路は、制御電圧を変更することによりシナプス荷重を変更することが可能である「．さらに、こ れら提案するシナプス回路を用いアナログニューラルネットワークの設計を行い、HSPI〔TEによ り動作検証を行ない、提案回路の有効性を確認するこ． 最後に、本論文の結論を述べ、その有効性及び今後の展望について示す′． 目次 l 1 2 4 5 7− 第1章 序論 1．1背景．‥．‥‥‥‥‥‥‥‥‥‥．．‥‥‥． 1．2 ホップフィールド型ニューラルネットワーク ‥．‥．‥‥． 1．3 ヒステリシスニューラルネットワーク‥ ‥．‥．．‥‥ ‥ 1．4 電子回路に適したニューラルネットワーク ‥． 1．5 論文構成‥．‥‥‥．‥‥‥‥‥‥‥‥‥．‥ 9 9 0 3 3 4 ︻− 6 第2章 連続時間系ニューラルネットワークの解析手法 2．1概要．‥‥‥‥‥‥‥‥‥‥‥‥．‥‥．‥ 2．3 多値論理連続時間系ニューラルネットワークの解析法‥‥‥ 2．3．1 多値論理ニューラルネットワーク ‥‥‥‥． 2．3．2 多値論理ニューラ′レネットワークの解析手法‥‥‥． 2．4 都市隣接性に基づく巡回セールスマン問題の解析 2．5 まとめ．‥‥ ‥‥‥‥．‥‥．‥‥‥．‥‥ ‥ 1 2 4 ﹂ 7 0 8 ▼ 8 ︼ 3．6 まとめ ‥ ‥ ‥ ‥ ‥ ‥ ‥ ‥ ＿ 1 3．5．3 ヒステリシスニューラルネットワークによるリミットサイクルの設計例 3．5．2 連続時間系ニューラルネットワークによるリミットサイクルの設計例2． 9 3．5．1連続時間系ニューラルネットワークによるリミットサイクルの設計例1． 一 3．5 ニューラルネットワークの設計例 ‥．‥‥‥‥．‥．． 8 3．4．2 最急降下法による線形計画問題の解法 3．4．1最急降下法 ‥．‥．‥‥．‥‥．．‥‥‥．‥．‥‥‥ − 3．4 線形計画問題の解法 1 3．3 ヒステリシスニューラルネットワークの設計法．‥‥‥‥． 3．2 ニューラルネットワークの設計法 ‥‥ ‥‥‥．‥‥ ‥ 7 3．1概要 ‥．‥．．‥‥‥‥．‥．‥‥．‥‥‥‥ 2 2 2 2 3 3 3 3 3 4 4 ︻ リ 第3章 連続時間系ニューラルネットワークの設計法 1 1 1 1 1 2 2．2 内部状態を考慮した連続時間系ニューラルネットワークの解析法 第4章 アナログ回路による連続時間系ニューラルネットワークの設計 4．1概要 l 4．3．2 正負の抵抗値を実現できるフロー丁イングレジスタ ‥． 4．3．3 Device mismatch．．日．．‥．‥．．．．．．．．．． 4．3．4 シミュレーション結果 ‥．‥‥．‥‥‥．‥ ‥ 4．3．5 四象限乗算器． 4．4 ニューロン ．．．‥ ‥．．．‥．‥ 4．4．1トランスコンダクタンス増幅回路を用いたニューロアンプ 4．4．2 動作限界‥ ‥ ‥ ‥ ‥ ‥．‥ ‥ ‥ ‥ ‥‥． 4．4．3 出力電圧に依存しないトランスコンダクタンス増幅回路． 4．4．4 ヒステリシスニューロン．‥ ‥ ‥．‥．‥ ‥ ‥． 4．5 ニューラルネットワークの設計．‥‥ ‥．‥ ‥．‥‥． 4．6 まとめ ‥．．‥ ‥ ‥ ‥ ‥ ‥ ‥ ‥．‥ ‥ ‥ ‥ ‥ 第5章 結論 参考文献 著者による文献 9 0 5 8 9 9 謝辞 l 1 2 に リ 6 0 0 3 3 仁 リ 6 ︻ − R Y に リ 6 4・3・l MOSトランジスタ……‥∴‥‥‥‥‥・ O 4．3 シナプス‥．‥．‥．‥ ‥ ‥ ‥ ‥．‥．‥ ‥ ‥ ‥ 6 6 eU 6 6 6 6 7 7 7 7 7 7 8− 8 4．2 ニューラルネットワークの回路方式‥．‥ 2 第1章 序論 §1．1背景 近年、ニューラルネットワークに関する研究が盛んに行われている「．ニューラルネットワーク はこれまでの処理装置とは異なり、単純な機能を持つ素子が相互に多数結合し、情報を並列に分 散処理することができるという大きな特徴がある「．このネットワーク構成は、人間の脳と非常に 類似した構成となっている。．このため、従来のコンピュータでは苦手と考えられているパターン 認識や知識情報処理に有効であると考えられ、期待があっまっている「．これまで、ホップフィー ルド型ニューラルネットワークをはじめ、さまざまな種類のニューラルネットワークが提案され ［lH7］、組み合わせ問題［8］−［10］、パターン認識［11］−［14］、信号処理［15］［16］などへの応用に関心を 集めている「．これらニューラルネットワークの動作検証は、一般的にニューラルネットワークの 動作方程式である微分方程式を解析することにより行われる．▲．この解析法は、詳細で高精度な結 果を得ることができるため、各種構成のネットワークと学習方法の評価や、応用技術の開発に用 いられている．一．しかし、非常に多くの解析時間が必要となり、ニューラルネットワークの理論的 解析は困難であった。．また、生体システムにおいて、神経細胞レベルから脳の神経回路網に至る まで、さまざまなレベルでリミットサイクルのような非線形ダイナミックス現象が観測されてい る「，このような非線形ダイナミクス現象が、生体システムが行う情報処理において重要な役割を 果たしていると指摘されている。，これまで、ニューラルネットワークに関する研究は、主に静的 情報の記憶や学習などの研究についてなされてきたが、動的情報処理にニューラルネットワーク を応用する研究が活発になりつつある「．これまで、リミットサイクルを利用した情報の呼び出し や情報を保持するためのいくつかの手法は、これまで連続時間系システムにおいて報告されてい る［17］−［2叶 しかし、時系列の学習には、非常に多くの計算量を必要とする「．また、学習パター ンを全て記憶するのにきる十分余裕のある結合で構成されたネットワークに対して学習を行った 際にも、初期値によっては総誤差関数が局所的最小値に収束してしまう場合があるという問題点 も指摘されている 一一方、ニューロダイナミクスの解明、及び性能評価を正確に行うために、ニューラルネットワー クの実装に関する研究も行なわれている［21日24］。．ニューラルネットワークを実装する際に、ア ナログ方式、ディジタル方式の2通りに大別することができる′．ディジタル回路によりニューラ ルネットワークを実装する場合、アナログ回路よりも有利であると考えられる点は、「高い計算 精度が得られる」、「メモリ機能が簡単に実現できる」、「時分割多重処理により大規模なデータを 処理できる」などが挙げられる亡．高度な知識情報処理を考えた場合には、大きな記憶容量が必要 となると考えられる′．この大規模なデータの処理を、ディジタル方式では演算回路を時分割で使 1 第1章 序論 う仮想ニューロンによって処理することが可能である。．しかし、時分割で信号を処理するため、 ニューラルネットワークの特徴である高並列処理という優位性を失うことになる二．一方、アナロ グ回路によりニューラルネットワークを実装する場合、完全並列アーキテクチャをとるため、「高 速に動作させることができる」、「構成素子が少ないのでチップ内に多数のニューロンを集積でき る」等の利点がある「．アナログ方式では、ネットワークのダイナミクス、特にフィードバックの あるネットワークを完全な並列動作で実現することが可能である「．また、ニューラルネットワー クの基本となる微分方程式を直接実現するニューロンは、アナログ回路でないと実現することが 困難である（． 本論文では、高速にニューラルネットワークを解析する手法［56］−［5珊61］、及びニューラルネッ トワークの設計法を提案する［59］［60］［62日6耳．さらに、ニューラルネットワークの特徴である、 アナログ、非線形、高並列処理性などのニューロダイナミクスの解明、及び性能評価を正確に行 うために、アナログ回路によりニューラルネットワークを設計し動作検証を行う「．これらの研究 を通して、高度な知識情報処理装置のキーデバイスとしてのニューラルネットワークの実用化を 目指す「． 研究の序となる本章では、本論文で利用するハードウェア化に適した代表的なニューラルネッ トワークモデルである、ホップフィールド型ニューラルネットワークとヒステリシスニューラル ネットワークの両者について概説する「． §1．2 ホップフィールド型ニューラルネットワーク ここでは、ホップフィールド型ニューラルネットワーク［lH4］について説明する「．ホップフィー ルド型ニューラルネットワークの一般的なアナログ電子回路モデルを図1．1に示す「．図1．1の回 路において五番目のニューロンに注目すると、そのダイナミクスは次式で与えられる「． 垢 札 ＋∑瑞l十十左 （1・1） ．ノ＝1 β＋∑γ．ノ・ （1．2） ．メ＝1 ここで、Ⅳはニューロン数、rJはJ番目のニューロンから五番目のニューロンへのシナプス結 合荷重を表し、′叫，l′う，吊まそれぞれi番目のニューロンの内部状態電圧、出力電圧、外部入力電 流を表している＿．非線形素子であるニューロンアンプの入出力特性は、単調増加な非線形飽和特 性を持つ式（1．3）のようなシグモイド関数で表される〔． l′て＝柚）＝…il＋晶（瑚）・ （1・3） シグモイド関数の特性を図1・2に示す√・シナプス荷重γ．ノは正負の値を取り得るが、回路上では γ．ノが負の場合、これを抵抗で表すことができない「．このため、正負の反転した入出力特性を持 つニューロンアンプを用いてこれを実現する「．この場合、入出力特性は式（1．3）に負の符号を付 2 第1章 序論 牟 ＋≡＋ 外部入升電流ム シナプス結合荷重了も 丁 丁 ニューロンアンプ 二 十・一口ヽノ 図1．1：ホップフィールド型ニューラルネットワーク けたものとなる。，ホップフィールド型ニューラルネットワークでは、出力杭を変数とするエネル g＝−…姜姜仰うーか＋姜去什（l′′）dl′′・（1・4） 回路は、エネルギー関数が常に減少する方向に動作し、極小（理想的には最小）になったときに 平衡状態に達する。．したがって、目的とする出力になったときエネルギー関数が最小になるよう にγ．才と圭を決定すれば、所望する動作を獲得できる。．つまり、対象となる最適化問題に対して、 最適解が最小となるエネルギー関数を定義し、そのエネルギー関数と式（1．4）を比較することに より、回路定数右．ノと圭を決定する「． また、式（1．1）、及び（1．4）から、ニューラルネットワークの動作方程式は次式のように書き換 えることができる「． 慧 蒜 （1・5） つまり、ニューロンの入出力特性が単調増加関数であることを考慮すれば、ニューラルネットワー クの動作は最適化問題の評価関数E（っまりエネルギー関数）を最急降下法に基づいて解くこと と等価であると考えることができる「． 本論文では、ホップフィールド型ニューラルネットワークを基に、時系列パターンを発生する ニューラルネットワークの設計、及び実装を行う．＿． 3 第1章 序論 図1．2：シグモイド関数 §1．3 ヒステリシスニューラルネットワーク ヒステリシスニューラルネットワーク［2叶［27］は、ニューロンの入出力関数に区分線形2値ヒ ステリシス素子を用いた相互結合型ニューラルネットワークである。＿．f番目のニューロンに着目 すると、その動作方程式は以下のように与えられる「． ∑7溝＋巨岩， （1．6） l′て＝恥）＝巨岩霊 （1．7） ．メ ここで、Ⅳはニューロン数、弟．才はJ番目のニューロンから五番目のニューロンへのシナプス荷 重を示し、町、lノ七、7、丁はそれぞれ、よ番目のニューロンの内部状態、ニューロンの出力、外 部からの入力、時定数を示す「・ヒステリシスニューロンの入出力特性は、式（1．7）で表される区 分線形2倍ヒステリシス関数で与えられる（．ヒステリシスニューロンでは、ニューロンの出力が 1から−1に変化するしきい値と、−1から1に変化するしきい値が異なっている＿．このしきい値 を調節することにより、ヒステリシスニューラルネットワークは、一種のマルチバイプレータと しての動作させることが可能である［2軋 4 第1章 序論 「 01 0 0＝ u 図1．3：ヒステリシス関数 §1．4 電子回路に適したニューラルネットワーク 一般的に、連続時間系ニューラルネットワークにおける五番目のニューロンに関する動作方程 式は、以下のように与えられる「． ∧’ ∑町1＋ト豊 √α”わく入（町一明）． ここで、Ⅳはニューロンの個数、γ．ノはJ番目のニューロンから五番目のニューロンへのシナプ ス荷重、頼ま才番目のニューロンの内部状態を示し、l′う、圭、丁、入、βはそれぞれ、ニューロン の出力、外部からの入力、時定数、ゲインパラメータ、ニューロンのしきい値を示す十．非線形素 子であるニューロアンプの入出力特性は、非線形飽和特性を持っ式（1．9）のシグモイド関数で与 えられる′．一方、図1．4で示されるホップフィールド型ニューラルネットワークは、抵抗とキャ パシタによるRC遅延素子が変数増幅器タに直接付随しているため一番目の変数増幅器タに関 する回路方程式は次式で与えられる「． （1．10） （1．11） 5 第1章 序論 ここで（1・10）、（1・11）を（1．8）と完全に一致させるには、すべての才に対して（二＝丁、及び凡＝rJ を満足させる必要がある〔．G＝丁はRC遅延素子のキャパシタの値をすべてCとすることで簡 単に達成される・一・しかし、凡＝′1才を達成するためには、結合コンダクタンス値γ．ノを適切にス ケーリングした上で、すべてのiに対してRC遅延素子のコンダクタンス値桝をそれぞれ調節す ることが必要となる．一．このため、図1．4に示される形式のRC遅延素子は実装には不向きである といえる入． そこで、本研究では図1．4に示すようにオペアンプで構成される積分器を用いてR′（鳥屋延素子 を構成する．一．図1．4で示されるホップフィールド型ニューラルネットワークの五番目の変数増幅 器タに関する回路方程式は次式で与えられる「． 〔漂 −∑㍑l′1−圭一粧町 （1．12） ．7 このように設計された場合、札＝1在となるため、すべての才に対して仇＝1／凡とすることに より式（1．8）に示される回路方程式が得られる「．ただし、オペアンプで構成される積分器を用い ているため、変数増幅器タの入力電圧は叫ではなく一昭となるため、ニューロンの出力が−l／； となることに注意する必要がある「． 図1．4：RC遅延素子によるニューロンモデル 図1．5：積分器をもちいたニューロンモデル 6 第1章 序論 §1．5 論文構成 本論文では、連続時間系ニューラルネットワークの解析法、及び設計法について述べる二，さら に、提案する手法を用いてアナログ回路により構成されるニューラルネットワークの設計を行う〔． まず、第2章では、連続時間系ニューラルネットワークの解析法について示す「．一般的に、ニュー ラルネットワークの動作検証は、ニューラルネットワークの動作方程式である微分方程式を解析 することにより行われる「．この解析方法は、詳細で高精度な結果を得ることができる。．しかし、 これらのモデルは、非対称結合で制御パラメータの数が非常に多いため、ニューラルネットワー クの系が高次元になる．一．このため、ニューラルネットワークの解析に非常に多くの時間を必要と し、理論的解析が非常に困難であった「．一方、ニューラルネットワークの動作方程式である微分 方程式を解析することなく、ニューラルネットワークの動作検証を行うことができる手法が提案 された［2叫 この解析法は、Ⅰくillet′icベクトルと呼ばれる特徴量とニューロンの出力との関係を 用いることにより、ニューロンの出力ベクトルの安定状態、及び状態遷移を調べている。．しかし この解析法は、ニューロンの現状態での内部状態を考慮していないため、正確にニューラルネッ トワークの次状態を解析することができなかったこ．そこで第2章では、現状態での内部状態を考 慮することにより、連続時間系モデルの解析を正確に行う解析法の提案を行う［56日5珊6号．ま た、この解析法を多値論理ニューロンから構成されるニューラルネットワークに応用することに より、汎用性をもたせる「． 第3章では、時系列パターンを出力するニューラルネットワークの設計法について示す「．これ までリミットサイクルを利用した情報の呼び出しや情報を保持するための手法は、連続時間系シ ステムにおいて報告されている［1珊19］．一．また、多層のリカレントニューラルネットワークを用 いることにより、時系列の学習を行う手法も各種提案されている。．リカレントニューラルネット ワークの学習法として有名なものに、バックプロパゲーション（Ba・CkPl・OPagation）法を拡張し たアルゴリズムが提案されている［20］［40］［41］こ．この学習法は、時間を離散的に考えることにより、 時間的な信号伝播の様子を空間的に展開する「．このように考えることにより、相互結合ニューラ ルネットワークの学習は、階層型ニューラルネットワークの学習と置きかえることが可能である。． しかし、バックプロパゲーション法を用いて時系列の学習を行う場合、非常に多くの計算量を必 要とする｛＿．また、学習パターンを全て記憶できる十分余裕のある結合で構成されたネットワー クに対して学習を行った際にも、初期値によっては総誤差関数が局所的最小値に収束してしまう 場合がある「．そこで第3章では、ニューラルネットワークのダイナミクスからシナプス荷重の拘 束条件を求め、その線形計画法問題を解くことにより、シナプス荷重を求める設計法を提案する ［42］［43］［62H6叶 この手法は、ニューラルネットワークのダイナミクスからシナプス荷重の拘束 条件を求めているため、より正確に、ある程度任意のリミットサイクルを設計することが可能で ある∫一．さらに、本設計法をヒステリシスニューラルネットワークにも応用する［6耳．また、時系 列パターンを発生するニューラルネットワークの設計を行い、2章で提案した解析法を用いてシ ミュレーションを行い、本設計法の有効性を示す一二． 第4章では、ニューラルネットワークの特徴である、アナログ、非線形、高並列処理性などの ニューロダイナミクスの解明、及び性能評価を正確に行うために、アナログ回路によるニューラ ルネットワークの実装について述べる．一．ニューラ／レネットワークを実装する場合、一一一一般的にシナ 第1章 序論 ブス荷重には抵抗、及び乗算器が用いられる′．抵抗を集積回路で実装する場合は、トランジスタ やキャパシタと同様にシリコンウェハー上に形成される「．特にポリシリコンによるポリゲート抵 抗は、印加電圧に対して正確な抵抗値を保つことができる［46］二．しかし、ポリゲート抵抗などの 抵抗素子を用いて集積回路を構成した場合、抵抗値を変化させることは非常に困難である。．この ため、シナプス荷重を変更することにより、さまざまなアプリケーションに応用することができ るニューラ／レネットワークには、このような抵抗素子を用いて実装することは適していない「．さ らに、これらの抵抗では、負の抵抗値を実現することができないため、負のシナプス荷重を実現 するためには、出力を反転させたニューロンを用いなければならなかった「．そこで、本章では、 正負両方の抵抗値を実現することができる、フローテイングレジスタを提案する［66］。．提案する フローテイングレジスタの抵抗値は、MOSトランジスタのしきい値電圧l′ケに依存していなた め、より正確な抵抗値を実現することができると考えられる「．制御電圧により抵抗値を変更する ことができるフローテイングレジスタは、ニューラルネットワークや、RCフィルタなどに用い られるだけでなく、乗算器やOTA（Opel・ationalTra・llSCOnductaIICeAmpliBer）などと同様にア ナログ回路の基本ブロックとしても用いることが可能であると考える。．また、MOSFETの線形 領域と飽和領域とを相補的に組み合わせることにより、動作範囲を拡張させた四象限乗算器につ いても提案する［6叶 この乗算器は、入力信号範囲がしきい値電圧l与から電源電圧VDDまで の範囲で動作することが可能である。．このため、従来の乗算回路と比較して電源電圧の低下に対 して、有利であると考えられる「．さらに、提案する線形素子を用いて、ニューラルネットワーク の設計を行い、その動作検証を行い提案回路の有効性について検討する「． 最後に5章として本論文の総括を述べる「． 只 第2章 連続時間系ニューラルネッ トワークの解析手法 §2．1概要 本章では、連続時間系ニューラルネットワークの解析法について示す「．これまで、ホップフィー ルド型ニューラルネットワークをはじめ、さまざまな種類のニューラルネットワークが提案され 廿［7］、組み合わせ問題軒［10］、パターン認識［11日14］、信号処理［15］［16］などへの応用に関心を 集めている「．これらニューラルネットワークの動作検証は、一般的にニューラルネットワークの 動作方程式である微分方程式を解析することにより行われる「▲ この解析法は、詳細で高精度な結 果を得ることができるため、各種構成のネットワークと学習方法の評価や、応用技術の開発に用 いられている．一．しかし、非常に多くの解析時間が必要となるため理論的解析は困難であったこ． そこで、制御パラメータを少なくすることにより、ヒステリシスニューラルネットワークを解析 する方法［25］、及びニューラルネットワークの動作方程式である微分方程式を解析することなく、 ニューラルネットワークの動作検証を行う解析法［29］が提案された「．前者は、相互結合を一様と し、制御パラメータをしきい値と自己結合の2つすることにより解析を行っている「．一方、後者 はⅠtilleticベクトルと呼ばれる特徴量とニューロンの出力との関係を用いることにより、ニュー ロンの出力ベクトルの安定状態、及び状態遷移を調べている。．しかし、この解析法では、ニュー ロンの現状態での内部状態を考慮していないため、ニューラルネットワークの次状態を正確に 求めることができなかった「．この解析法では、内部状態の変化量が最大であるニューロンが次状 態で変化するニューロンと考えているが、実際には、ニューロンの内部状態がしきい値に達した ニューロンが次状態で変化するニューロンとなる〔．つまり、ニューロンの内部状態の変化量が最 大であったとしても、内部状態がしきい値に達するまでの時間が最小でなければ、次状態で変化 するニューロンとはならないからである〔．ことから、現状態での内部状態を考慮せずにニューラ ルネットワークの解析を正確に行うことはできない「． 本章では現状態での内部状態を考慮することにより、連続時間系モデルの解析を正確に行う解 析法を提案する［56］［57］二．さらに多値ニューロンから構成されるニューラルネットワークに拡張 することにより汎用性をもたせるL一．ここで多値ニューロンとは、ニューロンの出力に複数の値を 持つニューロンを意味する［30］［3拉 この解析法は、SWEC［32］に用いられている非線形特性の 区分定数化手法が、ステップ関数の合成により構成されている多値論理ニューラルネットワーク を解析するのに適していることに着目している「．すなわちニューロンの入出力関係を区分定数化 し、それをもとにⅠtiIletJicベクトルを区分定数化することにより、ニュートン反復の必要性をな 9 第2章 連続時間系ニューラルネットワークの解析手法 くしている、一一 さらに、積分に対する最適なタイムステップを用いていることにより、高速な解析 を実現している．一．提案する解析法は、シグモイド関数のゲイン係数が非常に大きいものとして解 析を行っているため、ニューロンの出力に中間値を持たない．二．このため、正確にニューラルネッ トワークの解析がなされない場合がある仁．その場合は、ニューロンの出力を（7∼−1）等分し、” 値ニューロンと見なして解析を行う「．つまり、2値ニューロンの入出力関数を7日直の区分定数関 数に近似することにより解析を行う′．このようにニューロンの入出力特性を考えることにより、 ニューラルネットワークのダイナミクスを微分方程式を解析することなく高速に、正確に解析す ることが可能である＿． §2．2 内部状態を考慮した連続時間系ニューラルネットワー クの解析法 ここでは、現状態での内部状態を考慮した連続時間系ニューラルネットワークの解析法につい て説明する「，この解析法は、Ⅰtillet．icベクトルとニューロンの出力との関係を用いることにより、 ニューロンの出力ベクトルの安定状態、及び状態遷移の解析を行うことができる。．以下に内部状 態を考慮した連続時間系ニューラルネットワークの解析法を示す「， 式（1．8）で与えられたニューラルネットワークのダイナミクスの第1項と第2項をまとめて Itilleticベクトルと定義する「．このため、i番目のニューロンのKineticベクトルは式（2．1）のよ うに与えられる「． ．﹂レ rJ ＋ ′．︸J Tl ．7J Ⅳ∑．鱒 ハ∂ ．I− 二 〃 （2．1） ここで、図1．5で示した連続時間系ニューラルネットワークのRC遅延素子である抵抗凡の値を rJ ＋ ．︸J T■l▼ ∴J 二 Ⅳ∑＃ 音 ほぼ無限大として考える「・このため、式（1．8）の第3項で与えられた減衰項′叫凧はほぼ0とな るため、ニューラルネットワークのダイナミクスは次式のように書き換えることができる1▲． （2．2） これにより、式（2・1）で与えられるⅠtiIleticベクトルと、式（2．2）で与えられるγ叫伸は等価な ものとして扱うことができる1−．次に、ニューロンの出力が安定するための条件について考える．一． 式（2．2）で与えられる連続時間系ニューラルネットワークのダイナミクスが0に収束する場合、 ニューロンの内部状態は平衡状態にあるため、ニューロンの出力は変化しない∴ 言い換えると、 Ⅰ（iIletiCベクトルが0であるニューロンの出力は、安定な状態にあるということになる「．ここで、 式（1．9）で与えられるニューロンの入出力関数のゲインが非常に大きいものとして考える．′．つま り、ニューロンの入出力特性をステップ関数として考える＿．このため、ニューロンの内部状態が しきい値よりも大きな値であれば、ニューロンの出力は常に1となる▲．つまり、ニューロンの内 部状態がしきい値よりも大きく、ニューロンの変化量Td可d仁が正もしくは0である場合、ニュー 10 第2章 連続時間系ニューラルネットワークの解析手法 ■■− ′ ′ ノ■ ノ ′ ／ ノ ／ J J ′ J 一 J J 一 J J J l l J J J J J ／ J J J ′ ′ ／ ′ ′ ′ ■■ ′ ■ 一 一 ー2 0 2 仏 図2．1：ステップ関数 ロンの出力は常に1となる「．言い換えると、ニューロンの出力が正でかつ、Ⅰtineticベクトルが0 以上である場合、ニューロンの出力は1の状態で安定するということになる。．逆に、ニューロン の内部状態がしきい値より小さい場合、ニューロンの出力は−1となる「．このため、ニューロン の内部状態がしきい値よりも小さく、丁可融が0以下である場合、ニューロンの出力は−1の 状態で変化しない。．つまり、ニューロンの出力値が負でかつ、Ⅰ（iIlet，icベクトルが0以下のとき、 ニューロンの出力は−1で安定する。．以上のことから、ニューロンの出力とkiIleticベクトルを 調べることにより、ニューロンの出力が次状態で変化するか、変化しないのかを調べることがで きる1−，以下にニューロンが安定するための必要条件を示す．二． 【ニューロンの出力lうが1で安定するための条件】 lノて＞0， れ＞0， 【ニューロンの出力lノてが−1で安定するための条件】 lう＜0， れ＜0， これより、Ⅰ（iIletノicベクトル札とニューロンの出力値lr′与の積が0以上になる場合、ニューロン の出力は変化しない（以下ではこのような状態のニューロンを「安定ニューロン」と呼ぶ上．逆 に、kiIleticベクトル札とニューロンの出力値l′七の積が負になる場合、そのニューロンの出力は 11 第2章 連続時間系ニューラルネットワークの解析手法 変化する可能性がある（以下ではこのような状態のニューロンを「不安定ニューロン」と呼ぶ）「． このため、すべてのニューロンが安定二土−ロンである場合、ネットワークの状態は変化しない＿ 一方、1つでも不安定ニューロンが存在する場合、ネットワークの状態は変化する、ここで、不 安定ニューロンが複数存在する場合、どのニューロンが次状態で変化するのかを調べなくてはな らない「・〔11／’・Pa・1・kらが提案した解析法［29］では、内部状態の変化量が最大であるニューロンが 次状態で変化するニューロンであると考え、ネットワークの解析を行っていた「．しかし、ニュー ロンの内部状態の変化量が最大であったとしても、内部状態がしきい値に達するまでの時間が最 小でなければ、次状態で変化するニューロンにはならない。．このため、この解析法では、正確に ニューラルネットワークの次状態を求めることができなかった「． 本解析法では、ニューロンの内部状態がしきい値まで達する時間を計算し、その値を元に次状 態で変化するニューロンを調べる〔．提案解析法は、ニューロンの内部状態がしきい値に達するまで の間、ニューロンの出力は一定と考えている。・このため、ニューロンの内部状態の変化量Td可df はニューロンの出力が変化するまで一定である。．つまり、ニューロンの内部状態がしきい値に達 するまでの間、ItineticベクトルHiの値は一定のまま変化しないC．これは式（2．2）の右辺がニュー ロンの状態変化が起きるまで、一定であることを示している「．不安定ニューロンの内部状態が、 しきい値に達するまでの時間が最小であるニューロンが、最も速く変化するニューロンであるた め、その時間を求めることにより次状態で変化するニューロンを調べる。．ニューロンの内部状態 がしきい値に達するまでの時間∂＝ま式（2．7）により与えられる「． ∂√＝ β−′垢（れ′） （2．7） ここで伊はニューロンのしきい値であり、垢（れ）は現状態肘でのニューロンの内部状態を表す「．式 （2．7）により、すべての不安定ニューロンがしきい値に達するまでの時間を調べ、この時間がもっ とも短いニューロンが、次状態で変化するニューロンとなる。．これにより、区分定数化された線 形微分方程式（2．2）を解くための最適な時間刻み∂fが陽的に選択され、高速に解析を行うことが 可能となる「．式（2．7）により求められた最小時間∂才を用いることにより、すべてのニューロンの 次状態れ＋1での内部状態を求める「． 町匝＋り＝項車窓∂√ ＝ 勘（可−〟誹． （2．8） ここで、ニューロンの内部状態町は下限⊥上から上限tJ上の間で変化すると仮定する「， 土工≦町（〃＋1）≦tJ左 （2．9） 以上の操作を繰り返すことにより、連続時間系ニューラルネットワークの次状態を効果的に解析 することができる「．次に状態遷移を解析するアルゴリズムを示す「． 12 第2章 連続時間系ニューラルネットワークの解析手法 【状態遷移解析を行うアルゴリズム】 StゼPl：ニューロンの初期値の決定． ニューロンの初期状態、及び内部状態を決める「． SteP2：ニューロンの状態を調べる〔． すべてのニューロンについてItiIleticベクトル1；iを求め、I（illeticベクトルh’iとニューロン の出力l′ての符号によりニューロンの状態を調べる「．この時、すべてのニューロンが安定条件を満 たしている場合は、そのネットワークは安定状態にあるため解析を終了する「． StfP3：状態遷移するニューロンを求める．′． 不安定ニューロンが1つしか存在しない場合は、そのニューロンの出力値l′与を変化させる「．不安 定ニューロンが複数存在する場合、式（2・10）より、状態遷移するまでの時間が最小時間（呵晶γと＝ 777呵（（町メ）となる不安定ニューロンを調べる。． （町ノ＝ β一里（可 （2．10） StゼP4：ニューロンの内部状態を求める「． St叩3で求められた時間∂トを用いて、すべてのニューロンの内部状態を式（2．8）より求める「． すべてのニューロンの内部状態を更新した後、St．ep2に戻る「． §2．3 多値論理連続時間系ニューラルネットワークの解析 法 2．2章で示した解析方法は、ニューロンの内部状態を考慮してニューラルネットワークの解析 を行っているものの、減衰項の影響は考慮されていなかった。．この節では、減衰項の影響を考慮 したニューラルネットワークの高速解析手法を提案する「．また、ニューロンの構成を多値ニュー ロンに拡張することにより汎用性をもたせる「． 2．3．1 多値論理ニューラルネットワーク 多値論理ニューラルネットワークは、連続時間系ニューラルネットワークのニューロンに多値 ニューロンを用いたニューラルネットワークである．二．m7値からなる多値ニューロンの入出力特性 は式（2．11）で与えられる「． l′て＝∑伸上√町・ （2．11） ん＝1 13 第2章 連続時間系ニューラルネットワークの解析手法 打 （nト1）■led kleⅥel 什lpvel q 侵 軋1 図2．2：多値ニューロン また、五（）は式（2．12）で与えられるシグモイド関数である「， 在れ一町＝†“∼′ん（伸上よ一鋸））． （2．12） ここで、木板（1≧ん≧〃7−1）はそれぞれゲインパラメータ、ニューロンのしきい値である「． ニューロンの内部状態が、しきい値β＋1（βた＜β＋1）に達すると、ニューロンの出力は次のレベ ルに遷移する。．図2．2に式（2．11）で示される多値ニューロンの入出力特性を示す「− 2．3．2 多値論理ニューラルネットワークの解析手法 式（2・1）で与えられたⅠ（illet′i〔ベクトルを用いることにより、式（1．8）で与えられるニューラル ネットワークのダイナミクスは、式（2．13）のように書き換えられる．二． 好一′∼上宣， ぎ ＝ Tf信 軒 ＝ 〟凧． 五番目のニューロンが平衡状態にある場合、式（2．13）で与えられる連続時間系ニューラルネット ワークのダイナミクスは0に収束する・一・つまり、好一町が0に収束する場合、ニューロンは平 衡状態となる「，また、多値ニューロンは以下の条件でも平衡状態となる＿． 好一町＞0，かつ好一恥＋1＜0． （2・16） 14 第2章 連続時間系ニューラルネットワークの解析手法 式（2・16）を整理すると、ニューロンの内部状態、kineticベクトル、しきい値Ok＋．との間には以 下のような関係が得られる′． 町＜好くβ十1． （2．17） 多値論理ニューラルネットワークでは、ニューロンの内部状態がしきい値β頼1槻＜β頼1）に達す ると、ニューロンの出力は次のレベルに遷移する二．しかし式（2．17）より、ニューロンの内部状態 はしきい値恥＋1よりも小さいため、ニューロンの出力は次のレベルに遷移することができない「． このため、多値ニューロンの出力は変化しないため平衡状態となる「．このように、軒’一昭が0に 収束しない場合でもニューロンは平衡状態となる「・同様に、好一′町＜0でかつ、好一βん＞0と なる場合においても多値ニューロンは平衡状態となる。．これらの条件をまとめると、多値ニュー ロンが安定する条件は次のようにあらわすことができる1＿． 好一勘＝0， 好一∼上よ＞0，かつ好一β＋1＜0， 好一町＜0，かつ好一恥＞0． 上記の条件を満たさないニューロンは不安定ニューロンとなる。，このため、次状態で変化する不 安定ニューロンを調べるため、式（2・13）で与えられる一般解を求める「，この一般解は式（2．21）よ 刷＝〈項1ト軒〉頑tL手）＋桔 （2・21） 不安定ニューロンに対し、式（2・21）で与えられる頼）にしきい値（拙（／＝んまたはん＋1）を 代入することにより、ニューロンの内部状態が次状態に遷移するまでの時間を求めることができ る「．この時間が最小であるニューロンが次状態で変化するニューロンとなる「．これにより、区分 定数化された線形微分方程式式（2．13）を解くための最適な時間刻み∂才が陽的に選択され、高速 に解析を行うことが可能となる。．この最適な時間刻み狛ま式（2．22）で与えられる〔． ∂†＝召〃 項fl）一軒 （2．22） 多値論理ニューラルネットワークに対する状態遷移解析のアルゴリズムを次に示す「． 15 第2章 連続時間系ニューラルネットワークの解析手法 【多値論理ニューラルネットワークに対する状態遷移解析のアルゴリズム】 St・epl：ニューロンの初期値の決定． ニューロンの初期状態、及び内部状態を決める二． Strep2：すべてニューロンのkinet，icベクトルKiを求める＿． すべてのニューロンについて、式（2．1）で与えられるItinet．icベクトルKiを求める．二． St・eP3：ニューロンの安定性を調べるこ． すべてのニューロンが式（2．18）−（2．20）で与えられる条件式を満たした場合、そのネットワークは 安定であるため解析終了。． St．ep▲4：状態遷移するニューロンを求める。 式（2・23）より、状態遷移するまでの時間が最小時間（かし壷＝Ⅲ重く（軌）となる不安定ニュー ロンを調べる「． 仲）．ノ＝lFh∼ 項flト町 り畑′一軒 〉・ （2・23） ここで、ニューロンの出力がlノ1＝ん−JFl扇（恥＜〟．ノ＜鋸＋1）である場合（軌は、以下の方法に より決定される〔． 隼’一・∼弓＞0である場合 （町ノ＝軋＋1， l′1＝（ん＋1）一g仁明左 町−∫∼弓＜0である場合 （町ブ＝軋 l′1＝（ん−1）−JeU仁左 StやP5：すべてニューロンニューロンの内部状態を求める一． 式（2．28）を用い、すべてのニューロンの内部状態を求める「．すべてのニューロンの内部状態を 更新した後、Step2に戻る「． 打直1＋（町TlJm）＝（′頼）1一軒）仁叩（− （叫〝両 ）＋軒 （2・28） 16 第2章 連続時間系ニューラルネットワークの解析手法 §2．4 都市隣接性に基づく巡回セールスマン問題の解析 前節で提案した解析法を用いて、巡路中の都市隣静性に基づく巡回セールスマン問題（TSP）［3］［33］− ［37］の解析を行う「．都市隣接性に基づくTSPとは、各都市間距離の短いパスを優先的に選び、最 短距離を得るというものである。・よって、ニューロンの出力l吊ま都市托都市ノが隣接しているか どうか、つまり、2都市間にパスが存在するかどうかを示す「．また、ニューロンの出力がl′二．ノ＝畑 となるため、ニューロンの半分は必要なくなる．（．更に、対角項も意味をなさないので必要ない′ 従って、よくJを満たすニューロンのみを考慮に入れるため、N都市に対するニューラルネット ワークはⅣ（ルー1）／2個のニューロンで表される「．ここでは、各行各列に2個のニューロンが発火 している「．つまり、各都市が他の2都市と隣接しているという制約条件を使うため、エネルギー 関数は次式のようになる「． g（l′′）＝∑ ∑竹詞㍑＋）∑（2−∑l′気−∑lんJ・）2＋2人∑∑l／隷1−lノ気）（2・29） ∫＝l y＝J＋1 こr＝1 リ＝Jl＋1 リ＝l Jt＝1〟＝ユ＋1 ここで、dJ・〟は都市J、y間の距離を意味する「．また、各項はそれぞれ、 第1項：巡路の総距離を表し、それぞれを短くするための目的項 第2項：各都市が他の2都市と隣接するための制約項 第3項：自己結合削除項［38］ である「．自己結合削除項は、エネルギー関数の結合荷重の対角要素を除去し、各ニューロンの出力 値を0または1に近づける働きがある「．式（2．29）で与えられたエネルギー関数を、ホップフィー ルド型ニューラルネットワークのエネルギー関数と比較することにより、結合荷重l仇JTTlmと外部 入力左Jを求めると、それぞれ式（2．30）、（2．31）のようになる「． l仇”汀と＝−2人（∂んγri＋∂JTと＋∂J汀と＋∂八・訂 左J＝6人−d拓 ん＜左”7＜7両≠〃吊≠7日＜打，777√，γJ＜Ⅳ ここで毎はクロネッカーのデルタ関数と呼ばれ次式で表される「． ん＝777， 〈ニ 0沌frW五郎． （2・32） 式（2．30）、（2．31）より求めた結合荷重と外部入力を用い解析を行う．一．解析例では、7都市の巡回 セールスマン問題を解析する．一．TSPの解析など、ニューラルネットワークの平衡点を求めるよう な問題では、シグモイド関数をステップ関数に近似するような解析法では正確に解析を行うこと ができない場合がある二．そこで、ニューロンの出力を（打．1）等分し、〃値ニューロンと見なす ことにより解析を行う．′，つまり、2値ニューロンの入出力関数を、TJ値の区分定数関数に近似す ることにより解析を行う「．図2．3に区分定数化されたニューロンの入出力特性を示す（． 都市配置可1・0，0．0）、叫0．0，1．0）、C（3．0，3・0）、d（1．0，5．0）、り3．0ル0）、J甘0，1．5）、射6．0，2．0）に対す るTSPの解析を行った、一．本解析では、2値ニューロンの入出力関数を10値の区分定数関数に近似 17 第2章 連続時間系ニューラルネットワークの解析手法 したへ解析結果として得られた巡回経路、及び解析波形をそれぞれ図2．4−図2．11に示す仁．また、 解析波形中の実践で示される波形は、本解析法による解析結果であり、点線で示される解析結果 は、従来法である微分方程式を解析した結果である仁．それぞれの解析時間を比較すると、従来法 では43．28秒かかるのに対し、提案解析法では2．69秒かかる「．この結果、提案解析法は、従来法 に比べ20倍弱高速に解析できることが確認できた「． 図2．3：2値ニューロン入出力特性の区分定数化 18 第2章 連続時間系ニューラルネットワークの解析手法 B C D E F G A B C D E F G 図2．4：隣接性に基づくネットワーク表現 f● ／ ／ ／ ／ ／ ●C ＼ ＼ ＼ ●一 ● ■ a● ● e h＿＿＿⊥＿＿ ＿、＿． 」＿＿＿ ＿＿ ＿＿ i ＿＿＿．＿ 2 図2．5：TSPのシミュレーション結果 19 第2章 連続時間系ニューラルネットワークの解析手法 （Ⅴ） （Ⅴ） 0 0 0．002 0．004 0．006（t） 00．002 0．004 0．006 （a）ニューロン払B （t） （b）ニューロン‰ （Ⅴ） 0 0．002 0．004 0．006（t） 0 0．002 0．004 0．006 （C）ニューロン‰〕 （t） （d）ニューロンI㌦E 図2．6：TSP解析波形 20 第2章 連続時間系ニューラルネットワークの解析手法 （Ⅴ） 0 0 0・002 0−004 0．006（t） 0 （e）ニューロン払F 0．002 0．004 0．006 （t） （8ニューロン払G （Ⅴ） （Ⅴ） 0 0・002 0・004 0・006（t） 0 0．002 0．004 0．006 （∂ニューロン蟻。 （t） （h）ニューロン晦D 図2．7：TSP解析波形 21 第2章 連続時間系ニューラルネットワークの解析手法 （Ⅴ） 0 0．002 0．004 0．006 0．002 0．004 0．006 （i）ニューロン蟻E （j）ニューロン柁F （Ⅴ） 0 0．002 0．004 0．006 0 0．002 0．004 0．006 （k）ニューロン蟻G （1）ニューロンItD 図2．8：TSP解析波形 22 第2章 連続時間系ニューラルネットワークの解析手法 （V） 0 0．002 0．004 0．006 0 0．002 0．004 0．006 （m）ニューロンγ元 （n）ニューロン咋F （Ⅴ） 0 0．002 0．004 0．006（t） 0 0．002 0．004 0．006 （t） （p）ニューロン抱E （0）ニューロンKG 図2．9：TSP解析波形 23 第2章 連続時間系ニューラルネットワークの解析手法 （Ⅴ） 0 ∩︶ 0・002 0・004 0・006（t） 0 0．002 0．004 0．006 （q）ニューロンーもF （t） （r）ニューロンFbG （Ⅴ） （Ⅴ） 0 0・002 0．004 0．006（t） （S）ニューロンItF 0．002 0．004 0．006 （t） （t）ニューロンItG 図2．10：TSP解析波形 24 第2章 連続時間系ニューラルネットワークの解析手法 0 0 0・002 0．004 0．006（t） （u）ニューロン咋G 図2．11：TSP解析波形 25 第2章 連続時間系ニューラルネットワークの解析手法 §2．5 まとめ 本章では現状態での内部状態を考慮することにより、連続時間系モデルの解析を正確に行う手 法を提案した仁．この解析法は、Kineticベクトルと呼ばれる特徴量とニューロンの出力との関係 を用いることにより、ニューロンの出力ベクト／レの安定状態及びニューラルネットワークの状態 遷移を解析しているため、微分方程式を陽的に数値計算を行う必要がない「、また、行列演算も必 要としないため、非常に高速に連続時間系アナログニューラルネットワークの状態遷移を解析す ることができる「、さらに、多値論理ニューロンから構成されるニューラルネットワークに応用す ることにより、効果的に連続時間系ニューラルネットワーク解析することができる＿．この解析法 は、SWE（て［32］に用いられている非線形特性の区分定数化手法が、ステップ関数の合成により構 成されている多値論理ニューラルネットワークを解析するのに適していることに着目している「． すなわちニューロンの入出力関係を区分定数化し、それをもとにⅠくiIlet，icベクトルを区分定数化 することにより、ニュートン反復の必要性をなくしている。．さらに、積分に対する最適なタイム ステップを用いていることにより、高速な解析を実現した。． 提案した解析法は、シグモイド関数のゲイン係数が非常に大きいものとして解析を行っている。． このため、ニューロンの出力に中間値を持たないため、正確にニューラルネットワークの解析が なされない場合がある。．しかし、ニューロンの出力を（”−1）等分し、2値ニューロンの入出力 関数を†日直の区分定数関数に近似することにより、正確に解析を行うことが可能ある。．解析例 として7都市の巡回セールスマン問題の解析を行った。．この解析結果からも分かるように、正確 に、高速に連続時間系ニューラルネットワークの解析を行っていることが確認できる「，これらの ことから、本解析法は連続時間系ニューラルネットワークに対して効果的な解析法であると確認 された。 26 第3章 連続時間系ニューラルネッ トワークの設計法 §3．1概要 生体システムにおいて、神経細胞レベルから脳の神経回路網に至るまで、さまざまなレベルで リミットサイクルのような非線形ダイナミックス現象が観測されている「．このような非線形ダイ ナミクス現象が、生体システムが行う情報処理において、重要な役割を果たしていると指摘され ている「．このため、動的情報処理にニューラルネットワークを応用する研究が盛んに行なわれて いる［17］「．ニューラルネットワークによるリミットサイクルは、動的情報の作成、及びそれらの動 的情報を認識する動的情報処理システムとして重要な役割を果たすと考えられる。．これまで時系 列パターンを利用した情報の呼び出しや情報を保持するためのいくつかの手法は、連続時間系シ ステムにおいて報告されている［1珊1叫また多層のリカレントニューラルネットワークを用いる ことにより、時系列の学習を行う手法が提案された「．一般的にリカレントニューラルネットワー クは、階層型ニューラルネットワークにフィードバックを取り入れたネットワークである。．この ようなネットワーク構成にすることにより、リカレントニューラルネットワークは時間相関を扱 えるようになるため、時系列パターンの取り扱いが可能となる。．これまで、リカレントニューラ ルネットワークの学習法として、バックプロパゲーション法（Ba〔kPropa・gat．ioll，以下ではBP 法と略す）を拡張したアルゴリズムが各種提案されている［20］［40］［4廿BP法はパターン認識、 制御などで広く用いられている多層ニューラ′レネットワークの代表的な教師付き学習法である。． 出力層では記憶すべき情報が教師信号としてあらかじめ与えられる〔．出力情報と教師情報との誤 差に基づきシナプス荷重を出力層、中間層の順に徐々に変更し、最終的に教師信号と出力との誤 差がなくなるまで繰り返す二．リカレントニューラルネットワークに対して、BP法を適応すため には、リカレントニューラルネットワークを時間方向に展開して階層化することにより、離散時 刻に対応する階層型ネットワークとみなす二．このように考えることにより、リカンレントニュー ラルネットワークに対してBP法を適用することが可能となる，一．しかし、BP法を用いて時系列 の学習を行う場合、非常に多くの計算量を必要とする雷．また、学習パターンを全て記憶できる十 分余裕のある結合で構成されたネットワークに対して学習を行った際にも、初期値によっては総 誤差関数が局所的最小値に収束してしまう場合があり、ニューラルネットワークに時系列パター ンを発生させることは、非常に難しかった「． 本章では、これまでの手法とはまったく異なったニューラルネットワークにより、時系列バター ンを発生するニューラルネットワークの設計法を提案する「．提案手法は、ニューロンの出力ベク 27 第3章 連続時間系ニューラルネットワークの設計法 トルとⅠくiIlet，icベクトルを用いることにより、ニューラルネットワークのシナプス荷重の拘束条件 を求める「．このシナプス荷重に対する拘束条件を線形計画法により解くことにより、ニューラル ネットワークのシナプス荷重を求める［42］［43］［62日6井本設計法では、ニューラルネットワーク のダイナミクスからシナプス荷重の拘束条件を求めているため、より正確に、より簡単にニュー ラルネットワークの設計することが可能である。．また、本設計法をヒステリシスニューラルネッ トワークにも応用する［6恥 ヒステリシスニューラルネットワーク［39］は、出力に区分線形2倍 ヒステリシス素子を用いた相互結合型ニューラルネットワークである「，ヒステリシスニューロン は、しきい値が2つであるためニューロンの内部状態を制御することが簡単になる〔− このため、 シグモイド関数を用いたニューラルネットワークでは設計が困難であったリミットサイクルも、 ヒステリシスニューラルネットワークを用いることにより容易に設計することができる「．提案し た手法を用いて4ニューロンから成るリミットサイクルの設計を行い、2章で捏奏した解析法に より動作検証を行う「． §3．2 ニューラルネットワークの設計法 本設計法では、ニューロンの出力ベクトルと第2章で定義したkineticベクトルから、シナプ ス荷重の拘束条件を求め、その線形計画問題を解くことにより、シナプス荷重を求める「．五番目 のニューロンの状態．亨に関するⅠくinet．icベクトルは次のように与えられる「． 転＝∑㍑l十＋圭・ （3．1） ．メ＝1 ここで、2．2節同様、RC遅延素子である抵抗凡の値をほぼ無限大として考える。このため、内 部状態の変化量Td可dfはⅠtineti〔ベクトルと等価なものとして扱うことができる「．さらに、式 （1．9）で与えられるニューロンの入出力関数のゲインが非常に大きいものとし、ニューロンの入出 力関数をステップ関数としてとして考える「．ニューラ′レネットワークを設計するにあたり、どの ようにニューラルネットワークの状態を遷移させるかが分かっている。．このため、内部状態の変 化量Td可融は、シナプス荷重Tの関数として表現することができる。．例えば、ニューロンの出 力が−1から1に変化する場合について考える「．ニューロンの出力が−1から1に変化するため には、ニューロンの出力は−1であり、内部状態の変化量丁可詔は正の値でなくてはならない．一 このため、ニューロンの出力が−1から1に変化するためには、以下に示す必要条件を満たさな くてはならない．＿ l′㌔＝寸かつ音＝毎＞0・ （3．2） 逆に、ニューロンの出力が1から一1に変化するためには、ニューロンの内部状態は負の方向に 変化しなくてはならない。．以上のことから、ネットワークがどの様に状態遷移するかが分かって いれば、その状態におけるシナプス荷重の拘束条件を求めることが可能である「． 28 第3章 連続時間系ニューラルネットワークの設計法 【ニューロンの出力が−1から1に変化するための拘束条件】 l′て＝−1，かつT等−＝打占＞川 （3．3） 【ニューロンの出力が1から−1に変化ための拘束条件】 lノて＝1，かつ丁慧＝姑＜0， （3．4） 【ニューロンの出力が−1の状態で変化しないための拘束条件】 l′；＝−1，かつ丁告＝軋≦0， （3・5） 【ニューロンの出力が1の状態で変化しないための拘束条件】 lノ′て＝1，かつ丁慧＝軋≧0， （3・6） 上記に示す拘束条件を用いることにより、すべての状態に対するシナプス荷重の拘束条件を求め る「．この拘束条件を満足するシナプス荷重が存在する場合、それが求めるシナプス荷重となる、 提案設計法は、静的情報、及び動的情報を容易にニューラルネットワークに埋め込むことが可能 である「． §3．3 ヒステリシスニューラルネットワークの設計法 本節では、3．2章で提案した設計法をヒステリシスニューラルネットワークに応用する（．ヒス テリシスニューロンを用いることにより、シグモイド関数によるニューラルネットワークでは設 計が困難であったリミットサイクルも、容易に設計することが可能である。． シグモイド関数によるニューロンのしきい値は1つであるため、ニューロンの内部状態と出力 との間には2つの状態しか存在しない。例えば、ニューロンの出力が1から−1変化する場合につ いて考える．一．ニューロンの出力が1から−1変化するためには、ニューロンの内部状態が負の方 向に変化しなくてはならない。．ニューロンの出力が1から−1変化した瞬間では、ニューロンの 内部状態はニューロンのしきい値β上にあるr一・このため、次状態での内部状態の変化量Td小才の 値によってはニューロンの出力は不安定なものとなる。．このため、シグモイド関数によるニュー ロンを用いた場合、ニューロンの出力が−1に変化した後もニューロンの内部状態は負の方向に 変化しなくてはならなかった（丁血／df＜0）「． 一方、ヒステリシスニューロンのしきい値は2つある「．このため、ヒステリシスニューロンの 内部状態と出力との間には、4つの状態が存在する〔．先ほどと同様に、ヒステリシスニューロンの 出力が1から−1変化した場合について考えてみる「．ヒステリシスニューロンの出力が1から−1 変化するためには、ニューロンの内部状態が負の方向に変化しなくてはならない「．ニューロンの 29 第3章 連続時間系ニューラルネットワークの設計法 出力が1から−1変化した瞬間では、ニューロンの内部状態はしきい値β1にある「．ヒステリシス ニューロンでは、ニューロンの出力が1から−1変化する場合と、−1から1に変化する場合とで は、それぞれしきい値が違う．二．このため、ニューロンの出力が変化した瞬間でもニューロンは安 定な状態にある「．このため、ヒステリシスニューロンの出力が変化した後、ヒステリシスニュー ロンの内部状態は、負の方向に変化しても（丁血／df＜0）、正の方向に変化しても（丁血／dr＞0） その位置で留まってもよい（丁可粛＝畔 以上の理由により、ヒステリシスニューラルネットワークでは、シグモイド関数を用いたニュー ラルネットワークに比べて、ニューロンの内部状態を制御することが簡単になる「．以下にヒステ リシスニューラルネットワークによるリミットサイクルの設計法を示す。． ここで、3・2節と同様に内部状態の変化量Td可dJとⅠ（iIlet．icベクトルは等価なものとして扱う〔． このため∴番目のヒステリシスニューロンの状態タに関するⅠ（illet′icベクトル〟君、及びヒステ リシスニューラルネットワークのダイナミクスは以下のように与えられる「． 丁慧＝〟g＝姜刷＋圭・ （3・7） ヒステリシスニューラルネットワークも状態遷移が分かっていれば、シナプス荷重の拘束条件を 求めることができる「．シナプス荷重の拘束条件を以下に示す「． 【ニューロンの出力が−1から1に変化するための拘束条件】 l′て＝寸かつ丁慧＝相川 （3．8） 【ニューロンの出力が1から−1に変化ための拘束条件】 l／て＝1，かつ丁慧＝〟g＜0† （3．9） 【ニューロンの出力が−1の状態で変化しないための拘束条件】 l′モ＝寸かつ音＝相≦0， （3．10） 【ニューロンの出力が1の状態で変化しないための拘束条件】 l′て＝1，かつ音＝〟君≧0， （3．11） ニューラルネットワークは、ニューロンの内部状態が最も速くしきい値に達したニューロンの 出力が変化する・一・全ての不安定ニューロンの内部状態の変化量丁血仲が等しいならば、内部状 態がしきい値に最も近いニューロンの出力が変化する「．つまり、ある状態のもとで最も速く変化 させたいニューロンの内部状態と、しきい値との距離を最短にすることにより、そのニューロン の出力を変化させることができる「．ヒステリシスニューロンでは、ニューロンの出力が1から−1 30 第3章 連続時間系ニューラルネットワークの設計法 変化する場合と、−1から1変化する場合とではしきい値がそれぞれ違う。，このため、ニューロ ンの出力が変化した瞬間でもニューロンは安定な状態にある「．このことから、ニューロンの出力 が変化した後、ニューロンの内部状態をその位置（しきい値）に留まらせることにより、内部状 態としきい値との距離を最短にすることができる．＿．つまり、次状態で変化させたいニューロンの killetiCベクトルを0にすることにより、そのニューロンを変化させることができる「． §3．4 線形計画問題の解法 線形計画（Lillea・l・Pl・Ograrllming）問題は、最小化または最大化すべき目的関数が、複数の等 号式または不等号式であらわされる制約条件の全てが線形式からなる問題のことを言う「．線形計 画問題の最適解の求解法には、導関数を用いないものと用いるものに大別され［44臣5］、代表的 なもののとして前者はにはシンプレックス法、後者には最急降下法があげられる〔．シンプレック ス法の基本的な考え方は、Il次元空間におけるシンプレックス（単体）は（7ト＋1）個のパターン から構成されており、各点におけるコスト関数の中で最も悪い点をより望ましい点と入れ替える ことの繰り返しによって最小点を探索する方法である。．一方、最急降下法による求解法は、線形 計画問題を2次最適化問題に帰着することにより、最適解を求める「．本研究ではアルゴリズムが 単純であり、比較的大域的収束がある最急降下法による求解法を用いる「． 3．4．1 最急降下法 最急降下法とは、与えられた関数の最も勾配の急な方向に向かって下がっていくと、最も低い ところへたどり着くという性質を利用して、ある関数J恒，ご2，‥・，れ）の極小値を求めることが 可能である・′・また、この方法を使用するためには、関数伸1，J・2，…，Jm）の偏微分係数∂〝∂こ∼−1， ∂．′／∂∫2，‥・，∂〝∂JTとが簡単に計算できることが必要となる「，以下では、線形連立方程式に関す る最急降下法について述べる「， れ元線形連立方程式が 血＝み， （3．12） と表記される場合（ただし、．4∈粁1×71は係数行列、よ、∈粁iは変数ベクトル、ム∈軒とは定数ベ クトルとする．、上式（3．12）は以下に示される極値問題に帰着させることができる「． J回＝恒1）＝∑rZ・ （3．13） ただし、r∈軒とは残差ベクトルと呼ばれ、次式で与えられる▲． r＝ムー．4J∴ （3．11） また、式（3・13）で定義される関数J（Jl）は、常にJ巨）≧0を満たし、r＝0の場合のみ0となる＿． したがって、頼りを最小とするような変数二才■を見つけ出すことにより、線形連立方程式（3．12）の ：il 第3章 連続時間系ニューラルネットワークの設計法 解が得られることになる・‥．また、線形連立方程式に対する最急降下法の近似公式を導出するには、 関数．頼りの変数trに対する最急勾配方向タを計算する必要があり、それは次式を計算すること で求められる．▲． ク＝（芸濃∵‥ （3．15） ここで、式（3・13）について式（3．15）を計算すると 芸＝2姜麓 （3．16） 孟（あー∑町村＝一帖 （3．17） が得られる．＿．さらに、 ．メ＝1 であることから、式（3．16）は、以下のように書き換えることができる「． 芸＝−2 α抹rg・ （3．18） つまり、関数．作で）の変数J‖こ対する最急勾配方向タは次式で与えられる「． タ＝−2▲4rr、・ （3・19） ただし、方向を表すために定数倍は関係が無いので、便宜上、式（3．19）で与えられるタの代わ りに p＝一4Tr， （3．20） を使用する〔・これにより最も勾配の急な方向が得らたことになるので、線形連立方程式に関する 最急降下法の近似公式は次式で表すことができる「． 弟＋1＝、rん＋nノん釦． （3・21） ここで、下付き添字のん、ん＋1は反復回数を示している「． 3．4．2 最急降下法による線形計画問題の解法 線形計画問題を2次最適化問題に帰着することにより、最急降下法により最適解を求めること ができる、一．以下に最急降下法による線形計画問題の求解法について述べる「． 32 第3章 連続時間系ニューラルネットワークの設計法 線形計画問題の制約条件は、以下のように複数の等号式または不等号式で与えられる＿． 〃′llJ：1＋α12．1・2＋…＋α1m．㌦≧毎 α21Jl＋α22Jt2＋…＋α2γiJ号と＞ム2， （3．22） αmlJ−1＋α”と2J−2＋…＋〃′γ品㌦≧毎． ここで、777、〟は自然数であり、αm、毎、礼はそれぞれα∈沢、ん∈軋ごれ∈軒とを満たす実数 である「．式（3．22）の右辺を左辺に移項し、全ての制約条件が0以上となるように整理することに より、式（3．23）のように書き換えることができる「． α11ユ’1＋α12J、2＋…＋α1㌦γ1−ん1≧0， α21J：1＋α22g2＋…＋α2γとJm−み2≧0， （3．23） αmlこrl＋α肌2こr2＋…＋αm肌Jγと一転と＞0． 式（3・23）で与えられる制約条件が全て満たされるJ‥花が求まれば良いので、式（3．23）を式（3．24） のように書き換える「〉 α11J：1＋α12J2＋…＋α1mJm−81＝￠1， α21ご1＋α22g2＋‥・＋α27乙Jγと−占2＝￠2， （3．24） αmlJ1＋α汀と2J12＋‥・＋α汀け↓Jm−8m＝￠Trい ここで、￠7，とは正の実数である「・式（3・24）を満たすJmが存在する場合、そのズγとは式（3．23）の制 約条件をを満たす解となる・二・よって式（3・23）を満たすごγ乙を求めることにより、式（3．22）の全て の制約条件を満たす解を求めることになる「．式（3．25）に示される目的関数を定義する「． F回＝∑gZ・ （3．25） 机＝dllJl＋α12J2＋…＋α1㌦れ−ム1−￠1， g2＝〟J21Jl＋α22諾2＋‥・＋α2mJれ−み2−￠2， （3．26） ダm＝αmlJ：1＋α”乙2こr2＋…＋α汀けiJ71−ムmt￠γ托． 式（3・25）に示される目的関数に示される目的関数が0に収束する二㌦が存在する場合、そのJ・mが 制約条件を満たす解となる・一・そこで、最急降下法により式（3．25）に示される目的関数を収束させ t∼∴′とを求める一・ここで、式（3・24）で与えられる￠汀とは、提案設計法の丁血／dfに対応している「．こ のため、￠〟との値を決めることは、ニューロンの変化量Td可dトを決めることに相当している′． 33 第3章 連続時間系ニューラルネットワークの設計法 §3．5 ニューラルネットワークの設計例 3・5・1連続時間系ニューラルネットワークによるリミットサイクルの設 計例1 3ニューロンから構成される連続時間系ニューラルネットワークによる、リミットサイクルの 設計を行なう・一・それぞれのニューロンの出力（寸1）は2進数の（0，1）に対応しているため、 3ニューロンから構成されるリミットサイクルは10進数の0から7までの状態を表現することが できる・一・連続時間系ニューラルネットワークのシナプス荷重を式（3．27）に示す′．また、以下に示 すリミットサイクルの設計を行う．＿． 3 3 3 n TH n l 2 2 2 l n TH n l 八八−八、 （3．27） 【設計するリミットサイクル】 1→3→7→6→4→0−→1→・・・ （3・28） ここでは簡単化のため、圭＝0とする・一・ニューラルネットワークの状態が1である場合、それぞ れのニューロンの出力は（1、−1、−1）である「・これによりⅠくiIleticベクトルは式（3・1）から以 下のように表すことができる「． 〟01＝rll一石2一石3， 〟02＝nl一石2一策3， （3．29） 〟03＝了も1−7も2一端3． ここでネットワークの状態が1（1、−1、−1）から3（1、1、−1）に変化するためには、1番目の ニューロンの出力、及び3番目のニューロンの出力は、現状態のまま変化しない「．また、2番目 のニューロンの出力値は−1から1へ変化する1＿．このため、 シナプス荷重の拘束条件は式（3．30） のように与えられる．＿． 〟1＝rll−r12＋右3≧0， 〟2＝nl一策2＋乃3＞0， （3．30） 〟3＝㌫1−㌔2＋㌫3＜0． 同様にして、ネットワークのすべての状態について拘束条件を求める一．表：i．1に全ての状態の拘 束条件を示す▲． 34 第3章 連続時間系ニューラルネットワークの設計法 表3・1：LineariIlequa・litiesfbl・Syna・Pticweight，S． S t a t e o f’t h e rlP t W O l・k 0 11trP llt S T h e c o llS t′ ra ・ irltl C O n d it io IIS fb r t h e s y Ila ・ P t， ic w e igh ts （l′ 1 ，1′ 気 鴨 ，l／ 気） 1 3 【 J （1 ，− 1 ，− 1 ） （1 ，1 ，− 1 ） （1 ，1 ，1 ） 〟 11 ＝ n l 一 石 2 − r 13 ≧ 0 ， 〟 12 ＝ 乃 1 一 策 2 − ㌔ 3 ＞ 0， 〟 13 ＝ 範 1 一 端 2 − ： 持3 ＜ 0， 〟 2 1 ＝ r ll ＋ れ 2 − n 3 ≧ 0 ， 〟 2 2 ＝ n l ＋ 乃 2 − 乃 3 ≧ 0， 〟 23 ＝ 了も1 ＋ 了も2 − 7 も3 ＞ 0 ， 〟 3 1 ＝ n l ＋ れ 2 ＋ n 3 ＜ 0， 打 3 2 ＝ 了も1 ＋ 了も2 ＋ 了も3 ＞ 0 ， 〟 3 3 ＝ ㌫ 1 ＋ ち 2 ＋ ㌫ 3 ≧ 0， 〟 4 1 ＝ 一 石 1 ＋ r 12 ＋ れ 3 ≦ 0 ， 6 （− 1 ，1 ，1 ） 〟 4 2 ＝ 一 策 1 ＋ 7 ち2 ＋ 了も3 ＜ 0 ， 〟 43 ＝ − n l＋ 乃 2 ＋ 為 3 ≧ 0， 〟 51 ＝ 一 石 1 − r 12 ＋ れ 3 ＜ 0 ， 4 （− 1 ，− 1 ，1 ） 〟 52 ＝ 一 策 1 − 7 ち2 ＋ 乃 3 ＜ 0 ， 〟 53 ＝ 一 ㌔ 1 − ㌔ 2 ＋ 範 3 ＜ 0 ， 〟 6 1 ＝ 一 石 1 − r 12 一 石 3 ＞ 0 ， 0 （− 1 ，− 1 ，− 1 ） 〟 62 ＝ 一 策 1 一 石 2 − 乃 3 ≦ 0 ， 〟 6 3 ＝ − 了も1 − γ ぅ2 − 7 も3 ＜ 0 ． 35 第3章 連続時間系ニューラルネットワークの設計法 これら全ての不等式を満足するシナプス荷重を求めることにより、リミットサイクルを発生する シナプス荷重を求めることができる「．表3．1の制約条件を整理すると、 【〟1についてのシナプス荷重の拘束条件】 〟11＝右1−r12−れ3＞0， 〟21＝nl＋r12−れ3≧0， （3．31） 〟31＝nl＋れ2＋れ3＜0， 【〟2についてのシナプス荷重の拘束条件】 〟12＝nl一石2−れ3＞0， 〟22＝nl＋乃2一策3≧0， （3．32） 〟32＝γ31＋ri2＋了も3＞0． 【〟3についてのシナプス荷重の拘束条件】 〟13＝れ1−r12−れ3≦0， 〟23＝nl＋7ち2一策3＞0， （3．33） 〟33＝範1＋γ32＋範3≧0． となる‘一．ここで、自己結合を1．0（nl＝乃2＝㌫3＝1．0）とした場合の、各シナプス荷重の許さ れる領域を考え、それらを図3．1に示す〔．図3．1の斜線で示される範囲が、解となり得るシナプ 陥他職刃 押転 附＿附卜那加 肌三 脚一柳1−航速 晶陥 融 ＋施 ≧ D l ・ 1工l ・ l 工l ltl ヽ ■ L＿ ′ ′ 「 ・ 1□ ・ 1 工l 弼il恥． 声脇 道〕 弼卜陽一弼】＞0 声路＿弼卜不払道〕 払） （C〕 図3．1‥線形計画問題の解（a・）ニューロン1，（b）ニューロン2，（C）ニューロン3 36 第3章 連続時間系ニューラルネットワークの設計法 ス荷重Tである一．例えば、r12＝れ3＝−1．0∴nl＝1．0∴n3＝−1．0∴nl＝㌫2＝1．0は一組の解 となる〔．従って、式（3．34）に示すようなシナプス荷重に関する行列Tが導ける、‥． 一 1 一 l 1 一 1 1 1 （3．34） 1 1 本設計により求めたシナプス荷重を剛、、3ニューロンから構成されるニューラルネットワーク のシミュレーションを行う、一．この章で用いる解析法は、2章で提案した解析法である．二．シミュレー ション結果を次に示す二．シミュレーション結果から、ネットーワークが0、1、3、4、6、7の状態 に関しては、設計通りのリミットサイクルを発生していることが確認できる「．また、ネットワー クの状態が2、及び5の場合に関しては、本設計では何も考慮にしていなかった「．このため、ネッ トワークの状態が2、及び5の状態では、どの様にネットワークが状態遷移するか分からない「， ここで、ネットワークの状態が2である場合について考えてみる「．ネットワーク状態が2である 場合のⅠtilleticベクトルを次に示す「． 【ネットワーク状態2（−1，1，−1）】 〟1＝一石1＋r12−r13＝−1， 〟2＝一策1＋乃2一石3＝1， （3．35） 〟3＝−了も1＋了も2−㌔3＝−1． ネットワークの状態が2である場合、全てのニューロンの出力l′七とⅠ（iIlet．icベクトルとの積は、 正の値となる「．このため、ニューロンは安定状態にあることが分かる「．これにより、ネットワー クは状態遷移しないことが確認できる「．ネットワークの状態が5である場合についても同様に、 ニューロンは安定状態にあるため、ネットワークは状態遷移しない「． 【ネットワーク状態5（1，11）】 〟1＝れ1−r12＋右3＝1， 〟2＝7ち1−乃2＋7ち3＝−1， （3・36） 〟3＝㌫1−7も2＋苓3＝1． また、ネットワークの状態が2、及び5の場合に関しても、制約条件を与えることにより、それ ぞれの状態での状態遷移を制御が可能となる「． 37 第3章 連続時間系ニューラルネットワークの設計法 Sm STATE 0 0．5 1 ¶ME O O．5 1 （a）初期状態0 STATE 仲）初期状態1 STArE 0 0．5 1 0 0．5 1 （C）初期状態2 （d）初期状態3 図3．2：シミュレーション結果 38 第3章 連続時間系ニューラルネットワークの設計法 STATE STATE 0 0．5 1 ¶ME O O．5 1 （e）初期状態4 STArE （り 初期状態5 STATE 0 0．5 1 0 0．5 1 腹）初期状態6 m）初期状態7 図3．3：シミュレーション結果 39 第3章 連続時間系ニューラルネットワークの設計法 3・5・2 連続時間系ニューラルネットワークによるリミットサイクルの設 計例2 4ニューロンから構成される連続時間系ニューラルネットワークによるリミットサイクル発生 器の設計を行なう、一．4ニューロンから構成されるネットワークは、10進数の0から15まで値を 表現することが出来る・一・式（3．37）、（3．38）に示す2種類のサイクルを発生するリミットサイクル 発生器の設計を行う〔． 【設計するリミットサイクル】 0→1→3→2→0→1→3→2→・・・， 15→7→5→13→15−→7→5−→13→・・・ 連続時間系ニューラルネットワークのシナプス荷重を式（3．39）に示す′． 4 4 4 4 れ九二力れ l 3 3 3 3 れ九二烏れ l 2 2 2 2 l 九九二力n l γ1古−石れ （3．39） ニューラルネットワークの状態が0である場合、それぞれのニューロンの出力は（−1，−1，−1，」） である「・これにより、Kirlet−icベクトルは式（3．1）から以下のように表すことができる「． 〟ul＝−nl＋r12−れ3−n4＋Jl， 〟02＝−nl＋乃2一策3一策4＋72， 〟03＝一端1＋㌫2−㌔3−㌔4＋左， （3．40） 〟04＝一缶1＋乃2一策3−㌔4＋74． ここで、ネットワークの状態が0（4−ト1，−1）から1（1，−1，−1，−1）に変化するためには、1 番目のニューロンの出力値は−1から1へ、2番目、3番目、4番目のニューロンの出力値はそ れぞれ−1の状態で変化しない。・また、Ⅰくillet一i〔ベクトルと丁血／d†が等価であるため、1番目の ニューロンの内部状態は正の方向に変化をしなければならない。．また、2番目、3番目、4番目の ニューロンの内部状態は変化をしない、もしくは負の方向に変化をしなければならない。．このこ とから、式（3．41）に示される拘束条件が得られる「． 〟01＝一石1−右2−r13一石4＋Jl＞0， 〟02＝一石1−乃2一策3一策4＋72≦0， 〟03＝一㌔1一策2−㌔3−㌔4＋左≦0， （3．41） 〟04＝一石1一缶2一策3一策4＋ん≦0． 同様に、ネットワークのすべての状態について拘束条件を求める．＿．表3．2に全ての状態の拘束条 件を示す＿． 40 第3章 連続時間系ニューラルネットワークの設計法 表3・2‥LineaIriIlequa・1itriesfbl・Syna−Pt．icweight．S． S ta ． te O f t． h e lle t， W O l・ k O u tJP llt． S T h e co n stl・ a in t co n d itio n s fb r tIh e sy llaP tic w eigh ts （l′ 1 ，lノ 圭 l′ も，l′ ち） 〟 11 ＝ 」 イ・ ′11 − Ⅲ・ ′12 − 14・ ′13 一 汁 ’ 14 ＋ J l ＞ 0 ， 0 （− 1 ，− 1 ，一 1 ，− 1 ） 〟 12 ＝ 一 汁ち1 − 11㌔2 − 1寸′ ′ ち3 − 1寸′ ち4 ＋ 左 ＜ 0 ， 〟 13 ＝ −1悔 1 − 1悔 2 − 11ノ ′ も3 − 1Ⅰち4 ＋ 左 ≦ 0 ， 〟 14 ＝ −14′ 1 1 − 14／ 1 2 一 件 1 3 − 1仇 4 ＋ 74 ≦ 0 ， 1 ： i （1 ，− 1 ，− 1 ，− 1） （1 ，1 ，− 1 ，−1 ） 〟 21 ＝ lヰ′11 − 廿 r12 − Ⅵ′ 13 − W l4 ＋ J l ≧ 0 ， 〟 22 ＝ l巧 1 − 14ノ ち2 − 14 ㌔3 一 件 も4 ＋ 72 ＞ 0 ， 〟 23 ＝ †朽 1 − 11・ ′ も2 − 11′ も3 − 11・ ち4 ＋ 左 ＜ 0 ， 〟 24 ＝ l仇 1 − 1仇 2 − 1仇 3 − 11・ ・ 1 4 ＋ 74 ≦ 0 ， 〟 31 ＝ 14′11 ＋ lγ12 − 1γ13 − 1仇 4 ＋ Jl ＜ 0 ， 〟 32 ＝ 11′ b l ＋ 14・ ち2 − 1侃 3 − 1侃 4 ＋ 左 ≧ 0 ， 〟 33 ＝ l栴 1 ＋ H も2 − 1仇 3 − 1侮 4 ＋ 左 ≦ 0 ， 〟 34 ＝ l仇 1 ＋ 111 2 − Ⅵ㌔3 − 1仇 4 ＋ 74 ≦ 0 ， 〟 4 1 ＝ −14′11 ＋ 件′ 12 − 14 ・ ′ 13 − m ′ 14 ＋ J l ≦ 0 ， 2 （− 1，1 ，− 1 ，− 1 ） 〟 42 ＝ −1仇 1 ＋ Ⅳ 22 − け ち3 − 14 ㌔4 ＋ 72 ＜ 0 ， 〟 43 ＝ −11㌔1 ＋ 14′ ′ も2 − 1牛 33 − Ⅵ一 ㌔4 ＋ 左 ＜ 0 ， 〟 44 ＝ −1仇 1 ＋ Ⅵ1 2 − 1仇 3 − 11㌔4 ＋ 74 ≦ 0 ． S ta t， e O f’tlle Ile t． W O l・ k O u tp u t， S T lle CO n Stra in t c o lld itio n s fb r th e sy llapP tic w e igh ts （l′ 1 ，l′ ち，l′ も，l′ ■ ち） 15 ■ ■ J■ 5 13 （1 ，1 ，1 ，1） （1 ，1 ，1 ，− 1 ） （1 ，− 1 ，1 ，− 1） （1 ，− 1 ，L l） 〟 51 ＝ lγ11 ＋ l寸・ ′ 12 ＋ 11′13 ＋ 廿 1 4 ＋ J l ＞ 0 ， 〟 52 ＝ l侃 1 ＋ l巧 2 ＋ 14 ㌔3 ＋ lIち4 ＋ 72 ＞ 0 ， 〟 53 ＝ l悔 1 ＋ 14・ 弓2 ＋ 竹′ も3 ＋ 14′ ′ も4 ＋ 左 ＞ 0 ， 〟 54 ＝ l仇 1 ＋ l侃 2 ＋ 14′ 1 3 ＋ 11′ 1 4 ＋ 74 ＜ 0 ． 〟 6 1 ＝ Ⅵ′11 ＋ 11′12 ＋ 什′ 13 − 111 4 ＋ J l ＞ 0 ， 〟 62 ＝ 11／ ち1 ＋ 14 ′ ち2 ＋ 11㌔3 − 11・ ′ ち4 ＋ 72 ＜ 0 ， 〟 63 ＝ Ⅵ・ も1 ＋ lヰ・ ′ も2 ＋ 廿 も3 − 1乍・ ′ ゝ4 ＋ 左 ＞ 0 ， 〟 64 ＝ l仇 1 ＋ l仇 2 ＋ 廿1 3 − 11ノ ′ 1 4 ＋ 74 ＜ 0 ． 〟 Tl ＝ 11／ ’ 11 一 汁r12 ＋ 11′13 − 11・ 1 4 ＋ Jl ≧ 0 ， 〟 72 ＝ け ち1 − け ち2 ＋ tI′ ち3 一 件′ ち4 ＋ 72 ≦ 0 ， 〟 73 ＝ 14′ も1 − 11も2 ＋ l・ 1／ b 3 − 11も4 ＋ 左 ＞ 0 ， 〟 74 ＝ l仇 1 − 1仇 2 ＋ 11′ 1 3 一 件′ 1 4 ＋ 74 ＞ 0 ． 存 81 ＝ 11ノ ′ 11 一 汁 712 ＋ 11′ 13 ＋ 111 4 ＋ J l ＞ 0 ， 〟82 ＝ 11・ ち1 − 1杓 2 ＋ 11・ 弓3 十 川′ ち4 ＋ 72 ＞ 0 ， 〟 83 ＝ Ⅲ・ ち1 − 11・ ㌔2 ＋ 11・ ′ ち3 ＋ l鶴 4 ＋ 左 ＞ 0 ， 〟 84 ＝ l仇 1 − 111 2 ＋ 什 1 3 ＋ Ⅲ1 4 ＋ 74 ＞ 0 ． 1 1 第3章 連続時間系ニューラルネットワークの設計法 これらすべての不等式を整理することにより、リミットサイクルを発生するシナプス荷重を求め ることができる一・表3・2に示す拘束条件を軋≧0となるように整理すると、以下のように表さ れる．′． 【1番目のニューロンについて】 〟01＝一石1−れ2−n3−れ4＋Jl＞0， 〃11＝れ1一石2−れ3一石4＋Jl≧0， 〟21＝一石1−れ2＋r13＋れ4−71＞0， 〟31＝rll一石2＋れ3＋れ4−71≧0， 〟41＝nl＋右2＋れ3＋右4＋Jl≧0， （3．42） 〟51＝nl＋れ2＋n3−れ4＋Jl＞0， 〟61＝れ1−れ2一石3−れ4＋Jl≧0， 〟71＝rll一石2＋れ3＋右4＋Jl≧0． 【2番目のニューロンについて】 〟02＝nl＋乃2＋乃3＋ち4−72≧0， 〟12＝nl一策2一策3一策4＋72＞0， 〟22＝nl＋乃2一端3−乃4＋72≧0， 〟32＝nl一策2＋乃3＋乃4−72＞0， 〟42＝乃1＋乃2＋乃3＋乃4＋72≧0， （3．43） 〟52＝一石1−乃2−乃3＋乃4−72＞0， 〟62＝−nl＋乃2−乃3＋乃4−72≧0， 〟72＝nl一策2＋㌫3＋乃4＋72＞0． 【3番目のニューロンについて】 〟03＝範1＋範2＋㌫3＋範4−左≧0， 〟13＝一策1十㌔2＋㌫3＋範4一石≧0， 〟23＝一端1一端2＋乃3＋乃4一石≧0， 〟33＝㌫1−㌔2＋㌫3＋範4−左≧0， 〟43＝㌫1＋範2＋㌫3十㌔4＋左≧0， 〟53＝苓1＋乃2＋㌫3−㌔4＋左≧0， （3．44） 〟63＝㌫1−㌔2＋範3−㌔4＋左≧0， 〟73＝㌫1−㌔2＋㌫3＋範4＋左＞0． 42 第3章 連続時間系ニューラルネットワークの設計法 【4番目のニューロンについて】 存04＝㌫1＋乃2＋乃3＋乃4−74≧0， 〟14＝一㌔1＋乃2＋㌫3＋㌫4−74＞0， 〟24＝一石1−㌫2十㌔3＋㌫4−ん≧0， 〟34＝nl一策2＋乃3＋ち4−74＞0， 〟44＝一石1一石2−㌫3一策4＋74＞0， （3．45） 〟54＝一石1一策2−㌔3＋㌫4−74≧0， 〟64＝nl一策2＋乃3一策4＋74＞0， 〟74＝nl一策2＋㌫3＋㌫4＋74＞0． 最急降下法により、この線形計画問題を解くこ・その結果、式（3．46）、（3．47）で与えられるシナプ ス荷重と外部入力が得られる「． ′ 一 1 0 1 0 0 ′ 1 2 1 1 2 ／ 1 1 0 〇 一 （3．46） （3．47） 求められたシナプス荷重を用い、4ニューロンから構成されるニューラルネットワークのシミュ レーションを行う−．シミュレーション結果より、設計した2種類のリミットサイクルを実現して いることが確認できる「．また、拘束条件を与えなかったネットワークの状態が4、6、12、14に関 しては、それぞれ式（3・37）で与えられるリミットサイクルに、8、9、10、11に関しては式（3．38） で与えられるリミットサイクルに遷移している．＿．これらの初期値に対して、ネットワークがどの ような状態に遷移するかと言うことは、その状態でのⅠ（iI−eti〔ベクトルを調べることにより容易 に調べることができる．＿． 43 第3章 連続時間系ニューラルネットワークの設計法 STATE STATE TTME O 0．5 1 ¶ME ㈲・初期状態1 （わ 初期状態0 STATE STATE 0．5 （C）初期状態2 1 ⅥME O 1 TIME （の 初期状態3 図3．4：シミュレーション結果 44 第3章 連続時間系ニューラルネットワークの設計法 0．5 ¶ME （e）初期状態4 1 ¶ME 斡 初期状態5 ⅥME 短）初期状態6 0．5 O O 1 ¶ME （叫 初期状態7 図3．5：シミュレーション結果 45 第3章 連続時間系ニューラルネットワークの設計法 ¶ME q）初期状態8 O 0）初期状態9 0．5 0・5 1 TTME 匝）初期状態10 1 ¶ME 0 初期状態11 図3．6：シミュレーション結果 46 第3章 連続時間系ニューラルネットワークの設計法 STATE 0・5 1 11ME 0・5 1 11ME （叫 初期状態12 （巾 初期状態13 STATE 〇・5 1 ¶ME （0）初期状態14 〇・5 1 ¶ME （由 初期状態15 図3．7：シミュレーション結果 47 第3章 連続時間系ニューラルネットワークの設計法 3・5・3 ヒステリシスニューラルネットワークによるリミットサイクルの 設計例 1ニューロンから構成されるヒステリシスニューラルネットワークによるリミットサイクル発 生器の設計を行なう，一．式（3．48）、（3．49）に示す2種類のサイクルを発生するリミットサイクル発 生器の設計を行う＿． 【設計するリミットサイクル】 1→3−→2→0→1→3→2−→・・・ 1−→9−→13−→5−→1→9→13→・‥ ヒステリシスニューラルネットワークのシナプス荷重を式（3．50）に示す「． 4 4 4 4 れ叩烏nU n l 3 3 3 3 n nご左右 l 2 ︵ ノ 一 2 9 一 l れ九二力n l n叩パnH n （3．50） ネットワークの状態が1である場合、それぞれのニューロンの出力は（1，−1，−1，−1）である「．こ のため、ネットワークの状態が1である場合のⅠ（ineticベクトルは、以下のように表すことがで きる−＿． 〟01＝rll一石2−r13−れ4＋Jl， 〟02＝乃1一石2一策3一策4＋72， 〟03＝nl一㌔2−㌔3一端4＋存 （3．51） 〟04＝nl一缶2−㌫3−㌔4＋ん． 式（3・48）のリミットサイクルでは、ネットワークの状態が1（1，−ト1，−1）のとき、ネットワー クの状態が3（lJ−1，−1）に遷移する。・このため、ネットワークの状態が1（1，−1，−1−1）から 3（1，1，−1，−1）に変化するためには、1番目のニューロン、及び3番目、4番目のニューロンの出 力は、それぞれ現在の状態から変化しない「．また、2番目のニューロンの出力は、−1から1に変 化する一．これより、式（3．52）に示される拘束条件が得られる「， 存1】＝rll一石2−れ3−n4＋Jl≧0， 〟12＝nl一策2一策3一策4＋72＞0， 〟13＝㌫1−㌔2−㌔3−㌔4＋左＜0， （3．52） 〟14＝711一策2一石3一策4＋74＜0． 一方、式（3・49）のリミットサイクルでは、ネットワークの状態が1（1，1−1，−1）から9（1，−1，−1，1） へ状態遷移するため、1番目のニューロン、及び2番目、3番目のニューロンの出力は現在の状 48 第3章 連続時間系ニューラルネットワークの設計法 態で変化せず、4番目のニューロンの出力は、−1から1に変化する・一・これより、式（3・53）で与え られる拘束条件が得られる「． Ⅳ11＝nl一石2一石3−れ4＋Jl≧0， 〟12＝nl一策2一石3一策4＋72≦0， 〟13＝範1−㌔2−㌔3−㌔4＋左≦0， （3・53） 〟14＝nl一策2一石3一缶4＋74＞0． 本設計では、ネットワークの状態が1の場合、3もしくは9のどちらかの状態に遷移する。．この ため、ネットワークの状態が1である場合の拘束条件に矛盾が生じる。．しかし、拘束条件の中で 最も重要な拘束条件は、状態が変化するニューロンの拘束条件である「．このため、式（3．52）にお いて最も重要な拘束条件は、2番目のニューロンの拘束条件であり、式（3．53）において最も重要 な拘束条件は、4番目のニューロンの拘束条件である。．このことを考慮して、式（3．52）、（3．53）の 拘束条件を整理すると、以下のようにあらわすことができる「． 〟11＝rll一石2−r13−れ4＋Jl≧0， 〟12＝nl一策2一策3−乃4＋72＞0， 〟13＝㌔1−㌔2−㌔3−㌔4＋左≦0， 〟14＝711−乃2一缶3−乃4＋ん＞0． （3．54） しかし、式（3．54）の拘束条件だけでは、ネットワークの状態が1である場合、どちらの状態に ネットワークが遷移するか分からない「．このため、ニューロンの内部状態を制御しなくてはなら ない「．ニューラルネットワークでは、ニューロンの内部状態が最も速くしきい値に達したニュー ロンの出力が変化する「・不安定ニューロンの内部状態の変化量Td可drが全て等しいものとして 考えると、不安定ニューロンの内部状態としきい値との距離が最短であるニューロンが、次状態 で変化するニューロンとなる。．このため、ネットワークの状態を1から3に遷移させるためには、 2番目のニューロンの内部状態が4番目のニューロンの内部状態よりもしきい値β昌こ近い位置あ ればよい二∴一方、ネットワークの状態を1から9に遷移させるためには、4番目のニューロンの 内部状態を2番目のニューロンの内部状態よりもしきい値β昌こ近い位置にあればよい〔． ここで、ネットワークの状態を1から3に遷移させる場合について考える「．ネットワークの状 態を1から3に遷移させるためには、2番目のニューロンの内部状態が、4番目のニューロンの内 部状態よりもしきい値β2側になくてはならない「．簡単にこのような状態にするためには、ネット ワークの状態が1であるのときに、2番目のニューロンの内部状態がしきい値β1の位置にあるよ うにすればよい。．2番目のニューロンの内部状態をしきい値β1の位置にするためには、2番目の ニューロンの出力が1から−1に遷移した後、内部状態をその位置（しきい値仇）から移動させ なければ良い−．つまり、ニューロンの出力が1から−1に遷移した後、kinet▲icベクトルを0にす れば簡単にこのような状態にすることができる「．式（3．48）におけるリミットサイクルにおいて、 2番目のニューロンの出力が1から−1に変化するときは、ネットワークの状態が0の場合であ 49 第3章 連続時間系ニューラルネットワークの設計法 る一．つまり、ネットワークの状態が0であるときの拘束条件を、 〟41＝一石1−れ2−r13−れ4＋Jl＞0， 〟42＝一石1一策2一策3−乃4＋72＝0． 〟43＝−了も1−㌔2−7も3−㌔4＋左＜0， （3．55） 〟44＝一石1一策2−㌫3−㌫4＋74＜0． とすることにより、式（3．48）に示すリミットサイクルを実現することができる仁．ここで、確実に 2番目のニューロンの内部状態が、4番目のニューロンの内部状態よりもしきい値β2に近い位置 にするために、4番目のニューロンの拘束条件を〟41＜0とすることも注意しなくてはならない。． 拘束条件をこのようにすることにより、ネットワークの状態を1から3に遷移させることができ る「．同様にネットワークの状態を1から9に遷移させるためには、ネットワークの状態が5の場 合の拘束条件を以下のようにしなくてはならない「． 〟71＝nl一石2＋r13−n4＋Jl＞0， 〟72＝nl一策2＋乃3一策4＋72＝0， 〟73＝nl一帯2＋㌔3−㌔4＋左≦0， （3．56） 〟74＝711一策2＋713−㌫4＋74＜0． ネットワークのすべての状態について拘束条件を求める「．表3．3に全ての状態の拘束条件を示す′． これらすべての不等式を整理することにより、リミットサイクルを発生するシナプス荷重を求め ることができる「． 50 第3章 連続時間系ニューラルネットワークの設計法 表3．3：LiI−eaIriIlequalit，iesfbrsyllalPticweight，S． S t a t e O f t． h e lle tW O I・k O u t P u tS （l t 1 3 T h e c o n s t r a Iin t c o lld it io 11S fb r tIh e S y n a p tlic w e igh ts l′ ち，l′ も，l′ ち） （1 ，− 1 ，− 1 ，− 1 ） （1 ，1 ，− 1 ，− 1 ） 〟 11 ＝ 11 ′11 − 14 ′12 − 11 ・ ′13 一 汁 ’14 ＋ J l ＞ 0 ， 〟 12 ＝ 14 ′ ち1 − 14 ・ ′ ち2 − け ち3 − 1巧 4 ＋ 7 2 ＞ 0 ， 〟 13 ＝ 11 ・ も1 − 14 ′ ′ も2 − 11 ′ ′ も3 − 11 ・ ち4 ＋ 左 ≦ 0 ， 〟 14 ＝ Ⅵ′ 1 1 − 14 ′ 1 2 − 14 ・ 1 3 − 11′ ㌔4 ＋ 7 4 ＞ 0 ， ・ 〟 21 ＝ 11 ノ ′ rll ＋ l／ †′12 − Ⅵ ・ ′13 − 11・ ′ 71 4 ＋ J l ＜ 0 ， 存 2 2 ＝ Ⅵ ち1 ＋ H ・ ′ ち2 − Ⅵ 弓3 − 1侃 4 ＋ 7 2 ＞ 0 ， 〟 2 3 ＝ Ⅵ ㌔ 1 ＋ 仲 も2 − H も3 − 14・ ′ も4 ＋ 左 ＜ 0 ， 〟 2 4 ＝ Ⅵ 1 1 ＋ l仇 2 − 11㌔ 3 − 14 √ 1 4 ＋ 74 ＜ 0 ， 〟 3 1 ＝ − 14 ′1 1 ＋ Ⅳ 12 − 1乍・ ′13 − 1γ 14 ＋ J l ＜ 0 ， 2 （− 1 ，1 ，− 1 ，− 1 ） 〟 3 2 ＝ 一 l仇 1 ＋ Ⅵ 弓 2 − 1仇 3 − m 弓4 ＋ 7 2 ＜ 0 ， 〟 33 ＝ 一 昭 1 ＋ l悔 2 − 11㌔ 3 − 1侮 4 ＋ 左 ≦ 0 ， 〟 3 4 ＝ − 1仇 1 ＋ l仇 2 − 11ノ ㌔ 3 − Ⅵ ㌔4 ＋ 7 4 ≦ 0 ， 〟 4 1 ＝ 一 切 ′1 1 − 1仇 2 − 1γ 13 − W l4 ＋ J l ＞ 0 ， 0 ト 1 ，− 1 ，− 1 ，− 1 ） 〟 4 2 ＝ − 一昭 1 − け ち2 − 1仇 3 − Ⅵ 弓4 ＋ 7 2 ＝ 0 ， 〟 4 3 ＝ − Ⅵ・ ㌔ 1 − 1垢 2 − 11 ㌔ 3 − 1悔 4 ＋ 左 ≦ 0 ， 〟 4 4 ＝ 」 仇 1 − 廿 1 2 − 14 ′ 1 3 − m ㌔4 ＋ 7 4 ≦ 0 ， 9 13 5 （1 ，− 1 ，− 1 ，1 ） （1 ，− 1 ，1 ，1 ） （1 ，− 1 ，1 ，− 1 ） 〟 5 1 ＝ 廿 rl 1 − 1年′1 2 − 1γ 13 ＋ 14 ′1 4 ＋ J l ＞ 0 ， 〟 52 ＝ 14 ・ ′ b l 一 件 ち2 − 1・ 巧 3 ＋ l乍ら 4 ＋ 7 2 ＜ 0 ， 〟 53 ＝ l悔 1 − 14 ・ ／ も2 − 14 ′ も3 ＋ l鴨 4 ＋ 左 ＞ 0 ， 〟 54 ＝ l■ 仇 1 − 14 ′ 1 2 − 11 ・ 1 3 ＋ l乍・ ㌔4 ＋ 7 4 ≧ 0 ， 〟 61 ＝ lγ 1 1 − 14ノ ′12 ＋ Ⅵ ′ ′13 ＋ 11 ・ ′ r14 ＋ J l ＞ 0 ， 〟 62 ＝ l明 1 − 14 ノ ち2 ＋ l朽 3 ＋ H ・ 弓4 ＋ 7 2 ＜ 0 ， 〟 63 ＝ 14 ・ ち 1 一 汁 も2 ＋ Il ′ も3 ＋ 11′ ㌔4 ＋ 左 ＞ 0 ， 〟 64 ＝ l午・ 1 1 − 1仇 2 ＋ l仇 3 ＋ 11・ ㌔4 ＋ 7 4 ＜ 0 ， 〟 T l ＝ 什’ 1 1 一 汁 r12 ＋ 11・ ／ ’ 13 一 件 ’ 14 ＋ J l ＞ 0 ， 〟 7 2 ＝ け ち1 − 1仇 2 ＋ lイ′ ち3 − 汁 気 ＋ 7 2 ＜ 0 ， 〟 73 ＝ l椀 1 − 11㌔ 2 ＋ 14 ・ ／ も3 − 汁 気 ＋ 左 ＜ 0 ， 〟 74 ＝ lヰ・ ㌔ 1 − 1仇 2 ＋ 11・ 1 3 − 11・ 1 4 ＋ 74 ＝ 0 ． 51 第3章 連続時間系ニューラルネットワークの設計法 表3．3の不等式を〟βJ≧0となるように整理すると以下のように表される′． 【1番目のニューロンについて】 〟01＝ rll一石2−r13−れ4＋Jl≧0， 〟11＝一石1−れ2＋r13＋右4−71＞0， 〟21＝rll一石2＋r13＋れ4−71≧0， 〟31＝−nl一石2−れ3一石4＋Jl＞0， （3．57） 〟41＝rll一石2−r13＋右4＋Jl≧0， 〟51＝rll一石2＋れ3＋右4＋Jl≧0， 存61＝れ1一石2＋r13一石4＋Jl＞0． 【2番目のニューロンについて】 〟02＝乃1一策2一石3一石4＋72＞0， 〟12＝nl＋乃2−乃3−乃4＋72≧0， 存22＝nl一策2＋乃3＋乃4−72＞0， 〟32＝一策1一策2−乃3一策4＋72＝0， （3．58） 〟42＝一策1＋乃2＋乃3一策4−J2≧0， 〟52＝−nl＋乃2一石3−乃4−J2≧0， 〟62＝一策1＋乃2−乃3＋乃4−J2＞0． 【3番目のニューロンについて】 〟03＝−nl＋範2＋範3＋範4−左≧0， 〟13＝一㌔1−㌔2＋㌫3＋ち4−左≧0， 〟23＝nl一端2＋n3＋範4−左≧0， 〟33＝nl＋ち2十㌔3＋ち4−左≧0， （3．59） 〟43＝nl一策2−㌔3＋範4＋左＞0， 〟53＝nl一端2＋範3＋乃4＋左≧0， 〟63＝−nl＋n2−㌔3＋ち4一石＞0． 【4番目のニューロンについて】 〟04＝nl一石2−㌔3一策4＋74＞0， 〟14＝一㌔1−㌫2＋㌫3＋乃4−74≧0， 〟24＝nl一石2十㌔3＋㌫4−74＞仇 〟34＝nl＋乃2＋乃3＋㌫4−74＞0， （3・60） 〟44＝nl一策2一石3＋乃4＋74≧0， 〟54＝一石1＋㌫2−㌔3一策4−74＞0， 〟64＝乃1−㌫2＋㌫3一石4＋74＝0， 52 第3章 連続時間系ニューラルネットワークの設計法 この線形計画問題を、最急降下法を用いて解く．一．ここで、不安定ニューロンの内部状態の変化量 TJ可d卜を等しくするため、不安定ニューロンに関する拘束条件の転の値を等しくする。．この結 果、式（3．61）、（3．62）で与えられるシナプス荷重と外部入力が得られる。． 〇一 227 2211 一270一 一102 （3・61） 2 一 一 2 4 0 4 （3．62） 求められたシナプス荷重を用い、4ニューロンから構成されるニューラルネットワークのシミュ レーションを行う∴ シミュレーション結果を図3ふ図3．11に示す。．シミュレーション開始直後の リミットサイクルの周期と、ある程度時間が経過した後の周期が異なるのは、ニューロンの内部 状態の初期値によって起こる問題である仁．シミュレーション結果より、設計した2種類のリミッ トサイクルを実現していることが確認できる「． 53 第3章 連続時間系ニューラ′レネットワークの設計法 STATE STATE 0．5 （a）初期状態0 STATE ㈲：初期状態1 STATE 0．5 （C）初期状態2 （の 初期状態3 図3．8：シミュレーション結果 54 第3章 連続時間系ニューラルネットワークの設計法 0．5 ¶ME （e）初期状態4 0．5 短）初期状態6 0．5 O （0 初期状態5 ⅥME 0．5 O 匝）初期状態7 図3．9：シミュレーション結果 55 湖山棚 赫苅昂溺勤＝リー郷、﹁身ヾアローや塁鞘半澤 王 宮避渚藤∽ S 習避栄藤や Sゴ占出 Sゴ占出 一m 一∽ ︼一宣吊 q︶ 習避栄藤〓 図㌢−○︰ヾルいてーヾuY葦淘 宗 育︶ 宙遠洋藤−○ 第3章 連続時間系ニューラルネットワークの設計法 STATE 0．5 11ME （叫 初期状態12 （叫 初期状態13 STATE TIME （0）初期状態14 0 0・5 ⅥME （由 初期状態15 図3．11：シミュレーション結果 57 第3章 連続時間系ニューラルネットワークの設計法 §3．6 まとめ 本章では、連続時間系ニューラルネットワークの設計法の提案、及び設計例を示し本設計法の 有効性を示した・一・本章で提案した設計法は、ニューロンの出力ベクトルとⅠ（iIlet．icベクトルを用い ることにより、シナプス荷重の拘束条件を求め、この線形計画問題を解くことによりシナプス荷 重を求める′・この設計法は、連続時間系ニューラルネットワークのダイナミクスによりシナプス 荷重の拘束条件を求めているため、従来の方法では難しかった複数の時系列を出力するニューラ ルネットワークの設計が簡単に、正確に設計することが可能である「．また、線形計画問題を解く 手段として最急降下法を用いた「・この解析方法は、ニューロンの内部状態の変化量を設計者自身 が決めることができ、本設計法に適した解析方法だと考えられる「．さらに、ヒステリシスニュー ラルネットワークについても提案手法を適応し、ヒステリシスニューラルネットワークの設計例 を示した〔・ヒステリシスニューラルネットワークを用いることにより、シグモイド関数を用によ るニューラ／レネットワークでは設計が困難であったリミットサイクルも、容易に設計することが できる・一一本章ではリミットサイクルに対し提案手法を用いたが、静的な情報の埋め込む場合にお いても適応することが可能である「． 本設計法は、ニューロンの出力ベクトル、及びⅠ｛ineticベクトルのみを用いて、設計を行って いる⊂・このため、容易に設計ができる反面、制御パラメータが少ないため線形計画問題が解けな い場合がある〔一設計の際に重要となるのが、線形計画問題を解く際に用いるパラメータ￠〝1であ る「・本設計法では、￠汀1とニューロンの変化量γ血／d＝ま等価なものとして扱っている。．このため、 適切な転を選ぶことにより、ニューロンの内部状態を制御することができる「．今後の課題とし ては、適切な￠Trとの選び方に関する考察が必要とであると考えられる「． 58 第4章 アナログ回路による連続 時間系ニューラルネット ワークの設計 §4．1概要 これまで、ニューラルネットワークを実現する方法として、その機能モデルをコンピュータに よる、計算機シミュレーションがニューラルネットワークのモデルの実験、及び研究に多く用い られている「・しかし、ニューラルネットワークをシミュレーションするためには、その冗長な処 理機構の特徴によって、極めて膨大な量の演算を行う必要がある。このため数千ニューロン、数 百万シナプスを超える実用規模のニューラルネットワークを生態脳並みの時間で処理すること は、現行のコンピュータでは不可能である。．そこで、ニューラルネットワークを高速に処理、実 行することを目的とした、ニューロハードウェアに関する研究が盛んに行なわれるようになった ［21］−［24］こ・ニューラルネットワークを実装する方法として、アナログ方式、ディジタル方式の2通 りに大別することができる・一・ディジタル回路によりニューラルネットワークを実装する場合、ア ナログ回路よりも有利であると考えられる点は、「高い計算精度が得られる」、「メモリ機能が簡 単に実現できる」、「時分割多重処理により大規模なデータを処理できる」などが挙げられる。．し かし、時分割で信号を処理するため、ニューラルネットワークの特徴である高並列処理という優 位性を失うことになる〔・このため、ニューラルネットワークの特徴である、アナロ久非線形、 高並列処理性などのニューロダイナミクスの解明、及び性能評価を正確に行うためには、アナロ グ回路による実現が適していると考えられる（． ニューラルネットワークをアナログ回路により実装する場合、一般的にシナプス荷重には抵抗、 及び乗算器が用いられる．一．VLSI技術において、トランジスタやキャパシタと同様に抵抗もシリ コンウェハー上に形成される「．特にポリシリコンによるポリゲート抵抗は、印加電圧に対して正 確な抵抗値を保つことができる［46十．しかし、ポリゲート抵抗などの抵抗素子を用いて集積回路 を構成した場合、抵抗値を変化させることはできない「．この問題は、設計したニューラルネット ワークを他のアプリケーションンに適応させたり、学習能力を有するニューラルネットワークの 実装を行う際に大きな問題になる・一・このため、荷重に抵抗を用いたニューラルネットワークには、 このような抵抗素子を用いて集積化することは有効ではない仁． そこで、制御電圧を変化させることにより、等価抵抗値を変更することができるフローテイン グレジスタに着目する．一．フローティグレジスタは、回路に流れる電流と電圧との間に線形な関係 59 第4章 アナログ回路による連続時間系ニューラルネットワークの設計 を持せるため、MOSトランジスタに流れる電流の非線形な項を消去するような回路構成となっ ている〔二・これまで、幾つかのフローテイングレジスタが提案されてきた［47日50］．一．しかし、これ まで提案されているフローテイングレジスタは、等価抵抗の式中に電源電圧の項が含まれている ため、正負どちらか一方の抵抗値しか実現できなかった。．当然の事ではあるが、回路内での電源 電圧の値は大きいため、等価抵抗値は電源電圧でほぼ決定されることになる。．このため、正負ど ちらか一方の値しか実現できなかった仁． 本章で提案するフローテイングレジスタは、電源電圧を消去させることによって正負両方の等 価抵抗値を実現している［6軒 さらに、提案するフローテイングレジスタの抵抗値は、MOSト ランジスタのしきい値電圧l与に依存していない「．このため、より正確な抵抗値を実現すること ができると考えられる．一．フローテイングレジスタは、ニューラルネットワークや、RCフィルタ などの問題を解決するだけでなく、乗算器やOTA（OperationalTransconducta．nceAmpli鮎r） などと同様にアナログ回路の基本ブロックとしても用いることが可能であると考える．＿， また、シナプス荷重は乗算器を用いても実装される。．これまでにも、MOSFETを用いた多くの 乗算器が提案されている［51］［52］。．しかし、それらはMOSFETの入力電圧を制限し、MOSFET の線形領域と飽和領域のどちらか一方の領域で固定して動作させることを前提としているために、 入力信号範囲が狭くなっている〔．そこで本章ではVCCS（VoltageCorltl・011edCul・rentSoul・ce‥ 電圧制御電流源）を組み合わせることで、入力範囲を拡張した四象限乗算器についても提案する ［65］，．今回提案する四象限乗算器はMOSFETの線形領域と飽和領域とを相補的に組み合わせる ことで、入力信号範囲をしきい値電圧l与から電源電圧VDDまでの範囲で動作することが可能 である。．これにより、従来の乗算器と比較して電源電圧の低下に対して有利であると考えられる「． さらに、これら提案する線形素子を用いて、アナログ回路よりニューラルネットワークの設計 を行う←．また、3章で設計したニューラルネットワークのシナプス荷重を用いることにより、提 案回路の動作検証を行う〔． §4．2 ニューラルネットワークの回路方式 半導体集積回路によるニューラルネットワーク機能モデルの表現方式は、シナプスの機能表現、 あるいはニューロンの機能表現によってバイナリディジタル方式とアナログ方式に分類すること ができる．一．アナログ方式の特徴としては、「完全並列アーキテクチャをとるため、高速に動作させ ることが可能」、「構成素子が少ないため、チップ内に多数のニューロンを集積できる」、「フィー ドバックを有するネットワークに適する」などが挙げられるこ．また、アナログ方式での欠点とし ては、「演算精度を確保しにくい」、「実ニューロン方式しか採用することができない」などが挙げ られる「．一方バイナリディジタル方式の特徴として、「高い計算精度が得られる」、「メモリ機能が 簡単に実現できる」、「時分割多重処理により大規模なデータを処理できる」などが挙げられる＿． バイナリディジタ′レ方式では、一つのニューロンを時分割で多重化して等価的に多数のニューロ ンを構成することができるが（仮想ニューロン方式）、アナログ方式では通常時分割はできない ため、完全並列アーキテクチャを採用するしかない（実ニューロン方式）L＿．しかし、アナログ方 式では完全に各演算を並列処理できるため、演算時間が11−S程度なのに対し［54］、バイナリディ 60 第4章 アナログ回路による連続時間系ニューラルネットワークの設計 ジタル方式では、時分割処理を余儀なくされるため演算処理は40IIS程度となる［5叶また、バイ ナリディジタル方式では、ニューロン回路、及びシナプス回路の他にニューロンの値、及びシナ プスの値を格納するためのメモリが必要となり、集積するニューロン回路とシナプス回路の数に よってチップサイズ及び演算速度が変化する「． 以上のことから、ニューラルネットワークの特徴である、アナログ、非線形、高並列処理性な どのニューロダイナミクスの解明、及び性能評価を正確に行うためには、アナログ回路による実 現が適していると考えられる「．本章ではアナログ回路によるニューラルネットワークの設計つい て述べる＿． §4．3 シナプス 4．3．1 MOSトランジスタ ゲート、ドレイン、ソース及びサブストレートの4端子からなるMOSトランジスタ（電界効 果トランジスタ）は線形領域、飽和領域、遮断利領域の3つの領域で動作する「．線形領域では、 ドレインソース電圧l′急占が大きくなるほどドレイン電流症が流れ、ドレインーソース電圧l′急方が 実効ゲートソース電圧l′もf（＝lノち5−1与）に近づくにつれてドレイン電流が−一定になる「．ドレインー ソース電圧l′急Sが実効ゲートソース電圧l／らナよりも大きくなると、ドレインーソース電圧l′気を 大きくしてもドレイン電流転があまり大きく増加しない飽和領域に入る「．また、ゲートソース 電圧l気がしきい値電圧l与よりも小さい場合は、ドレイン電流左方が流れない遮断領域に入る。． それぞれの領域でMOSトランジスタに流れるドレイン電流転を次に示す「． 【遮断領域‥l′；S＜lケ】 左β＝0， （4．1） 玩＝耶5−l′ト争′急占， （4・2） 左占＝鉢一軒 （4．3） 【線形領域：l／気＜lノも5−1与】 【飽和領域：l′bS＞l′らβ一号】 また、．βはM0Sトランジスタのゲイン定数であり次式で与えられるr＿． 扉昔 ／Jo亡。ユ・什′’ √∵ 上● 61 第4章 アナログ回路による連続時間系ニューラルネットワークの設計 ここで、什’、上はそれぞれトランジスタのチャネル幅、チャネル長、〃。、e▼。∫、信、亡。1．はそれ ぞれ電子の移動度、単位あたりのゲート容量、ゲート酸化膜厚、酸化膜の誘電率である。．線形領 域でのドレイン電流JdSはゲートソース電圧l′もSに対して線形な関係ではあるが、ドレインーソー ス間の電圧l′急古に対しては非線形な関係を示す．＿．このように、いずれの領域においてもMOSト ランジスタは非線形な要素をもって動作している。．このため、MOSトランジスタにより線形素 子を具現化するためには、MOSトランジスタに流れるドレイン電流の非線形の項消去する回路 構成が必要となる＿． ⋮ J ゲ 当 ドレイン J ドレイン （a）NMOS （b）PMOS 図4．1：MOSトランジスタ 4．3．2 正負の抵抗値を実現できるフローテイングレジスタ フローテイングレジスタは、MOSトランジスタにより構成された回路であり、制御電圧を変 化させることにより等価抵抗値を変更することができる（、フローティグレジスタは、回路に流れ る電流と電圧との間に線形な関係を持せるため、MOSトランジスタに流れる電流の非線形な項 を消去するような回路構成となっている〔．図4．2に提案するフローテイングレジスタを示す「．入 力端、及び出力端は叛、lう′であり、制御電圧l′tl、l′t2により抵抗値を調整することができる「． 提案回路では、全てのトランジスタは飽和領域で動作し、MOSトランジスタのゲイン定数木及 びしきい値電圧号は全て等しいものと仮定する「．カレントミラーを構成するトランジスタの組 み合わせを以下に示す「． 【ゲイン1のカレントミラー】 （M5，MG），（M8，MlO），（M9，Mll），（M13，M14）， （M25，M29），（M26，M27），（M28，M32），（M30，M31）， 【ゲイン2のカレントミラー】 （M十九′18），（MllJM12）． 62 第4章 アナログ回路による連続時間系ニューラルネットワークの設計 ここでゲイン1のカレントミラーとは、カレントミラーを構成するトランジスタのアスペクト比 lγ／上を1としたカレントミラーある．二．つまり、それぞれのトランジスタには等しい電流が流れ る・二・￣方、ゲイン2のカレントミラーとは、トランジスタのアスペクト比l竹上を2としたカレ ントミラーである一．このため、ミラーするトランジスタには2倍の電流が流れることになる（．以 下に回路動作を示す一． トランジスタAJl、几す2、八才3、八才4はそれぞれ飽和領域で動作するトランジスタである「．この ため、それぞれのトランジスタに流れるドレイン電流は以下のようにあらわすことができる．一． Jl＝鉢一叛一舶 （4．6） 72＝鉢−l′トlケ）2， （4．7） 左＝呈（l二・2−叛−1据 （4．8） 72＝呈（l′こ2−1う′−l／ケ）2・ （4．9） また、電流丁目まカレントミラー（几摘，〃10）により電流左にミラーされる「．このため、電流Jl と電流んは等しい値となる二． Jl＝左・ （4．10） 一方、電流7日まカレントミラー（凡打，几銅）にもミラーされる。．先に示したように、カレントミ ラー（凡打，凡才8）はゲイン2のカレントミラーである「．このため、トランジスタ八才27に流れる電 流77は、電流Jlの2倍の電流が流れる。． JT＝271・ （4．11） 同様にして、それぞれのカレントミラーに流れる電流は以下のようにあらわすことができる「． 72＝左J3＝79，74＝78ノ10＝272． （4．12） また、入出力端に流れる電流Ⅰは以下のようにあらわすことができる「． −Jl一石一左＋JT＋78， 72＋74＋左一石−JlO， J1−72−左＋74． （4．13） 式（4．6）−（4．9）より、式（4．13）は以下のように整理することができる「． J＝−β（l′′ニ1−l′ニ2）（l／五一l′i′）． （4．14） これより、等価抵抗値f＝ま式（4．15）のようにあらわすことができる「． J＝ lノ友一l／′†r l （4．15） J β（l′こ1−1ノ二・2）● 63 第4章 アナログ回路による連続時間系ニューラルネットワークの設計 式（4・15）からもわかるように、制御電圧l′tlが制御電圧位2より低い電圧のときは正の抵抗値、 制御電圧l′ニ1が制御電圧l′ニ2より高い電圧のときは負の抵抗値を実現することができる。．さらに 提案するフローテイングレジスタは、MOSトランジスタのしきい値l与の依存性を消去している ため、より正確な抵抗値を実現することができると考えられる。． M 15 M 5 16 甘 潤 6 7 8 軒 l P 1 師 M ll ザ l l 2 M 23 24 M 13 14 l M l M 3 M 25 1 l ん 1 ′ → K 【 M 33 TK ′ l l ‡‰ ll 4 1 ん l 1ん 了2 ′7 1 んl 巨 1ん M 26 M 2g M 34 M 36 」 」 29 0 1ん 31 ノ → 号 L 37 8 39 L 32 40 I気 図4．2：フローテイングレジスタ 64 第4章 アナログ回路による連続時間系ニューラルネットワークの設計 4．3．3 Device mismatch 4・2・3節で提案した回路では、全てのMOSトランジスタのゲイン定数ノj、及びしきい値電圧号 は等しいものとして考えていた。．しかし、回路を実装する際に、全てのパラメータが一致するこ とはない．一・本節では、それらのパラメータがずれた際にどのくらいフローテイングレジスタの出 力に影響があるか考える「． MOSトランジスタのゲイン定数β、及びしきい値電圧l与をそれぞれ△丑、△l五とする「．こ のため、トランジスタ八才1、八才2、凡才3、及び八才4に流れるドレイン電流は以下のように与えら れる、＿． △β1 Jl＝ 2 △β2 72＝ 2 左＝ △β3 2 （l′ニ1−叛−△号1）2， （4．16） 世・1−1′1′−△l与2）2， （4．17） （ll2−1五一△l′ケ3）2， （4．18） ′2＝竿（l′三・2−1五一△−与。）2・ （4・19） ここで、制御電圧l／bl、拉2には定電圧を与え、入力電圧叛、出力電圧lう′にはそれぞれサイン 波1万〃、定電圧l′bcを与える．一． 叛＝l′bc＋Ⅰ与〃， （4．20） lう′＝t′bc （4．21） 式（4・16）−（4・19）より、フローテイングレジスタに流れる電流丁は式（4．21）のように表される「， J ＝ α0＋α11与Ⅳ＋α21′乱， 〟1 （4．22） −（β＋△β1）l包＋β（△l′ケ1−△l与3） ＋△／ブ1△t与1−△β3△l与3 ＋（△β3−△β1）（拉2−l′もぐ一号）， 記 −（β＋△β1）l′も、 α2＝…（△β1−△β3）・ （4．23） （4．24） ここでl′b＝t／’h−l／t▼2とするr一・式（4・23）、（4・24）より、2次高調波ひずみ（TheSeCOlldllaHnOIlic distol・tIioll）HD2は式（4．25）で与えられる，． ′＝′†ト △β1−△／j3 （4．25） トランジスタのゲイン／ブのずれのために生じる2次高調波ひずみは消去することができない「． 65 第4章 アナログ回路による連続時間系ニューラルネットワークの設計 4．3．4 シミュレーション結果 提案するフローテイングレジスタの動作検証をHSPICにより行う。．図4．3に、フローテイングレ ジスタのDC特性を示すこ．このシミュレーションでは、制御電圧拉1を4．7Vに固定し、制御電圧 l′t12を4・5Vから4．9Vまで変化させる。．この結果、等価抵抗値REは、1．17MOから＋∞、＿1．21MO から−∞までを実現していることが確認できる亡．図4．3に示されるシミュレーション結果から、提 案するフローテイングレジスタが正の抵抗値、及び負の抵抗値の両方を実現していることが確認 できる。． また、HSPICEによる周波数特性のシミュレーションを行う。このシミュレーションは図4．4 に示すように、フローテイングレジスタと抵抗を直列につなぎ、フローテイングレジスタの出力 端を観測した〔・図4・5にシミュレーション結果を示す。．図4．5（a）は、フローテイングレジスタの 等価抵抗値が正の値であるときのシミュレーション結果である。．このシミュレーションでは、フ ローテイングレジスタの等価抵抗値と抵抗の抵抗値を共に710knとしてシミュレーションを行 う〔・このためフローテイングレジスタのゲイン佑uf作れは−6dβとなる。．一方、図4．5（b）は、フ ローテイングレジスタの等価抵抗値が負の値であるときのシミュレーション結果である。．このシ ミュレーションでは、抵抗の抵抗値はフローテイングレジスタの等価抵抗値の1／3の値（229kr2） としてシミュレーションを行う。．抵抗値をこのようにすることにより、フローテイングレジスタ の等価抵抗値が正の場合と同様に、ゲイン軋訂仇は−6dβとなる。．シミュレーション結果よ り、周波数が100kHzまでは正の抵抗値、及び負の抵抗値も共に同様の特性をみることができる。． ー2 −1 0 1 2 Ⅳ］ 図4．3：DC特性 66 第4章 アナログ回路による連続時間系ニューラルネットワークの設計 托〟′ noatingrcsistor 爪xcdresistor 図4．4：テスト回路 ︻。︼USdjdO 0［叫で︼監巳も託宣10 1が 106 108 Freqency［Hz］ （aJ ︻。︼ひ∽d一丸0 0︻宅︼よミ3史 10 102 104 106 108 Freqency［Hz］ （b） 図4．5：周波数、及び位相特性（a）正の抵抗値（b）負の抵抗値 67 第4章 アナログ回路による連続時間系ニューラ′レネットワークの設計 4．3．5 四象限乗算器 これまでにも、九′IOSトランジスタを用いた多くの乗算器が提案されている［51］［52］t一．しかし、 それらはMOSトランジスタの入力電圧を制限し、MOSFETの線形領域、及び飽和領域のどちら かの領域のみで動作させることを前提としている・二・このため、入力信号範囲に制限が与えられ、 動作範囲が狭くなっていた′． この節では、VCCS（Volt・ageControlledCul、relltSource：電圧制御電流源）を組み合わせる ことにより、入力範囲を拡張した四象限乗算器を提案する［65］。．今回提案する四象限乗算器は、 MOSFETの線形領域と飽和領域とを相補的に組み合わせることで、入力信号範囲をしきい値電 圧号から電源電圧l′bpまでの範囲で動作することが可能である。．これにより、従来のVCCSと 比較して電源電圧の低下に対して有利であると考えられる一．次に基本ブロックとなるVCCSにつ いて説明する二． 2つのMOSトランジスタの線形領域と飽和領域を相補的に組み合わせることにより、VCCS を構成するr・ここでトランジスタ叫4、及び鳩のドレイン電圧l′bA、l′b月を次のように定義 する1＿− l′bA＝叛一作 （4．26） l′bβ＝lう′」与・ （4．27） ここで、叛、l′i′はそれぞれ入力電圧、制御電圧である「．式（4．26）、（4．27）のようにトランジス タのドレイン電圧を定義することにより、それぞれのトランジスタの領域が変化する点（ピンチ オフ点）を一致させることができる「． 佐一竹 佑一休 図4．6：VCCSの基本構成 68 第4章 アナログ回路による連続時間系ニューラルネットワークの設計 次にそれぞれのトランジスタの動作領域を示す＿． 【トランジスタ叶4の動作領域】 領域0：0＜l′ゝ≦l与， 遮断領域 領域1：lケ＜l′五≦l′1′，飽和領域 領域2：lう′＜lノ五≦l′もか．線形領域 【トランジスタ几毎の動作領域】 領域1′：叛≦l′1′，線形領域 領域2′：l′i′≦叛．飽和領域 ここで、2つのトランジスタ九信、及びA毎の動作領域をまとめると以下のように表される。． 【Ⅴ（7CSの動作領域】 領域1：l／ケ＜叛≦l′1′ （4．33） トランジスタ几fA：飽和領域，トランジスタ八才β：線形領域 領域2：l／i′＜叛≦l′bβ （4．34） トランジスタ凡才A：線形領域，トランジスタ八才β：飽和領域 上記から分かるように、トランジスタ八九が線形領域で動作しているときはトランジスタ几毎は 飽和領域で動作し、トランジスタ八九が線形領域で動作しているときにはトランジスタ几毎は飽 和領域で動作する1二．このように、トランジスタの動作領域が変化するところを一致させることに より、お互いの非線型項を消去させることができる「．このVCCSの出力電流0UTは以下のよう に与えられる∫＿． 【領域1：l与＜l′五≦l′i′】 JotrT JJ）．．1＋7日〃 l′五一1与 豊胸−1与）2＋耶′一一′上 ）（l′五一号） 声（l′五一l′ケ）（lう′−1ケ）． （4．35） 【領域2：H′＜l′五≦l′もか】 Joけ JD一4＋左娼 l′1′−1与 ′づ（l′′五一号− ′rj（l′五一号）（lう′−l′ケ）． ）（−トl′ケ）弓（t′上竹）2 （4．36） 69 第4章 アナログ回路による連続時間系ニューラルネットワークの設計 憎 ゐ l 図4．7：VCCS 式（4・35）、（4・36）より、遮断領域を除くすべての領域において、線形なVCCSとして動作するこ とが確認できる・一・図4・丁にVCCS回路を示す′・ここで、トランジスタ几わざ、及び几毎5の鮎がト ランジスタ軌、鳩に対して十分大きいものとすると、トランジスタ几亀5、及び几毎5はそれ ぞれソースフォロワとして動作する「．ここで、領域1の場合について考える「．領域1では、トラ ンジスタ叶4は飽和領域、トランジスタ脇は線形領域で動作する．一．また、トランジスタ几九g、 及び凡才鋸はそれぞれ線形領域で動作するものとすると、それぞれのトランジスタに流れるドレ イン電流は以下のように表すことができる「． ′■4＝呈昭一一雄 （4．37） JA5＝告（l′圭一1㌔一軒 （4．38） l′もー1ケ 7月＝β（l′1′−1ケー ）（l′もー1与）， ′郎＝告昭一l′もー研・ （4．39） （4．40） ここで、仁小及びl′封まそれぞれトランジスタ叫45、几毎5のソース電圧である．＿．トランジスタ 叫4及び叶45には、同じドレイン電流が流れるためl′気は、 7．4 ＝J−45・ 70 第4章 アナログ回路による連続時間系ニューラルネットワークの設計 岩胸一号）2＝（l′トl′二4−1′ケ）2 l′二4＝−′トl′上蓋胸−1ケ） （束≫／j） l′二4 ＝lう′一号 （4．41） となる一．また、l′封ま、 7月 ＝ 7月5 l′もー1与 岩（l′トl′卜 ）（l′も一号）＝（叛−l′もーl′ケ）2 （鮎≫β） l′壱 ＝l′五一1ケ （4．42） となる一一・このため、トランジスタ八九、及びA毎のドレイン電圧はそれぞれV4＝lう′−1与、 l′壱＝l′五一号となる「，このVCCSを4つ組み合わせることにより、四象限乗算器を構成する「． 図4．射こ提案する四象限乗算器回路を示す「．この回路の中で、それぞれのVCCSは入力信号の乗 算を行う単象限乗算器として動作する。．トランジスタ〃1、鳩はカレントミラーとして動作し、 出力端における電流の引き算を実現する（．それぞれのVCCSの出力電流は、次式で与えられる．（． Jl ＝ β（l′五1−1与り（l与′1−1ケ）， （4・43） 72 ＝ β（l′反1−1々）（l与2−1ケ）， （4．44） 左 ＝ β（l′女2−1々）（lう′2−1ケ）， （4・45） 74 ＝ β（t与2−1与）（l有1−1ケ）． （4・46） 従って、出力電流左【汀は次式に示すような、2組の入力信号の差の積で表される「． Jo【rT （Jl一石）−（71−左） （β什五1−1与）桐′1−1与）＋β（l′五2−1ケ）（l′1′2−号）） −†β（叛1−tケHlう′2−1′ケ）＋β（叛2−l′′ケ）（lう′1−1与）） β（l′五1−1′ゝ2）（咋1−的′2）． （4．47） 式4．47より、出力電流IoUTは誤差の原因となるしきい値電圧に依存しないことがわかる「．HSPICE により、四象限乗算器の動作検証を行った．一．四象限乗算器回路のDC特性を図4．射こ示す「．本シ ミュレーションでは、電源電圧を±2．517としてシミュレーションを行っている。．シミュレーショ ン結果より、遮断領域を除く範囲において、この回路が四象限乗算器として動作していると確認 できる＿． 71 第4章 アナログ回路による連続時間系ニューラルネットワークの設計 略D IもD Kl K2 K2 図4．8：四象限乗算器 竃誓已賀ヨ51鼻占 −2．0 O l工rl−Vk2 図4．9：四象限乗算器のD〔「特性 72 第4章 アナログ回路による連続時間系ニューラルネットワークの設計 §4．4 ニューロン 4．4．1トランスコンダクタンス増幅回路を用いたニューロアンプ トランスコンダクタンス増幅回路の入出力特性は、シグモイド関数と非常に類似した関数の特 性がある一・このため、ニューロアンプとしてトランスコンダクタンス増幅回路が用いられる［53］「． トランスコンダクタンス増幅回路は、1つの差動対と1つのカラントミラーから構成されている。． この増幅回路は、差動対を電圧で制御することにより、カレントミラーに流れる電流を制御する．＿． 図4．10にトランスコンダクタンス増幅回路を示す「．図4．10の回路について、全てのトランジ スタは飽和領域で動作しているものとする「．まずはじめに、差動トランジスタ対の動作について 考える・一・トランジスタ九日目ま電流源である「．このため、正常な動作状態ではそのドレイン電圧l七 は十分に大きいため、ドレイン電流吊まゲート電圧l′もで決まる（．トランジスタ八才1、八才2、八加 に流れるドレイン電流Jl、72、九は以下のように与えられる。． 71＝呈（t′トー叛・一冊 ′2＝誓（l′トl′七一舶 ′ら＝呈（t信仰・ 式（4・48）、式（4・49）より、トランジスタ〃1、〟2のゲートソース電圧l′㌫卜l′も52はそれぞれ式 （4．51）、式（4．52）で与えられる「． 鴨51＝l与＋ （4．51） l′も32 ＝l与＋ （4．52） 以上より、差動電圧△l′もは以下のように表される「． △l′右 ＝l′も51−l′ち52， 一方、ドレイン電流71、72の和ほんと等しくなくてはならない二．このためドレイン電流71、72 は、 左 ＝Jl＋72， JJ．＋上J右 2 ’ 九一△左占 73 第4章 アナログ回路による連続時間系ニューラルネットワークの設計 となる一．ここで△転は、 △Jぉ＝71−72． （4．58） である一′・このため、式（4．54）は以下のように書き換えられる「． （4・59） ここで、 とすると、式（1・62）が導かれる・「この式から分かるように、ゲート電圧の差△l′もに対し、ドレ イン電流の差△転は単調増加でかつ、飽和特性を持っことが分かる「． 〟 ＝ ・r （4．62） トランスコンダクタンス回路の差動対に付属しているカレントミラーは、ドレイン電流Jlと72 を減算するためのものである′・このためトランジスタ八才3を流れる電流Jlは「．トランジスタ〃4 を流れる電流と等しくなる「・したがって、出力電流左吊は71−′2となり△転と等しくなる「．こ のため、トランスコンダクタンスの出力電流左l詔ま式（4．62）で導出されたものと等しくなる「． 次に、トランスコンダクタンス回路の動作説明をする「・ゲート電圧l′1がl′ちより大きい場合、 トランジスタ凡才2がカットオフとなり、バイアス電流丁目まトランジスタ〃1を流れる「．すなわ ち、ドレイン電流Jlはバイアス電流左とほぼ等しくなり、ドレイン電流72はほぼゼロになる「． 反対にゲート電圧lノちがl′1より大きい場合、トランジスタ〃1がカットオフとなるため、ドレイ ン電流引ま右とほぼ等しくなる′・以上の動作からも分かるように、トランスコンダクタンス増 幅回路の入出力特性は、単調増加でかつ飽和特性をもつ．一．このため、ニューロン回路として用い ることが可能である．＿． 74 第4章 アナログ回路による連続時間系ニューラルネットワークの設計 図4．10：トランスコンダクタンス増幅回路 4．4．2 動作限界 図4・5に示すトランスコンダクタンス増幅回路は、ニューロン回路として使用することできる「． しかし、図4・5に示す回路では、出力が直接差動トランジスタ対から与えられているため、トラ ンスコンダクタンス回路の動作範囲は出力端の電圧に依存しているr一・出力電圧が供給電圧l／もか より高い場合は、当然トランスコンダクタンス回路は動作しない仁．これはカレントミラーを構成 しているトランジスタ凡才4のソースとドレインが逆転してしまうため、カレントミラーの構成が 崩れてしまうからである「．しかし、実際にはそのような状況が起るとは考えられない「．問題とな る場合は出力電圧が低い場合である〔．ゲート電圧l′1がl′ちより大きい場合を考える「．この場合、 トランジスタ八才2のソース電圧l′もはほぼβ（l′1−1′も）と等しくなり、J2はほぼゼロになる「．その ため、出力電流L詔まほぼJlと等しい電流が流れる・、出力電圧を下げていくと、出力電圧lノこHf がトランジスタAJ2のソース電圧l′も以下になるまでは正常に動作するが、出力電圧l′tufがAJ2 のソース電圧lノ二以下まで下がると出力端はトランジスタ八才2のソースになり、l′乞点はトランジ スタAJ2のドレインになる．−．トランジスタ凡才2のドレインとソースが反対になることにより、ト ランジスタ凡才2に流れる電流は逆転する．一．出力電圧をさらに下げると、トランジスタAJ2のゲー トソース間電圧が増加するために出力電流Lfは指数間数的に増加する．一．負の電流72は、ドレ イン電流Jlの増加によって供給され、ドレイン電流Jlの増加はトランジスタAJ4を流れる出力 75 第4章 アナログ回路による連続時間系ニューラルネットワークの設計 電流を増加させる亡・ゲート電圧l／ちがtlより大きい場合も同様のことがいえる．一．この様に、出力 電圧のにより、トランスコンダクタンス回路の動作範囲が制限されてしまう「． 4・4・3 出力電圧に依存しないトランスコンダクタンス増幅回路 トランスコンダクタンス増幅回路では、出力端が直接トランジスタ凡才2に接続しているため、 出力電圧により動作範囲が制限された．一．しかし、図4．6に示すトランスコンダクタンス増幅回路 は出力端が直接トランジスタ凡才2と接続していない。．このため、回路の動作範囲を広くすること ができる・一・この回路は、トランスコンダクタンス増幅回路の出力を直接出力する代わりに、トラ ンジスタAf2はトランジスタA邦と八才6からなるカレントミラーに接続されている。．さらに、ト ランジスタAf6のドレイン電流はトランジスタ肌、八才8によりミラーされ、電流74からそれを 差し引いて出力を作るl二・トランスコンダクタンス増幅回路の場合と同様に、出力電流はJlと72 の差で与えられる．′． 図4・11‥出力電圧に依存しないトランスコンダクタンス増幅回路 76 第4章 アナログ回路による連続時間系ニューラルネットワークの設計 4．4．4 ヒステリシスニューロン ヒステリシスニューロンには、ヒステリシスコンパレ一夕回路が用いられる▲．ヒステリシス ニューロンを図4・12に示すて・図4．12において、蟻即は参照電圧であり、抵抗勘、及びβ2はそ れぞれ正帰還のための抵抗である．二．この抵抗の比でヒステリシス量が決まる二． ヒステリシス回路の出力電圧が，■Low■である場合のコンパレ一夕動作について考える「．この状 態でのコンパレ一夕回路の正の入力端子の電圧l／与は、 月2l′㌦＋月ll′もl此 l′与 β1十月2 ’ （4．63） となる・一・ここで、l′LutLはLowLevelのときのコンパレ一夕回路の出力である「．式（4．64）より、 出力電圧l′二川tが”Low”から’’High’■に変化するときのしきい値電圧l′てnHは次式で与えられる。． l′てγ↓〃＝（1＋訂触一芸帰心 （4・64） つまり、入力電圧l′㌦がしきい値電圧l′てγと〃より大きくなった場合、出力電圧l／′こufは，し。W”か ら”High■’に変化するr・また、ヒステリシス回路の出力電圧が”High町である場合のコンパレ一夕 回路の正の入力端子の電圧l′与は、 l与 β21／㌦＋β11㌔U，偶 月1＋月2 ’ （4．65） となる「・ここで、l′読，tHはHighLevelのときのヒステリシス回路の出力である。．このため、出力 電圧l／二。′tが”High1’からつ■Low”に変化するときのしきい値電圧tlnLは次式で与えられる．′． l／圭〃＝（1＋計′五gF一芸‰f〃・ （4・66） 式（4・64）、（4．66）よりしきい値電圧l′てγ止、tうTと〃の中点、及びヒステリシス幅は以下のように与え られる、＿． l′㌦ガ＋l′て止 月lV拙止＋1′u止打 ＝（1＋釦右脚一芸 l′与れ〃＋−′てγ止＝訃′㌦几＋l′㌦沌亘 従って、しきい値電圧を変えるためには、月1、月2、蟻gFのいずれかを変えればよい「． 77 第4章 アナログ回路による連続時間系ニューラルネットワークの設計 凡 図4．12：ヒステリシスニューロン回路 §4．5 ニューラルネットワークの設計 前節で示した個別素子を用い、4ニューロンから構成されるニューラルネットワークの設計を 行う「・ニューラルネットワークの回路図を、図4．13に示す。，回路中のそれぞれのブロックは、外 部入力（電流源）シナプス回路、積分回路、ニューロン回路である「．シナプス回路にはフロー テイングレジスタ、または四象限乗算器を用いる「．これらの回路は、負のシナプス荷重を実現す ることができるため、出力を反転させたニューロン回路を必要としない。．また、ニューロン回路 には、図4・6に示すトランスコンダクタンス増幅回路、またはヒステリシスコンパレ一夕回路を 用いる。・前節で示したように、トランスコンダクタンス増幅回路の出力は電流で与えられる「．こ のため、トランスコンダクタンス増幅回路を用いてニューロン回路を構成する際には、電流電圧 変換回路を用いてニューロン回路の出力を電圧で与える必要がある。，シナプス回路に用いられる フローテイングレジスタ、及び四象限乗算器を正常に動作させるための動作範囲がある．＿．このた め、ニューロン回路の出力が、この動作範囲から外れてしまう場合は、増幅回路で出力電圧の調 節を行う必要がある「．また、本設計で用いる積分回路は、オペアンプで構成される積分器を用い る〔3章ので求めたシナプス荷重を用いて、アナログニューラルネットワークのシミュレーショ ンをHSPICEにより行う「．3．5．1節のシミュレーション結果を図4．14−図4．17に、3．5．2節シミュ レーション結果を図4．18−図4．21に、3．5．3節シミュレーション結果を図4．22、図4．23に示す「． 3・5・1節のシミュレーションでは、シナプス回路にフローテイングレジスタ、ニューロン回路には トランスコンダクタンス増幅回路を使用し、3．5．2節のシミュレーションでは、シナプス回路に四 象限乗算器、ニューロン回路にはトランスコンダクタンス増幅回路を使用する「．また、3．5．3節の シミュレーションでは、シナプス回路にフローテイングレジスタ、ニューロン回路にはヒステリ シスコンパレ一夕回路を使用する′．それぞれのシミュレーション結果から、設計した回路が正常 に動作していることが確認できる「． 78 第4章 アナログ回路による連続時間系ニューラルネットワークの設計 ① 外部入力 亘 シナプス回路 回 積分回路 吾 ニューロン回 図4．13：4ニューロンからなるアナログニューラルネットワーク 79 第4章 アナログ回路による連続時間系ニューラルネットワークの設計 STArE 0．001 0．002 TIME 図4．14：例題1のシミュレーション結果：初期値0 0．001 0．002 TIME 図4．15：ニューロンの出力：初期値0 80 第4章 アナログ回路による連続時間系ニューラルネットワークの設計 SmE 0．001 0．002 TIME 図4．16：例題1のシミュレーション結果：初期値7 0．001 0．002 TME 図4．17：ニューロンの出力：初期値7 81 N∞ O型緊岸︰雫王eヽnlH‖︰巴．寸区 凹∑Hト 営0．0 ﹁00．0 l l l l l l l l l l 1− トー ＝） 0 l P J ト ＝〉 0 l ぐつ トー ＝〉 0 l 1才 トー ＝ l 0 l l t 盲 ＿」 l l l l l l l l l l l l l l l O型評定︰球史八mヽ1上H〃ヽeN蟄置︰∞1．寸区 岩 0 ． 0 凹雪白↑ N00．0 S﹁ 冒︻S 高額eへ1トエト竹上、恥1H＝喋臣皆産地嘩吊り一堂瓦もロ小卜 舶寸時 第4章 アナログ回路による連続時間系ニューラルネットワークの設計 SmE 0・001 0・002 TME 図4．20：例題2のシミュレーション結果：初期値15 0．001 0．002 TIME 図4．21：ニューロンの出力：初期値15 83 第4章 アナログ回路による連続時間系ニューラルネットワークの設計 STATE 0．001 0．002 0．003 TIME 図4．22：例題3のシミュレーション結果：初期値3 0・001 0・002 0．003 TIME 図4．23：例題3のシミュレーション結果：初期値9 84 第4章 アナログ回路による連続時間系ニューラルネットワークの設計 §4．6 まとめ 本章では、アナログ回路によるニューラルネットワークについて述べた．′．ここで、ニューラル ネットワークを実装するために必要となる2つのシナプス回路の提案をした「．一つ目の回路とし て、正と負の両方の抵抗値をもつ新しいフローテイングレジスタを提案したt＿．提案回路の等価抵 抗値は、MOSトランジスタのしきい値電圧に依存していないため、より正確な抵抗値を実現する ことができると考えられる．．．制御電圧により抵抗値を変更することができるフローテイングレジ スタは、ニューラルネットワークや、Rぐフィルタなどに用いられるだけでなく、乗算器やOTA （Opel・ationaIITransconducta・llCeAITIPli鮎r）などと同様にアナログ回路の基本ブロックとしても 用いることが可能であると考える．′． 二つ目の回路として、MOSFETの線形領域と飽和領域とを相補的に組み合わた四象限乗算器 を提案した．一．この乗算器は、入力信号範囲がしきい値電圧l与から電源電圧VDDまでの範囲で 動作することが可能である1‥．このため、従来の乗算回路と比較して電源電圧の低下に対して、有 利であると考えられる「． これら二つのシナプス回路を用いて、アナログニューラルネットワークを設計し、3章で設計 したリミットサイクルを発生するニューラルネットワークの動作検証をHSPICEにて行った，．こ のシミュレーション結果により、提案した線形回路は、シナプス回路として十分使用することが 可能であることが確認できた「．今後は、提案したシナプス回路を用い、実際にニューロチップを 実装し、動作検証を行う必要がある「． 85 第5章 結論 本論文では、高速にニューラルネットワークの解析を行う解析法、及び効果的にシナプス荷重 を求める方法について提案した。．また、アナログ回路によりニューラルネットワークの設計を行 い、その動作検証を行った。．ニューラルネットワークは、これまでのノイマン型コンピュータと は異なり、単純な機能をもつ素子が相互に多数結合し、情報を並列に分散処理することが可能で ある。・また、超並列性という、従来のコンピュータにはない特徴により、連想、認識、組み合わ せ最適化、経験に基づく予測などの知的情報処理装置のキーデバイスとしての実用化が期待され ている。・これまで、さまざまな種類のニューラルネットワークや、ニューラルネットワークの学 習法などが研究されているものの、ニューラルネットワークの解析法については、あまり研究が なされていなかった。．ニューラルネットワークのシミュレーションを行うためには、その冗長な 処理機構の特徴によって、極めて膨大な量の演算を行う必要がある。．このため、ニューラルネッ トワークの動作検証を、正確に高速に行うことは、各種構成のネットワークの評価や、応用技術 の開発を行う上で大変重要である「．また、ニューラルネットワークを高速に処理実行することを 目的とした、ニューロチップの研究も盛んに行なわれている。．現在までに、さまざまな回路方式 のニューラルネットワークが提案、試作が行なわれている「．特に大規模な信号のフィードバック があるニューラルネットワークに関しては、情報のコード化により離散時間で演算処理を行うバ イナリディジタル方式では、ネットワークの緩和過程を繰り返し演算する必要があるため、演算 処理が膨大となる「．このため、ニューラルネットワークの機能を十分に発揮することは難しい「， また、ニューラルネットワークの特徴である、アナログ、非線形、高並列処理性といったニュー ロダイナミクスのメカニズムの解明、及び性能評価を正確に行なうためにも、やはりアナログ回 路によりニューラルネットワークを実装が不可欠である「． 第2章では、連続時間系ニューラルネットワークの解析法について述べた「．一般的に、ニュー ラルネットワークの動作検証は、ニューラルネットワークの動作方程式である微分方程式を解析 することにより行われる「．この解析方法は、詳細で高精度な結果を得ることが可能である「．しか し、これらのモデルは、非対称結合で制御パラメータの数が非常に多いため系が高次元になる「． このため、解析に非常に多くの時間を必要とし、理論的解析は非常に困難であった。．そこで、制 御パラメータを少なくすることにより、ヒステリシスニューラルネットワークを解析する方法、 及びニューラルネットワークの動作方程式である微分方程式を陽的に解析することなく、ニュー ラルネットワークの動作検証を行う解析法が提案された「．前者は、相互結合を一様とし、制御パ ラメータをしきい値と自己結合の2つすることにより解析を行っている．＿．−一方、後者はⅠtiIlet−ic ベクトルと呼ばれる特徴量とニューロンの出力との関係を用いることにより、ニューロンの出力 ベクトルの安定状態、及び状態遷移を調べている＿．しかし、この手法は、ニューロンの現状態で 86 第5章 結論 の内部状態を考慮していないため、正確にニューラルネットワークの次状態を求めることができ なかった。．そこで本研究では、現状態での内部状態を考慮することにより、連続時間系モデルの 解析を正確に行う手法を提案した。．ニューロンの出力は、ニューロンの内部状態がしきい値に達 したときに変化する。．このため、ニューラルネットワークの解析を行う際に、ニューロンの内部 状態を考慮せずに正確な解析を行うことはできなかった「．また、この解析法を、多値論理ニュー ロンから構成されるニューラルネットワークに応用することにより、効果的に連続時間系ニュー ラ′レネットワーク解析することができることを示した「．先に提案した解析法は、シグモイド関数 のゲイン係数が非常に大きいものとして解析を行っていた「．このため、ニューロンの出力に中間 値を持たないため、正確にニューラルネットワークの解析がなされない場合があった「．しかし、 ニューロンの出力を（乃−1）等分し、2値ニューロンの入出力関数を円．値の区分定数関数に近似 することにより、より正確にニューラルネットワークの解析を行うことが可能である。本論文で 提案した解析法は、ニューロンの入出力関係を区分定数化し、それをもとにKineticベクトルを 区分定数化することにより、ニュートン反復の必要性をなくしている。．さらに、積分に対する最 適なタイムステップを用いていることにより、より高速な解析を実現している。． 第3章では、連続時間系ニューラルネットワークの設計法の提案、及び設計例を示し提案設計 法の有効性を示した。．これまで、時系列の情報をニューラルネットワークに学習させる方法とし て、バックプロパゲーション法を拡張したアルゴリズムが各種提案されている「．これらの学習法 は、時間的な信号伝播の様子を空間的に展開することにより、相互結合ニューラルネットワーク の学習を、階層型ニューラルネットワークの学習と置きかえることにより学習を行っていた。．し かし、これらの学習法は、非常に多くの計算量を必要とし、初期値によっては、学習パターンを 全て記憶できる十分余裕のある結合で構成されたネットワークにもかかわらず、総誤差関数が局 所的最小値に収束してしまい最適なシナプス荷重を求めることができない場合があった。．そこで 本論文では、ニューラルネットワークのダイナミクスから直接シナプス荷重を求める設計法を提 案した。．この設計法は、ニューロンの出力ベクトルとKineticベクトルを用いることにより、シ ナプス荷重の拘束条件を求め、この線形計画問題を解くことによりシナプス荷重を求めている∩ この設計法は、ニューラルネットワークのダイナミクスからシナプス荷重の拘束条件を求めてい るため、より正確にニューラルネットワークの設計を行なうことが可能であると考えられる。．さ らに、ヒステリシスニューラルネットワークについても提案設計法を適応し、設計例を示した「． ヒステリシスニューラルネットワークを用いることにより、シグモイド関数を用いるニューラル ネットワークでは設計が困難であったリミットサイクルも、容易に設計することが可能である。． この設計法は、静的情報、及び動的情報を容易にニューラルネットワークに埋め込むことが可能 である「．本設計法は、ニューロンの出力ベクトル、及びⅠ（iIleticベクトルのみを用いて、設計を 行っているため、容易に設計ができる反面、制御パラメータが少ないために線形計画問題が解け ない場合がある仁．設計の際に重要となるのが、線形計画問題を解く際に用いるパラメータ￠Trとで ある「．この￠mは、ニューロンの変化量Td可dfと等価なものとして扱っているため、適切な￠Tn を選ぶことにより、ニューロンの内部状態を制御することが可能である「．今後の課題としては、 適切な￠γ托の選び方に関する考察が必要であると考えられる「． 4章では、アナログ回路によるニューラルネットワークについて述べた「．ニューラルネットワー 87 第5章 結論 クをアナログ回路で実装する場合、一般的にシナプス荷重には抵抗、及び乗算器が用いられる。． 抵抗を集積回路で実装する場合、トランジスタやキャパシタと同様にシリコンウェハー上に形成 される「．しかし、ポリゲート抵抗などの抵抗素子を用いて集積回路を構成した場合、抵抗値を 変化させることはできない一．このため、シナプス荷重を変更することにより、さまざまなアプリ ケーションに応用することができるニューラルネットワークには、このような抵抗素子は適して いない一．さらに、これらの抵抗では、負の抵抗値を実現することができないため、負のシナプス 荷重を実現するためには、出力を反転させたニューロンを用いなければならなかった′，ここで、 ニューラルネットワークを実装するために必要となる2つのシナプス回路の提案をした「，一つ目 の回路として、正と負の両方の抵抗値をもつ新しいフローテイングレジスタを提案した。．提案回 路の等価抵抗値は、MOSトランジスタのしきい値電圧に依存していない「．このため、より正確な 抵抗値を実現することができると考えられる「．制御電圧により抵抗値を変更することができるフ ローテイングレジスタは、ニューラルネットワークや、RCフィルタなどに用いられるだけでな く、乗算器やOTA（OperatiollalTl・a，IISCOnductanceAmpli鮎r）などと同様にアナログ回路の基 本ブロックとしても用いることが可能であると考える（．二つ目の回路として、MOSFETの線形 領域と飽和領域とを相補的に組み合わた四象限乗算器を提案した。．この乗算器は、入力信号範囲 がしきい値電圧l与から電源電圧l′′かかまでの範囲で動作することが可能である「，このため、従 来の乗算回路と比較して電源電圧の低下に対して、有利であると考えられる。．これら二つのシナ プス回路を用いて、アナログニューラルネットワークを設計し、3章で設計したニューラ／レネッ トワークの動作検証をHSPICEにて行った。．このシミュレーション結果により、提案した線形回 路は、シナプス回路として十分使用することが可能であることが確認できた。∴提案する2つの回 路では、シナプス荷重を制御するための制御電圧が多数必要となる。．このため、これらの制御電 圧をどの様にして与えるかということが課題である．一．今後は、提案したシナプス回路を用い、実 際にニューロチップを実装し、動作検証を行う必要がある「． 本論文では、連続時間系ニューラルネットワークの設計法、解析法、及びアナログ回路による 実装についてのべてきた「．近年、ニューラルネットワークのとその関連分野に関する研究は、ネッ トワークの構成法や学習方法といった主にソフトウェアに集中している「．このため、ニューラル ネットワークの動作検証を、正確に高速に行うことは、各種構成のネットワークの評価や、応用 技術の開発を行う上で大変重要である「．しかし、ニューラルネットワークの特徴である、アナロ グ、非線形、高並列処理性といったニューロダイナミクスのメカニズムの解明、及び性能評価を 正確に行なうためには、コンピュータによるシミュレーションではなく、アナログ回路による実 装が不可欠である仁．しかし、今回設計したニューラルネットワークは、極めて単純なものであり、 今後生体脳に匹敵する高度な機能を工学的に再構築し、ニューラルネットワーク技術を実用化す るためにはまだまだ多くの課題が残されている．′． いずれにしても、現在提案されているほとんどのニューロハードウェアは可能性の段階で、実 用化の段階にはいたっていない1一．しかし、本論文で提案する解析法、及び設計法などを用いるこ とにより、より高速に、より簡単にニューラルネットワークの設計及び解析を行うことができれ ば、高度な知識情報処理装置のキーデバイスとしてのニューラルネットワークが実用的システム になることが期待できる十． 錮 謝辞 本研究を進めるにあたって、終始、御勉励いただいた浅井秀樹教授に心より御礼申し上げます。． また、本論文の審査をして下さいました大坪順次教授、渡連健蔵教授、川人祥二教授に深く感謝 いたします「． 私の研究の基礎を築いて下さり、また、本研究において、有益なる御討論及び御助言をしてい だだいた二宮洋博士（湘南工科大学）、神尾武司博士（広島市立大学）に深謝いたします。＿．また、 これまでの研究において浅井研究室の皆様には活発な討論を通じて大変お世話になりました「．特 に、山本敬之氏（ブラザー（株））、SllaShidharTANTRY（本学博士課程学生）、西川隆記氏（ロー ム（株））、真鍋伸輔氏（NTTドコモ四国（株））、吉田昌弘氏（本学博士課程学生）、大浦崇央氏（本 学修士過程学生）、鈴木勉氏（本学修士過程学生）との活発な討議は本研究にとって大変有意義 なものでありました「．皆様に感謝の意を表します「． 渡逓貴之博士（静岡県立大学）、加茂篤司氏（本学博士課程学生）、捏坂洋氏（シャープ（株）） には、学生生活を通じて公私ともにお世話になりました「．御礼を申し上げます〔． 私の学生生活を有意義なものとしてくれた、掛替えの無い友人たちに心から御礼を申し上げ ます「． 最後に、とりわけ今日まで私を支えていただいた両親をはじめ家族の皆に、深く感謝いたし ます「． 89 参考文献 ［1］J・J・Hop鮎1d了一Neul・a・1Ilet−WOl・ksaIldpIlySicalsystemswitllernel・geIlt・COllectivecomputa・− tノionalabilit・ies：’PrY）C・N〟tI・Acad・，5ti・U．514，VOl．79，PP．2554−2558，Apl・．1982． ［2］J・J・Hop鮎ld，“NellrOIISWitlhgra・dedl・eSpOllSe ha′VeCOllect−ivecomputationalpropel・ties liketrhoseoftwo−St′atleI−eul・OnS：’Proc・N〃打．Acad．Sci．USA，VOl．81，Pp．3088−3092，May 1984． ［3］J・J・Hop鮎ld and D・W・Ta・nk了“Neul・aIl”Comput′a】tlioIlOfDecisioIISirlOptimiza．tion Problems：’Biol．CybEm．52，pP．141−152，1985． ［4］D・W・TarnkaIldJ・J・Hop鮎ld，”Sirnple”Neul、al”Opt・imizatioIINetwol・ks：AnA／DCon− Vel・tIer，SigI￣larlDecisionCilてuit，andaLilleal・Pl・Ogra・rrlrrllngCilでuit，”IEEE77YJru．CirruitS Sy・扉・，VOl・CAS−36，pp．533−541，Ma・y1986． ［5］M・I・Jordan，“SeI・iaIlol・der：A para′llel，distlribut・ed processingapproach：’7tch．REPOrt， ICS−8604，Unicel・SityofCalifbl・Ilia，Sa・llDiego，1986． ［6］T・Itohonen，“The“Neura・l”pllOnetpictypewl・itper：’IEEEcomputtr．，VOl．21，110．3，PP． 1ト22，19R8． ［7］L・0・Chua・a・lldL．Yang，”Cellula・rNelll・a・lNet′WOl・ks：Theol・y了IEEE77YnlS．Cirrui損▲5YySt．， VOl．35，110．10，PP．1257−1272，Oct．1988． lS］H・NiIlOmiya，It・Satpo，T・Nakaya・nla，a・IldH．Asai，”Nellra・lNet・WOrkAppl・OarlltOTrarveling SalesrnaInPl・ObleIrlBasadonHiera・rCllicalCityAdjaceIICy了Prvc．1995［EEEITdtmatioT∼〟l （も所作n（・f OnⅣ川r〟JArf抽卯如，VOl．50r6，PP．2626−2631，Nov．1995． ［9］H・Asai，T．Nakaya・IIla・a・lldH，Ninorrliya了TilingAlgoritlllmWitJhFit′t′iIlgViolat，ioIIFurlCt，iorl fbl・AIlalogNeul・alAl・l・ay了1995［EEEhltFrT”（iormICYor垂r・EnCF mlNF7Lr・alNEtwor・ks，VOl． l of4，Pp．565−570，jlHle．1996． ［10］二昏阻中山武司，浅井秀樹了アナログニューラルネットワークによる接触検出関数を用い たタイリングアルゴリズム了電子情報通信学会論文誌A分冊vol．J80−A，110．11． 90 参考文献 ［11］S・CllO，”Neul・a・1Netpwol・ksClassi鮎rsfbrRecognizingTot，a，11yUncollSt，ra，inedHandwl・itten Nllmel・als了IEEE升alt．N仁1mZlNetworks．vol．8，nO．1，Pp．43−53，Ja・n．1997． ［12］G・E・HiI−tOn，P・Daya11a・lldM．Recow了・Modelingt，heMa・nifbldsofIrIlageSOdHaIldwrit，teII Digit：．IEEE升…・NFuraINetwor転vol．8，110．1，PP．65−7才Jan．1997． ［13］森田昌象村上阻・俳単調神経回路網による時系列パターンの認識了電子情報通信学会論文 誌D−Ⅱ，VOl．81，nO．J，pp1679−1688，Jllly1998． lli］M・1bsllida・，T・Ita′mio，H・Asa・i，一・Neul・0−BaJSed Hurrlan−Face R．ecognit．ioII Wit，h2− Dimensiolla・lDiscl・eteWa・lsh Tra・nSfbl、m了2000IntErnatior”lCor垂rfrlC仁、On NFurY71Net− ぴOr転Jllly2000． ［15］G・AvitIabile，M・Forti，S・Ma・nett・iandM．Ma・rini，”OnarClassofNonsyrrlmetricalNeul・al NetworkswithApplicat・iont′OADC：lIEEE77mtS．Cirt・・tLitSSyst．，VOl．38，nO．2，PP．202− 209，Rb．1991． ［16］J・Yuha・nd R・W・Robert，“AMultilevelNeuralNetIWOrkfbrA／DConversion：，IEEE 耶Ⅶ帆Ⅳ川和〃仁hJOr転vol．4，110．3，pp．470−483，May1993． ［17］Y・Hayashi，“Oscillatol・yNeura・lNetworkandLearningofCont，inuouslyTl・anSfbrmedPat．− †・el・−lS了 〃用mJルビ抽or鮎，VOl．7，pP．219−231，1994． ［18］H・Sompolinskya・ndLKa・lltel・，”Tempora．lAssociatiorlinAsymrnetl・icNelll・alNetworks：， P旬β・月紺．上とは，VOl．57，pp．2861−2864，1986． ［19］Y・Mol・i，P・Da′Vis，alld S・Nara′，“Palttern Retrieva，1illallAsymmetricNeuralNetwork WithEmbeddedLirnitCycles，”JoumalqfPhyS．，VOl．A22，PP．L525−532，1989． ［20］安達雅春，合原一幸，小谷誠了バックプロパゲーション・ニューラルネットワークによる 決定論的非線形予測了信学技法，NLP91−30，1991． ［21］H・Graf，L・Jackel，R・Howal・d，B．Stra．ghn，J．Denker，W．Hllbbal・d，D．Tellnant and D・Schwa・rtZluVLSIImplementaItionofa neul・alnetlWOrk memory wllit・SeVel・a・1hulldl・ed OfneurollS了N用rYIlN拍′，Ork・SjbrComputing，AIPConfbl・eIICeProceediIlgS，110．151，PP． 151−158，1986． ［22］M・It・HABIBandH・AI（EL了−ADigitIalNeuroll−TypePl・OCeSSOl・andIt，SVLSIDesigll：． JgggnⅥ帆e正TJ掠▲5’y軋VOl・36，I10・5，Pp・739−746，1989． ［23］T・Mol・ieand Y・Amerrliya，“An All−AnalogExpa．rlda，bleNeul・alNetwork LSIwit，h On− Cllip Ba・Ckpropagatpi0−1Lea・1・Iling：．IEEEJ7mlLalqfSolid−Stat仁CiTTIJ由vol．29，nO．9， Pp．1086−1093，1991． 91 参考文献 ［24］S・Ta・nt・ry，T・Yolleyarmar，H．Asari了TwonoatingResistol・Cil・Cuitsa・ndTheirApplica．t．ionin AnalogNeul・alNet・WOl・ks：1IEEEInternatior”lSymposilLn川1−Circuit・SandSystEnM，VOl．1， pp．564−56も2001． ［25］It・Jin’no．aJldT．Saito了AnalysllSOfPeriodicAt，tl・aCtOriIlaSimpleHysteresisNetwol・k：1 IEI（YE77m・＄・nmda17mltals，VOl・E79−A†nO・6，PP・873−882，June1996・ ［26］Y・Itobayashi，K・Jin’noalldT・Saitpo了Analgorithmfbr範一ldinga11solut，ionsofallyStereSis rlelll■all−et・WOl・krIEICE升anS・OTtfblldam仁ntal・亨，VOl．E82−A，nO．1，PP．167−172，1999． ［27］神野健哉了ヒステリシスニューラルネットによる組合せ最適化問題の解の探索，，日吉学技軋 NLP99−84，pP．115−120，Sep．1999． ［28］T・Sait・0，“Cha・OSfl・aprrlaFol・CedNeuralTypeOscillator：1IEICE7hn5，，VOl．E73，nO．6， PP．836−841，1990． ［29］C・Y・Pa・1・k，Y・Hayaslli，Ⅰ（．NaJkajimalaIldY．Sa，WaIda，”LimitJCyclesofOneDirrlenSiollal NeuralNetWOrkswiththeCyclicConnectiollMaIt，rix了IEICE77mlS．Fulldamentals，VOl． E79−A，pP．752−757，June1996． ［30］中川朗洋，加茂篤司，二宮洋，浅井秀樹了−ニューラルネットワークの時空間パターン解析用シ ミュレータ了信学技報，NIJP97−101，PP．17−24，Sept′．1997． ［31］JellDougYull，RubertW・Newornb，’LAMultilevelNellralnet′WOrksfbl・A／DConvel・sion，” 〃rgg7毎耶・〃…mJルビ√紺の鴫vol．4，110．3，pp．470−483，1993． ［32］S・LiIl，E・S・Itull，M．M．Sadowska了St，ePWiseEquiva，leIlt，CondllCt．anCeCilでuit，SiITlula．tion ltchIliquelnIEEEThlnS・Computer−AidEdDeslgn，VOl・2，nO・5，Pp・672−683，May・1993・ ［33］S・Abe，“Theoriesont・heHop鮎ldneuralIlet′WOrks，”PTY，（・，1989InttmationalCorJtrcTtCF Oアール用mJ〃仁抽Orb，VOl．Ⅰ，pP．557−56もJuIle1989． ［34］S・Abe了Globa・lCoIIVel・gellCeaIldSuppressionofSpul・iousStatesoftheHop鮎IdNeurarl NetIWOl・ks，■’IEEE77YmS・CiTrlか鞄St．，VOl．40，110．4，Apl・il1993． ［35］JoppeA・，Cal・doIIH・R・A・a′ndBiocllJ・C．，“ANeul・alNetJWOrksfbl・SoIvillgtlleTl・aVellillg Salema・11ProbleITlOIltIhe Basis ofCity Adja・CenCyin Tlle TouI了ITltemationulNtJumJ ル抽ork r’叩恒…町1989． ［36］相島走行萬膳善久，“巡回中の都市隣接性に基づいた巡回セールスマン問題のニューラル ネットワークの埋め込み了信学論（D−II），J74−D−II，110．8pp．1080−1089，1991． ［37］佐藤一晩中山武孔二宮洋，浅井秀樹了i都市隣接性に基づく巡回セールスマン問題のニュー ラルネットワーク解法とその階層化了信学技報．NLP94−117，pP．105−112，Mal・．1995． 92 参考文献 ［38］秋山泰了ホップフィールド型ニューラルネットワークにおけるエネルギー最小状態への収束 性を向上させる3つの技法了信学技報，NC90−40，1990． ［39］神野健哉、斉藤利通了漣続時間ヒステリシスニューラルネットの解析と合成了電子情報通信 学会論文誌vol・J75−A，nO・3，pp．552−556，1992． ［40］M・Sato了ALearningAlgorithmtoTba．chSpa，t．iotempora．lPatternstoR，eCul・rellt′Nelll・al Net・WOl・ks：，Biol・CybErn・，VOl・62，PP・259−263，1990． ［叫PeaTlIrlllt′tel−B・A，“Leal・ningSta．teSpaceTraject．oriesi−lRecurl・entNeura．lNet，WOl・ks：．NE／u一 mJrbr叩〃′扉fon，VOl．1，pp．263−269，1989． ［42］仲井弘治，牛田明夫，“セルラーニューラルネットワークの一手法了電子情報通信学会論 文誌A，VOl・J77−A・nO・8，pp・1137−1145，Aug・1994・ ［43］仲井弘治，牛田明夫，“過剰な不等式制約条件をもつ最適化問題の→解法了電子情報通信 学会技術研究報告，NLP96−11，pp．1−7，May1996． ［44］久志本茂，“最適化問題の基礎了森北出版，1988． ［45］MessaraR′・E，“OptlimizationMethodsinElectl・OnicCircllit，SDesign：，johllWileySons， N．Y．1991． ［46］岩田穆監修了でMOSアナログ回路設計技術了トリケッブス軋1998． ［47］It・Na，garaj，”NewCMOSnoatIingvoltagecolltprOllresist−el了EleCtrYmic．SIFtt叩VO122，PP． 667−668，1986． ［48］S・Sa・kul・ai，M・IsIrla・il了ACMOSSqual・eLaIWPl・Ogl・alnInableFloa．tingRegist．orIndependent OftheThresholdVolt′age：．IEEE升anS・OTICirruitSandSySttms，VOl，39，1−0．8，PP．565− 574，1992． ［49］S・P・SiI一gh，J・V・HallSOllaIldJ・Vlacll，”ANewFloaItingR．esistol・fbrCMOSTbchnology．” 且k車研一gc・∼上仁情r・亨，VOl・36，pP・1217−1220．1989． ［50］W・Sul・akarrllPOIltrOn，”CMOSFloatillgVoltaIgeControlledNegat，iveResistol・：，ElectrvrlicS 上川仁r・亨，VO128，Pp．1457−1459，1992． ［51］B・Gilbert了‘Apl・ecisionfb11rqlladl・a・ntrrlultiplierwit，llSubnanosecolldl・esponse，”IEEEJ． ・OJ最▲5’〟k r’江川毎vol．SC3，PP．353−365，Dec．1968． ［52］HoJunSorlgandCl10011gI（iItim了−AIIMOSFolll・Qlla・dra・ntAnalogMult．iplierUsiIlg SimPleTwoSquarHlgCilTllitwitphSourceFbllowel・S：IIEEEJ．SolidStatECir・CILit．5，VOl．25， 110．3，JllIle1990． 93 参考文献 ［53］C・Mead・一一AIla・logVLSIandNeul・alSyst，errlS：lAddisolトWesleyPublishillgCompa．lly，1989． ［54］Y・AriI叫M・Murasaki，T・Yarllada，A．Ma・edaalldH．Shil1011a・l・a・、一一ARefl・eSllableAlla・log VLSINelll・alNetrworkCllipwith400NeuroIISand40Ⅰ（SvrlaPuSeS：．IEEEJ．SL）lidStuft rわで現れvol・27，1−0・12，pp・1854−1861．Dec．1992． ［55］M・Gl・ifhll・G・Taharra，Ⅰ（．Ⅰ（1101・PP，R′．Pinklla，nland B．Riley了・A1−11−milliont．l・aIISist，Ol・ llelll・all−etrWOl・kexecution ellgiIle了I．∼5’cc．DigtSt qF7tcnicaIpupfrS，PP．180−181，Fbb． 1991． 94 著者による文献 ［56］T・YbIleyaprlla，H・Nil10miyaallldH・Asai／LDesig1−Of3−VallledNeul・alNetworkswit・11Cyclic Con11eCtioIlfbrLimitCycleGellel・atol・：．1997IILtFr川tioTlaISymposiumorlNo1−1iTtEarThE一 明川棚川上4p坤r〟Jわ715，VOl．l or2、PP．277−280，Nov．1997． ［57］T・Yolleyarrla，H・NiIlOmiyaandH．Asai了DesigIlOf3−Va・llledNeul・a，1Netwol・kswit・hCyclic CollneCtIion fbr Lirrlit Cycle GelleratOl・：1998IEEEhlfFmationalCorJtTmCE・Or∼NeuTYll 肌血仰転pp．646−650，May1998． ［58］H・NillOrrliya，A・ItapmO，T．1bneyarrla・a′IldH．Asai了LAFast・Algorit・hmfbrSpaptioterrlPOl・al Patlt，el・IIAIlaIlysis ofNeuralNetwol・ks wit′h MllltJiva・lued LoglC，”IEICE升arLSaCtioTiS On 凡γ−血…fJ血J・S，VOl．E81−A，110．9，pp．1847−1852，Sep．1998． ［59］T・lblleyama，H．Ninorniya・arnd H．Asa十一一Desigllmet′llOd ofneuraIlnet・WOl・ks fbl・1imit CyClegeIlel・atOr了1999Interr”tionalCo可tTtnC〔011Nf／tm71Ne＋u，Orks，July1999． ［60］4．T．Yoneya・rrlaI，H．Ninomiya aIld H．Asa・i，“Desiglllllethodoflimitcyclegellel・at′Orby CyCliccolllleCtedIleul・aplnetWOrks1999EurvpEanCo可trtllCtOnCirTuitTheoryaTldDE5；ign， VOl．1，Pp．535−538，August1999． ［61］A．Ⅰ（alrlO，H．Ni110Iniyar，T．YoneyarIlaaIldH．Asai“AFastNeuralNetworkSimulatol・fbl・ Sta・teTrallSition AIla・lysis：’IEICE77YmSaCtioILqmlFtLlldam川血Is，VOl．2，PP．1796−1801， Sep．1999． ［62］T．Yoneyama．H．Ni110miyaaIldH．Asai了LDesigI10fHysteresisNeuralNet，WOrksfbrLimitJ （VcleGellel・a・†ノ01・了〃0上r4’蝕〟招onl仇拍bh〟V沼両町VOl．2，Pp．699−702，Nov．1999・ ［63］T・YoIleyaIrla，H．Ninomiya aIld H・Asari，”DesignIrletrhOdofLimitCycleGellel・at・OrBy Hystrel・eSis Nelll・alNetwol・ks：．2000ITd仁r・T”tiLn川J（1014trtnct orlN仁uralNttWOr・転July 2000． ［64］T・Yoneya・ma，H．Ninorlliya・a・ndH・Asa・i了DesigllMethOdofNeul・aIINetlWOrksfbrLilllit・Cy− CleGellel・atOrbvLillea・rProgl・ammlllg了IEICE升nl州CtioTL＄On凡ndamETdal．亨．VOl・E84− A，Il0．2，Pp．688−692．Rb．2001・ 95 参考文献 ［65］T・Suzllki，T・l’blleyanla，a・lldH．Asai了Desigl10f4Q−Multipliel・UsillgLinea・rarlldSat・111■a− trioI−Regiol10fMOSFETCorrlPlerrlentpa・lly：’Thf2001InterT川tioT川17tCJtllicuI（10可tr・ETtCE 即日n汀椚有／．51〃香山77月．ぐ抑岬ノJJかβ〟ndr’州n日用fr〟†わ町VOl．1，pp・128−131，Jllly2001・ ［66］Ta・kaoOURA．T．YoIleyaJr叫SllaSIlidlla・rTANTRYalldH．Asai了ACMOSFloatillgRe− Sisl・OrCircllitHav‖lgBothPosit−iveandNegat′iveResistraInCeValues了IEl（1E∵ 〟rL・SH・Ctim一声 別n九州血肌用血在（illpl・eSS）． 96