信頼度に基づく自動再送要求を用いた P300 - 古橋研究室

信頼度に基づく自動再送要求を用いた
P300 speller の判別時間短縮に関する検討
A Study on Reduction of Discrimination Time of
P300 speller Applied to Reliability-based Automatic Repeat reQuest
金田 佑介
Yusuke Kaneda
高橋 弘武
Hiromu Takahashi
吉川 大弘
Tomohiro Yoshikawa
古橋 武
Takeshi Furuhashi
名古屋大学
Nagoya University
Abstract: Reliability-based automatic repeat request (RB-ARQ) is an error control method designed for
a Brain Computer Interface (BCI), which makes a user keep thinking until a reliability is satisfied and can
improve the accuracy of BCI with a small loss of the speed. This paper applies RB-ARQ to P300 speller,
which is one of the communication tools of BCI, and then it shows that the time required for thought
discrimination is able to be reduced with the same accuracy preserved.
1
はじめに
とが多数報告されている [3, 4]．しかしながら，P300
speller の実用面での応用を考えたとき，判別正答率を
近年，Brain-Computer Interface（BCI）の研究が盛
高めつつも，判別時間を少しでも短縮することが求め
んになっている．BCI とは，脳から取得された信号を解
られる．
析し，その情報を基に脳からの指令をコンピュータに
情報通信分野では様々な誤り制御手法があり，受信側
伝えるインターフェイスである．BCI の研究が進むこ
で誤りを検出した後，送信側に再送を要求する自動再送
とで，重度の筋委縮性側索硬化症（ALS）のような，脳
要求（ARQ）や，各ビットの信頼度に基づき再送要求
からの運動指令は正常であるが，何らかの原因により
する Reliability-based Hybrid ARQ（RB-HARQ）が
筋肉が動かない患者が，思考するだけで機械を制御す
提案されている [5]．また，RB-HARQ を BCI に適合す
ることや，他者とのコミュニケーションをとることがで
るように改変した Reliability-based ARQ（RB-ARQ）
きると期待される．脳活動の計測では，非侵襲・安価で
が提案され，判別正答率改善に対する判別時間の増加が
あるため最も BCI に現実的な Electroencephalogram
少ないことが報告されている [6]．本稿では，BCI を用
（EEG）が用いられることが多い．EEG に基づく BCI
いたコミュニケーションツールである P300 speller に
のコミュニケーションツールのうちの一つに，Farwell
らが開発した P300 speller[1] があり，その特徴量とし
RB-ARQ を適用可能であることを理論的に示し，加算
平均法と比較して判別正答率改善に対する判別時間の
て，EEG から得られる事象関連電位（ERP）の一種で
増加が少ないことを示す．また，データの再送を選択的
ある P300 が用いられている．P300 speller では，6 ×
に行う Reliability-based Selective ARQ（RB-SARQ）
6 マスのマトリクス上にアルファベットと数字が 36 文
字配置されており（図 1），ランダムに 1 行または 1 列
を提案し，RB-ARQ との比較を行う．
ずつ 6 文字同時に 100ms 点灯させる．各 75ms の消灯
2
手法
を挟み，1 文字の判別に対する 12 回の点灯において， 2.1
被験者が選択した文字が含まれる行と列の計 2 回に対
Reliability-based Automatic Repeat reQuest
して P300 が現れるというものである．本稿では，こ
RB-ARQ とは，信頼度が基準を満たすまで送信側に
の 12 回の点滅を 1 セットと呼ぶ．P300 speller では， データの再送を要求する，つまり，ユーザが同じ思考
P300 の S/N を改善するため，複数セットの点滅から
得られる EEG データの加算平均をした後，文字判別を
を続けることで正答率を改善する誤り制御手法である．
K を思考の集合，xを u ∈ K （u：真の思考ラベル）
行っている [2]．また実際，判別あたりのデータ長（判
に属する，EEG データから抽出された特徴ベクトルと
別時間）を長くすることで，判別正答率が向上するこ
する．xがあるラベル k ∈ K に属する尤度，すなわち
1-1
A
B
C
D
E
F
G
H
I
J
K
L
M N
O
P
Q
R
S
T
U
V W X
Y
Z
1
2
3
4
5
6
7
8
9
_
= (arg max P (r|XR ), arg max P (c|XC ))
r
c
(5)
ただし，ûr ，ûc はそれぞれ推定された行及び列を表す．
t 秒目に得られる行に関する特徴ベクトルの集合 XR を
XRt ，T 秒目における XRt の集合を XRT = {XRt |t =
1, 2, ..., T } とそれぞれ定義する．同様に列に関しても
XCt ，XCT を定義すると，(XRT , XCT ) の信頼度 λT
は式（2）と同様に，
λT = max P (r, c|XRT , XCT )
(6)
r,c
図 1: 6 × 6 P300 matrix display
と な る ．こ れ は 行 及 び 列 に 関 す る 信 頼 度 λRT
=
= maxc P (c|XCT ) の積と考え
事後確率 P (k|x) を用い，xのラベルは以下のように予
maxr P (r|XRT )，λCT
測される．
ることができる．本稿では，λT が閾値 λ を超えるまで
û = arg max P (k|x)
(1)
12 回を 1 セットとした点灯を続ける方法を手法 1 とす
ただし，û は予測されたラベルであることを表す．式
る（図 2(a)）．また，行と列をセットとせず，行と列
(1) に現れる最大事後確率は判別正答率と等しく，デー
の点灯が独立に行われたと仮定し，初めに行の推定を
タの信頼度と捉えることができる．次に，時刻 t にお
行った後に，列の推定を行う，すなわち λRT ，λCT の
いて xt が得られるとし，XT = {xt |t = 1, 2, ..., T } を
閾値判定を別々に行う方法を手法 2 とする（図 2(b)）．
k
時刻 T におけるデータの集合とすると，XT の信頼度
手法 2 では，λRT ≥ λ かつ λCT ≥ λ となる行及び列
λT は式 (2) のように表される．
の判別時間 (TR , TC ) が異なる場合があり得る．
P (k|xt )
∏
l∈K
t P (l|xt )
λT = max P (k|XT ) = max ∑
k
k
∏
t
(2)
RB-ARQ では，λ を信頼度の閾値とし，ユーザが λT ≥
λ が満たされるまで同じ思考想起を続けることとなる．
2.2
T←1
TRi←1
T← T +1
T←1
λT ≥ λ
NO
YES
Get XTi
Predict T← T +1
P300 speller では，各行（列）における P300 の出現
の有無という情報を用い，P300 が出現した行（列）を
判別する 6 クラス分類により，文字判別を行う．
λT ≥ λ
r（ ∈ {1, ..., 6}）行目点灯時に得られる特徴ベク
トルを
Start
Start
Get XTi
P300 speller への適用
xrR
Start
YES
とし，r 行目に P300 が出現した事後確率
End NO
TRi← TI R+1
i←1
λRTR ≥ λ NO
YES
Get X ii
TCj←1
i← i +1
λi ≥ λ
YES
Get X CTiNO
C
TJC ← Tj C +1
Predict
P (1|xrR )，及び出現しなかった事後確率 P (0|xrR ) は既
知とする．一般に，これらは学習データから推定され
る．6 行分の点灯から得られる特徴ベクトルから，r 行
End
j←1
λCTC ≥ λ
YES
Get X ji
Predict
NO
j← j +1
λj ≥ λ
End NO
目だけに P300 が出現した確率 P (r|XR ) は，排他性を
考慮して以下のように表される．
∏
′
P (1|xrR ) r̸=r′ P (0|xrR )
∏
P (r|XR ) = ∑
s
s′
s̸=s′ P (0|xR ))
s (P (1|xR )
Start
Get X RTi R
YES
Predict
(a) 手法 1
(b) 手法 2
End
(3)
図 2: RB-ARQ のフローチャート
ただし，XR = {x1R , x2R , ..., x6R } である．同様に，c 列
目点灯時に得られる xcC から，c 列目だけに P300 が出
現した確率 P (c|XC )（XC = {x1C , x2C , ..., x6C }）が得
2.3
られる．これらの事後確率を用い，行及び列を以下の
ARQ の手法の一つに，受信側で誤りを生じたデー
タについて，送信済みのすべてのデータを再送する
ように推定することができる．
(ûr , ûc ) = arg max P (r, c|XR , XC )
(r,c)
(4)
Reliability-based Selective ARQ
のではなく，誤りが生じているデータのみを再送する
Selective-Repeat ARQ（SR-ARQ）という誤り制御手
1-2
法がある [7]．本稿では，SR-ARQ の考えを 2.1 で述
数が 15 を超えた場合，最大事後確率が閾値を超えてい
べた RB-ARQ に導入した Reliability-based Selective
なくても判別を行った．また，加算平均法を従来法と
ARQ（RB-SARQ）を提案する．RB-SARQ では，あ
し，加算平均するセット数を 1 セットから 15 セットま
るセットでの閾値判定において，P300 の出現有りに属
で変化させたときの判別正答率を調べた．
する事後確率の高い行及び列を選択的に再送要求する．
3.4
2.2 で述べた XRT , XCT を用いて，行に関する信頼度
λ′RT 及び列に関する信頼度 λ′CT が以下のように表さ
れる．
λ′RT
= min P (r|XRT )
(7)
λ′CT = min P (c|XCT )
(8)
r
c
式（7）及び式 (8) で表される信頼度 λ′RT ，λ′CT がそ
れぞれある閾値 λ′R ，λ′C を下回った場合，
(9)
û′c = arg min P (c|XCT )
(10)
r
c
式（9）及び式（10）で推定された行 û′r ，列 û′c は次の
セット以降では点灯をしないようにする．
3.1
態にするかを決める閾値 λ′R ，λ′C （本実験では λ′R =
λ′C = λ′ とした）は，学習データのクロスバリデーショ
ンにより，得られた事後確率から計算された最適な値
を用いた．
結果と考察
コンペティションの 1∼10 位及び 3.2 による方法で
得られた Sub A，B の平均正答率の結果を表 1 に示す．
ただし，RB-ARQ は適用しておらず，各文字につき 15
セット及び初めの 5 セット分のデータを使用した結果
となっている．表 1 より，本実験で実装した手法はコ
ンペティションの上位に位置づけられる正答率が得ら
れていることがわかる．
実験
3
3.3 で述べた RB-ARQ 適用と同じ条件で RB-SARQ
を適用した．ただし，どの行または列を点灯しない状
4
û′r = arg min P (r|XRT )
RB-SARQ の適用
次に，正答率及び平均判別所要時間の関係を図 3 に
実験データ
本実験では，BCI Competition III の data set II[8]
を用いた．これは，被験者 2 人 (Sub A，Sub B) が
P300 speller を行った際に計測された EEG データであ
る．85 文字分の学習データと 100 文字分のテストデー
タがあり，サンプリング周波数 240Hz で 64 電極から
計測され，0.1-60Hz のバンドパスフィルタが適用され
ている．6 行と 6 列の計 12 回ランダムに点滅し（1 セッ
示す．なお，平均判別所要時間とはそれぞれ，手法 1
の場合，λT ≥ λ となった T の平均値，手法 2 の場合，
(TR + TC ) の平均値，従来手法の場合，文字判別に用
いたセット数における判別時間である．図 3 より，判
別所要時間が長い，すなわち計測時間が長くなるほど
正答率が高くなっていることがわかる．また，従来手
法と比較して，RB-ARQ を適用することで少ない判別
時間で高い正答率が得られていることがわかる．これ
ト），1 文字に対し 15 セット繰り返されている．
らの結果から，P300 speller においても，RB-ARQ を
3.2
前処理法及び識別器
適用することの有効性が確認できる．
コンペティションの 10 手法中 1 位手法 [9] を参考に
特徴抽出を行った．[9] では，各電極の EEG データに
対して 0.1-10Hz のバンドパスフィルタを適用し，点灯
後 0s から 0.65s まで 0.05s ごとに合計 14 データポイ
ントを抽出し，正規化を行い，14 × 64(電極) ＝ 896
変数を抽出している．その後 [9] では Support Vector
Machine（SVM）を用いて識別を行っているが，本実
験では，抽出された 896 変数に対し，線形判別分析
（Linear Discriminant Analysis: LDA）を識別器とし
て用いた．
3.3
また，各手法において最高正答率が得られたときの
判別時間の比較を表 2 に示す．表 2 より，RB-ARQ の
適用時は，従来手法に比べ判別時間が 10 秒以上少ない
状態で同程度の最高正答率が得られていることがわか
る．また図 3 及び表 2 より，手法 2 が手法 1 よりもさ
らに 2 秒以上短い時間で判別できていることがわかる．
これは，手法 1 が行と列の信頼度の積（式（6））を用
いて閾値判定をするのに対し，手法 2 は行と列の信頼
度の閾値判定を独立にすることで，より効率の高い誤
り制御が行われたためであると考えられる．例えば図
RB-ARQ の適用
2.2 で述べた手法 1，2 を実験データに適用し，閾値
λ の変化に対する判別正答率の変化を調べた．ただし
本稿では，コンペティションの方式に合わせ，セット
4 の例では，手法 1 と手法 2 で行と列に同じ事後確率
が得られているものの，手法 2 の方がセット数が少な
くなっている．
次に，同じデータに RB-SARQ を適用したときの結
1-3
参考文献
表 1: 正答率 [％] の比較
順位
15 セット
5 セット
1st
2nd
..
.
96.5
90.5
..
.
73.5
55.0
..
.
10th
3.2 による判別
7.5
93.5
7.0
64.5
[1] G.Dornhege, J.R.Millan, and T.Hinterberger:
Toward Brain-Computer Interfacing, The MIT
Press, chapter 2, 2007.
[2] U.Hoffmann,
J.Vesin,
T.Ebrahimi,
and
K.Diserens: An efficient P300-based braincomputer interface for disabled subjects,
Journal of Neuroscience Methods, Vol.167,
pp.115-125, 2008
[3] R.Scherer,et al.: An asynchronously controlled
eeg-based virtual keyboard: improvement of the
表 2: 最高正答率が得られたときの判別時間
Sub A
Sub B
手法
判別時間 [s]
正答率 [％]
手法 1
手法 2
20.6
17.7
94.0
94.0
従来手法
31.5
93.0
手法 1
手法 2
17.0
15.0
94.0
94.0
従来手法
31.5
94.0
spelling rate, IEEE Trans. Biomed. Eng., Vol.51,
pp.979-984, 2004.
[4] D.J.McFarland,
W.A.Sarnacki,
and
J.R.Wolpaw: Brain-computer interface (bci)
operation: optimizing infomation transfer rates,
Biological Psychology, Vol.63, pp.237-251, 2003
[5] J.M.Shea: Reliability-based hybrid arq, IEE
Electronics Letters, Vol.38, pp.644-645, 2002.
[6] H.Takahashi, T.Yoshikawa, and T.Furuhashi: A
study on application of reliability based auto-
果を，RB-ARQ の適用時とあわせて図 5 に示す．図 5
より，RB-SARQ は RB-ARQ と比較してさほど性能
matic repeat request to brain computer interfaces, Advances in Neuro-Information Processing, Vol.5507, pp.1013-1020, 2009.
向上が見られていないことがわかる．また図 5(a)，(b)
において，RB-SARQ を適用することで判別時間が短
くなっているものの，最高正答率も下がっていること
がわかる．これは，信頼度が低い行及び列のデータ再
[7] M.E.Anagnostou, and E.N.Protonotarios: Performance analysis of the selective repeat ARQ
送，すなわち点灯をしないことで，本来正解である行
や列が点灯されなくなってしまったためであると考え
protocol, IEEE Trans. Commun., Vol.34, pp.127135, 1986.
られる．
5
まとめ
[8] http://www.bbci.de/competition/iii/
信頼度に基づく自動再送要求（RB-ARQ）を P300
[9] A.Rakotomamonjy, and V.Guigue: BCI Competition III: Dataset II- Ensemble of SVMs for
speller に対して適用し，BCI Competition data を用
い，RB-ARQ が従来手法である加算平均法に比べ，同
BCI P300 Speller , IEEE Trans. Biomed. Eng.,
Vol.55, pp.1147-1154, 2008.
程度の正答率を保ちつつ判別時間を短縮できることを
示した．また，RB-SARQ を提案し，RB-ARQ におけ
る信頼度の閾値判定を，P300 speller の行と列で独立
に行うことや，RB-SARQ の適用により，さらなる判
別時間短縮が可能となることを示した．今後の課題と
連絡先
金田 佑介
して，コンペティションにおける 1 位手法の実装や，さ
らなる判別時間の短縮を目指した他の手法の適用など
が挙げられる．
1-4
名古屋大学大学院 工学研究科 計算理工学専攻
E-mail: [email protected]
resu1A
result1A
閾値λ=0.8
手法1
行 列
0.7 0.9
手法2
セル
0.63
(a) Sub A
行
0.7
列
0.9
再送要求
行
0.9
列
0.9
セル
0.81
2セット
行
0.9
2セット
1セット
1.5セット
図 4: 手法 1 と手法 2 の判別所要セット数の差
(b) Sub B
図 3: 正答率及び判別所要時間
1-5
(a) Sub A，手法 1
(b) Sub B，手法 1
(c) Sub A，手法 2
(d) Sub B，手法 2
図 5: RB-ARQ と RB-SARQ の比較
1-6