修士論文 日本語文によるERPを用いたミスマッチ分析 小田垣 佑

NAIST-IS-MT1151032
修士論文
日本語文による ERP を用いたミスマッチ分析
小田垣 佑
2013 年 2 月 7 日
奈良先端科学技術大学院大学
情報科学研究科 情報科学専攻
本論文は奈良先端科学技術大学院大学情報科学研究科に
修士 (理学) 授与の要件として提出した修士論文である。
小田垣 佑
審査委員：
中村 哲 教授
（主指導教員）
池田 和司 教授
（副指導教員）
戸田 智基准教授
（副指導教員）
柴田 智広准教授
（副指導教員）
サクリアニ サクティ助教
（副指導教員）
日本語文による ERP を用いたミスマッチ分析∗
小田垣 佑
内容梗概
無駄なく効率のよい情報伝達を行う支援が求められている．文中における誤り単
語から感じられる違和感については様々な研究が行われている．特に，文中の誤り
の意味に関する違和感を感じた際に事象関連電位 (ERP: event-related potential)
の一種である N400 成分が検出される．
先行研究では，2 種類の誤り単語に対するミスマッチを ERP を用いて検出され
ている．世界知識に対する誤り (World Knowledge Violation) と意味に対する誤
り (Semantic Violation) 単語 に対して N400 が観測されることが報告されている．
日本語において世界知識誤り単語が N400 を誘発することを確認するため実験を
行った．実験では，2 種類の日本語文中の誤り単語に対する ERP を観測し，N400
により 2 種類の誤り単語による違和感検出可能であることが示された．
次に，繰り返し同じ文を見せ，N400 がどのように減衰していくか検証した．同
じ文を 2 回以上見せた際，慣れによって N400 は消失することが確認された．意
味に対するミスマッチは同じ刺激を繰り返すこどでは起こらないことが明らかと
なった．
さらに，会話中の誤り単語からの違和感検知に向け，視覚刺激と同一の文で聴
覚刺激での実験を行った．意味誤り単語において，N400 が観測され．世界知識
誤り単語においては遅れて陰性電位のが観測された．これにより，音声刺激にお
いても誤り単語による違和感検知が可能であることが示された．
キーワード
ERP, 事象関連電位, N400, 日本語, ミスマッチ
∗
奈良先端科学技術大学院大学 情報科学研究科 情報科学専攻 修士論文, NAIST-IS-MT1151032,
2013 年 2 月 7 日.
i
An ERP Analysis of the World sense and
Semantics Mismatches in Japanese Sentences∗
Yu Odagaki
Abstract
It is required to aid communication to exchange information each other. It
is well-known that when we see a mistaken word in the sentence, N400 ERP
component is detected．
In a previous study, if a sentence has a World Knowledge or Semantic violation
, N400 ERP component appears.
In Japanee sentence, there are no research the relationship between 2 kinds of
these violation words. We conducted an experiment by the same way in Dutch
study to confirm whether N400 appear or not. As a result, a N400 appeared after
words that violated both world knowledge and semantics.
The next step, to confirm reduction of N400, we conducted an experiment
where the participants were shown same sentences repeatedly. As a result, they
get used to the mismatch and N400 is disappeared.
Lastly, we confirmed whether spoken utterance version of the sentence cause
the same mismatch as written sentences. As a result, negative shift was observed
after semantic mismatch word. However, later negative shift was shown after
World Knowledge word.
Keywords:
ERP, N400, Language, mismatch
∗
Master’s Thesis, Department of Information Science, Graduate School of Information
Science, Nara Institute of Science and Technology, NAIST-IS-MT1151032, February 7, 2013.
ii
目次
1. 序論
1
1.1
背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1
1.2
目的 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2
1.3
本論文の構成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2
2. 事象関連電位を用いた言語に関する従来研究
3
2.1
脳波測定について . . . . . . . . . . . . . . . . . . . . . . . . . . .
3
2.2
事象関連電位 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3
2.3
言語と事象関連電位
. . . . . . . . . . . . . . . . . . . . . . . . .
4
2.3.1
文法のミスマッチと P600 . . . . . . . . . . . . . . . . . .
4
2.3.2
意味のミスマッチと N400 . . . . . . . . . . . . . . . . . .
5
3. 日本語での N400 の発現に関する実験
3.1
実験の種類
3.1.1
3.2
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.2
8
日本語文における世界知識と意味の誤り単語に対する事象
関連電位 N400 に関する実験 . . . . . . . . . . . . . . . . .
8
3.1.2
同一刺激に対する事象関連電位 N400 の減衰に関する実験 .
8
3.1.3
音声刺激による世界知識と意味誤りに対する事象関連電位
N400 に関する実験 . . . . . . . . . . . . . . . . . . . . . .
9
実験方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
9
3.2.1
被験者 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
9
3.2.2
実験装置と測定条件 . . . . . . . . . . . . . . . . . . . . .
10
3.2.3
刺激 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11
3.2.4
刺激の提示方法 . . . . . . . . . . . . . . . . . . . . . . . .
13
4. 結果
4.1
8
17
日本語文における世界知識と意味の誤り単語に対する事象関連電
位 N400 に関する実験 . . . . . . . . . . . . . . . . . . . . . . . . .
17
同一刺激に対する事象関連電位 N400 の減衰に関する実験 . . . .
20
iii
4.3
音声刺激による世界知識と意味誤りに対する事象関連電位 N400 に
関する 実験 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5. 考察
5.1
21
25
日本語文における世界知識と意味の誤り単語に対する事象関連電
位 N400 に関する実験 . . . . . . . . . . . . . . . . . . . . . . . . .
25
5.2
同一刺激に対する事象関連電位 N400 の減衰に関する実験 . . . .
25
5.3
音声刺激による世界知識と意味誤りに対する事象関連電位 N400 に
関する 実験 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
25
6. 結論
27
7. 結言
28
7.1
本論文のまとめ . . . . . . . . . . . . . . . . . . . . . . . . . . . .
28
7.2
今後の課題
28
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
謝辞
30
参考文献
31
付録
34
A. 付録１
34
B. 付録２
38
C. 付録３
39
D. 発表リスト
41
D.1 学会発表 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
iv
41
図目次
1
ERP の例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4
2
電極位置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11
3
視覚刺激の提示時間
. . . . . . . . . . . . . . . . . . . . . . . . .
15
4
Cz における ERP 波形 . . . . . . . . . . . . . . . . . . . . . . . .
18
5
CP5 における ERP 波形 . . . . . . . . . . . . . . . . . . . . . . .
18
6
CP6 における ERP 波形 . . . . . . . . . . . . . . . . . . . . . . .
19
7
fp1 における ERP 波形 . . . . . . . . . . . . . . . . . . . . . . . .
19
8
World Knowledge Violation のトポグラフィー . . . . . . . . . . .
20
9
Semantic のトポグラフィー . . . . . . . . . . . . . . . . . . . . .
21
10
同じ文を２０回見た際の文のカテゴリ別 ERP 波形 . . . . . . . . .
22
11
同じ文を５回見た際の文のカテゴリ別 ERP 波形 . . . . . . . . . .
22
12
チャンネル Cz の聴覚刺激に対する ERP 波形 . . . . . . . . . . . .
23
13
チャンネル Fp1 の聴覚刺激に対する ERP 波形 . . . . . . . . . . .
23
14
チャンネル Pz の聴覚刺激に対する ERP 波形 . . . . . . . . . . . .
24
15
チャンネル Fc1 の聴覚刺激に対する ERP 波形 . . . . . . . . . . .
24
16
チャンネル毎の視覚刺激に対する ERP 波形 . . . . . . . . . . . .
38
17
チャンネル毎の聴覚刺激に対する ERP 波形 . . . . . . . . . . . .
40
表目次
1
視覚と聴覚実験で用いた文 . . . . . . . . . . . . . . . . . . . . . .
35
2
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
36
3
意味誤りの単語を含んだ文 . . . . . . . . . . . . . . . . . . . . . .
36
4
知識誤り単語を含んだ文の例
37
. . . . . . . . . . . . . . . . . . . .
v
1. 序論
1.1 背景
人と人が意思疎通を行うにあたって，勘違いや言葉の取り違いによる齟齬を来
すことがにある．例えば，我々が普段の生活において会話を行う際においても，
相手が言っている言葉を知らなかったり，意味を取り違えたりすることがしばし
ば発生することが挙げられる．それらの問題が生じた際に，その都度一つ一つ確
認を行い，不明な点や誤解を取り除くことが求められるが，実際の会話中では確
認を取るためには相手の話を途中で中断させる必要があるため，困難な場合が多
い．結果として，意思疎通出来なかったことが後々になって問題として顕在化し，
損失となる．こうした問題は，個々人のもつコミュニケーション能力に起因する．
コミュニケーション能力とは文の文法を理解する能力だけでなく，ある特定の文
脈においてメッセージ意味を解釈，交渉ができる能力でもある [1]．言語学の観点
から見たコミュニケーション能力には，文法的能力 (Grammatical competence)，
談話能力 (Discourse competence)，社会言語能力 (Sociolinguistic competence) お
よび方略的言語能力 (Strategic competence) がある．一つ目は文法的に正しい文
を用いる能力であり，二つ目は単なる文の羅列ではない，意味のある談話や文脈
を理解し，作り出す能力である．この二つが思ったことを相手に伝える力といえ
る．残りの二つはそれぞれ，社会的な文脈を判断して，状況に応じて適切な表現
を行う能力，コミュニケーションの目的達成のための対処能力であり，比較的社
会的な色合いが強い [2]．
本研究では意思疎通を支援し，コミュニケーションを円滑化すし，聞き手が覚
える相手の言葉の中にあるわからない言葉や誤った言葉から感じられる違和感を
検知しフィードバックすることを目標としているため，社会言語能力や方略的言
語能力には着目せず，文法的能力と談話能力に着目する．意思疎通の齟齬を引き
起こす元となる言葉が発せられたことを検知し，フィードバックすることで円滑
なコミュニケーションを支援する技術の実現が望まれている．
1
1.2 目的
意思疎通の齟齬を回避するために，話の受け手が相手の言葉から違和感をおぼ
えた際に，違和感をフィードバックすることを考える．ここで言う違和感とは，
言葉の誤りや受け手側が知らない言葉が用いられた際に感じられる感覚とする．
こうした違和感を脳波計 (Electroencephalograph：EEG) を用いて，事象関連電
位 (Event Related potential : ERP) を用いて検出する．認知科学において ERP
と言葉の誤りの関係を明らかにすることが本研究の目的である．違和感検出に脳
波を用いる理由は，脳波が生体信号であるためより客観的に違和感を評価するこ
とが出来と考えられるからである．
誤り単語に対する違和感は N400 と呼ばれる事象関連電位を用いて検出するこ
とが出来る [3][4]．本研究では，日本語のテキストや音声に誤り単語を混ぜ，誤
り単語から引き起こされる違和感を事象関連電位 N400 で検出し，コミュニケー
ション支援を行うための基礎的な技術開発を行うことを目的としている．
1.3 本論文の構成
本論文ではまず，XXX にて脳波と ERP について説明する．ERP については，
N400 を中心に先攻研究を紹介する．次に Y 章では，本研究で行った実験につい
て詳しく解説する．ここでは，実験の条件や，手順，データの解析方法について
説明する．Z 章にでは，それぞれの実験の結果について述べ，W 章にて結果に対
する考察を行う．最後に A 章にて本論文をまとめる．
2
2. 事象関連電位を用いた言語に関する従来研究
本章では従来研究について述べる．まず，はじめに事象関連電位 (ERP: Event-
rerated brain potential) とは何かについて説明し，後に N400 とよばれる事象関
連電位について解説する．
2.1 脳波測定について
頭皮上に置かれた電極間に生じるわずかな電位差にはあるリズムが生じる．こ
のリズムを持った波を脳波（EEG: Electroencephalogram）と呼ぶ．脳波は自発
的に絶え間なく出現し続ける．
2.2 事象関連電位
光や音のような刺激や運動に対して生じる脳の電気活動があり，事象関連電位
（ERP : Event-rerated brain potential）と呼ぶ [5]．ERP は刺激や運動に誘発され
て起こり，その波形に脳の処理過程が時間情報として反映される．ERP は通常の
自発的に出現し続ける背景脳波と重なって生じる．ERP は背景脳波に比べて振幅
が非常に小さく，背景脳波の振幅が 10µV 単位であるのに対し，事象関連電位の
振幅は数 µV 単位である．そこで，十分な回数の試行で得られた脳波データを検
討したい事象が起こった時間を 0 としてそろえて加算平均する方法をとる．ERP
は試行毎に似た波形となっており，自発的な脳波などのノイズ部分がランダムに
発生することを仮定すれば加算平均を行うことでノイズによる干渉が少なくなっ
ていくと考えられる．具体的にはノイズが独立である場合，N 回加算平均を行う
とノイズの振幅は， √1N となる．また，突発的なノイズに関しては
1
N
となる．こ
のように，複数の被験者による ERP を加算した波形を総加算平均波形 (GMW :
grand mean waveform) と呼ぶ [6]．
ERP は通常，いくつかの波からなる波形として記録され，それぞれの波を成分
（component）と呼ぶ．ある ERP 成分が出現するタイミングを示すために，事象
の開始点から波の頂点までの時間をミリ秒 [ms] 単位で計測する．これを頂点潜時
3
（peak latency）という．また，波の大きさを振幅と呼び，マイクロボルト [µV] 単
位で計測する．通常，基準となる区間（時間帯）を設定し，これを基線 (baseline)
としてそこからの電位差を測定する．
ERP には陽性 (Positive) 方向への電位のシフトとがあり，P で表す．P1 や P2
などがこれにあたる．陰性 (Negative) 方向への電位のシフトは N で表され，N1，
N2 などと呼ばれる．また，ERP は典型的な潜時のミリ秒をつけて呼ばれること
があり，P300 や N400 が例として挙げられる．ERP は認知症やアルツハイマー
病の診断にも役立てられている [7]．
図 1 ERP の例
2.3 言語と事象関連電位
2.3.1 文法のミスマッチと P600
単語の誤りがあった場合，そこに文法上の誤りの要素があった場合には，事象
関連電位の P600 が発現することが分かっている [8]．この P600 は，文法のミス
マッチ及び難解な文に対して，左側頭部分で強く発現する [9]．P600 が観測される
代表的な例としては，述語動詞の位置が文構造的に間違っているためにミスマッ
チが生じる場合が挙げられる [10]．
4
2.3.2 意味のミスマッチと N400
事象関連電位の一種である N400 は，意味の不調和によるミスマッチに対して
引き起こされると報告されている [3]．最初に N400 が報告された研究 [3] では，7
単語からなる英文を単語毎に提示し，ターゲットの単語が文脈上，通常は入り得
ない場所に入った際に，N400 が発現することが示されている．N400 の振幅差が
最も大きくなるのは，このような予想と違う単語が文の最後に来る場合である．
また，N400 は予想通りに文が終わった際の場合にも発現することが報告されてい
る．[11]．当初，N400 関連の研究は，文に空白部分を作り，そこに当てはまる単
語として正しいものと間違ったものを比較するパターンのものが多かった [3][4]．
N400 は意味の誤りだけでなく，物事の意味そのものを処理する過程でも現れる
とされている [10][12]．また，N400 は加齢によってその振幅 [13] や出現時間が遅
くなることが知られている [14][15]．
N400 は刺激を視覚的に与えられるだけでなく，聴覚で聞き取ることでも発現
する．英語とイタリア語を理解できる話者では，英語読み上げ文の途中にイタリ
ア語の単語が混ざっていた場合に N400 が観測されることが報告されている [16]．
この研究では，イタリア語と英語が両方分かる被験者を用いて実験を行っている
ため，英語から置き換えられたターゲットとなるイタリア語の単語がイタリア語
であることは被験者が分かるようになっている．この際，英語とイタリア語が混
ざった文を聞いた際には，N1 と呼ばれる N400 よりも早い時間に現れる陰性電位
の振幅が英語のみの文を聞いた際のものよりも大きくなり，N400 の振幅も同様
に大きくなることが報告されている．
N400 は人の自身が持つ世界に対する知識 (世界知識: World Knowledge) と文
の内容の間に齟齬が生じた場合にも起こることが，先行研究により明らかになっ
ている [17]．[17] ではオランダ語文で正しい文と世界知識に対する誤り単語を含
んだ文，意味に対する誤り単語を含んだ文を用いて実験が行われた．Hagoort ら
は実験において以下のような 3 種類の文を用意した．
正しい文 : オランダの列車は 黄色く とても速い．
世界知識誤り : オランダの列車は 白く とても速い．
5
意味誤り : オランダの列車は 酸っぱく とても速い．
ここで，それぞれの誤り単語についての説明を行う．ターゲットの単語は正しい
文，世界知識誤りの文，意味誤りの文の順にそれぞれ「黄色い」，
「白い」，
「酸っ
ぱい」である．まず，正しい文と意味誤りの文を比較する．誤りでない「黄色い」
という単語に対して，意味誤りの文では「酸っぱい」というターゲット単語は列
車を説明する単語として相応しくないため，誤りであると分かる．次に，世界知
識誤りの単語である「白い」は一見正しい文と同様に列車を説明する単語として
は正しい．そのため，仮に例文からオランダのという言葉を取り除くと文として
意味の通る正しい文となる．しかし，実際のオランダの列車は黄色いためこの知
識を持っている場合，この文が間違っていることが分かる．この文脈上の事実関
係に対する知識のことを世界知識と呼ぶ．
このような文の 3 つ組みを 120 用意し，単語ごとに区切って視覚刺激として提
示する．その結果，ターゲットの単語が提示された時間を０とすると，世界知識
誤りと意味誤り単語を見た際に N400 が観測され，意味のミスマッチを検出する
ことが出来ると示された．
世界知識と意味に対する両方の誤り単語を見た際に N400 が観測され，両者は
誤り単語を見てから約 400 [ms] 後に陰性方向への電位のシフトが見られた．ま
た，正しい単語を見た際には N400 は観測されなかった．
また，Semantic Violation の単語が文の途中で現れるか，文の最後に現れるか
を比較した研究も聴覚刺激において行われている [18]．その結果，N400 と N400
に似た ERP 波形が観測されている．この，N400 と似た波形は，早い時間帯に観
測され，N250 と呼ばれている．この N250 は通常の視覚刺激を用いた実験では観
測されず，音声処理過程で予想した単語と比較する際に出てくる ERP であると
されている．音声で意味のミスマッチを検出するにあたっては韻律情報も重要と
なる．韻律情報にミスマッチがあった場合にも N400 が観測されることが報告さ
れており [19]，言葉そのものの意味だけでなく韻律から得られる情報に対するミ
スマッチも検出可能であることが知られている．
日本語での N400 に関する研究においては意味のミスマッチについての研究が
なされており [20]，N400 の発現が確認されている．一方で，日本語においても
6
[17] と同様に世界知識に対するミスマッチが検出出来るか否かに関しては，未だ
調査されていない．
7
3. 日本語での N400 の発現に関する実験
3.1 実験の種類
本研究では 3 種類の実験を行った．最初にオランダ語で行われた実験 [17] を検
証するために日本語文を用いて追試を行った．次に，同一の誤り単語を繰り返し
て維持することによって事象関連電位 N400 が違和感がどのように減衰していく
かを検証する実験を行った．最後に，会話中の誤り単語検出を行うことを想定し
音声刺激でも N400 を観測することも目的として，音声刺激での実験を行い N400
が視覚刺激で行った実験とどのように変化するかを検証した．
3.1.1 日本語文における世界知識と意味の誤り単語に対する事象関連電位 N400
に関する実験
日本語においても N400 が発現し，違和感として検知するために 2 種類の日本
語の誤りを含むテキストを視覚刺激として提示する実験を行った．従来研究であ
るオランダ語の研究 [17] と同じように，日本語文においても誤った単語をみた場
合と同じように N400 が観測されるかどうかを検証した．
3.1.2 同一刺激に対する事象関連電位 N400 の減衰に関する実験
文毎に N400 の波形に違いが現れるか，繰り返し同じ文を見せることで N400 は
どのように減衰していくか，の 2 点を検証するために実験を行う．実際のコミュ
ニケーションの場で同じカテゴリの誤り単語をたくさん集めて誤り単語に対する
違和感を検知するだけでは情報の受け手 (聞き手) が違和感を送り手 (話し手) に
フィードバックすることは難しい．もし，同一の誤り単語を繰り返し提示された場
合に同じように N400 が観測される場合，同一の刺激を加算平均することで N400
を検出してその結果を情報の送り手にフィードバックすることで文の情報に誤り
がある可能性があることを通知することが出来る．本実験では繰り返される誤り
単語に対して N400 を用いて違和感を検出できるか，繰り返しによって N400 は
減衰するか，減衰するとするならばどのように減衰するかを検証した．
8
3.1.3 音声刺激による世界知識と意味誤りに対する事象関連電位 N400 に関する
実験
これまで行われてきた N400 に関する研究で行われてきた [18]．実験は書かれ
たテキストを視覚刺激として提示する課題が用いられてきた．しかし，我々は文
字による伝達手段よりも音声による会話をより頻繁にコミュニケーションの手段
として用いている．従来の研究において音声課題よりもテキスト課題が好まれる
要因は話者の感情やイントネーション，強勢による文意の不安定さとターゲット
単語の発話長のばらつきにより実験条件の統制が困難であることである．視覚実
験においては文字情報の理解だけに焦点をあてるため，話者による感情や強勢に
よる文意が変化する影響を受けない．また，ターゲットの単語の長さにばらつき
がある場合でも，視覚刺激として提示した場合にはターゲット単語読み上げにか
かる時間による情報取得タイミングのずれを考慮する必要もない．
本実験では，実験条件をより実際のコミュニケーションでの環境に近づけるた
めに音声を用いて実験した．視覚刺激で行った実験と同一の文を用いることで視
覚と聴覚の比較対象を行うことを目的として実験を行った．
3.2 実験方法
3.2.1 被験者
本研究では，奈良先端科学技術大学院大学の倫理委員会から実験実施の承認を
得た上で実験を行った．本研究で行う実験は被験者に言語課題のタスクを課すた
め右利きであること，脳波計測を行うため，精神疾患の既往症が無く神経に疾患
または障害が無いこと，視覚刺激を提示することから視覚に異常が認められない
ことが条件とした．
オランダ語で行われた実験の追試となる日本語文における世界知識と事象関連
電位 N400 に関する実験では 22 歳から 25 歳までの健康な成人男性４名を被験者
とした．同一刺激に対する事象関連電位 N400 の減衰に関する実験では，22 歳か
ら 25 歳までの健康な成人男性を被験者とした．音声刺激による世界知識と意味
誤りに対する事象関連電位 N400 に関する実験においては 23 歳の健康な成人男性
9
３名を被験者とした．また，この実験では音声刺激を提示するためこれまでに聴
覚に異常が無いことを確認した．
3.2.2 実験装置と測定条件
脳波を測定する装置として，BrainAmp (Brain Products 製) BP-01100-128 を
使用した．計測には図 2 に示す 32 チャンネルを使用した．サンプリング周波数
500Hz で脳波を収録し，0.2-70Hz のバンドパスフィルタを用いて低周波成分と高
周波成分をカットし，刺激提示が行われた時間を 0 として同じラベル付けを行っ
たデータに対して加算平均を行った．また，日本語文における世界知識と意味の
誤り単語に対する事象関連電位 N400 に関する実験においては ERP 成分の振幅
の比較には分散分析を行った．ERP 分析には頭頂部分にある Cz チャネルを使用
した．
日本語文における世界知識と意味の誤り単語に対する事象関連電位 N400 に関
する実験と，同一刺激に対する事象関連電位 N400 の減衰に関する実験は，視覚刺
激を用いて実験を行った．視覚刺激は NEC 製プラズマディスプレイ PX-50XM2
を使用し，フォトセンサを用いてターゲット単語提示と脳波計測の時間同期を
行った．
音声刺激による世界知識と意味誤りに対する事象関連電位 N400 に関する実験
では，聴覚刺激を用いて実験を行った．音声刺激は MacBookPro MC374J/A を
用いて収録音声再生を行った．
10
33333333333333333!
!"#!
33333333333333333!
!"$!
33333333333333333!
!%!
!+!
!)!
!,!
!*!
!.#!
!./!
-,!
&+!
!.$!
!.0!
&)!
&%!
&"$!
-'2! &'/!
-*!
&"0! -'#1!
&'#!
'*!
',!
'+!
')!
'%!
($!
(#!
図 2 電極位置
3.2.3 刺激
先行研究を日本語で行うにあたって刺激文を日本語で新たに作成した．ここで
作成された文は，日本語文における世界知識と意味の誤り単語に対する事象関連
電位 N400 に関する実験と
視覚刺激として正しい日本語文と誤りのある単語を含んだ日本語文を用いた．
刺激として用いた文の中にはターゲットの単語があり，このターゲットの単語を見
た際の ERP を観測する．ターゲットの単語は大きく分けて 3 つのカテゴリに分け
られ，それぞれ正しい単語 (Correct) ，世界知識に対する誤り (World Knowledge
Violation) ，意味に対する誤り (Semantic Violation) とした．この中で誤りのあ
11
る単語が含まれる単語は世界知識に対する誤りと意味に対する誤りのふたつであ
る．前者の World Knowledge Violation は知識に対する誤りで，この単語を見た
際に被験者は文の内容と自身の持つ知識との間に矛盾が生じるために違和感を覚
える．Semantic Violation とカテゴリ分けされた単語はこの単語を見た際に単語
が意味の観点から見てその場に来るに相応しくない単語である．また，Correct
のラベルを振った単語がターゲットの単語となっている文は日本語として完全に
正しい文である．
例を挙げながらこの 3 種類の文をどのように作成するかについて説明する．始
めに，
「花は黄色い．
」という文を作成する．この時点ではまだ，この文は日本語と
して正しい文である．このままでは知識（World Knowledge）が文中に入ってい
ないので，この文に「タンポポの」という単語を加える．こうすることによって文
は「タンポポの花は黄色い．
」という文となり，文の真偽を判断するために World
Knowledge が要求されるようになる．実際にタンポポの花は黄色いので正しい文
となる．このような文を Correct の文とする．次に，この文の中にある「黄色い」
という単語を「黒い」という単語に置き換える．そうすると文は「タンポポの花
は黒い．
」となり，タンポポの花は黄色い色をしていることが普通なのでこの単語
を見た被験者は自身の知識と異なる内容の文となり違和感を覚える．このような
文を World Knowledge Violation の文と呼ぶ．最後に Correct の文の「白い」の部
分を「寒い」に変える．これにより文は「タンポポの花は寒い．
」となり，タンポ
ポの花を説明する単語として寒いという単語は通常は不適切であるため，この文
に対しても被験者はやはり違和感を覚える．このような文を Semantic Violation
の文と呼ぶこととする．これらの 3 つ組みの文を 1 セットとする．
実験に用いた文の例も挙げておく．
「日本では車は左車線を走行する．
」という
Correct の文に対して World Knowledge Violation では，
「日本では車は左車線を
走行する．
」という文となり，Semantic Violation では，
「日本では車は光線を走
行する．
」となる．この場合，World Knowledge を文に入れるためにある単語は
「日本」であり，被験者は日本で自動車が左右どちらの車線を走行するかを知っ
ていることが前提となる．先ほどの刺激文作成例ではターゲットの単語が形容詞
であったのに対し，この実例の文では名詞がターゲットの単語となっている．実
12
験で用いた文はこのように様々な品詞の単語をターゲットの単語としている．最
後にもう一つ，ターゲットの単語が動詞の文を例として挙げておく．
正しい文 : 新幹線は高速で 走る 列車である．
世界知識誤り : 新幹線は高速で 止まる 列車である．
意味誤り : 新幹線は高速で たかる 列車である．
同一刺激に対する事象関連電位 N400 の減衰に関する実験において，N400 の
減衰過程を見るためにより少ない文を複数回にわたって見せることを意図したた
め，文を実験１より少ない 10 セット 30 文準備した．今回の実験ではすべての文
のチャンク数を５に揃えた．
以下に実験で用いた文の例を示す．
正しい文 : 日本の 新幹線は 白く とても 速い．
世界知識誤り : 日本の 新幹線は 黒く とても 速い．
意味誤り : 日本の 新幹線は 辛く とても 速い．
前回の実験と同様に，誤り単語のカテゴリは世界知識と意味に対する誤りの 2 種
類を用意した．今回の実験ではターゲット単語の場所による ERP 波形が変化し
ないようにするためにターゲットの単語は必ず 3 つめのチャンクに出現するよう
に設定した．
3.2.4 刺激の提示方法
日本語文における世界知識と意味の誤り単語に対する事象関連電位 N400 に関
する実験において Correct の文を 90 文用意し，上記の方法で各誤りの文を派生さ
せることによって 3 つ組みの文を計 90 セット 270 文作成した．また，実験 2 では
この 3 つ組みの文を 10 セット用意した．まず，被験者はいすに座った状態で楽
な姿勢を取りモニター上に映し出されるぶんを見られる体勢をとってもらった．
実験中は目を開け，指定時間以外での瞬きや体の動きを極力控えてもらい，提示
13
される文を，その意味を考えながら見てもらった．実験の開始および終了の合図
は実験者が直接おこなった．作成した 90 の 3 つ組み 270 文はランダムに並べ替
え，それぞれの文が一度ずつ出現するようにした．特に同じカテゴリの単語を含
んだ分が連続して出現しないようにするといった配慮は行わなかった．各々の文
をチャンク（意味のかたまり）に区切り文を前から順番に見せる方法を用いた．
チャンクのほとんどは文節と同じであるが，文の意味を理解する都合上複数の自
立語が入った区切り方をしたため，文を区切る単位はチャンクと呼ぶこととする．
各チャンクは 0.5 秒ずつ提示され，チャンクが提示された後に 0.5 秒間のブランク
（何も表示されない真っ暗な状態）を経て次のチャンクが表示される．文が最後
まで表示された後，次の文に移るまでの 1 秒間無意味刺激の＋が表示される．こ
の間のみ被験者には瞬きなどの動作を行うことを認めた．
14
!"
$$$($%&'$
#$%%
&"
!"#$%&'$
!"#$%&'$
'("
!"#$%&'$
!"#$%&'$
)*+,"
!"#$%&'$
!"#$%&'$
!"
$$($%&'$
図 3 視覚刺激の提示時間
同一刺激に対する事象関連電位 N400 の減衰に関する実験において，各文は 30
文毎にランダムに並べ替え，提示した．これを 20 繰り返し，視覚刺激とした．こ
のほかの実験条件においては同一刺激に対する事象関連電位 N400 の減衰に関す
る実験と同じである．
音声刺激による世界知識と意味誤りに対する事象関連電位 N400 に関する実験
では，同一刺激に対する事象関連電位 N400 の減衰に関する実験と同様の 3 つ組
みの文，計 90 セット 270 文を用いた。
通常の心理学実験では，言葉の長さの違いによる反応の差異を排除するために
単語の長さやチャンクの数をそろえるといった実験条件を行っている [21]．しか
しながら，今回の実験では，言葉の誤りに対する反応を見ることに主眼をおいて
いるため，ターゲットの単語の文字数に関しては特に考慮を行っていない．
音声刺激による世界知識と意味誤りに対する事象関連電位 N400 に関する実験
では視覚課題と同様に，提示する文はチャンクに区切り提示した．実験に用いた
文は視覚課題で用いた 270 文を 1 文ずつ読み上げ，録音した．これらの音声ファ
15
イルをランダムにシャッフルしたものをスピーカーにより再生することで聴覚刺
激とした．オンセットのタイミングはターゲット単語の発話開始直後と発話終了
直後の 2 パターンを想定し，実験を行った．音声を録音するにあたってチャンク
毎の間は 0.5 秒ずつ間を開け，文毎の間隔を約 1 秒開けて提示し，一つの文から
次の文へ移るまでの間隔を約１秒に設定した．
16
4. 結果
4.1 日本語文における世界知識と意味の誤り単語に対する事象関連
電位 N400 に関する実験
図 4 のグラフはそれぞれのカテゴリの単語を見た際の事象関連電位を表したも
のである．縦軸は振幅 [μ V ]，横軸は時間 [ms] である．グラフ中の黒線が Correct
の単語を見た際の反応，点線（赤線）が World KnowledgeViolation の単語を見
た際の反応，破線（青線）が Semantic の単語を見た際の反応である．ダーゲット
の単語はグラフ中の時間 0 のタイミングで提示され，-30 [ms] から 0 [ms] までの
時間を基線としている．チャンネル Cz において言葉の意味に対する違和感を表
す N400 が検出された．
従来研究よりも N400 の出現時間と潜時の位置がそれぞれ約 50 [ms] 速くなっ
ている．被験者数が４とまだ少ないためこの現象は測定制度の誤差の可能性があ
る．また，世界知識に体する誤り単語と意味誤りの単語を見た場合の振幅差が従
来研究では殆ど差が無かったのに対し，本実験ではそれぞれの単語に対する N400
の振幅に有意な差が見られた F (2, 150) = 3.47, p < 0.05．また，それぞれの振幅
の大きさに有意な差があるかを検定した．その結果，正しい単語と世界知識誤り
単語，正しい単語と意味誤り，世界知識誤りと意味誤り単語に対する反応はそれ
ぞれ世界知識誤り単語 q = 14.48(p < 0.05)，意味誤りの単語 q = 29.61(p < 0.05)，
意味誤りの単語 q = 11.90(p < 0.05) の方が有意に振幅が大きくなった．
World Knowledge Violation の単語と Semantic Violation の単語を見た際の
トポグラフィーマップでは，両者ともに似通った結果となっているが，Semantic
Violation の単語を見た際には右側頭部の電位が World Knowledge Violation の単
語を見た際に比べて陽性側に電位がシフトしている．
17
23$
!!!!!!!!!!!!!!!!!!!!!!!!!!
"#!
!"
4566.4+
75689%:;578.9<.
0.-=;+,4
!#
%!*%
!$
%&
%$
%#
%"
%&
%'&& %$&& %(&& %#&& %)&& %"&&
+,-./01
!"#$%"&'!
図 4 Cz における ERP 波形
$$$$$!
()*!
-6
correct
world knowledge
semantic
-4
-2
µV
CP2
0
2
4
6
0
100
200
300
400
500
time[s]
!"#$%"&'!
図 5 CP5 における ERP 波形
18
600
$$$$$!
()*!
-6
correct
world knowledge
semantic
-4
-2
µV
CP2
0
2
4
6
0
100
200
300
400
500
600
time[s]
!"#$%"&'!
図 6 CP6 における ERP 波形
$$$$$!
()*!
-6
correct
world knowledge
semantic
-4
-2
µV
CP2
0
2
4
6
0
100
200
300
400
500
time[s]
!"#$%"&'!
図 7 fp1 における ERP 波形
19
600
図 8 World Knowledge Violation のトポグラフィー
4.2 同一刺激に対する事象関連電位 N400 の減衰に関する実験
まず，20 回同じ文を見た際のカテゴリ別の ERP のグラフである．第??章で行っ
た実験のグラフと比較すると N400 は消失してしまっていることが分かる．また，
これを 10 回，5 回と同じ文を見た回数を減少させても N400 は発現していないこ
とが分かる．
20
図 9 Semantic のトポグラフィー
以降のグラフは文毎に ERP を出したものである．すべてのグラフにおいて N400
成分は見られなかった．
4.3 音声刺激による世界知識と意味誤りに対する事象関連電位 N400
に関する 実験
単語の読み終わりの時間を 0 とした際のグラフを示す．Semantic においては
400 [ms] 付近に陰性電位が見られたが，World Knowledge の単語を聴いた後の陰
性方向への電位のシフトがかなり遅くなるという現象が見られた．その他のチャ
ンネル，
（チャンネルを示す）においても少し遅めの時間帯に N400 とみられる陰
性方向への電位のシフトが確認された．
21
CzFilters
Filters
&&&&&&&&&&&&&&&&&&&&&&&"
-6
!!"##$!%&
!'"#()&*+"'($),$&
!-$./+0!"
-4
-2
0
2
4
0
100
200
300
400
500
600
700
図 10 同じ文を２０回見た際の文のカテゴリ別 ERP 波形
CzFilters Filters
!!!!!!!!!!!!!!!!!!!!!!!!
""#$$%"&!
"'#$()!*+#'(%),%!
"-%./+0"!
-6
-4
-2
0
2
4
0
100
200
300
400
500
600
700
図 11 同じ文を５回見た際の文のカテゴリ別 ERP 波形
22
!"!
Amplitude [µV]
-8
correct
world knowledge
semantic
-6
-4
-2
0
2
4
6
8
0
200
400
600
800
1000
time[ms]
図 12 チャンネル Cz の聴覚刺激に対する ERP 波形
!"#!
Amplitude [µV]
-8
correct
world knowledge
semantic
-6
-4
-2
0
2
4
6
8
0
200
400
600
800
1000
time[ms]
図 13 チャンネル Fp1 の聴覚刺激に対する ERP 波形
23
!"#!
Amplitude [µV]
-8
correct
world knowledge
semantic
-6
-4
-2
0
2
4
6
8
0
200
400
600
time[ms]
800
1000
図 14 チャンネル Pz の聴覚刺激に対する ERP 波形
!"#!
Amplitude [µV]
-8
correct
world knowledge
semantic
-6
-4
-2
0
2
4
6
8
0
200
400
600
time[ms]
800
1000
図 15 チャンネル Fc1 の聴覚刺激に対する ERP 波形
24
5. 考察
5.1 日本語文における世界知識と意味の誤り単語に対する事象関連
電位 N400 に関する実験
実験において，日本語文中の誤りの単語に対する単語について，ERP の一種で
ある N400 を用いて検出することが出来た．概ね従来研究の結果と同様の現象が
みられたといえる．従って，日本語においても意味の誤りに対する違和感は N400
によって検知可能であることがわかった．また，従来研究であるオランダ語の研
究と比較して異なる点も散見された．一つ目は N400 が出現する時間帯がオラン
ダ語のものよりもやや早くなることである．二つ目は，誤り単語の種類によって
N400 の振幅が大きく異なっていたことである．三つ目は，Semantic Violation の
単語に対する N400 が World Knowledge Violation の単語に対して現れる N400 と
比べて反応の始まりがやや早くなっているという現象がみられた．同様の現象は
中国語や日本語で行われた研究においても報告されている [20][22]．原因として
は漢字を使用することでヨーロッパ言語と比較してはやく文字情報を処理するた
めではないかと，両論文とも推測している．本研究もこの推測を支持するものと
なった．アルファベットを用いるヨーロッパ言語よりも１文字あたりの情報が多
くなる漢字を用いた方が脳内の言語処理は早くなると考えられる．
5.2 同一刺激に対する事象関連電位 N400 の減衰に関する実験
この実験においては，同じ分を複数回提示してしまうと，同じ文が何度も提示
されることによりなれが生じてしまい，その結果として N400 は消失してしまう．
5.3 音声刺激による世界知識と意味誤りに対する事象関連電位 N400
に関する 実験
World Knowledge Violation の単語を聴いた際には，陰性方向への電位のシフ
トが遅くなっており，違和感を感じるタイミングが遅くなっていると考えられる．
25
聴覚で行われた N400 実験においては通常の視覚刺激を用いたものに比べて遅い
時間帯に電位のシフトが見られるという研究結果が既に報告されている [4]．しか
し，この陰性方向への電位のシフトが N400 によるものであるとは現段階では断
言することができない．
26
6. 結論
テキストを用いた視覚刺激により誤り単語からの違和感をを事象関連電位 N400
を用いて検出する実験を行った．その結果，世界知識誤りと意味誤りの両方の単
語において意味のミスマッチによる N400 が検出され，文中の誤り単語から感じ
られるミスマッチを検出することが出来ることが確認できた．同一文を複数回提
示することで違和感検出に用いる事象関連電位 N400 が検出できるかを確認する
実験を行い，同一の刺激を２回以上見せると違和感はなくなってしうことが確認
された． 視覚実験と同様に Semantic Violation の誤り単語において N400 が観
測され，同じ日本語文において明らかな意味の誤りがある単語は聴覚刺激の場合
でも N400 が観測され，視覚実験と同様に違和感を検出できることが分かった．一
方で，World Knowledge Violation 単語においては，通常の N400 は観測されず，
遅い時間帯に電位の陰性シフトが観測された．
27
7. 結言
7.1 本論文のまとめ
第 2 章ではこれまで行われてきた言語と ERP に関する諸研究について述べた．
第 3 章では本研究で行った実験の種類と手順について述べた．
第４章では，実験の結果について述べた．日本語文における世界知識と意味の
誤り単語に対する事象関連電位 N400 に関する実験では，オランダ語で行われた
先行研究を日本語を用いて追試した．日本語において，世界知識と意味に対する
誤り単語を見た際にオランダ語で行われた先行研究と同様に N400 成分が観測さ
れた．先行研究と異なる点として，N400 の出現時間が約 50 [ms] 早くなることと，
それぞれの N400 の振幅差には優位な差が見られることが新たに明らかになった．
同一刺激に対する事象関連電位 N400 の減衰に関する実験では，同じ刺激を 2 回
以上提示した場合，被験者に慣れが生じてしまい結果として N400 は観測されな
くなってしまうことが確認された．音声刺激による世界知識と意味誤りに対する
事象関連電位 N400 に関する実験では．聴覚実験においても N400 が観測され，ミ
スマッチが検出できることが確認された．
7.2 今後の課題
今後の課題としては日本語文において N400 が西洋言語よりも早い．また，世
界知識に対する誤りと意味に対する誤り単語を見た際に観測された N400 の振幅
差が先行研究と比較して大きくなった．これらの現象について考えられる要因は
被験者が若いことが挙げられる．今回の実験では被験者はすべて２０代前半の大
学院生であるため，加齢による N400 の出現時間の遅れ現象が見られなかったこ
とが考えられる [14]．英語での研究において，18-24 歳までの若者と 60-76 歳の
N400 の振幅の大きさと出現時間を比較したところ，若者の方が N400 の振幅が大
きく出現時間が早くなっていることが報告されている [15]．N400 が高齢の被験
者で本実験よりも遅い時間帯に現れるかどうか検証すべきであると考えられる．
誤り単語に対する N400 の振幅差が World Knowledge Violation と Semantic
28
Violation の間で大きくなったことについては，日本語の文法構造の問題がある
のではないかと推測される．オランダ語の文ではターゲットとなる単語の後に否
定後が来ないような文法構造となっている．一方で，日本語の場合，述語が文末
にくるという文法構造から，否定後が文末にくる可能性が常にあるため，World
Knowledge Violation のターゲットの単語をみた段階でその単語によってその文
が間違いであると断定できない．このために，誤り単語を見てからでも，文が終
わるまでその文の内容が正しいかどうかの判断を保留していることが，振幅を小
さくしている原因ではないかと推測される．
Semantic Violation の単語を見た後に N400 が World Knowledge Violation
に対して早く出現し始める原因については，ターゲットの単語が誤りであること
が World Knowledge Violation 単語に比べて分かりやすいということに起因する
からでは無いかと推察される．World Knowledge Violation の場合，文の真偽を
判断するために日本語の語彙，文法の知識に加えて，社会的知識が必要となるた
めこのような現象が起こったと推察される．
違和感をリアルタイムに検知することがもっとも重要な課題となる．本研究は
コミュニケーション支援を目的としている．そのため，今後はいかに少ない回数
で ERP を検知できるようにするかを考えることが優先的な課題となる．本研究
では，日本語文における意味の誤りに対する違和感は ERP の一種である N400 を
用いて検出することが出来たが，これは同じカテゴリの単語に対する加算平均に
よって違和感を検出しているにすぎない．この，違和感を一つの単語を一回だけ
見たり聞いた際の脳活動から検知することが必要とされる．
同じ刺激を何度も与えると N400 は減衰してしまうことから，検出対象を一度
のイベントで ERP として検知することは非常に困難である．本研究では脳波計の
一つのチャンネル (Cz) に着目したが，複数のチャンネルを用いて ERP を検出す
ることで問題解決の糸口となるのではないかと考えられる．また，別のアプロー
チとしては頭蓋骨や頭皮の電位変化の伝達特性を考慮した上で，ノイズの少ない
脳波を再現する手法や，背景脳波を確実にキャンセルする手法を確立することが
考えられる．そうすることで，よりクリアな脳波を得ることが出来るようになり，
必要な加算平均回数が大幅に減ると予想される．
29
謝辞
本研究を行うにあたり，多くの方々から指導や支援をいただきました．ここに
深く感謝の意を表します．まず，中村教授には研究の立ち上げから研究の方針，
実験のデザイン解析に関する助言など，多岐にわたる多大なご指導をいただきま
した．心より感謝いたします．本当に有り難うございました．また，本研究を進
める上で多大なご助言をいただいた知能コミュニケーション研究室の教員である
戸田智基准教授，サクリアニ・サクティ助教，グラムニュービッグ助教および，数
理情報研究室の池田和司教授と柴田智広准教授に感謝の意を表します．
最後になりましたが，知能コミュニケーション研究室の秘書である松田真奈美
様には研究を行うにあたっての煩雑な事務手続き等で何度も迷惑をおかけいたし
ました．協力していただき感謝しております．有り難うございました．
30
参考文献
[1] J. Holmes and JB Pride. Sociolinguistics: selected readings. Penguin, 1972.
[2] M. Canale and M. Swain. Theoretical bases of com-municative approaches
to second language teaching and testing. Applied linguistics, 1(1), 1980.
[3] M. Kutas, S.A. Hillyard, et al. Reading senseless sentences: Brain potentials
reflect semantic incongruity. Science, 207(4427):203–205, 1980.
[4] M. Kutas and S.A. Hillyard. Event-related brain potentials to semantically
inappriate and surprisingly large words. Biological Psychology, 11(2):99–116,
1980.
[5] W. Walter, R. Cooper, VJ Aldridge, WC McCallum, and AL Winter. Contingent negative variation: an electric sign of sensori-motor association and
expectancy in the human brain. Nature, 203:380–384, 1964.
[6] 入野宏. 心理学のための事象関連電位ガイドブック. 北大路書房, 2005.
[7] S. Sanei and J.A. Chambers. EEG signal processing. Wiley-Interscience,
2007.
[8] A.D. Friederici and M. Meyer. The brain knows the difference: Two types
of grammatical violations. Brain research, 1000(1):72–77, 2004.
[9] E. Kaan and T.Y. Swaab. Electrophysiological evidence for serial sentence
processing: A comparison between non-preferred and ungrammatical continuations. Cognitive Brain Research, 17(3):621–635, 2003.
[10] J.T. Cacioppo, L.G. Tassinary, and G.G. Berntson. Language. Handbook of
psychophysiology, 2:576–601, 2000.
[11] TW Picton, S. Bentin, P. Berg, E. Donchin, SA Hillyard, R. Johnson Jr,
GA Miller, W. Ritter, DS Ruchkin, MD Rugg, et al. Guidelines for using
31
human event-related potentials to study cognition: Recording standards and
publication criteria. Psychophysiology, 37(2):127–152, 2000.
[12] M. Kutas and K.D. Federmeier. Electrophysiology reveals semantic memory
use in language comprehension. Trends in cognitive sciences, 4(12):463–470,
2000.
[13] K. Juottonen, A. Revonsuo, and H. Lang. Dissimilar age influences on two
erp waveforms (lpc and n400) reflecting semantic context effect. Cognitive
Brain Research, 4(2):99–107, 1996.
[14] M. Kutas and R. Kluender. What is who violating? a reconsideration of
linguistic violations in light of event-related brain potentials. Cognitive electrophysiology, pages 183–210, 1994.
[15] K.D. Federmeier and M. Kutas. Aging in context: Age-related changes in
context use during language comprehension. Psychophysiology, 42(2):133–
141, 2005.
[16] A.M. Proverbio, G. Leoni, and A. Zani. Language switching mechanisms in
simultaneous interpreters: an ERP study. Neuropsychologia, 42(12):1636–
1656, 2004.
[17] P. Hagoort, L. Hald, M. Bastiaansen, and K.M. Petersson. Integration of
word meaning and world knowledge in language comprehension. Science,
304(5669):438–441, 2004.
[18] P. Hagoort and C.M. Brown. Erp effects of listening to speech: Semantic
erp effects. Neuropsychologia, 38(11):1518–1530, 2000.
[19] C. Astesano, M. Besson, and K. Alter. Brain potentials during semantic
and prosodic processing in french. Cognitive Brain Research, 18(2):172–184,
2004.
32
[20] K. Nakagome, S. Takazawa, O. Kanno, H. Hagiwara, H. Nakajima, K. Itoh,
and I. Koshida. A topographical study of ERP correlates of semantic and
syntactic violations in the japanese language using the multichannel eeg system. Psychophysiology, 38(2):304–315, 2001.
[21] 関口 理久子 久本 博行. やさしい Excel で心理学実験. 培風館, 11 2011.
[22] Z. Ye, Y. Luo, A.D. Friederici, and X. Zhou. Semantic and syntactic processing in chinese sentence comprehension: Evidence from event-related potentials. Brain Research, 1071(1):186–196, 2006.
33
付録
A. 付録１
実験で用いた文以下に実験で使用した文を添付する．
34
表 1 視覚と聴覚実験で用いた文
正しい文
世界知識誤りを含んだ文
S 意味誤りを含んだ文
1
消防車は赤い。
消防車は青い。
消防車は甘い。
2
大都市の東京には人がたくさんいる。
大都市の東京には人が少しいる。
大都市の東京には人がすぐにいる。
3
日本一長い川は信濃川で、日本海に注いでいる。
日本一長い川は利根川で、日本海に注いでいる。
日本一長い川は富士山で、日本海に注いでいる。
4
消費税率は５％である。
消費税率は３％である。
消費税率は１００ｍである。
5
ダルビッシュ有は日本を代表する投手である。
ダルビッシュ有は日本を代表する打者である。
ダルビッシュ有は日本を代表する車である。
6
女の子が背負っているランドセルは赤い。
女の子が背負っているランドセルは黒い。
女の子が背負っているランドセルは暑い。
7
日本の交通機関のダイヤは正確だ。
日本国の交通機関のダイヤは不正確だ。
日本国の交通機関のダイヤは台無しだ。
8
桜の花は春に咲く花である。
桜の花は夏に咲く花である。
桜の花は空に咲く花である。
9
羊羹は甘くて美味しい。
羊羹は辛くて美味しい。
羊羹は強くて美味しい。
10
邪馬台国の女王は卑弥呼である。
邪馬台国の女王はエリザベスである。
邪馬台国の女王は犬である。
11
日本では車のハンドルは右にある。
日本では車のハンドルは左にある。
日本では車のハンドルは外にある。
12
イスラム教で禁止されている食べ物は豚である。
イスラム教で禁止されている食べ物は牛である。
イスラム教で禁止されている食べ物は家である。
13
日本では 8 月は夏である。
日本では 8 月は冬である。
日本では 8 月は足である。
14
梅雨はあめが多い。
梅雨は雨が少ない。
梅雨は雨がうるさい。
15
日本では元旦には神社にお参りする。
日本では元旦にはお墓にお参りする。
日本では元旦にはジャガイモにお参りする。
16
暖房器具から暖かい風が出ている。
暖房器具から涼しい風が出ている。
暖房器具から甘い風が出ている。
17
日本の番号は 7 桁である。
日本の番号は 5 桁である。
日本の番号は 2 列である。
18
日本ではお酒は 20 歳から飲むことができる。
日本ではお酒は 21 歳から飲むことができる。
日本ではお酒は男から飲むことができる。
19
米国の首都は、ワシントンで東海岸にある。
米国の首都は北京で、東海岸にある。
米国の首都は中国で、東海岸にある。
20
新幹線は高速で長距離を走る列車である。
新幹線は高速で短距離を走る列車である。
新幹線は高速で等距離を走る列車である。
21
アインシュタインは賢い物理学者である。
アインシュタインは馬鹿な物理学者である。
アインシュタインは未開な物理学者である。
22
イチローは有名な野球選手である。
イチローは有名なサッカー選手である。
イチローは有名な猿である。
23
イチローは有名な野球選手である。
イチローは無名な野球選手である。
イチローは雑多な野球選手である。
24
坂本龍馬は江戸末期の実在の人物だ。
坂本龍馬は江戸末期の架空の人物だ。
坂本龍馬は江戸末期の悪党の人物だ。
25
坂本龍馬は江戸末期の実在の人物だ。
坂本龍馬は平安末期の実在の人物だ。
坂本龍馬は末期症状の実在の人物だ。
26
アインシュタインは賢い物理学者である。
アインシュタインは賢い弁護士である。
アインシュタインは賢いリンゴである。
27
成人式に着る振り袖は和服である。
成人式に着る振り袖は洋服である。
成人式に着る振り袖は着服である。
28
京都の夏は暑く湿度が高い。
京都の夏は寒く湿度が高い。
京都の夏はおとなしく湿度が高い。
29
縄文人は縄文土器を使用する。
縄文人は弥生土器を使用する。
縄文人は大雨を使用する。
30
遺産相続の書類には実印が必要である。
遺産相続の書類には認め印が必要である。
遺産相続の書類には雨が必要である。
31
牛乳は牛の乳である。
牛乳はヤギの乳である。
牛乳は本の乳である。
32
大阪は京都よりも人口が多い。
大阪は京都よりも人口が少ない。
大阪は京都よりも人口が悪い。
33
バイクは自転車よりもスピードが速い。
バイクは自転車よりもスピードが遅い。
バイクは自転車よりもスピードが美味しい。
34
今年の日本の財政は赤字である。
今年の日本の財政は黒字である。
今年の日本の財政は梵字である。
35
ペリーは艦隊を率いて浦賀にやってきた。
ペリーは艦隊を率いて北海道にやってきた。
ペリーは艦隊を率いて小説にやってきた。
36
日本人の主食は米である。
日本人の主食は麦である。
日本人の主食は山である。
37
西洋人の主食は麦である。
西洋人の主食は粟である。
西洋人の主食は道である。
38
「あいうえお」は日本語の母音である。
「あいうえお」は日本語の子音である。
「あいうえお」は日本語の熱気である。
39
道後温泉は日本最古の温泉である。
道後温泉は日本最新の温泉である。
道後温泉は日本郵便の温泉である。
40
平等院鳳凰堂は 10 円玉の表面に描かれている。
平等院鳳凰堂は 10 円玉の裏面に描かれている。
平等院鳳凰堂は 10 円玉の海面に描かれている。
41
ソメイヨシノは 100 円玉の表面に描かれている。
ソメイヨシノは 100 円玉の裏面に描かれている。
ソメイヨシノは 100 円玉の兎に描かれている。
42
ヘリコプターが頭上を通過した。
ヘリコプターが眼下を通過した。
ヘリコプターが足音を通過した。
43
大分県は九州地方に位置し、温泉で有名である。
大分県は四国地方に位置し、温泉で有名である。
大分県は地方貴族に位置し、温泉で有名である。
44
センター試験は毎年 1 月に実施されている。
センター試験は毎年 2 月に実施されている。
センター試験は毎年満月に実施されている。
45
大学院の修士課程は 2 年である。
大学院の修士課程は 3 年である。
大学院の修士課程はおやつである。
46
奈良の東大寺には大きな大仏がある。
奈良の東大寺には大きな川がある。
奈良の東大寺には大きな証券がある。
47
奈良の東大寺には大きな大仏がある。
奈良の東寺には大きな大仏がある。
奈良の青空には大きな大仏がある。
48
静岡はお茶の産地で有名である。
静岡はカニの産地で有名である。
静岡は報告書の産地で有名である。
49
日本海では美味しい魚介類がた沢山とれる。
日本海では美味しい肉類が沢山とれる。
日本海では美味しい法律が沢山とれる。
50
ハワイは太平洋に浮かぶ米国の領土である。
ハワイは太平洋に浮かぶ英国の領土である。
ハワイは太平洋に浮かぶ印鑑の領土である。
51
1945 年 8 月 6 日、広島に原子爆弾が投下された。
1945 年 8 月 6 日、長崎に原子爆弾が投下された。
1945 年 8 月 6 日、飛行機に原子爆弾が投下された。
52
鎌倉時代に元は日本を攻めた。
鎌倉時代にアメリカは日本を攻めた。
鎌倉時代に秋桜は日本を攻めた。
53
地球は太陽の周りを公転している。
地球は太陽の周りを自転している。
地球は太陽の周りを前転している。
54
凍結した路面は危険だ。
凍結した路面は安全だ。
凍結した路面は奇妙だ。
55
寒さで路面が凍結した。
寒さで路面がひび割れた。
寒さで路面が主張した。
56
地震で家が倒壊する被害が相次いだ。
地震で家が流される被害が相次いだ。
地震で家が発散する被害が相次いだ。
57
電車がホームに入ってきた。
電車が家に入ってきた。
電車が海流に入ってきた。
58
あかい夕日が沈んでいく。
あかい夕日が昇っていく。
あかい夕日が並んでいく。
59
富士の樹海は自殺の名所として知られている。
富士の樹海は観光の名所として知られている。
富士の樹海は脚気として知られている、
60
長く続いた日照りで干ばつが発生した。
長く続いた日照りで洪水が発生した。
長く続いた日照りで行灯が発生した。
61
日本の川は短く、流れが急である。
日本の川は長く、流れがおだやかである。
日本の川は狂おしく、おろそかである。
62
鉄鉱石がほとんどとれない日本では、輸入に頼っている。
鉄鉱石がほとんどとれないオーストラリアでは、輸入に頼っている。
鉄鉱石がほとんどとれないオーストラリアでは、輸入に頼っている。
63
富士山は休火山である。
富士山は活火山である。
富士山は五月雨である。
64
もみじは落葉広葉樹で日本に広く分布している。
もみじは常緑樹で日本に広く分布している。
もみじは行楽で日本に広く分布している。
65
計算機は正確に仕事をする。
計算機はいい加減に仕事をする。
計算機は鷹揚に仕事をする。
66
長く続いた大雨で洪水が発生した。
長く続いた大雨で干ばつが発生した。
長く続いた大雨でちまきが発生した。
67
池に張った氷はとても分厚く人が乗るには十分だ。
池に張った氷はとても分厚く人が乗るには不十分だ。
池に張った氷はとても分厚く人が乗るには完成だ。
68
夏は暑いので毎年熱中症患者が沢山発生する。
夏は暑いので毎年凍傷患者が沢山発生する。
夏は暑いので毎年映画館が沢山発生する。
69
北国の冬はとても寒く雪が積もる。
北国の冬はとても暖かく雪が積もる。
北国の冬はとてもあじけなく雪が積もる。
70
日本では大晦日には鐘をつく習慣がある。
日本では大晦日には餅をつく習慣がある。
日本では大晦日には鯉をつく習慣がある。
71
3 月 3 日はひな祭りである。
3 月 3 日はこどもの日である。
3 月 3 日は紫陽花である。
72
夏には海岸は海水浴客で賑わう。
夏には海岸は宿泊客で賑わう。
夏には海岸は大根で賑わう。
73
カフェインは眠気を取ってくれる効果がある。
カフェインは寒気を取ってくれる効果がある。
カフェインは知事を取ってくれる効果がある。
74
冬は乾燥するので肌が荒れやすい。
冬は乾燥するので肌が潤いやすい。
冬は乾燥するので肌が彷徨いやすい。
75
コンニャクにはカロリーがほとんど無い。
コンニャクには食物繊維がほとんど無い。
コンニャクには安価がほとんど無い。
76
お汁粉は甘くて暖かい。
お汁粉は辛くて暖かい。
お汁粉は恐ろしくて暖かい。
77
第二次世界大戦後に国際連合が作られた。
第二次世界大戦後に国際連盟が作られた。
第二次世界大戦後に嫉妬が作られた。
78
台風は太平洋で発生する。
台風はインド洋で発生する。
台風は間隔で発生する。
79
日本の初代首相は伊藤博文である。
日本の初代首相は小泉純一郎である。
日本の初代首相はトヨタ自動車である。
80
大阪府は奈良県の西隣に位置する。
大阪府は奈良県の東隣に位置する。
大阪府は奈良県の蜜柑に位置する。
81
徳川家康は江戸幕府の初代将軍である。
徳川家康は鎌倉幕府の初代将軍である。
徳川家康は冬の初代将軍である。
82
長篠の戦いで勝利したのは、織田軍である。
長篠の戦いで勝利したのは、武田軍である。
長篠の戦いで勝利したのは、醤油である。
83
天候不順で野菜の価格が高騰している。
天候不順で野菜の価格が暴落している。
天候不順で野菜の価格が跳躍している。
84
円高の影響で輸入品の価格が下落した。
円高の影響で輸入品の価格が上昇した。
円高の影響で輸入品の価格が埋没した。
85
日本人の米の消費量が低下している。
日本人の米の消費量が上昇している。
日本人の米の消費量が乱雑している。
86
プロ野球選手のバットは木製である。
プロ野球選手のバットは金属製である。
プロ野球選手のバットは冗長である。
87
日本では車は左車線を走行する。
日本では車は右車線を走行する。
日本では車は光線を走行する。
88
大麻は麻薬の一種である。
大麻は生薬の一種である。
大麻は薬師の一種である。
89
普通電車は区間内のすべての駅に停車する。
普通電車は区間内の限られた駅に停車する。
普通電車は区間内の拘りの駅に停車する。
90
天気の変わり目は低気圧と共にやってくる。
天気の変わり目は高気圧と共にやってくる。
天気の変わり目は空気圧と共にやってくる。
No
35
正しい文
1
信濃川は
日本で一番
長く
詩歌にも
歌われている。
2
東京の
人口は
多く
人口密度も
高い。
3
コーヒーに
砂糖と
ミルクを
入れて
飲む。
4
奈良は
古い
寺と
神社で
有名である。
5
センター試験は
1 月の
寒い時期に
毎年
行われている。
6
日本の
新幹線は
白く
とても
速い。
7
和菓子の
ようかんは
甘くて
柔らかい
食感である。
8
手紙の
最初には
拝啓と書き
最後に
敬具と書く。
9
桜は
春の
花で
硬貨にも
描かれている。
10
太陽は
東から
昇って
西に
沈む。
表2
表 3 意味誤りの単語を含んだ文
semantic
1
奈良は
古い
金利と
神社で
有名である。
2
センター試験は
1 月の
醜い時期に
毎年
行われている。
3
日本の
新幹線は
旨く
とても
速い。
4
和菓子の
ようかんは
儚くて
柔らかい
食感である。
5
手紙の
最初には
憂鬱とかき
最後に
敬具と書く。
6
桜は
春の
体育で
硬貨にも
描かれている。
7
太陽は
東から
転んで
西に
沈む。
8
手紙の
最初には
草々と書き
最後に
敬具と書く。
9
桜は
春の
七草で
硬貨にも
描かれている。
10
太陽は
東から
沈んで
西に
昇る。
36
表 4 知識誤り単語を含んだ文の例
world knowledge
1
信濃川は
日本で一番
短く
詩歌にも
歌われている。
2
東京の
人口は
少なく
人口密度も
高い。
3
コーヒーに
砂糖と
唐辛子を
入れて
飲む。
4
奈良は
古い
教会と
神社で
有名である。
5
センター試験は
1 月の
暑い時期に
毎年
行われている。
6
日本の
新幹線は
黒く
とても
速い。
7
和菓子の
ようかんは
酸っぱくて
柔らかい
食感である。
8
手紙の
最初には
草々と書き
最後に
敬具と書く。
9
桜は
春の
七草で
硬貨にも
描かれている。
10
太陽は
東から
沈んで
西に
昇る。
37
B. 付録２
CP2
-4
-6
-2
0
2
4
4
0
100
200
300
400
500
4
6
0
600
100
400
500
600
2
4
4
6
300
400
500
600
-2
-4
200
300
400
500
600
0
100
200
300
400
time[s]
correct
world knowledge
semantic
-4
-2
0
0
2
2
4
4
6
6
0
100
200
300
400
time[s]
500
600
500
600
0
CP2
!"#!
-6
µV
-2
600
6
100
time[s]
correct
world knowledge
semantic
500
4
0
CP2
!"!
400
2
time[s]
-6
300
correct
world knowledge
semantic
-4
6
200
200
CP2
!"#!
-6
0
2
100
100
time[s]
µV
-2
0
0
0
correct
world knowledge
semantic
-4
µV
µV
-2
300
CP2
!"!
-6
correct
world knowledge
semantic
-4
200
time[s]
CP2
!"!
-6
0
2
time[s]
µV
-2
6
6
correct
world knowledge
semantic
-4
0
2
CP2
!"!
-6
correct
world knowledge
semantic
-4
µV
µV
-2
CP2
!"#!
correct
world knowledge
semantic
µV
!"#!
-6
0
100
200
300
400
500
600
time[s]
図 16 チャンネル毎の視覚刺激に対する ERP 波形
38
C. 付録３
!"!
-8
-4
Amplitude [µV]
-2
0
2
4
6
0
-2
0
2
4
200
400
600
time[ms]
800
1000
200
400
600
time[ms]
800
0
2
4
-2
0
2
4
6
8
0
!"!"
-8
-6
-4
200
400
600
time[ms]
800
0
2
4
600
800
Amplitude [µV]
0
2
4
-4
200
200
400
600
time[ms]
600
800
0
200
800
1000
400
600
time[ms]
800
1000
correct
world knowledge
semantic
-6
-4
-2
0
2
4
0
1000
!"!
-8
correct
world knowledge
semantic
2
4
8
0
400
0
6
1000
4
-8
-2
8
800
2
8
-6
6
1000
0
6
0
!"!"
-8
-2
800
-2
200
time[ms]
correct
world knowledge
semantic
-4
-4
1000
4
1000
!"#!
-6
800
2
time[ms]
-8
600
0
8
400
400
-2
6
1000
!"#!
-4
8
200
200
correct
world knowledge
semantic
-6
6
800
8
!"#!
-8
correct
world knowledge
semantic
400
600
time[ms]
correct
world knowledge
semantic
-6
time[ms]
-2
0
200
6
0
1000
4
!"#!
-4
8
2
-8
correct
world knowledge
semantic
-6
6
0
0
Amplitude [µV]
-2
-2
1000
Amplitude [µV]
-4
Amplitude [µV]
-6
-4
8
0
-8
correct
world knowledge
semantic
correct
world knowledge
semantic
-6
6
8
Amplitude [µV]
Amplitude [µV]
-4
!"#!
!"#!
-8
Amplitude [µV]
-6
6
8
Amplitude [µV]
!"#!
-8
correct
world knowledge
semantic
Amplitude [µV]
Amplitude [µV]
correct
world knowledge
semantic
-6
Amplitude [µV]
!"!
-8
400
600
time[ms]
correct
world knowledge
semantic
-6
-4
-2
0
2
4
6
8
0
200
400
600
time[ms]
39
800
1000
0
200
400
600
time[ms]
!"!
-8
-4
-2
0
2
4
6
-4
-2
0
2
4
200
400
600
time[ms]
800
1000
0
200
400
600
800
-2
0
2
4
400
600
time[ms]
200
800
1000
400
600
800
1000
800
1000
!"!
-8
correct
world knowledge
semantic
-6
-4
-2
0
2
4
correct
world knowledge
semantic
-6
-4
-2
0
2
4
6
8
8
200
4
time[ms]
6
6
0
2
0
Amplitude [µV]
Amplitude [µV]
-4
0
1000
!"#!
-8
correct
world knowledge
semantic
-6
-2
time[ms]
!"!
-8
-4
8
8
0
correct
world knowledge
semantic
-6
6
6
8
Amplitude [µV]
!"!
-8
correct
world knowledge
semantic
-6
Amplitude [µV]
correct
world knowledge
semantic
-6
Amplitude [µV]
Amplitude [µV]
!"!
-8
0
200
400
600
time[ms]
800
1000
8
0
200
400
600
time[ms]
図 17 チャンネル毎の聴覚刺激に対する ERP 波形
40
D. 発表リスト
D.1 学会発表
1. Yu Odagaki, Sakriani Sakti, Graham Neubig, Tomoki Toda, Satoshi Nakamura, ”An ERP analysis of the World-Sence and Semantics”, The 35th
Annual Meeting of the Japan Neuroscience Society
2. Yu Odagaki, Sakriani Sakti, Graham Neubig, Tomoki Toda, Satoshi Nakamura, ”An ERP analysis of the World-Sence and Semantics”, The 3rd Australasian Cognitive Neuroscience Conference
41