Comments
Description
Transcript
文法テストはこのままでよいのか（PP.1～15）
日本言語文化研究会論集 2011 年第 7 号 【寄稿論文】 文法テストはこのままでよいのか 根岸雅史 〔キーワード〕文法テスト、暗示的知識、明示的知識、手続き的知識、宣言的知識 1. はじめに 第 2 言語習得研究では、これまでに文法能力の様々な定義が試みられてきている。しかし ながら、その文法能力を測っていることになっている文法テストは、従来からほとんど変わ っておらず、 その限定的な側面しか測ってこなかったのではないかと考えられる。 本稿では、 こうした問題意識に立ち、これまで測られていなかった新しい側面に焦点を当てたテストの 試みを紹介する。 2. 文法能力観 本稿では、まず文法テストが測定対象とする「文法能力」とは、どのようなものであるか 考察する。 「文法能力」は、歴史的には様々な概念化が行われてきているが、ここでは、近年 の第 2 言語習得研究における 1 つの中心的な概念である「暗示的知識」と「明示的知識」に 関する議論を振り返る（Ellis 2008, 2009a, 2009b, 2009c; Ellis, Loewen, Elder, Erlam, Philip & Reinders, 2009; Gass & Selinker, 2008） 。Ellis（2008, 2009a）によれば、暗示 的知識とは直感的、手続き的、非計画的な言語使用で、自動的な処理により利用可能となる のに対して、明示的知識は意識的、宣言的で、制御された、計画的な言語使用である。 この点に関して、Ellis（2009a） は第 2 言語の知識には 3 つの立場があるとしている。1 つはノン・インターフェイスの立場、もう 1 つは、強いインターフェイスの立場、そして、3 つ目が弱いインターフェイスの立場である。ノン・インターフェイスの立場は、 「明示的知識 が暗示的知識に直接変容する可能性も、暗示的知識が明示的になるという可能性も否定して いる（Ellis 2009a: 21） 。この代表は Krashen（1982）であり、第 2 言語の知識の発達を「習 得」と「学習」に分け、これらは独立したものと考えている。 これに対して、強いインターフェイスの立場は「明示的知識は暗示的知識から引き出され るだけでなく、その逆に、明示的知識は練習により暗示的知識に変換することができる」と 考える。この代表に DeKeyser（2007a, 2007b）がおり、技能習得理論を展開している。そこ では、人間がどのように様々な技能を身につけていくのかが解明されており、こうしたプロ セスは第 2 言語分野においても当てはまると考えられている。 DeKeyser（2001, 2007a, 2007b） は「宣言的」 「手続き的」 「自動的」という 3 つの発達段階を設定している。最初の段階では、 学習者は、まず宣言的な知識を獲得する。多くの場合、知識は口頭で伝達される。次に、こ の宣言的知識はある目標行動を遂行するにあたり利用できるようになると、手続き的な知識 となる。さらに、こうした知識は練習を通して自動化される。この段階に到達するには、時 間を要すが、最終段階では、瞬時に容易に実行されるのである。DeKeyser（2007b） の主張 では、一旦手続き的知識が獲得されたといっても、それはまだ頑強なものではなく、反応時 間も遅く、一定のエラーも起こる。ある程度の注意もまだ向ける必要があるが、練習を積み 重ねることで、徐々に自動化されていく。外国語学習で言えば、教室内で文法を学ぶ場合は、 多くの場合そのルールを明示的に学ぶが、それによって獲得される宣言的知識をもとにドリ ルを重ねることで、無意識の学習、つまり、手続き化に到達するのである。しかしながら、 自動化した知識が常に無意識のものであるとは限らず、自動化はされているがある程度意識 されている知識もある。Ellis（2009a）によれば、成人の外国語学習者の多くは、明示的な 知識の学習からスタートし、練習により徐々に手続き化していき、その結果、自動化された 意識的な知識、または、 無意識的な知識に到達する。 これに対して、弱いインターフェイスの立場は明示的知識が暗示的知識になる時期を限定 している。Ellis（2008）によれば、この立場では、明示的知識が暗示的知識になるのは、学 習者が発達段階的に準備の整っているときだけであるとする。このとき、明示的知識は暗示 的知識を促進するだけである。つまり、そこでは、明示的知識は、学習者がインプットの言 語形式に気づき、その自らの気づきとその時点での自身の中間言語の比較を行うことに役立 つだけである。 日本の英語学習環境を考えると、学習者は、多くの場合、授業で文法規則を明示的に教え られることで宣言的知識を獲得し、そこから練習によりその宣言的知識を手続き的知識に変 容させることになる。しかしながら、今日では、意味に焦点をおいた練習のみならず、言語 形式の練習も不十分な状態にあり、手続き的知識に変容する文法項目は多くないと考えられ る。 こうした知識に関連して、近年「作業記憶」が注目されている。Gass & Selinker（2008） や Sawyer & Ranta（2001）によれば、作業記憶とは、人間が情報を保持し、操作するプロセ スを指し、一連の認知プロセスのために用いられる独立した一時的な認知的作業場である。 この作業記憶の容量は限定的であるため、ある作業にその容量を取られると他の作業にはほ とんど使えなくなってしまうことがある。しかしながら、その作業自体が自動化し無意識の うちに遂行できるようになれば、意味処理などの他の作業に作業記憶を用いることができる ようになると考えられている。 3. 従来の文法テスト それでは、文法能力は言語テストにおいてどのように測定されてきたのであろうか。この 答えを得るために、言語テスト研究における文法テストをまず歴史的に概観する。言語テス ト研究は、1961 年の R. Lado の『Language Testing』の出版以来、様々な発展を遂げてきた。 『Language Testing』の出版を言語テスト研究の歴史の始まりと考えれば、言語テスト研究 は約半世紀ほどの歴史の浅い学問分野であるが、この間めざましい進歩を遂げてきていると 言えるだろう。しかしながら、本稿で扱おうとしている「文法テスト」を考えた場合、Lado （1961）の文法テストから、ほとんど変わっていない。4 技能の評価方法や統合的技能の方 法などは、この間大きな変化を遂げており、それぞれのイメージは研究者や指導者の間で、 大きく異なる。これに対して、 「文法テスト」からイメージされるものは、あまり大きくずれ ることはないまま今日に至っている。 おそらく、 「文法知識」というものを単独で取り出して測定しようとする時点で、統合的な テスト方法やコミュニカティブ・テスティングといった手法から外れてしまうのかもしれな い。そもそも、言語テストの文献では、 「革新的言語テスト」を扱ったものでは、 「文法テス ト」は登場することはない。言語テストの代表的な概論書を振り返ってみても、具体的な「文 法テスト」を本格的に扱っているのは、Lado（1961）以降、1969 年の D. Harris の『Testing English as a Second Language』 、Heaton（1988）の『Writing English Language Tests』 、 Hughes（2003）の『Testing for Language Teachers』くらいである。しかも、Hughes（2003） の初版は 1989 年であり、文法テストの章は、そこからほとんど変わっていない。その意味で は、Purpura（2004）の『Assessing Grammar』は文法能力の測定だけを扱っており、その点、 やや異色であるかもしれないが、それは Assessing …シリーズとして各技能や文法・語彙と いった分野を順にカバーしているためであろう。つまり、言語テストの概論書において、文 法テストが正面切って扱われるのは、1980 年代が最後と言ってもいいだろう。しかも多くの 言語テストにおいて、文法問題はほぼ限られたパターンで出題されてきているという厳然た る事実もある。文法テストは、いわば「化石化」し、その有り様については、疑問を挟む余 地がほとんどなくなってしまった観さえある。 さて、 文法知識はこれまでどのように測定されてきたであろうか。 具体的問題を見ながら、 振り返ってみる。文法テスト・タイプをある程度広く紹介しているものとしては、まず Harris （1969）がある。ここでの分類は以下の通りだ。なお、番号についている HA は、Harris の 先頭の 2 文字を用いた。 HA-1. Completion（multiple-choice）完成（多肢選択） HA-2. Sentence alternatives（multiple-choice）文選択（多肢選択） HA-3. Sentence interpretation（multiple-choice）文解釈（多肢選択） HA-4. Scrambled sentence（multiple-choice）ごちゃ混ぜ文（多肢選択） HA-5. Completion（supply type）完成（補充タイプ） これに対して、Heaton（1988）の分類は、次の通りである。ただし、下記の番号は本稿の ために便宜的につけたもので、原典のセクション番号とは異なる。番号についている HE は、 Heaton の先頭の 2 文字を用いた。 HE-1. Multiple-choice grammar items 多肢選択式文法項目 HE-2. Error-recognition multiple-choice items エラー認識多肢選択項目 HE-3. Rearrangement items 並べ換え項目 HE-4. Completion items 空所補充項目 HE-5. Transformation items 書き換え項目 HE-6. Items involving the changing of words 単語変形項目 HE-7. ‘Broken sentence’ items 不完全文項目 HE-8. Pairing and matching items 組み合わせ項目 HE-9. Combination and addition items 結合・追加項目 これらは具体的には次のような問題である。 HE-1. 多肢選択式文法項目（空所補充） Tom ought not to ……….. （A. tell B. having told C. be telling D. have told）me your secret, but he did. ---Heaton（1988: 34） HE-2. エラー認識多肢選択項目 My car had broken down, so I went there by foot. A B C D ---Heaton（1988: 40） HE-3. 並べ換え項目 ‘Won’t I need a coat?’ ‘Well, you know how…………’ A. it B. today C. warm D. is ---Heaton（1988: 41） HE-4. 空所補充項目 While they were ……….. television, there was a sudden bang outside. HE-5. 書き換え項目 In sunny weather I often go for a walk. When the weather…………………………. ---Heaton（1988: 46） HE-6. 単語変形項目 Students who were given the drug for a fortnight did considerably（well）in tests than others. ---Heaton（1988: 49） HE-7. 不完全文項目（動詞の形を変形させたり、冠詞や前置詞を入れたりしながら、不完全 な文を完成させる） Take / drugs and stimulants / keep awake / while revise examination / often be very harmful. / It be far better / lead / balanced life / and get enough sleep / every night. / There / be / limit / degree and span / concentration / which you be capable / exert. /Brain / need rest / as much body, / Indeed, / it be quality / than quantity work / that be important. ---Heaton（1988: 49） HE-8. 組み合わせ項目 Going to see a film tonight? ..F.. A. No, I didn’t. How was the film? ….. B. Most are, I think. I can’t stand war films, can you? ….. C. It’s one of the reasons. So you went to the cinema. ….. D. I had a lot of work to do. Don’t you find war films so violent? ….. E. Actually, I quite like them. Have you ever seen a Japanese war film? ….. F. Yes. I probably will. I like war films ….. G. No, I haven’t. Is everyone going to see the film? ….. H. What a good idea! I prefer them to war films. What about going to see cowboy film instead? ….. I. So do I. Why didn’t you come with us to see the film? ….. J. All right. Nothing special. Is that why you don’t like war films? ….. K. Not really. I quite like them. ---Heaton（1988: 50） HE-9-1. 結合項目（カッコ内の語を使って、文の各部分を結合する） You finish the paper. Then check your answers carefully. （AFTER） ---Heaton（1988: 50） HE-9-2. 追加項目（大文字の単語をもっとも適当なところに挿入する） YET Have you answered all the questions? ---Heaton（1988: 50） Heaton（1988）を Harris（1969）と比較すると、より包括的であり、HA-1 と HA-2 は HE-1 に、HA-4 は HE-3 に、HA-5 は HE-4 に含まれることになる。なお、HA-3 は Harris 自身も認め ているとおり、これは解釈問題であり（例題は代名詞が何を指しているかを問うている） 、文 法テストに含められることはまれである。彼らの分類を見ても分かるように、文法テストの 分類は容易ではない。たとえば、多肢選択式というと 1 つの明確なタイプとして捉えられる ように思われるかもしれないが、実際は多肢選択式の空所補充問題や多肢選択式の並べ換え 問題なども存在している。したがって、文法テストの分類に当たっては、問題タイプのカテ ゴリー（空所補充か並べ替えかなど）と解答タイプのカテゴリー（多肢選択式か記述式かな ど）を分けて分類する必要があるだろう。 これらの問題は、 （シンタグマティックな観点やパラディクマティックな観点からの） 文法、 あるいは、語法、および、語彙といったような知識を見ている。いわゆる世間で言う「文法 問題」が、狭い意味の文法知識だけでは解答不能であるのは、興味深い。いずれにしても、 Harris（1969）でも Heaton（1988）でも、その文法問題の解答プロセスは、問題のステムを 読み正答をじっくりと選択または産出するというものである。つまり、上述の文法能力の枠 組みで言えば、 「明示的知識」や「宣言的知識」がもっぱら問われてきたと言える。文法問題 はいかにその範囲を広げようとも、測定対象となってきたものは、文法規則の静的な知識だ けである。 これに対して、Purpura（2004）は文法問題のタスク・タイプを次のように分類している。 表 1．文法問題のタスク・タイプの分類（Purpura, 2004: 127） Selected-response tasks Limited-production tasks Extended-production tasks Multiple-choice activities Gap-filling activities Summaries, essays True/false activities Cloze activities Dialogues, interviews Matching activities Short-answer activities Role-play, simulations Discrimination activities Dictation activities Stories, reports Lexical list activities Information-transfer Some information-gap Grammaticality judgment activities activities activities Some information-gap Problem-solving activities Noticing activities activities Decision-making activities Dialogue (or discourse) completion activities この分類がユニークなのは、1 つは伝統的な文法テストにおいて通常含まれていた並べ換え 問題が含まれていないことである。おそらくこれは用いられた分類カテゴリーと並べ換え問 題との相性がよくなかったためであろう。つまり、並べ換え問題は、決められた反応から正 解を選ぶというものでも、部分的にも全面的にも何らかの産出をするものでもないからであ る。もう 1 つの特徴は、エッセーやインタビューに代表される産出タスクを文法テストに含 めていることであろう。確かにこれらの全面的な産出タスクにおける正確さを見ることで、 文法能力を測定することはできるかもしれない。しかしながら、問題は、これらのタスクで は、用いる文法の選択は受験者に任されており、ターゲットとする文法項目の習得の有無を 必ずしも測定することはできないことである。 4. CEFR における文法能力記述 ここで、欧州の言語教育の共通の枠組みである CEFR（Common European Framework of Reference for Languages）の文法能力の記述を見てみよう。CEFR においては、行動志向 （action-oriented）の can-do descriptors にばかり目が向けられるが、言語面の参照レベ ル記述もある。ヨーロッパのすべての言語において使える枠組みとしているために、個別の 言語に関する記述は当然ないが、 「言語」能力に関する記述はあるのだ。CEFR では、 「言語コ ミュニケーション能力」は「言語能力」と「社会言語能力」と「語用論的能力」の 3 つに分 かれ、 「言語能力」は、さらに「語彙能力」 「文法能力」 「意味能力」 「音韻能力」 「正書法能力」 「正音法能力」の 6 つに分けられている。 ここで興味深いのは、 「語彙能力」は、 「語彙知識の範囲」と「それをコントロールする能 力」から成っているのに対して、 「文法能力」は「文法的正確さ」の 1 本だけである。そこで は、 「文法能力」は「正確さ」と「コントロール」という概念を中心に、1 次元的に記述され ているのである。 表 2．CEFR の語彙能力の参照レベル記述（Council of Europe, 2001: 112） 表 3．CEFR の文法能力の参照レベル記述（Council of Europe, 2001: 114） この記述では、一見すると文法能力は文法的正確さという、従来の伝統的な文法テストが 測定してきた能力という観点からのみ記述されているように思われるかもしれない。しかし ながら、この CEFR の能力記述において重要なのは、宣言的知識の正確性を問題にしているの ではなく、実際の言語使用における正確さを問題にしているということだ。このことは、B1 の 1 つの descriptor における Communicates with reasonable accuracy ....というような 表現を見ると分かるだろう。つまり、正確さを判断する能力ではなく、コミュニケーション における言語使用の正確さが問題とされているということだ。こうした文法能力観と伝統的 な文法テストが測定してきた文法知識とがいかに乖離してきたものであったかが分かる。つ まり、従来型の文法テストでは、宣言的知識の理解の有無は分かっても、それが現実のコミ ュニケーション場面で使える知識であるかどうかについては、 まったく分からないのである。 5. 新たな「文法テスト」の出現 こうした従来の伝統的な文法テストに対して、新たな文法テストの萌芽を予見させる動き もある（根岸 2009） 。この動きは、文法テストという枠組みというよりはむしろスピーキン グ・テストの枠組みの中で見られる。本稿では最も代表的なテストとして、Versant English Test を紹介する。なお、以下の情報は、Versant English Test: Test Description and Validation Summary (Retrieved from http://www.versanttest.com/technology/VersantEnglishTestValidation.pdf）による。 Versant English Test は、電話やコンピュータでテストを実施し、音声認識エンジンを用い て自動で採点をするスピーキング・テストである。たとえば、Versant English Test には、 次のようなタスクが用いられている。 表 4．Versant English Test のタスクとその問題数 Task Presented A. Reading （音読） 8 B. Repeat （繰り返し） 16 C. Short Answer Questions （短答質問） 24 D. Sentence Builds （口頭並べ換え） 10 E. Story Retelling （物語の言い換え） 3 F. Open Questions （自由解答問題） 2 Total 63 B は聞こえてきた文をそのまま口頭で繰り返すタスクである。 C は答えがほぼ限定されるよう な問いに短く答えるタスクである。たとえば、What season comes before spring?という問 いに Winter.と答えるというようなものだ。また、D は従来の文法問題にある並べ換え問題を 口頭で行うものである。E は、聞いた話を自分の言葉で言い換えて伝えるものである。最後 の F は、受験者の意見や好みをたずねるタスクであるが、現段階ではこのタスクは採点対象 とはなっていない。Versant English Test は、音声認識エンジンを用いて自動採点を行うも のなので、解答はいくつかに限定される自由度の低いものである。 このテストの理論的背景について見てみる。このテストは、日常的なトピックにおいて母 語話者が見せるような反応の適切さを見ている。これは、言い換えれば、会話の理解と産出 における、その処理の容易さと即時性を見ているのである。このような言語能力観は、Levelt （1989）に基づいていると言われている。 図 1．リスニングとスピーキングにおける会話処理要素 Versant English Test では、会話における社会的ニュアンスや高度に認知的な機能からは独 立した、核となる言語処理要素を制御できているかを見ようとしている。通常の日常会話で は、上図から分かるように、様々なレベルの言語処理が行われているが、これらはそれぞれ 瞬時に行われている。これらの処理がリアル・タイムに行われなければ、コミュニケーショ ンに積極的に参加することはできない。このプロセスでは、どう言うかより何を言うかに話 し手が注意を向けられるように、言語処理における自動化が必要となる。言語処理における 自動化とは、語彙項目にアクセスし、それを引き出す能力、句や節を組み立てる能力、意識 的な注意を向けることなく、 言語コードに対する反応を言葉にする能力のことである （Cutler 2003; Jescheniak, Hahne, and Schriefers 2003; Levelt 2001） 。 Versant English Test では、英語の母語話者は高得点を取り、非母語話者は尺度に広く分 布しており、これは Versant English Test が単なる記憶テストであるという一部の批判に対 する反証となっている。なぜならば、もし Versant English Test が単なる記憶テストであれ ば、記憶力に個人差が認められる母語話者でも、その記憶力の違いにより大きな差が見られ るはずであるからだ。Versant English Test は、心理言語学的な要素を測定しようとしてい るのであって、コミュニケーションの社会的、修辞的、認知的要素を測定しようとしている のではない。つまり、言語そのものの処理効率の程度を見ようとしているのである。Versant English Test はリアル・タイムの言語のコード化の測定となっているために、口頭コミュニ ケーションに必須となる一般的口頭言語使用能力の予測力を持つと言える。 Versant English Test は、言語能力とりわけスピーキング能力を測定しようとしているわ けであるが、このテストは、見方を変えれば、言語処理能力を見ているとも言える。これは、 言語の宣言的知識と手続き的知識という対立の観点から見れば、後者の知識を測定しようと していると考えられる。 同様のねらいを持ったテストとしては、 「手続き的知識」または「暗示的知識」に関するリ サーチにおいて開発・利用されてきているものもある。代表的なものには、Ellis らが用い ている elicited imitation test（内容判断を伴う模倣テスト）がある。このテストでは、 絵がパソコンで提示された後に英文が読まれ、その内容の真偽を判断した後で、読まれた文 を再生する。受験者に途中で一度意味処理をさせてから文を再生させるので、単なるくり返 し再生以上の負荷がかかる。第 2 言語習得研究では、この手法のように様々なデータ抽出手 法がとられているので、これらも新しい「文法テスト」のヒントになるだろう。 外国語学習の習得段階を考えると、 「宣言的知識の段階」 「手続き的知識の段階」 「自動化さ れた知識の段階」の 3 つの段階が考えられる。上述のように、 「手続き的知識の段階」では、 目標の文法事項は使おうと思えば使えるが、完全には自動化していない段階である。この 3 つの段階を経るには、かなり時間のかかる文法項目もある。Purpura（2004）の枠組みによれ ば、 「宣言的知識の段階」は従来の selected-response tasks や limited-production tasks で見ることができるだろう。また、extended-production tasks で見えるのは、 「自動化され た知識の段階」であると考えられる。従来の言語テストにおいて欠落しているのは、 「手続き 的知識の段階」に到達しているかを見るテストである。この段階へ学習者が到達しているか を見ることのできるテストは、作業記憶に負荷をかけるタイプの Versant English Test や elicited imitation であると考えられる。 また、このような観点からのテストの実例を動画として収録・解説してある根岸監修の DVD 『スピーキング・テスト・セレクション』 （ジャパンライム社）がある。ここでは、下記のテ ストを文レベルの処理能力を見るタイプのテストとして提案してある。 Making appropriate responses 応答テスト Question and answer 質疑応答テスト Whispered conversation ささやき会話テスト Reading blank dialogue 空欄つきの会話テスト Sentence completion from written stimulus 文完成テスト Spoken gap-filling 口頭空所補充テスト （１）動詞選択型 （２）動詞変化型 Conversion 変換テスト （１）Question 質問文 （２）Tag question 付加疑問文 （３）Disagreeing 相手に反論 Sentence repetition 文反復テスト Spoken rearrangement test 口頭並べ替えテスト Elicited imitation 内容判断を伴う模倣テスト これらのテストは、スピーキングのテスト手法として提案されたものであり、全体として 充分な実証的な研究がなされてはいない。しかしながら、これらは従来の文法テストでは見 ることができなかった言語能力の側面である言語処理能力を見ていると考えられ、それが新 たな文法テストにつながっていくのではないか。今後これらの研究が進み、それぞれのテス ト・タイプでの文法項目ごとの項目難易度が産出され、それが第 2 言語習得研究の結果を反 映するというようなことが分かってくれば、真の文法テストとして認められる時代が来るか もしれない。 参考文献 （1） 根岸雅史（2009） 「評価クリニック：文法テストが測っている文法力再考」 『Teaching English Now』三省堂、Vol.15、14-15. （2） 根岸雅史監修 DVD（2010） 『スピーキング・テスト・セレクション』ジャパンライム社 Pearson. Versant English Test: Test Description and Validation Summary. Retrieved from <http://www.versanttest.com/technology/VersantEnglishTestValidation.pdf> （3） Council of Europe. (2001) Common European Framework of Reference for Languages: Teaching, Learning, Assessment. Cambridge: Cambridge University Press. （4） Cutler, A. (2003) Lexical access. In L. Nadel (eds.) Epilepsy – Mental Imagery, Philosophical Issues about. Encyclopedia of Cognitive Science. 2, London: Nature Publishing Group, 858-864. （5） DeKeyser, R. (2001) Automaticity and automatization. In P. Robinson (eds.) Cognition and Second Language Instruction, Cambridge: Cambridge University Press, 125-151. （6） DeKeyser, R. (2007a) Introduction: situating the concept of practice. In R. M. DeKeyser (eds.) Practice in a Second Language. Cambridge: Cambridge University Press, 1-18. （7） DeKeyser, R. (2007b) Skill acquisition theory. In B. VanPatten & J. Williams (eds.) Theories in Second Language Acquisition. Mahwah: Lawrence Erlbaum Associates, 97-113. （8） Ellis, R. (2008) The Study of Second Language Acquisition (2nd ed.) New York: Oxford University Press. （9） Ellis, R. (2009a) Implicit and explicit learning, knowledge and instruction. In R. Ellis, S. Loewen, D. Elder, R. Erlam, J. Philip & H. Reinders (eds.) Implicit and Explicit Kknowledge in Second Language Learning, Testing, and Teaching. Bristol: Multilingual Matters, 3-25. （10） Ellis, R. (2009b）he measurement of implicit and explicit knowledge. In R. Ellis, S. Loewen, D. Elder, R. Erlam, J. Philip & H. Reinders (eds.) Implicit and Explicit Kknowledge in Second Language Learning, Testing, and Teaching. Bristol: Multilingual Matters, 27-29. （11） Ellis, R. (2009c) Measuring implicit and explicit knowledge of a second language. In R. Ellis, S. Loewen, D. Elder, R. Erlam, J. Philip & H. Reinders (eds.) Implicit and Explicit Kknowledge in Second Language Learning, Testing, and Teaching. Bristol: Multilingual Matters, 31-64. （12） Ellis, R., Loewen, S., Elder, C., Erlam, R., Philip, J., & Reinders, H. (2009) Implicit and Explicit Kknowledge in Second Language Learning, Testing, and Teaching. Bristol: Multilingual Matters. （13） Gass, S. & Selinker, L. (2008) Second Language Acquisition: An Introductory Course (3rd ed.) New York: Routledge. （14） Harris, D. P. (1969) Testing English as a Second Language. New York: McGraw-Hill Book Company. （15） Heaton, B. J. （1988） Writing English Language Tests (new ed.) New York: Longman Inc. （16） Hughes, A. (2003) Testing for Language Teachers (2nd ed.) Cambridge: Cambridge University Press. （17） Jescheniak, J. D., Hahne, A. & Schriefers, H. J. (2003) Information flow in the mental lexicon during speech planning: evidence from event-related brain potentials. Cognitive Brain Research, 15(3), 261-276. （18） Krashen, S. (1982) Principles and Practice in Second Language Acquisition. Oxford: Pergamon. （19） Lado R. (1961) Language Testing: The Construction and Use of Foreign Language Tests. London: Longman. （20） Levelt, W. J. M. (1989) Speaking: From Intention to Articulation. Cambridge, MA: MIT Press. （21） Levelt, W. J. M. (2001) Spoken word production: A theory of lexical access. PNAS, 98(23), 13464-13471. （22） Purpura, J. (2004) Assessing Grammar. Cambridge: Cambridge University Press. （23） Sawyer, M. & Ranta, L. (2001) Aptitude, individual differences, and instructional design. In P. Robinson (eds.) Cognition and Second Language Instruction. Cambridge: Cambridge University Press, 319-353.