オンライン手書きデータを用いた学習者のつまずき検出

DEIM Forum 2012 A8-4
オンライン手書きデータを用いた学習者のつまずき検出
浅井洋樹†野澤明里‡苑田翔吾‡山名早人§¶
†早稲田大学大学院基幹理工学研究科〒169-8555 東京都新宿区大久保 3-4-1
‡早稲田大学基幹理工学部〒169-8555 東京都新宿区大久保 3-4-1
§早稲田大学理工学術院〒169-8555 東京都新宿区大久保 3-4-1
¶国立情報学研究所〒101-8430 東京都千代田区一ツ橋 2-1-2
E-mail: {asai, a_nozawa, s_sonoda, yamana}@yama.info.waseda.ac.jp
あらまし学習システムにおいて，個々の学習者のつまずき検出は，学習者の苦手とする分野を把握する上で重要
である．学習者の不正解や解答時間を用いた従来の手法は，数学などの解答過程を記述する問題においては，詳細
なつまずき箇所を検出することが困難である．一方，顔の表情の検出や生体信号を利用した手法では，学習者の負
担増加や検出精度についての課題が残る．そこで本研究では，解答時のオンライン手書きデータを利用することに
より，つまずき箇所を推定する手法を検討する．学習者の筆圧や筆記速度，筆記間隔といったオンライン手書きデ
ータを解析することにより，学習者のつまずきと手書きデータの関係性について明らかにする．
キーワード HCI，ユーザインタフェース，e-ラーニング，手書き
1.
はじめに
把握する手段もあるが，自己申告では必ずしも学習者
近年，電子教科書や電子黒板，電子ペンといった教
の つ ま ず い た 点 を 検 出 で き な い と の 報 告 [5]も あ る ．こ
材のデジタル化を実現するデバイスが登場し，教育の
のように，集団授業や遠隔教育において，学習者のつ
電子化に関する取り組みが盛んに行われるようになっ
まずいた点の把握が困難となる問題がある．
た ．文 部 科 学 省 が 2011 年 4 月 に 発 表 し た「 教 育 の 情 報
以上の問題を解決するため，教育現場の電子化を実
化 ビ ジ ョ ン 」[1]に お い て も ，2020 年 度 ま で の ビ ジ ョ ン
現するデバイスから取得した情報を利用して， 学習者
として，教育現場における学習者一人に一台の情報端
の成績情報だけでなく，つまずきに代表される学習者
末 環 境 の 実 現 や ，21 世 紀 に ふ さ わ し い 学 び の 環 境 と し
の心理状態の検出を試みる研究が行われている
てデジタルノートの利用などが挙げられ，今後ますま
[5][7][8][9][10] ． こ れ ら の 学 習 者 の 心 理 状 態 を 推 定 す
す電子教科書や手書きのデジタル化など ，教育の電子
る研究において，ビデオカメラや生体信号測定装置と
化が進むものと考えられる．
い っ た 付 加 的 な デ バ イ ス を 利 用 す る 研 究 [7][8] は 装 置
教育の現場において学習者個々の心理状態や，学習
を別途用意する必要があることや，学習者の負 担が増
行動パターンを指導者が把握することは，学習者に応
加するといった問題点がある．また，操作時間や学習
じた適切な指導をする上で重要である．これまでに学
者 の 反 応 を 利 用 す る 研 究 [5][9][10] は マ ウ ス と キ ー ボ
習者の学習スタイルや学習順序，反応パターンを利用
ー ド を 用 い た e-ラ ー ニ ン グ シ ス テ ム を 前 提 と し て い る
して，学習者ごとに最適な教材の 選択や支援を行う研
ため，紙とペンを用いた手書きが主流の教育現場にお
究 が 行 わ れ て き た [2][3][4] ． 特 に ， 指 導 者 が 学 習 者 の
いては対応することが困難となる．
つまずいた点を把握できれば，学習者が行き詰まるこ
そこで本研究では手書き入力可能なデバイスを利
とがないよう支援を行うことが可能となる．電子化が
用して得られる，筆記時系列情報を含むオンラインな
行われていない従来の教育現場では，学習者が問題演
手書きデータを利用して，学習者のつまずきを検出す
習を行なっている際に指導者が学習者の様子を見て回
る手法を検討する．オンライン手書きデータより筆記
ることや，採点結果をもとに学習者のつまずきを 発見
者の状況推定を行う研究として，オンライン手書きデ
し，対応が行われている．
ータのみから筆記者の注意力の負担である認知的負荷
しかし，一人の指導者に対する学習者の人数が増加
を 推 定 可 能 で あ る こ と を 示 し た 近 年 の 研 究 成 果 [6] が
するにつれて，学習者全てを見てまわる負担は増加す
存在する．本研究においては学習者のつまずきについ
るため，人数が多い授業においては個々の苦手分野を
てもオンライン手書きデータから推定可能であるかど
全て把握することが困難となる ．さらに通信添削や，
うかについて，検討を行う．
近 年 普 及 し 始 め て い る e-ラ ー ニ ン グ な ど の 遠 隔 教 育 に
2.
おいては，指導者が学習者の様子を把握することはよ
2.1.
り困難となる．学習者の自己申告によってつまずきを
関連研究
学習者のつまずき検出に関する研究
本節では学習者のつまずき検出に関連する研究に
ついて述べる．
まずきの検出を行った．学習者がつまずいた問題は所
黒 川 ら [7]，中 村 和 晃 ら [8]は 顔 画 像 や 脈 拍 な ど の 人 間
要時間が長くなることから，ベイズ予測分布を用いた
の生体情報を取得する装置を付加し，学習者の心理状
異常値検知モデルを構築し，所要時間の異質性を検出
態 を 推 定 す る 研 究 を 行 な っ た ．黒 川 ら [7]は 家 庭 用 ビ デ
することにより，学習者の所要時間が異常に長いまた
オカメラと生体信号測定装置を利用して，学習者の心
は，短い問題を検出する手法を提案した．学習者の学
理状態を以下の 4 種類の指標で推定する手法を提案し
習終了後における自己判定との一致率を比較する評価
た．
実験において，所要時間が異常に長い，異常に短い，

第 1 心理状態対：簡単－難しい
異 常 な し の そ れ ぞ れ に 対 し て 80%以 上 の 一 致 率 検 出 可

第 2 心理状態対：面白い－つまらない
能であることが示された．

第 3 心理状態対：理解できた－理解できない
これらの関連研究は顔画像や生体信号，学習者への

第 4 心理状態対：集中している－飽きている
問いかけを利用したものや，マウスとキーボードを利
利用した特徴量はビデオカメラから得られる顔画
用することが前提のものであり，つまずきの検出にオ
像より検出した顔の各パーツの相対座標の変化と生体
ンライン手書きデータを用いる点が本研究とは異なる．
信号測定装置から得られる脈拍数や呼吸数，皮膚温度
2.2.
である．これらの特徴量を元にテンプレートマッチン
オンライン手書きデータと心理状態に関する研
究
グ法とマハラノビス距離を用いたアルゴリズムにより，
Yu ら 0 は オ ン ラ イ ン 手 書 き デ ー タ か ら 得 ら れ る 特 徴
上 記 の 4 種 類 の 心 理 対 、つ ま り 8 種 類 の 心 理 状 態 を 71%
量 の み を 利 用 し て ， 筆 記 者 の 認 知 的 負 荷 (Cognitive
の一致率で推定することに成功した．一方中村和晃ら
Load)が 推 定 可 能 で あ る こ と を 示 し た ．認 知 的 負 荷 と は
[8]は ス テ レ オ カ メ ラ を 用 い て ，学 習 者 が 感 じ た 問 題 の
人間の注意力の負担の大きさのことであり，多くの注
難 易 度 (主 観 的 難 易 度 )を 推 定 す る 手 法 を 提 案 し た ． ス
意 力 を 要 す る 作 業 ほ ど 認 知 的 負 荷 は 大 き く な る ．Yu ら
テレオカメラから得られる学習者の表情や顔の傾き，
は被験者に指定した単語を利用して文章を作る設問を
頭部姿勢の特徴量を抽出し，サポートベクターマシン
与え，解答時のオンライン手書きデータを収集した．
(SVM)を 用 い て 学 習 者 ご と に 適 応 し た 主 観 難 易 度 の 高
指定する単語数を増減させることにより大きさの異な
/低 の 推 定 を 行 っ た ．評 価 実 験 の 結 果 ，75％ 程 度 の 精 度
る認知負荷を発生させて解析を行った結果， オンライ
で主観的難易度の高低の 2 値を推定可能なことが示さ
ン手書きデータから得られる特徴量において， 筆圧の
れた．
最高値と，筆記速度の最小値が認知的負荷と関連があ
ま た 藤 田 ら [9]は Learning Management System(LMS)
ることを示した．
において，所要時間や成績だけでなく，ビデオ教材の
本研究ではこれらの特徴量と共に，オンライン手書
タイムライン上で学習者に対する問いかけを挟み，そ
きデータから学習者のつまずき検出の可能性を検討す
の応答より学習者の心理状態を把握し，行き詰まり の
る．
状態を指導者にリアルタイムで通知するシステムを作
3.
学習者のつまずきに関する調査
成した．作成したシステムでは問いかけに対する応答
学習者のつまずきとオンライン手書きデータの関
速度や解答の正誤，所要時間，テストの得点の閾値を
連性について調査を行うため，学習時のオンライン手
設けて，学習者のつまずき状況を 3 段階に分けて指導
書きデータを収集するシステムを作成し，被験者に問
者に通知を行う．
題演習をシステム上で解答してもらう予備実験を行な
中 村 善 宏 ら [5]や 植 野 [10]は 学 習 者 の 学 習 時 間 に 関 す
るデータを利用してつまずきの検出を行った．中村 善
った．
3.1.
つまずきの定義
宏 ら [5] は コ ン ピ ュ ー タ 上 で 実 施 す る 学 習 支 援 で あ る
本研究は，オンライン手書きデータから学習者のつ
Computer Assisted Instruction (CAI) に お い て ，学 習 者 が
ま ず い た 箇 所 の 検 出 を 行 い ，指 導 者 や LMS に 対 し て 支
コンピュータを操作する時間間隔のデータを利用して
援の判断材料となるような情報を提供することが目的
学習者の行き詰まりを検知する手法を提案した． 学習
である．そこで，学習者が順調に解答を進めているか
者 が CAI の 学 習 支 援 機 能 を 用 い て も こ れ 以 上 学 習 を 進
どうか，さらに解答が進まない状態において は，試行
められない状態を行き詰まり状態と定義し，学習者が
錯誤を行いながら解答を続けようとしているか，また
行き詰まり状態に陥る前に操作時間間隔の移動分散が
は試行錯誤を行わず手が止まっている 状態にあるのか
大きくなることに着目して，移動分散が一定値を上回
どうかという 3 つの状態を検出することを目標とする．
った際に行き詰まりと判定を行う手法を提案した ．一
以上を踏まえ，学習者の解答状態の分類として表 1 の
方 ， 植 野 [10]は e ラ ー ニ ン グ シ ス テ ム に お い て ， 学 習
ように定義する．表 1 の定義にある「答案の記述の進
者が問題を解答するのに要した所要時間を利用してつ
行」とは，最終的に完成した答案に記述されている部
表 1 学習者の状態定義
状態名
定義
手を動かしながら試行錯誤
つまずき状態（活性）
を 行 な っ て い る が ，答 案 の 記
述の進行が確認できない．
手が動かず考え込んでいる
つ ま ず き 状 態 （ 非 活 性 ） 状 態 で あ り ，答 案 の 記 述 の 進
行が確認できない．
上記 2 つのつまずき状態に該
当 し な い 状 態 ．手 が 動 い て お
非つまずき状態
り ，か つ 答 案 の 記 述 の 進 行 が
確認できる．
図 2 オンライン手書きデータ収集の様子
分 を 記 述 し て い る か ど う か を 示 す も の で あ る ．つ ま り ，

操 作 時 間 （ sec）
答案の記述の進行が確認できない 状態とは，最終的な

各時間帯におけるペンの利用状態
答案では消し去っている部分を記述している状態を指
す．
本研究では表 1 に示した 3 状態の検出を，オンライ
ン手書きデータのみを用いて行うことを目標とする．
3.2.
(筆 記 状 態 ， 未 筆 記 状 態 ， 消 し ゴ ム 状 態 )
また作成したオンライン手書きデータ収集システ
オンライン手書きデータ収集システム
ムのスクリーンショットを図 1 に示す．
3.3.
学習時の手書きデータ収集
3.2 節 で 述 べ た 収 集 シ ス テ ム を 用 い て ， 学 習 時 の オ
予備実験として学習時のオンライン手書きデータ
ンライン手書きデータとつまずきに関する情報を収集
を収集するため，オンライン手書きデータの収集シス
する実験を実施した．被験者は著者の所属する情報工
テ ム を 作 成 し た ． こ の シ ス テ ム は C#で 開 発 を 行 い ，
学を専攻とする研究室の学生 6 名である．被験者には
Windows 上 で 動 作 す る も の で あ る ． 入 力 端 末 と し て ワ
早稲田大学理工系学部の入試問題の中から数学の問題
コ ム 社 の 液 晶 ペ ン タ ブ レ ッ ト Cintiq 12WX を 用 い た ．
を一問与え，オンライン手書きデータ収集アプリケー
作成したオンライン手書きデータ収集システムから取
ションが起動しているペンタブレット上に，解答過程
得できる情報を以下に示す．
も含め，解答を記入するようなタスクを与えた ．アプ

筆 記 デ ー タ （ 約 1180×790 pixel）
リケーション上にはつまずき開始ボタンとつまずき終

筆 圧 （ 1024 step）
了ボタンが用意され，被験者がつまずき始めた，また

筆 記 速 度 （ pixel/sec）
はつまずきから抜けだしたと感じた際には，各種ボタ
ンを押すように指示を与えた．また，解答中における
被験者の様子の観察記録や解答後のデータを元にした
被 験 者 に 対 す る イ ン タ ビ ュ ー も あ わ せ て 行 な い ， 3.1
節で述べたつまずきの定義に従って，どの状態にあっ
たかの記録を行なった．実験中の様子を図 2 に示す．
3.4.
収集データに関する考察
実験によって収集したデータをもとにオンライン
手書きデータとつまずきに関する考察を行う．まず 被
験者によるつまずきの自己申告と，表 1 での定義に従
った観測結果の比較を行う．大きなつまずきが発生し
た被験者のうちサンプルとして一人の自己申告のつま
ずき時間帯と，観測結果のつまずき時間帯を 図 3 に示
図 1 オンライン手書きデータ収集システム
図 3 観測と自己申告によるつまずき時間帯の
比較
図 4 各経過時間におけるストロークごとの筆圧と筆記速度
図 5 各 経 過 時 間 に お け る 筆 圧 最 大 値 （ 区 間 ： 10 秒 ）
す ．中 村 ら の 研 究 [5]で 報 告 さ れ て い る の と 同 様 に ，つ
き状態（活性）やつまずき状態（非活性）にある学習
まずきの観測結果と自己申告は 必ずしも一致しない結
者は認知的負荷が大きいとの仮説を立てた．
果となった．被験者の報告では，問題に集中してつま
しかし，図 4 の状態ごとの筆圧と筆記速度を参照し
ずき開始，終了ボタンを押し忘れたというものや，押
ても，各つまずき状態における差異は確認できない．
す基準がわかりにくく，結局押せなかった ，または過
ま た ，Yu ら の 研 究 に て 認 知 負 荷 ご と に 差 異 が 大 き く 現
剰に押す結果となったといった報告があった．この結
れ る と 報 告 さ れ て い る 筆 圧 の 最 高 値 に つ い て ，10 秒 ご
果より，解答中につまずきの自己申告を行うシステム
と に 算 出 し た グ ラ フ を 図 5 に 示 す ．10 秒 ご と の 最 高 筆
では，支援が必要であるかどうかの正確性に欠けるだ
圧と学習者の各状態間についても，大きな差異は確認
けでなく，学習者に余計な負担がかかるものと考えら
で き な か っ た ．こ の よ う な 結 果 と な っ た 理 由 と し て は ，
れる．そこで本研究では解答終了後に記録データと観
本稿で定義したつまずきと認知的負荷の関連性が低い，
測結果を照らし合わせながら得た結果を正解として採
または本研究環境においては，筆圧の最高値と認知的
用する．
負荷の関連性は現れないなどが考えられる．よって，
次に筆圧や筆記速度とつまずきの関連性について
考察を行う．最後まで解答が進まず，途中で実験を終
了した，つまり解答の途中で行き詰まり状態に陥った
被験者 2 名のうち，1 名の各経過時間における筆圧と
筆記速度を表すグラフを一例として図 4 に示す．関連
研 究 で も 述 べ た よ う に ，Yu ら の 研 究 0 に よ れ ば ，筆 記
者の認知的負荷の変化は筆圧と筆記速度の変化と関連
性がある．そこで非つまずき状態と比較して，つまず
表 2 各つまずき状態における
学習者の手書き行動
状態名
観測された手書き行動
Writing Stroke と Air Stroke
非つまずき状態
が交互に発生する
Writing Stroke， Air Stroke，
つまずき状態（活性）
Erasing Stroke が 順 に 発 生 す
る
つ ま ず き 状 態 （ 非 活 性 ） 大 半 を Air Stroke が 占 め る
図 6 各 経 過 時 間 に お け る 筆 記 モ ー ド の 割 合 （ Window Size = 10）
本研究の目標とするつまずきの検出には不適であると
4.
判断し，これらの特徴量はつまずきの検出に利用しな
4.1.
いこととした．
つまずき検出手法の検討
各時間帯におけるつまずき状態の推定
本節では予備実験の結果をもとに，つまずきを検出
一方，被験者の観察結果と収集システムによって得
する手法の検討を行う．まず，つまずき検出の流れを
た デ ー タ を 照 ら し 合 わ せ た 結 果 ， 3.1 節 で 定 義 し た 各
図 7 に 示 す ． 入 力 す る デ ー タ は 3.2 節 で 作 成 し た 収 集
状態時には，手書きにおいて表 2 のような手書き行動
システムから得られたオンライン手書きデータ である．
の 変 化 が 確 認 で き た ．な お ，Writing Stroke は ペ ン が タ
また出力は各時間帯の学習者のつまずき状態である．
ブレットに接地している，つまり書き込みを行ってい
提案手法の流れについて説明する． まず初めに記録
る 状 態 ， Air Stroke は ペ ン が タ ブ レ ッ ト に 接 地 し て い
されたオンライン手書きデータに対して，任意の時間
な い ， つ ま り 書 き 込 み を 行 っ て い な い 状 態 ， Erasing
で区切る．区切る区間をウィンドウと 定義し，区間の
Stroke は 消 し ゴ ム を 利 用 し て い る 状 態 の ス ト ロ ー ク を
長 さ を WindowSize と 呼 ぶ こ と に す る ． 次 に 各 ウ ィ ン
指す．
ド ウ に お け る 各 筆 記 モ ー ド（ Air Stroke, Writing Stroke,
予備実験において大きなつまずきが発生した被験
Erasing Stroke） が 占 め た 時 間 の 割 合 を そ れ ぞ れ 算 出 す
者 の 10 秒 ご と の 各 筆 記 モ ー ド の 割 合 を 図 6 に 示 す ．こ
る．算出した筆記モードの占有率を特徴量として， 全
の筆記モードの変化パターンの検出が可能となれば，
てのウィンドウに対して学習者のつまずき状態の推定
オンライン手書きデータよりつまずきの検出が可能で
を行う．つまずき状態の推定には表 2 の結果をもとに
あると考えられる．次節以降では，表 2 における手書
構築した決定木を用いる．構築したウィンドウごとの
きの行動パターンをオンライン 手書きデータより検出
つまずき状態の判定を行う決定木を 図 8 に示す．各ウ
し，つまずきを検出する手法について検討を行う．
ィンドウの学習者のつまずき状態を判定した結果，そ
れぞれの時間帯ごとのつまずき状態を得られる．
以上がつまずき状態を推定するアルゴリズムであ
図 7 提案手法の手順
図 8 つまずき状態の判定を行う決定木
り，本手法においては，以下の 3 つのパラメータが必
たウィンドウの一つ前のウィンドウ，つまりつまずき
要となる．
状態（非活性）が発生する直前に記述していた箇所に

WindowSize (sec): ウ ィ ン ド ウ （ 区 画 ） の サ イ
ついても着色を行う．着色する色 は赤色とした．また
ズ
それぞれの着色はつまずきの重度，つまりつまずいて

A-Rate (%): AirStroke 占 有 割 合 の 閾 値
いる時間の長さに応じて，色の濃さが変化するように

E-Rate (%): ErasingStroke 占 有 割 合 の 閾 値
着色を行なった．
予 備 実 験 の 結 果 を も と に ， WindowSize を 20 秒 ，
A-Rate を 98，E-Rate を 3 と そ れ ぞ れ 暫 定 的 に 設 定 し た ．
4.2.
つまずき箇所の可視化
以上の手法によって可視化を行なった出力結果の
一例を図 9 に示す．
提案つまずき検出手法の評価
5.
4.1 節 で 提 案 し た 手 法 に よ っ て 検 出 し た 時 間 帯 ご と
本節では 4 節で提案したつまずき検出手法に対して
のつまずき状態の情報のままでは ，指導者にとってど
評価を行い，パラメータの値の設定に関する検討や，
この解答箇所でつまずいたかを把握するのは困難であ
有効性に関する考察を行う．
る．そこでこのつまずき時間帯情報を元に，つまずき
5.1.
評価用解答データの収集
が発生した箇所の可視化を元の筆記データ上に行う．
まず初めに，評価を行うための解答データの収集を
まず，つまずき状態（活性）の可視化について説明
行 っ た ． デ ー タ の 収 集 環 境 は 3.3 節 で 利 用 し た 環 境 を
する．つまずき状態（活性）と判定されたウィンドウ
用 い た ．た だ し オ ン ラ イ ン 手 書 き デ ー タ の 収 集 に 加 え ，
の 時 間 帯 で 発 生 し た Writing Stroke と Erasing Stroke の
解答終了後においても容易に書き込み プロセスを再現
通過座標集合を，オンライン手書きデータより取得す
することが可能となるよう，書き込み時の画面キャプ
る ．取 得 し た 各 通 過 座 標 に 対 し て ．周 辺 25 ピ ク セ ル を
チャ動画も併せて記録を行なった．解答データを記入
緑色に着色する．次につまずき状態（非活性）の可視
した被験者は情報工学を専攻とする理系大学院生５名
化について説明する．つまずき状態（活性）の可視化
（男性４名，女性１名）である．被験者に対して大学
と同様に，つまずき状態（非活性）と判定されたウィ
入試レベルの数学の問題を最大２問与え，解答するタ
ン ド ウ の 時 間 帯 で 発 生 し た Writing Stroke と Erasing
スクを与えた．本データ収集では最大解答時間を２０
Stroke の 通 過 座 標 集 合 を 取 得 す る ． た だ し つ ま ず き 状
分に設定し，つまずきの自己申告ボタンによる記録は
態 （ 非 活 性 ） と 判 定 さ れ る ウ ィ ン ド ウ に は Writing
行わないものとした．実験中はオンライン手書きデー
Stroke と Erasing Stroke が ほ と ん ど 含 ま れ な い た め ，つ
タと画面キャプチャの記録の他に，被験者のつまずき
まずいた箇所を適切に着色できない可能性がある．そ
の様子を観察することにより記録し，実験後の被験者
こで，つまずき状態（非活性）については，判定され
インタビューと画面キャプチャの記録を併せてつまず
き箇所，時間帯の決定を表 1 の定義に従って行った．
さらに被験者は解答中に手が止ま り，行き詰まった場
合は口頭で申告を行い，インターネット上で解答方法
を調べることを許可し，この行き詰まりの申告または
最終的に解けない状態に陥った場合は非活性つまずき
状態として記録を行った．
5.2.
つまずき検出性能の評価
5.1 節 で 収 集 し た 解 答 デ ー タ に 対 し て ， 提 案 手 法 に
よって検出したつまずきと比較を行うことによって評
価を実施する．提案手法におけるパラメータ
WindowSize の 値 を 10～ 50 に 変 化 さ せ た 際 の ， つ ま ず
き 検 出 精 度 と 再 現 率 を 算 出 し た ．グ ラ フ を 図 10 に 示 す ．
今回のような比較的解答時間の長い問題は，ウィンド
ウサイズが大きい方が，全体的に検出性能が向上する
傾向にあることがわかった．個々の検出精度・再現率
においてはつまずき（活性）の精度やつまずき（非活
性）の再現率は，適切にウィンドウサイズを設定する
図 9 検出したつまずき箇所の可視化結果例
赤色：つまずき状態（非活性）
緑色：つまずき状態（活性）
こ と に よ り ， 80％ を 超 え る 精 度 ・ 再 現 率 で 検 出 可 能 で
あることが示された．
また，つまずき状態（活性）の再現率やつまずき状
図 10 各 ウ ィ ン ド ウ サ イ ズ に お け る つ ま ず き
検出精度と再現率
態 （ 非 活 性 ）の 精 度 が 最 大 で も 20～ 30%と 値 が 低 く な
っ た 要 因 と し て は ， A-Rate や E-Rate と い っ た
WindowSize 以 外 の パ ラ メ ー タ 設 定 に よ る も の と 考 え
られる．これらのパラメータを調整し，精度と再現率
のバランスについて実システムに有効なパラメータ設
定について検討する必要があると考えられる ．
6.
まとめ
本研究ではオンライン手書きデータを用いて，学習
者のつまずきを検出する手法について検討を行った．
手書きデータとつまずきの関連性の調査により， 数学
の問題演習時において時系列上のペンの利用状態（筆
記中・未筆記・消しゴム利用）と学習者のつまずきに
関連性があることを示し，検出する手法を提案するこ
とにより，オンライン手書きデータよりつまずきを検
出可能であることを示した．今後の課題としては，他
の科目など様々な教育場面における本研究の有用性に
関して調査することが挙げられる．また 集団教育を想
定したリアルタイムなつまずき検出手法の検討や， 顔
画像データとの併用によるより詳細な学習者の心理状
態の検出についても今後研究を進めていきたい ．
参
考
文
献
[1] 文 部 科 学 省 , “ 教 育 の 情 報 化 ビ ジ ョ ン ”,
http://www.mext.go.jp/b_menu/houdou/23/04/130548
4.htm, 2011. (2012.1.6 ア ク セ ス )
[2] 若 原 俊 彦 , " 学 習 者 の 理 解 度 と 行 動 パ タ ー ン を 考
慮 し た 学 習 支 援 手 法 の 一 検 討 ", 電 子 情 報 通 信 学
会 技 術 研 究 報 告 . ET, 教 育 工 学 103(467), pp.29-34,
2003.
[3] 孫 勝 国 , 甘 泉 瑞 応 , H. Tongjun, H. Aiguo, 程 子 学 , "
学習者の学習順序や反応パターンに基づいた学
習 状 態 推 論 法 を 用 い る Web-based 教 育 支 援 シ ス テ
ム ", 情 報 処 理 学 会 論 文 誌 46(2), pp.327-336, 2005.
[4] 大 山 牧 子 , 村 上 正 行 , 田 口 真 奈 , 三 上 達 也 , "教 材
構 造 と 学 習 ス タ イ ル に 着 目 し た e-Learning 語 学 教
材 に お け る 学 習 行 動 の 分 析 ", 電 子 情 報 通 信 学 会
技 術 研 究 報 告 . ET, 教 育 工 学 107(109), pp.37-42,
2007.
[5] 中 村 善 宏 , 赤 松 則 男 , 桑 原 恒 夫 , 玉 城 幹 介 , "操 作
時 間 間 隔 の 変 動 に 着 目 し た CAI 学 習 の 行 き 詰 ま
り 検 知 手 法 ", 電 子 情 報 通 信 学 会 論 文 誌 . D-I, 情
報 ・ シ ス テ ム , I- 情 報 処 理 J85-D-I(1), pp.79-90,
2002.
[6] K. Yu, J. Epps and F. Chen, "Cognitive load
evaluation of handwriting using stroke -level
features", Proc. of Int'l Conf. on Intelligent user
interfaces, pp.423-426, 2011.
[7] 黒 川 智 哉 , 野 須 潔 , 山 崎 清 之 , "顔 画 像 及 び 生 体 信
号 の テ ン プ レ ー ト を 用 い た e-Learning 学 習 者 の 心
理 状 態 時 系 列 変 化 推 定 の 検 討 ", 映 像 情 報 メ デ ィ
ア 学 会 誌：映 像 情 報 メ デ ィ ア 61(12), pp.1779-1784,
2007.
[8] 中 村 和 晃 , 角 所 考 , 村 上 正 行 , 美 濃 導 彦 ,
"e-learning に お け る 学 習 者 の 顔 動 作 観 測 に 基 づ く
主 観 的 難 易 度 の 推 定 ", 電 子 情 報 通 信 学 会 論 文 誌 .
D, 情 報 ・ シ ス テ ム J93-D(5), pp.568-578, 2010.
[9] 藤 田 紀 勝 , 図 子 弘 記 , 林 敏 浩 , 山 崎 敏 範 , "個 々 の
学 習 者 の 行 き 詰 ま り を 検 知 す る Learning
Management System", 電 子 情 報 通 信 学 会 技 術 研 究
報 告 . ET, 教 育 工 学 105(632), pp.63-68, 2006.
[10] 植 野 真 臣 , "e ラ ー ニ ン グ に お け る 所 要 時 間 デ ー タ
の 異 常 値 オ ン ラ イ ン 検 出 ", 電 子 情 報 通 信 学 会 論
文 誌 . D, 情 報・シ ス テ ム J90-D(1), pp.40-51, 2007.