Comments
Description
Transcript
Web によるクイズ集計システムの開発と評価
事例報告 KIT Progress№24 №24 KIT Progress Web によるクイズ集計システムの開発と評価 Development and Evaluation of a Web-Based Quiz System 中野 淳 Jun NAKANO 講義中に教員が出題した簡単な選択問題（クイズ）に対して学生が Web から回答 を入力し、その結果をクラウドに保存する仕組み（クイズ集計システム）を開発した。 その効果を定量的に評価することは困難であったが、講義で実際にクイズ集計システ ムを使った学生には概ね肯定的に受け止められており、アクティブ・ラーニングを推 進するための一つの道具として有用であると思われる。 キーワード：Web アプリケーション、OpenID による認証、アクティブ・ラーニング、 データに基づいた教育 We developed a Web-based quiz system where students can submit their answers to simple multiple-choice quizzes during lectures and these records are stored in cloud computing platform. Although there was a difficulty in quantitatively measuring its effectiveness, the system was welcomed by most students who tried it. We believe it is a helpful tool to promote active learning by engaging students’ attentions. Keywords: Web application, OpenID authentication, active learning, data-driven instruction １．はじめに 講義中に簡単なクイズ注1)を出すことは、学生の注意を喚起したり、理解度を測ったり、説明された 内容を確認させたりする上で有用である。しかしながら、順番に何人かの学生に一人ひとり回答を求め る場合、特に受講生の多い講義では、学生全員の注意を高め、講義への参画を高めることは難しい。教 員が順に選択肢を述べて、学生には正解だと思ったところで挙手させるようにすることもできるが、自 分の頭で考えずに周りの学生につられて回答する学生が出てくることは火を見るより明らかである。あ るいはあらかじめすべての学生に色のついたカードを渡しておいて、学生に自分が正解だと思う色のカ ードを揚げさせることも可能であるが、カードの準備、配布、回収に時間を要するのが欠点である。さ らにこれまでに述べた方法では、誰が正答したのか、クラス全体での正答率は何％だったのか、間違え やすい選択肢は何であったのか、などのデータを講義中に収集して、今後の講義に役立てたり、成績に 反映させるために得点化したりすることは困難である。少人数の講義では簡単な設問の代わりに頻繁に 小テストを実施することにより、上にあげた目的を達成することは可能であろうが、大人数の講義では 教員にとって採点が大きな負担となる。小テストを実施して学生に自己採点させたのちに回収すること も考えられるが、得点の転記が相変わらず負担となるし、採点の信頼性を考えると成績に反映させるの は不適切であろう。 現代のインターネットをはじめとした高度技術社会にあって、何かよい解決策はないであろうか？ 注1) 本事例報告では、四つ程度の選択肢から一つの正答を選ばせる問いのことをクイズと呼ぶ。 題目 Web によるクイズ集計システムの開発と評価 277 それに対する一つの回答が MIT の TEAL (Technology Enhanced Active Learning) に対応した教室で の物理学の講義で使われている Clicker と呼ばれるシステムである 1)。学生は 12 個のキーがついたリ モコンのような手のひらサイズのカード注2)をあらかじめ入手しており、講義中に出題されたクイズに 対して Clicker のしかるべきキーを押すことにより、学生一人ひとりの回答が教員のコンピュータに 電波で送られる仕組みになっている。また Clicker には装置ごとに固有な識別子が割りふられてお り、回答とともにその識別子も送信されるため、回答と学生とを対応付けることができる。 New York Times の記事によれば、Clicker をはじめとしたアクティブ・ラーニングの手法を導入したことによ り、MIT は 1 年生向けの物理学の講義の落ちこぼれ学生の数を約半分にすることに成功したという 1)。 MIT での事例は 2009 年に遡るものだが、今日にあってはクラウドコンピューティングが隆盛し、本 学のようにネットワーク環境が整った多くの教室と、学生が持ち歩いているノート PC あるいはスマー トフォンがあることを考えると、ハードウェアの初期投資をほとんどしなくても Clicker と同様の仕 組みを簡単に作ることができるのは想像に難くない。本報告ではそのようなシステムを実際に構築し、 講義に活用した事例を報告する。 ２．システム概要 今回構築した Web によるクイズ集計システム（今後、単にクイズ集計システムと表記する）の概要 は図 1 のようになっている。以下で個々のコンポーネントおよび使用手順について述べる。 クラウドサービス （学生用ページ） 認証、回答 学生 PC（スマートフォンでも可） （教員専用ページ） 認証、出題、締め切りの設定 教員 PC 図 1. クイズ集計システムの概要 ２．１ クラウドサービスと認証 MIT の Clicker では装置ごとの固有な識別子を使うことにより、送信されてきた回答と学生とを対 応付けることができた。 Web サービスで同様のことを行うにはユーザーごとにユーザーID とパスワー ドを発行することになるが、その事務処理を大幅に簡略化するために、本学に特有な状況を利用するこ とができた。すなわち、本学の学生は入学時にドメインが planet.kanazawa-it.ac.jp の Google アカ ウントを授与されているが、その認証をクイズ集計システムに流用することにした。昨今、一人のユー ザーが多くの Web サービスを利用するようになり、サイトごとのパスワードを管理する煩雑さを軽減 するために、OpenID という仕組みを利用するユーザーおよび Web サイトが増えている。例えば Web 注2) Turning Technologies, ResponseCard® (http://web.mit.edu/8.01t/www/RF_ResponseCard.pdf) 題目 278 Web によるクイズ集計システムの開発と評価 サイトごとに設定したユーザーID とパスワードでログインする代わりに、Facebook、Google、 Twitter、Yahoo などの信頼できるサイトで認証することでもって、当該 Web サイトへログインしたと みなす、というものである。もちろんユーザーはその Web サイトでアカウントを作成するときに Facebook 等での認証を使うことをあらかじめ宣言しておくか、あるいは従来の、Web サイトごとのユ ーザーID、パスワードでアカウントを作成したのちに Facebook 等のアカウントとリンクしておく必要 がある。 すべての学生が持っていることが保証されている planet ドメインの Google アカウントをクイズ集 計システムの認証にも使うことで、システム管理者すなわち教員は受講生全員のアカウントを作成し、 パスワードを配布する必要がなくなる。さらに、事務処理の簡略化以上に重要な要件として、クイズ集 計システムのようなサービスでは、正答数などをユーザーすなわち学生の成績に反映させるといった用 途を実現するため、ユーザーどうしでアカウントを使い回させないようにすることがきわめて重要であ る。その点で planet ドメインの Google アカウントは、使い捨てではなく、大学からのメールや、将 来は就職活動時の企業との連絡などにも使われる正式なアカウントであるため、自分のパスワードを他 人と共有しようなどと思う学生は皆無であると考えられる。 サーバーの設置場所については、学内ネットにした場合、ネット環境が整っていない教室での講義や ノート PC を忘れたときにスマートフォンから回答することができなくなるほか、サーバーのバックア ップ等の管理業務が発生する。その点で学外のクラウドサービスを利用すると、ネットワークアクセス がより便利になるほか、SaaS (Software as a Service) 上でシステムを構築すれば、サーバーやデー タベースのバックアップは基本的にクラウドベンダーが行ってくれることになる。一方でクラウドサー ビスはインターネットに曝されているので、悪意のあるハッカーなどからの攻撃への対策が必要とな る。クイズ集計システムでは、セキュリティホールが無いよう細心の注意を払って開発を行ない、さら にクラウド上には個人情報を置かないことでリスクを軽減した。クラウドベンダーとしては、Google アカウントでの認証と親和性がよく、無料枠でも 1 GB のデータ領域と 1 日あたり 1 GB のデータ転送 ができる Google App Engine を選択した。プログラミング言語は Python を使用した。今回は必要最 低限の機能しか実装しなかったため、コードは約 400 行であった。それに加えて HTML が約 400 行あ り、開発に要した時間はのべ約 10 時間であった。 ２．２ 学生用インターフェース 学生がクイズに答えるためには、まずクイズ集計システムに Google アカウントでログインしたのち に、教室で教員から与えられたクイズ ID を入力する必要がある（図 2） 。これはどのクイズに答えるの か指定させるためと、クイズ ID として予測しにくい文字列を使うことにより、その場にいないとクイ ズに回答できないようにするためである。将来的にクイズ集計システムで出欠も取れるようにすること を視野に入れてこのような設計にした。 図 2. [学生用] クイズ ID 入力画面 題目 Web によるクイズ集計システムの開発と評価 279 正しいクイズ ID を入力し、しかもそのクイズが締め切り前で、未回答であった場合には、学生は図 3 のような画面から回答することになる。問題自体は教室のプロジェクタースクリーン、講義資料、口頭 などで与えられているものと想定しており、回答入力画面には問題文は表示されない。 図 3. [学生用] 回答入力画面（PC 用表示） もしネットワークアクセスがない教室であったり、学生が PC を忘れてきた場合には、スマートフォン からの回答も可能である（図 4） 。HTML の作成にあたっては Twitter 社が開発してオープンソース化し た Bootstrap という CSS フレームワークを使用している。Bootstrap はレスポンシブデザインといっ て、ユーザーが使用している様々なデバイスの画面サイズに適したレイアウトを自動生成してくれるの で、図 4 は実は図 3 のウィンドウを横方向にリサイズしただけのものなのだが、メニューなどのレイア ウトが乱れることなく表示されている。 図 4. [学生用] 回答入力画面（スマートフォン用表示） 図 5 に示したのは、これまでの自分の回答と正解・成績を表示した画面である。図 5 のケースでは、最 初の問にしか回答しておらず、さらにそれが誤りとなっている。 図 5. [学生用] 正解・成績確認画面 題目 280 Web によるクイズ集計システムの開発と評価 なお画面例は示していないが、クイズ集計システムを使用した科目では、学生が現時点での自分の成績 （レポート課題、小テスト、達成度確認試験などの得点）を学内ネットワークに置いたデータベースサ ーバーにアクセスすることにより参照できるようにしていた。その際、自分以外の学生の成績にアクセ スできないようにするために、学生ごとにデータベースサーバーのユーザーID とパスワードを設定す る必要があったが、そのアクセス情報もクイズ集計システムの “DB Access” というメニューで提供 した。このように planet ドメインの Google アカウントによる認証と Google App Engine の組み合 わせは、学生ごとに異なる情報を送信したり、受信したりするのにも有用である。一例として情報工学 科では同様の仕組みを使って、研究室配属の際に 3 年生が希望する研究室の順番を Web から申請でき るようにしている。 ２．３ 教員用インターフェース あらかじめ登録されたユーザーのみが教員用画面にアクセスできる。メニューとしてはクイズ登録画 面（図 6）と学生一括登録画面、成績一覧表示画面を用意した。クイズ登録画面ではクイズの名称だけ 入力して下部の Submit ボタンを押せば、そのクイズは “Active” となり、Control 欄の “Close” ボタンを押すまでの間、学生が回答できるようになる。図 6 では「サンプル問題」のみが回答を受け付 ける状態になっている。講義の段取り上、その場の思いつきでクイズを出すこともあると思われるが、 プロジェクターの切り替えなどの煩雑さをなくすため、教員用画面には回答受け付け中のクイズの正解 を表示しないことが望ましい。そこでクイズの回答は “Close” ボタンを押した後で Answer 欄にて 入力することを想定している。また、図 6 では URL Hash と表示されているクイズ ID はシステム側で ランダムに生成している。誤入力を防ぐため、クイズ ID は I（アイ）と O（オー）を除いたアルファベ ット大文字と 2 から 9 までの数字からなっている。教員がこのクイズ ID を学生に伝えることによって、 学生はクイズ回答画面に進めるようになる。 図 6. [教員用] クイズ登録画面 題目 Web によるクイズ集計システムの開発と評価 281 ３．クイズ集計システムの適用事例と評価 ３．１ 実施対象と実施方法 平成 27 年度情報工学科、学部 2 年生向けのデータベースの講義において本システムを使用した。こ の講義では情報処理技術者試験のデータベーススペシャリスト試験午前Ⅱ部の過去問（すべて四択問 題）から関連する問題を講義中に出題し、学生に考えさせている。問題はあらかじめ講義資料に収録 し、コース Web サイトにて講義開始前に公開しているが、講義で実際に取り上げる問題は時間の関係 からその一部となる。従来は一定の考慮時間を与えたのち、学生に個別に回答を訊ねることなく教員が 正解を示していた。平成 27 年度前学期に著者は二つのクラスを担当したが、一方のクラス（コントロ ールグループ）では従来通りの方法でクイズを出題し、もう一つのクラス（実験グループ）ではクイズ 集計システムを用いてクイズに回答させた。 ３．２ 実施結果と評価 学期中クイズ集計システムを使用したのは合計 7 回であった。果たしてこれによって学生の注意を惹 き、学習内容がより定着しやすくなるのであろうか。そのことを定量的に検証するために、達成度確認 試験ではクイズ集計システムで回答させた問題と極めて似た問題を二問（問 A と問 B）と、講義では取 り上げなかったが講義資料には収録していた、やはり情報処理技術者試験の過去問を改変して作った問 題を一問（問 C）出題した。図 7 に問 A を示す。これの元になっている問題は SELECT 文の結果として 正しいものを四つの選択肢から選ばせるものであったが、 試験では自分で答えさせるようになっている。 問 B も SELECT 文の結果を書かせるもので、同様の改変を行なっている。 会員テーブルに対して下記の SQL 文を実行した結果を書け。 会員 会員番号 グループ 年齢 001 B 20 002 C 30 003 A 60 004 C 40 005 B 40 006 C 50 SELECT グループ, AVG(年齢) FROM 会員 GROUP BY グループ HAVING COUNT(*) > 1; 図 7. 達成度確認試験の問 A 一方で問 C は与えられた四つのテーブルについて、それぞれ第何正規形になっているか答えさせるもの である（オリジナル問題は四つのテーブルの中から第 2 正規形であって第 3 正規形ではないものを選ば せる問題であった） 。表 1 にクイズ集計システムを使用したクラス（実験グループ）と使用しなかったク ラス（コントロールグループ）の得点結果を示した。ただし問 A-C の得点は各問の配点が 10 点であった ものとして換算している。 題目 282 Web によるクイズ集計システムの開発と評価 表 1. 実験グループとコントロールグループの成績 実験グループ コントロールグループ 実験 － コントロール 試験受験者数（人） 58 65 - 試験棄権者数（人） 9 2 - 問 A の平均点（点） 7.46 6.15 1.30 問 B の平均点（点） 6.78 6.51 0.27 問 C の平均点（点） 6.98 6.56 0.42 合計得点（100 点満点） 55.0 50.1 4.9 学期開始時点での平均 QPA は両クラスでほとんど同じで、コントロールグループの方がわずかに 0.04 点、すなわち 10 点満点換算では 0.1 点高かった。にもかかわらず達成度確認試験では実験グループの 方が高得点をあげた。しかしながら、クイズ集計システムを使用したか、しなかったか以外にも、試験 結果に影響を与えうる要因がいくつか考えられるので以下に列挙する。 実験グループに有利に働く要因 1. 実験グループでは単位取得を諦めた学生が早々に離脱し、試験を受けなかったことで、平 均点を押し下げることがなかった 2. 教員がこのクラスの修学アドバイザーであったため、教員との心理的距離が近かった 実験グループに不利に働く要因 1. 実験グループは 1 限の講義であったため、 コントロールグループと比べて遅刻者数が多く、 講義の一部を聞き逃していた 大学での講義における教員と学生のような一対多の関係ではランダム化比較試験のような手法が使えな いため、上記のようなグループごとに異なる要因による影響を排除できない。したがって実験グループ の成績がコントロールグループの成績を上回っていたからといって、簡単に実験の成功を結論付けるこ とはできない。とはいえ、個々の学生に対して、課題レベルでの学習成果を長期間にわたって収集し、 蓄積されたデータを解析することは、データに基づいた教育の効率化へ向けた第一歩にはなるのではな いかと思う。 ３．３ 学生へのアンケート結果 実験グループの学生に対しては自己点検授業の際にアンケート調査を実施し 52 件の回答を得た。質 問項目は次の通り。ただし、学生にはクイズ集計システムではなく、クイズ回答システムという名で紹 介していた。 1. クイズ回答システムを使った感想を書いて下さい。 2. クイズ回答システムのどこを改善したら良いと思いますか？ 3. 講義中に、クイズ回答システムを使うのと、学生をランダムに当てて答えてもらうの とでは、どちらが良いですか？ クイズ回答システムの方が良い 学生をランダムに当てる方が良い どちらでも構わない 題目 Web によるクイズ集計システムの開発と評価 283 4. 出席調査用紙の代わりにクイズ回答システムを使うことに賛成ですか？（例えば、講 義を聞いていれば明らかに分かる超簡単なクイズを何問か出題して、3 割以上正解し ていたら出席とみなす、といった運用です。 ） 賛成 反対 どちらでも構わない 5. クイズ回答システムはどれくらい学習に役立っていましたか？ 1. 大変役に立った ～ 5. 全く役に立たなかった、の五段階 選択式の質問 3 から質問 5 の回答の分布は以下の通り。 クイズ回答システム ランダムに当てる どちらでもよい 質問３ 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% 90% 100% 90% 100% 質問 3. 講義中のクイズの回答方法はどちらが良いか？ 賛成 反対 どちらでもよい 質問４ 0% 10% 20% 30% 40% 50% 60% 70% 80% 質問 4. クイズ回答システムで出席をとることをどう思うか？ 1 2 3 4 5 質問５ 0% 10% 20% 30% 40% 50% 60% 70% 80% 質問 5. クイズ回答システムは学習に(1)大変役に立った～(5)全く役に立たなかった 図 8. クイズ集計システムのアンケート結果（質問 3,4,5） 題目 284 Web によるクイズ集計システムの開発と評価 これを見ると 7 割以上の学生が、教員に当てられて発言を求められるよりも、クイズ集計システムで 個別に回答する方を好んでいることが分かる（質問 3） 。クイズ集計システムを出欠代わりに使うことに 関しては大きく意見が分かれたが、反対した学生のコメントを見ると「PC の調子が悪かったりすると困 るから」や「超簡単な問題といっても間違えるかも知れないから」を理由としてあげていた（質問 4） 。 クイズ集計システムの効果については多くの学生は良くも悪くもないと考えているようだ（質問 5） 。こ れは一学期の間でクイズ集計システムを使ったのがわずか 7 回で、あまり効果を実感する機会がなかっ たからかも知れない。自由回答形式の質問 1 と質問 2 では、全般的に肯定的な意見が多かったが、よく 見受けられたコメントは 画面に問題文も表示してほしい 回答の分布などをすぐに知りたい 回答締め切りまでの残り時間を表示してほしい であった。問題文はダウンロード可能な PDF の講義資料の中で提示していたのだが、それをあらかじめ ダウンロードして講義に臨んでいる学生が少なかったようだ。また、回答分布のグラフ表示やカウント ダウン・タイマーについてはもっともな要望で、今後の機能拡張の際の優先事項としたい。 ４．おわりに 本事例報告ではクイズ集計システムの開発と講義での活用事例について述べた。大人数クラスではと かく教員から学生への一方通行の講義になりがちであるが、このようなシステムを用いることにより、 個々の学生がより意識して講義に参加することを促す環境作りができるのではないかと考えられる。さ らには、クイズの正答率をその日の出席に反映させたり、正答数を最終的な成績の一部として取り入れ るなどのインセンティブを付与したりすることが考えられる。前者の場合、もはや学生は単に教室に居 るだけでは駄目で、講義に注意を払って学習していることを証明するよう要求されることになる。教員 側でもほぼリアルタイムで学生の理解度を測定することができるので、学生が間違えやすい箇所をより 丁寧に説明するようになるだろう。 あるいは自分の教授法の問題点に気づかされる可能性が考えられる。 またクイズの回答結果を長期的に収集することにより、このシステムの効果をより定量的に論ずること が可能となる。今回の試行はその第一歩であり、今後ともシステムの改善や機能追加を行ない、講義に 役立てていきたいと考えている。 参考文献 １）Sara Rimer, “At M.I.T., Large Lectures Are Going the Way of the Blackboard,” The New York Times, January 12, 2009 (http://www.nytimes.com/2009/01/13/us/13physics.html) [受理 平成 27 年 9 月 1 日] 中野 淳 教授・Ph.D. in Computer Science 工学部 情報工学系 情報工学科 題目 Web によるクイズ集計システムの開発と評価 285