Comments
Description
Transcript
2 - eラーニング情報ポータルサイト | 日本eラーニングコンソシアム
ための 的確な教育効果を設計するニー ズ分析 分析と評価のつじつまを合わせましょう！ 岩手県立大学ソフトウェア情報学部教授 鈴木克明 [email protected] http://www.et.soft.iwate-pu.ac.jp/ 1 講演内容＆メッセージ 内容：評価は最後にやるものではない。eラーニング を実施してから後追いで評価をやっても、良い結果 が得られるとは限らない。本当に必要なeラーニング を実施することで的確な教育効果を得る準備をする ための手法を、ニーズ分析という。本講演では、eラー ニングの無駄を省き、必ず良い結果をもたらすため の事前準備として、どのようにニーズ分析を行った ら良いのかについて解説する。 メッセージ：「How To」の前に「What」、「What」の前 に「Why」。ニーズ分析とは評価計画をたてること。 2005.7.22. E-learning World 2005 L-2 2 『評価とROI』昨年の結論メッセージ： 簡単な方法で、評価を日常化しよう 研修受講者に焦点をあてれば、ＲＯＩ計算よりも、受講 者の反応（レベル１）や学習の成立の有無、（レベル２） あるいは受講後の行動変容（レベル３）を知ることのほ うが重要です。 受講者が、研修に参加してよかったと思えるためには、 研修後の職務行動に変化（レベル３）を与える内容を効 果的に（レベル２）実施することが肝要です。 ＲＯＩ計算のために膨大なエネルギーを使って客観的デー タを収集するよりも、顧客との信頼関係を高める目的に 絞って、簡単な評価を日常化しましょう。 評価は目的に応じて「しぼって」「かんたんに」 2004.7.28. E-learning World 2004 B-2 3 評価の視点と手法（Ｊ．Phillipの５段階） レベル 評価の視点 １ ２ 反応（と行動計画） 学習 よく用いられる手法 アンケート（スマイルテスト） テスト（筆記・実技） ３ 行動変容（応用） 追跡調査（本人・上長） ４ 業績（ビジネスインパクト） 売上向上・財務指標変化 ５ ＲＯＩ：対費用効果 研修効果の分離・金銭価値 への変換・研修コストの算出 測定不可能として処理（除外） Return on Investment ６？ インタンジブル http://www.clomedia.com/06.21.04eseminar/6.2.04.eseminar.fullarchive.pdf(鈴木の E-learning World 2004 B-2 4 試訳) 2004.7.28. 評価のための質問項目とデータ 収集ツール（カークパトリックによる事例） 評価項目 データ収集ツール 反 参加者はトレーニングに対してどの 応 ような反応を示しましたか？ 研修反応確認表※ 学 どのような情報とスキルが含まれて 習 いましたか？ トレーニング前後に実行する効果 測定チェックリスト※ 行 参加者はどのように知識とスキルを 動 仕事に生かしましたか？ ・トレーニング前後に実行する効果 測定チェックリスト※ ・管理職/従業員用アンケート ・anecdotal data (インタビュー情報) 結 トレーニングは組織と組織の目標に 効果測定チェックリスト※ 果 どのような効果をもたらしましたか？ 出典:Kirkpatrick, D L. (1998) Evaluationg Training Programs (2nd Ed.). Berrett Koeheler Publishers, (Chapter12, p.109) 2004.7.28. E-learning World 2004 B-2 5 身近な事例１：メディア論コメント 掲示板（レベル１，２） Web掲示板記入＝出席とみなす { { { { { 講義についてのコメントを何でも書いてよい 内容は評価の対象としない。「全世界公開を前提に大学生らしく」 気になる書き込みを次の講義で取り上げて解説する 学生が何を感じ、何を考えたか次週までに把握して軌道修正する ほぼリアルタイム・フィードバック：講義成功度のバロメータ http://www.et.soft.iwate-pu.ac.jp/~media/2004/ 参考：大福帳（レベル１，２） { { 大人数講義で講義のコメントを数行書かせて毎週提出・点検・次の 週に返却するＡ４版の厚紙。三重大学織田揮準先生命名。 実践例の紹介（筆者が早稲田大学で行った講義レポート） 2004.7.28. http://www.et.soft.iwate-pu.ac.jp/~id_magazine/contents/daini.htm E-learning World 2004 B-2 6 ｅラーニングファンダメンタル 詳説インストラクショナルデザイン テキストの表紙を入れるか？ 身近な事例２：ｅラーニン グファンダメンタル(eLF) 追跡調査（レベル３） 2004.7.28. E-learning World 2004 B-2 7 身近な事例２：ｅラーニングファンダメ ンタル(eLF)追跡調査（レベル３） 予告なしのWebアンケート（追跡調査）を講座終了半年後 に、メールで回答依頼、回収率：修了者８１％、未修了者１４％ 研修内容（29項目）のそれぞれについて： { { 受講後の行動変容（11項目）： { { { { どの程度覚えているか（記憶度） 受講後の仕事にどの程度役立っているか（有益度） 「ＩＤへの関心が高まり、情報収集をするようになった」 「eLF以後に業務の質が向上した実感がある」 「業務中にeLFテキストを参照した」 「eLFで得た知識を製品開発に役立てた」 出典：鈴木克明・市川尚・根本淳子（2004.5.）「ＳＣＳ集中講義＜ｅラーニングファンダメ ンタル＞の評価と改善」『教育システム情報学会研究報告』19（1） 55-62. 2004.7.28. E-learning World 2004 B-2 8 http://www.clomedia.com/06.21.04eseminar/6.2.04.eseminar.fullarchive .pdf(鈴木の試訳) ニーズ分析と評価の関連図 ニーズ分析 プログラム目標 評価 ビジネスニーズ インパクト 目標 ビジネス インパクト ４ 職務遂行ニーズ 適用目標 適用 ３ ２ 技能/知識ニーズ 学習目標 学習 ２ １ 好み 満足度目標 リアクション １ ４ ３ 2004.7.28. E-learning World 2004 B-2 9 パフォーマンスアセスメントと分析プロセス (ジャック・フィリップによる評価計画法） レベル5 Performance Assessment & Analysis Process 問題状況あるいはチャンス（現存･予測）定義 ステークホルダ・ビジネスニーズ・ギャップ定義 職務遂行ニーズ・ギャップ・理由の定義 解決策の定義 レベル4 レベル3 • もしも研修が必要であれば、不足しているスキル・知識を 特定（必要ない場合は職務支援のみを行う） レベル2 職務支援・学習についての要素定義 好みの定義 分析フェーズのアウトプット 目標・評価方法の定義 →設計フェーズへ移る Phillips, J.J., & Stone, R.D. (2002). How to measure training results. McGrow Hills (p.37の図３．１（Ａ）フェーズを鈴木が抽出して試訳） 2005.7.22. E-learning World 2005 L-2 レベル1 10 ＩＤプロセスモデルの第一段階 ADDIEのA（分析）＝評価計画 Design 設計 Revise Develop 開発 Revise Analyze 分析 Revise Implement 実施 Revise Evaluate 評価 Gagne, R.M., Wager, W.W., Golas, K. C., & Keller, J. M. (2005). Principles of instructional design (5th Ed.). Wadsworth/Thomson Learning, p.21 2005.7.22. E-learning World 2005 L-2 11 ニーズ分析とは何か 内容：どんな教育が必要とされているのかを確認す るためのデータを収集すること。「Ｗｈｙ」への答え。 • 私たちはニーズ分析に基づいて教育を行っています！ 目的は2つ： 1. より良い教育を提供する • ニーズがない教育を提供しても意味がない 2. 提供している教育の必要性・妥当性を内外に訴える • 味方を増やすためには「意見を聞いてくれた」と思ってもらうこと 調査方法は多い方がよい：公式･非公式のデータを 様々な情報源から収集する。 • • • • 顧客・スポンサー：何が不満か？何が望みか？ 学会・教育専門誌：好事例は？技術動向は？ ＳＭＥ（内容の専門家）：現状の問題は？将来は？ 経営層：会社の目指すところは？教育の役割は？ 2005.7.22. E-learning World 2005 L-2 12 ニーズ分析：管理職への質問 ビジネスチャンスとして、今、何が最重要か チャンスをモノにできない障害は何か 今、最も重大なビジネス上の問題は何か 期待される職務遂行と実際とのギャップは何か 今最も切迫した研修ニーズは何か 研修を実現する方法として何を有しているか 研修のために用意されている予算はいくらか 研修資源として何を活用するか（スタッフ、ベンダー、施設） 部下は研修にコンピュータを使うことに抵抗はないか 部下の研修に対する気持ちは（研修を受け入れる、新しいこ とを学ぶことへの抵抗感、学習速度、必要悪と感じているか、 新しいことを学ぶことに意義を感じているか） 研修の現状をどう感じているか、満足かどうか Piskurich, G.M. (2000). Rapid Instructional Design: Learning Id Fast and Right, Pfeiffer & Co 2005.7.22. E-learning World 2005 L-2 13 分析は33％の労力をかけて 分析 設計 開発 実装、評価 33％ 10％ 23％ 保守 33％ とは言うけれど、実際は？ 分析、設計 開発 実装、評価 ％ ％ 保守 ％ リー＆オーエンズ（2003）「インストラクショナルデザイン入門」東京電機大学出版、ｐ.20 2005.7.22. E-learning World 2005 L-2 14 逆境の中でニーズ分析をやり遂げるための問答（１） ニーズ分析はほんとうに必要なの？ はい、とても大事です。もちろん、ニーズ分析をスキッ プすることはできます。その結果、良い教育が実現 することもあります。しかし、教育の確実性は低くな ります。 ニーズ分析をする中で得られる情報を活かし、巻き 込む人々に支えられることで、より効果的な教育が 実現できるだけでなく、実施時のサポーターが増え るメリットが重要です。 Rossett, A., & Sheldon, K. (2001). Beyond the podium: Delivering training and performance to a digital world. Jossey-Bass/Pfeiffer, ASTD, p.47 (表２．６を鈴木が試訳） 2005.7.22. E-learning World 2005 L-2 15 逆境の中でニーズ分析をやり遂げるための問答（２） スポンサーが分析を拒んだら？ それはあり得ます。顧客からの変更要求があっても すぐに路線を変更する決断をせずに、まずはニーズ に関連した情報を収集する癖をつけましょう。 顧客からの要求に驚かされることがないように、つ ねに「どんな要求がありそうか」を予想することが大 切です。 Rossett, A., & Sheldon, K. (2001). Beyond the podium: Delivering training and performance to a digital world. Jossey-Bass/Pfeiffer, ASTD, p.47 (表２．６を鈴木が試訳） 2005.7.22. E-learning World 2005 L-2 16 逆境の中でニーズ分析をやり遂げるための問答（３） 「分析したい」と申し出たら「ダメだ」といわ れました。どうしたらいいですか？ 教科書どおりに実施しようとせずに、また分析するこ とへの許可を求めようとせずに、職務内容と影響力 がある人へのインタビューに集中することです。「分 析」という言葉を用いずに、何がどう行われているか の全体像をつかみ、複数の視点から眺めるようにし ましょう。 分析を終了してから公式レポートを書くのではなく、 非公式でよいから進捗状況を頻繁に伝える工夫が 大切です。 Rossett, A., & Sheldon, K. (2001). Beyond the podium: Delivering training and performance to a digital world. Jossey-Bass/Pfeiffer, ASTD, p.47 (表２．６を鈴木が試訳） 2005.7.22. E-learning World 2005 L-2 17 逆境の中でニーズ分析をやり遂げるための問答（４） 顧客の望んでいることが的を外れている 場合はどうしたらよいですか？ 顧客がやって欲しいと望む教育が必ずしも顧客のニー ズにあっているとは限りません。3日間の営業向け 研修をやって欲しいといわれてもそれがベストの解 決策とは限りません。 取るべき道は2つに一つ。研修を達成度ベースで行 い、初期の目標に達したら期間にこだわらずに修了 させる道です。もう一つはデータを示し、それを解釈 しながら何を為すべきかを顧客とともに考えて、別の 解決策が良さそうだと納得させる道です。 Rossett, A., & Sheldon, K. (2001). Beyond the podium: Delivering training and performance to a digital world. Jossey-Bass/Pfeiffer, ASTD, p.47 (表２．６を鈴木が試訳） 2005.7.22. E-learning World 2005 L-2 18 逆境の中でニーズ分析をやり遂げるための問答（５） 分析を外部に依頼したいと言うのですが？ あなたが内部の人間であれば、外部の人と一緒に 分析をするのが良いでしょう。外部の人間には、分 析の情報源やその意味するところをあなたほど理 解できる人はいません。何が最もふさわしいソリュー ションかもあなたの方がより深く理解しています。一 緒に仕事をする中で、互いに学びあうことです。 Rossett, A., & Sheldon, K. (2001). Beyond the podium: Delivering training and performance to a digital world. Jossey-Bass/Pfeiffer, ASTD, p.47 (表２．６を鈴木が試訳） 2005.7.22. E-learning World 2005 L-2 19 最も簡単なニーズ分析技法とは、 『目標を与えてもらうこと』 初心者向けＩＤプロセスモデル （Dick & Careyモデル）では、 ニーズ分析を省略している。 初級ＩＤ者は、「○○についての ディック＆ケリーモデルを 教材を作れ」といわれて作るのが 紹介した翻訳本 仕事。ニーズ分析は職務範囲外。 学習目標が与えられるのであれば、ニーズ分 析をやる必要はない。所与の条件となる。 その場合でも、ニーズ分析以外にやる分析が ある。それを初期設計分析（Front-end Analysis）という。 2005.7.22. E-learning World 2005 L-2 20 Front-End Analysis 初期設計分析の手法一覧 形式 対象者分析 技術分析 タスク分析 重要項目分析 環境分析 目標分析 メディア分析 既存資料分析 コスト分析 目的（分析対象） 対象者の背景、特徴、前提知識 利用可能な通信技術、サポート等 職務関連タスクの明確化 ターゲットとなる知識・スキル 学習環境や組織的な制約 職務内容の目標を記述 適切なメディア提供方法を選択 既存の資料、マニュアル、参考書 費用と利益、投資効果（ROI） リー＆オーエンズ（2003）「インストラクショナルデザイン入門」東京電機大学出版、第3章 2005.7.22. E-learning World 2005 L-2 21 力場（force-field）分析 コミットメント 実施中の研修の 豊富な経験 成員のまじめさ 成員の熟達度 成員の適応度 法制度の知識欠如 変化への抵抗 教授スキルの不足 現存教材の利用不足 非システム的な方法 非協調的アプローチ 研修=実践のタイムラグ 全員向け単一コース 技術利用の苦い経験 必要な技術･設備不足 過酷な労務要求 Broadbent, B. (2002). ABCs of e-learning. Jossey-Bass/Pfeiffer, ASTD, p.103 (表5．1を鈴木が試訳） 2005.7.22. E-learning World 2005 L-2 (restraining force) ︵ driving-force) 新方式受入れへの 積極的態度 現 在 の 状 況 推進力 豊富な資金 抵抗力 推進力と抵抗力の関与を洗い出す 22 ニーズ分析から初期設計分析へ ニーズ分析は「ＷＨＹ」に対する答え • なぜ教育が必要かを説明するため 初期設計分析は、「ＷＨＹ」を「ＷＨＡＴ」と「ＨＯ Ｗ」に変えていくために行う。 • 何をどうやるのが効果的か、設計の指針を得る のが目的 ニーズ分析をやらない人でも、教育で何を取 り上げて、どうやるのが受講者のためになる かを考えること（＝初期設計分析）は重要。 • 多少なりとも役に立つ研修に味付けは可能 2005.7.22. E-learning World 2005 L-2 23 事例：南太平洋大学（ＦＩＪＩ）における ニーズ分析に基づくＩＤワークショップ （ＪＩＣＡ短期専門家派遣：2004.10） • 対象：通信教育をサポートするＩＤ集団20名 • 目的：教材開発の実態調査→職能向上 • 手法：聞き取り調査（インタビュー）からスタート • 誰が何をやっているか：職務分担と制作過程 • 何が実現できたらいいと思うか、何を知りたいか • 何が問題か、何が解決すると仕事がやりやすいか • 聞き取り調査の結果を組み入れて研修を設計 • 必要に応じた研修内容→有用な研修になった • 追跡調査（半年後）：記憶度・利用度高い • 行動変容・持続を確認、障害は依然存在する 根本淳子・鈴木克明（2005）「南太平洋大学における遠隔教育実態調査に基づくIDワークショップの 企画と実施」日本教育工学会研究報告集（JET05-1），53-58 2005.7.22. E-learning World 2005 L-2 24 GBS（ゴールベースシナリオ）における ニーズ分析手法（Ｒ．Ｃ．Ｓｃｈａｎｋ） 1. 2. 3. 4. まず、教育を受ける人が働く現場に赴く。 「ここで起きるミスは何か」を説明できる人を探す。 ミスの５W1H、原因と結末を聞き取る。 擬似的にミスを体験させるシナリオを作る。 シナリオ導入＝使命＋役割＋カバーストーリー 5. 研修では、現実的な文脈の中で繰り返し 失敗を 疑似体験させてスキルを磨かせる。 シナリオ操作＝決断＋フィードバック 参考：根本淳子・鈴木克明（2005）「企業教育向けＧＢＳチェックリストの提案」日本教育工学会 第20回講演論文集、515-516 2005.7.22. E-learning World 2005 L-2 25 結論メッセージ ニーズ分析とは、的確な教育効果を得る準備 をするための手法。評価計画を立てることを 意味する。 ニーズ分析をやる理由は、的を外さないこと だけでなく、支援者を獲得するアピール効果 をねらうため。 評価を最後にやって「この研修は効果がなかっ た」ことを発見しても遅すぎる。ニーズ分析 は転ばぬ先の杖 「How To」の前に「What」、「What」の前に 「Why」。分析をすると言わなくても、分析 の視点を持ち続けることが肝要。 2005.7.22. E-learning World 2005 L-2 26