...

2 - eラーニング情報ポータルサイト | 日本eラーニングコンソシアム

by user

on
Category: Documents
2

views

Report

Comments

Transcript

2 - eラーニング情報ポータルサイト | 日本eラーニングコンソシアム
ための
的確な教育効果を設計するニー
ズ分析
分析と評価のつじつまを合わせましょう!
岩手県立大学ソフトウェア情報学部教授
鈴木克明
[email protected]
http://www.et.soft.iwate-pu.ac.jp/
1
講演内容&メッセージ
‹
内容:評価は最後にやるものではない。eラーニング
を実施してから後追いで評価をやっても、良い結果
が得られるとは限らない。本当に必要なeラーニング
を実施することで的確な教育効果を得る準備をする
ための手法を、ニーズ分析という。本講演では、eラー
ニングの無駄を省き、必ず良い結果をもたらすため
の事前準備として、どのようにニーズ分析を行った
ら良いのかについて解説する。
‹
メッセージ:「How To」の前に「What」、「What」の前
に「Why」。ニーズ分析とは評価計画をたてること。
2005.7.22.
E-learning World 2005 L-2
2
『評価とROI』昨年の結論メッセージ:
簡単な方法で、評価を日常化しよう
„
„
„
研修受講者に焦点をあてれば、ROI計算よりも、受講
者の反応(レベル1)や学習の成立の有無、(レベル2)
あるいは受講後の行動変容(レベル3)を知ることのほ
うが重要です。
受講者が、研修に参加してよかったと思えるためには、
研修後の職務行動に変化(レベル3)を与える内容を効
果的に(レベル2)実施することが肝要です。
ROI計算のために膨大なエネルギーを使って客観的デー
タを収集するよりも、顧客との信頼関係を高める目的に
絞って、簡単な評価を日常化しましょう。
評価は目的に応じて「しぼって」「かんたんに」
2004.7.28.
E-learning World 2004 B-2
3
評価の視点と手法(J.Phillipの5段階)
レベル
評価の視点
1
2
反応(と行動計画)
学習
よく用いられる手法
アンケート(スマイルテスト)
テスト(筆記・実技)
3
行動変容(応用)
追跡調査(本人・上長)
4
業績(ビジネスインパクト)
売上向上・財務指標変化
5
ROI:対費用効果
研修効果の分離・金銭価値
への変換・研修コストの算出
測定不可能として処理(除外)
Return on Investment
6?
インタンジブル
http://www.clomedia.com/06.21.04eseminar/6.2.04.eseminar.fullarchive.pdf(鈴木の
E-learning World 2004 B-2
4
試訳) 2004.7.28.
評価のための質問項目とデータ 収集ツール(カークパトリックによる事例)
評価項目
データ収集ツール
反 参加者はトレーニングに対してどの
応 ような反応を示しましたか?
研修反応確認表※
学 どのような情報とスキルが含まれて
習 いましたか?
トレーニング前後に実行する効果
測定チェックリスト※
行 参加者はどのように知識とスキルを
動 仕事に生かしましたか?
・トレーニング前後に実行する効果
測定チェックリスト※
・管理職/従業員用アンケート
・anecdotal data (インタビュー情報)
結 トレーニングは組織と組織の目標に 効果測定チェックリスト※
果 どのような効果をもたらしましたか?
出典:Kirkpatrick, D L. (1998) Evaluationg Training Programs (2nd Ed.). Berrett Koeheler Publishers, (Chapter12, p.109) 2004.7.28.
E-learning World 2004 B-2
5
身近な事例1:メディア論コメント
掲示板(レベル1,2)
„
Web掲示板記入=出席とみなす
{
{
{
{
{
„
講義についてのコメントを何でも書いてよい
内容は評価の対象としない。「全世界公開を前提に大学生らしく」
気になる書き込みを次の講義で取り上げて解説する
学生が何を感じ、何を考えたか次週までに把握して軌道修正する ほぼリアルタイム・フィードバック:講義成功度のバロメータ
http://www.et.soft.iwate-pu.ac.jp/~media/2004/
参考:大福帳(レベル1,2)
{
{
大人数講義で講義のコメントを数行書かせて毎週提出・点検・次の
週に返却するA4版の厚紙。三重大学織田揮準先生命名。
実践例の紹介(筆者が早稲田大学で行った講義レポート)
„
2004.7.28.
http://www.et.soft.iwate-pu.ac.jp/~id_magazine/contents/daini.htm
E-learning World 2004 B-2
6
eラーニングファンダメンタル
詳説インストラクショナルデザイン
„
テキストの表紙を入れるか?
身近な事例2:eラーニン
グファンダメンタル(eLF)
追跡調査(レベル3)
2004.7.28.
E-learning World 2004 B-2
7
身近な事例2:eラーニングファンダメ
ンタル(eLF)追跡調査(レベル3)
„
„
予告なしのWebアンケート(追跡調査)を講座終了半年後
に、メールで回答依頼、回収率:修了者81%、未修了者14%
研修内容(29項目)のそれぞれについて:
{
{
„
受講後の行動変容(11項目):
{
{
{
{
„
どの程度覚えているか(記憶度)
受講後の仕事にどの程度役立っているか(有益度)
「IDへの関心が高まり、情報収集をするようになった」
「eLF以後に業務の質が向上した実感がある」
「業務中にeLFテキストを参照した」
「eLFで得た知識を製品開発に役立てた」
出典:鈴木克明・市川尚・根本淳子(2004.5.)「SCS集中講義<eラーニングファンダメ
ンタル>の評価と改善」『教育システム情報学会研究報告』19(1) 55-62.
2004.7.28.
E-learning World 2004 B-2
8
http://www.clomedia.com/06.21.04eseminar/6.2.04.eseminar.fullarchive
.pdf(鈴木の試訳)
ニーズ分析と評価の関連図
ニーズ分析
プログラム目標
評価
ビジネスニーズ
インパクト
目標
ビジネス
インパクト
4
職務遂行ニーズ
適用目標
適用
3
2
技能/知識ニーズ
学習目標
学習
2
1
好み
満足度目標
リアクション
1
4
3
2004.7.28.
E-learning World 2004 B-2
9
パフォーマンスアセスメントと分析プロセス
(ジャック・フィリップによる評価計画法)
レベル5
Performance Assessment & Analysis Process
‹
‹
‹
‹
問題状況あるいはチャンス(現存・予測)定義
ステークホルダ・ビジネスニーズ・ギャップ定義
職務遂行ニーズ・ギャップ・理由の定義
解決策の定義
レベル4
レベル3
• もしも研修が必要であれば、不足しているスキル・知識を
特定(必要ない場合は職務支援のみを行う)
レベル2
‹
‹
‹
職務支援・学習についての要素定義
好みの定義
分析フェーズのアウトプット
目標・評価方法の定義
→設計フェーズへ移る
Phillips, J.J., & Stone, R.D. (2002). How to measure training results. McGrow Hills
(p.37の図3.1(A)フェーズを鈴木が抽出して試訳)
2005.7.22.
E-learning World 2005 L-2
レベル1
10
IDプロセスモデルの第一段階
ADDIEのA(分析)=評価計画
Design
設計
Revise
Develop
開発
Revise
Analyze
分析
Revise
Implement
実施
Revise
Evaluate
評価
Gagne, R.M., Wager, W.W., Golas, K. C., & Keller, J. M. (2005). Principles of
instructional design (5th Ed.). Wadsworth/Thomson Learning, p.21
2005.7.22.
E-learning World 2005 L-2
11
ニーズ分析とは何か
‹
内容:どんな教育が必要とされているのかを確認す
るためのデータを収集すること。「Why」への答え。
•
‹
私たちはニーズ分析に基づいて教育を行っています!
目的は2つ:
1. より良い教育を提供する
•
ニーズがない教育を提供しても意味がない
2. 提供している教育の必要性・妥当性を内外に訴える
•
‹
味方を増やすためには「意見を聞いてくれた」と思ってもらうこと
調査方法は多い方がよい:公式・非公式のデータを
様々な情報源から収集する。
•
•
•
•
顧客・スポンサー:何が不満か?何が望みか?
学会・教育専門誌:好事例は?技術動向は?
SME(内容の専門家):現状の問題は?将来は?
経営層:会社の目指すところは?教育の役割は?
2005.7.22.
E-learning World 2005 L-2
12
ニーズ分析:管理職への質問
‹
‹
‹
‹
‹
‹
‹
‹
‹
‹
‹
ビジネスチャンスとして、今、何が最重要か
チャンスをモノにできない障害は何か
今、最も重大なビジネス上の問題は何か
期待される職務遂行と実際とのギャップは何か
今最も切迫した研修ニーズは何か
研修を実現する方法として何を有しているか
研修のために用意されている予算はいくらか
研修資源として何を活用するか(スタッフ、ベンダー、施設)
部下は研修にコンピュータを使うことに抵抗はないか
部下の研修に対する気持ちは(研修を受け入れる、新しいこ
とを学ぶことへの抵抗感、学習速度、必要悪と感じているか、
新しいことを学ぶことに意義を感じているか)
研修の現状をどう感じているか、満足かどうか
Piskurich, G.M. (2000). Rapid Instructional Design: Learning Id Fast and Right, Pfeiffer & Co
2005.7.22.
E-learning World 2005 L-2
13
分析は33%の労力をかけて
分析 設計 開発 実装、評価
33% 10% 23% 保守 33%
とは言うけれど、実際は?
分析、設計 開発 実装、評価
% % 保守 %
リー&オーエンズ(2003)「インストラクショナルデザイン入門」東京電機大学出版、p.20
2005.7.22.
E-learning World 2005 L-2
14
逆境の中でニーズ分析をやり遂げるための問答(1)
ニーズ分析はほんとうに必要なの?
‹
‹
はい、とても大事です。もちろん、ニーズ分析をスキッ
プすることはできます。その結果、良い教育が実現
することもあります。しかし、教育の確実性は低くな
ります。
ニーズ分析をする中で得られる情報を活かし、巻き
込む人々に支えられることで、より効果的な教育が
実現できるだけでなく、実施時のサポーターが増え
るメリットが重要です。
Rossett, A., & Sheldon, K. (2001). Beyond the podium: Delivering training and
performance to a digital world. Jossey-Bass/Pfeiffer, ASTD, p.47 (表2.6を鈴木が試訳)
2005.7.22.
E-learning World 2005 L-2
15
逆境の中でニーズ分析をやり遂げるための問答(2)
スポンサーが分析を拒んだら?
‹
‹
それはあり得ます。顧客からの変更要求があっても
すぐに路線を変更する決断をせずに、まずはニーズ
に関連した情報を収集する癖をつけましょう。
顧客からの要求に驚かされることがないように、つ
ねに「どんな要求がありそうか」を予想することが大
切です。
Rossett, A., & Sheldon, K. (2001). Beyond the podium: Delivering training and
performance to a digital world. Jossey-Bass/Pfeiffer, ASTD, p.47 (表2.6を鈴木が試訳)
2005.7.22.
E-learning World 2005 L-2
16
逆境の中でニーズ分析をやり遂げるための問答(3)
「分析したい」と申し出たら「ダメだ」といわ
れました。どうしたらいいですか?
‹
‹
教科書どおりに実施しようとせずに、また分析するこ
とへの許可を求めようとせずに、職務内容と影響力
がある人へのインタビューに集中することです。「分
析」という言葉を用いずに、何がどう行われているか
の全体像をつかみ、複数の視点から眺めるようにし
ましょう。
分析を終了してから公式レポートを書くのではなく、
非公式でよいから進捗状況を頻繁に伝える工夫が
大切です。
Rossett, A., & Sheldon, K. (2001). Beyond the podium: Delivering training and
performance to a digital world. Jossey-Bass/Pfeiffer, ASTD, p.47 (表2.6を鈴木が試訳)
2005.7.22.
E-learning World 2005 L-2
17
逆境の中でニーズ分析をやり遂げるための問答(4)
顧客の望んでいることが的を外れている
場合はどうしたらよいですか?
‹
‹
顧客がやって欲しいと望む教育が必ずしも顧客のニー
ズにあっているとは限りません。3日間の営業向け
研修をやって欲しいといわれてもそれがベストの解
決策とは限りません。
取るべき道は2つに一つ。研修を達成度ベースで行
い、初期の目標に達したら期間にこだわらずに修了
させる道です。もう一つはデータを示し、それを解釈
しながら何を為すべきかを顧客とともに考えて、別の
解決策が良さそうだと納得させる道です。
Rossett, A., & Sheldon, K. (2001). Beyond the podium: Delivering training and
performance to a digital world. Jossey-Bass/Pfeiffer, ASTD, p.47 (表2.6を鈴木が試訳)
2005.7.22.
E-learning World 2005 L-2
18
逆境の中でニーズ分析をやり遂げるための問答(5)
分析を外部に依頼したいと言うのですが?
‹
あなたが内部の人間であれば、外部の人と一緒に
分析をするのが良いでしょう。外部の人間には、分
析の情報源やその意味するところをあなたほど理
解できる人はいません。何が最もふさわしいソリュー
ションかもあなたの方がより深く理解しています。一
緒に仕事をする中で、互いに学びあうことです。
Rossett, A., & Sheldon, K. (2001). Beyond the podium: Delivering training and
performance to a digital world. Jossey-Bass/Pfeiffer, ASTD, p.47 (表2.6を鈴木が試訳)
2005.7.22.
E-learning World 2005 L-2
19
最も簡単なニーズ分析技法とは、
『目標を与えてもらうこと』
‹ 初心者向けIDプロセスモデル (Dick & Careyモデル)では、 ニーズ分析を省略している。
‹ 初級ID者は、「○○についての ディック&ケリーモデルを
教材を作れ」といわれて作るのが 紹介した翻訳本
仕事。ニーズ分析は職務範囲外。
‹ 学習目標が与えられるのであれば、ニーズ分
析をやる必要はない。所与の条件となる。
‹ その場合でも、ニーズ分析以外にやる分析が
ある。それを初期設計分析(Front-end
Analysis)という。
2005.7.22.
E-learning World 2005 L-2
20
Front-End Analysis
初期設計分析の手法一覧
形式
対象者分析
技術分析
タスク分析
重要項目分析
環境分析
目標分析
メディア分析
既存資料分析
コスト分析
目的(分析対象)
対象者の背景、特徴、前提知識
利用可能な通信技術、サポート等
職務関連タスクの明確化
ターゲットとなる知識・スキル
学習環境や組織的な制約
職務内容の目標を記述
適切なメディア提供方法を選択
既存の資料、マニュアル、参考書
費用と利益、投資効果(ROI)
リー&オーエンズ(2003)「インストラクショナルデザイン入門」東京電機大学出版、第3章
2005.7.22.
E-learning World 2005 L-2
21
力場(force-field)分析
コミットメント
実施中の研修の
豊富な経験
成員のまじめさ
成員の熟達度
成員の適応度
法制度の知識欠如
変化への抵抗
教授スキルの不足
現存教材の利用不足
非システム的な方法
非協調的アプローチ
研修=実践のタイムラグ
全員向け単一コース
技術利用の苦い経験
必要な技術・設備不足
過酷な労務要求
Broadbent, B. (2002). ABCs of e-learning. Jossey-Bass/Pfeiffer, ASTD,
p.103 (表5.1を鈴木が試訳)
2005.7.22.
E-learning World 2005 L-2
(restraining force)
︵ driving-force)
新方式受入れへの
積極的態度
現
在
の 状
況
推進力
豊富な資金
抵抗力
推進力と抵抗力の関与を洗い出す
22
ニーズ分析から初期設計分析へ
‹ ニーズ分析は「WHY」に対する答え
• なぜ教育が必要かを説明するため
‹ 初期設計分析は、「WHY」を「WHAT」と「HO
W」に変えていくために行う。
• 何をどうやるのが効果的か、設計の指針を得る
のが目的
‹ ニーズ分析をやらない人でも、教育で何を取
り上げて、どうやるのが受講者のためになる
かを考えること(=初期設計分析)は重要。
• 多少なりとも役に立つ研修に味付けは可能
2005.7.22.
E-learning World 2005 L-2
23
事例:南太平洋大学(FIJI)における
ニーズ分析に基づくIDワークショップ
(JICA短期専門家派遣:2004.10)
• 対象:通信教育をサポートするID集団20名
• 目的:教材開発の実態調査→職能向上
• 手法:聞き取り調査(インタビュー)からスタート
• 誰が何をやっているか:職務分担と制作過程
• 何が実現できたらいいと思うか、何を知りたいか
• 何が問題か、何が解決すると仕事がやりやすいか
• 聞き取り調査の結果を組み入れて研修を設計
• 必要に応じた研修内容→有用な研修になった
• 追跡調査(半年後):記憶度・利用度高い
• 行動変容・持続を確認、障害は依然存在する
根本淳子・鈴木克明(2005)「南太平洋大学における遠隔教育実態調査に基づくIDワークショップの
企画と実施」日本教育工学会研究報告集(JET05-1),53-58
2005.7.22.
E-learning World 2005 L-2
24
GBS(ゴールベースシナリオ)における
ニーズ分析手法(R.C.Schank)
1.
2.
3.
4.
まず、教育を受ける人が働く現場に赴く。
「ここで起きるミスは何か」を説明できる人を探す。
ミスの5W1H、原因と結末を聞き取る。
擬似的にミスを体験させるシナリオを作る。
‹ シナリオ導入=使命+役割+カバーストーリー
5.
研修では、現実的な文脈の中で繰り返し 失敗を
疑似体験させてスキルを磨かせる。
‹ シナリオ操作=決断+フィードバック
参考:根本淳子・鈴木克明(2005)「企業教育向けGBSチェックリストの提案」日本教育工学会
第20回講演論文集、515-516
2005.7.22.
E-learning World 2005 L-2
25
結論メッセージ
‹
‹
‹
‹
ニーズ分析とは、的確な教育効果を得る準備
をするための手法。評価計画を立てることを
意味する。
ニーズ分析をやる理由は、的を外さないこと
だけでなく、支援者を獲得するアピール効果
をねらうため。
評価を最後にやって「この研修は効果がなかっ
た」ことを発見しても遅すぎる。ニーズ分析
は転ばぬ先の杖
「How To」の前に「What」、「What」の前に
「Why」。分析をすると言わなくても、分析
の視点を持ち続けることが肝要。
2005.7.22.
E-learning World 2005 L-2
26
Fly UP