Comments
Description
Transcript
独立行政法人国際協力機構 評価部 2010年6月 新 JICA 事業評価
新 JICA 事業評価ガイドライン 第１版 独立行政法人国際協力機構 評価部 ２０１０年６月 目 第 1 章 1-1 次 援助評価と JICA の事業評価の概要 ................................................ 1 JICA の事業評価の目的と意義............................................................................... 1 1-1-1 評価の目的.................................................................................................................. 1 1-1-2 事業実施または実施監理における評価の位置づけ .................................................... 1 1-2 国際的な援助潮流に基づく評価の動向 .................................................................. 2 1-2-1 「援助効果向上」に向けた国際的潮流と評価への影響............................................. 2 1-2-2 日本国内における ODA 評価の動向 ........................................................................... 5 1-2-3 ODA 改革と新 JICA の発足 ........................................................................................ 7 1-3 JICA の事業評価の種類.......................................................................................... 8 1-3-1 評価対象による分類 ................................................................................................... 8 1-3-2 評価の実施段階による分類 ........................................................................................ 9 1-4 JICA の事業評価の仕組み .................................................................................... 10 1-4-1 PDCA サイクルに沿った一貫した評価 .................................................................... 10 1-4-2 評価結果の活用 ........................................................................................................ 11 1-4-3 客観性と透明性を確保した評価 ............................................................................... 13 1-4-4 3 スキームで整合性のある評価制度......................................................................... 13 1-4-5 プログラム・レベルの評価による横断的・総合的評価........................................... 14 1-5 JICA の事業評価の実施体制 ................................................................................ 16 第 2 章 2-1 JICA 事業評価の方法概論 ............................................................. 17 評価の枠組み（プロジェクト・レベル）............................................................. 17 2-1-1 プロジェクトの現状把握と検証：実績、実施プロセス、因果関係......................... 17 2-1-2 評価 5 項目の視点からのデータ解釈 ....................................................................... 19 2-1-3 提言・教訓の抽出とフィードバック........................................................................ 20 2-2 評価の枠組み（プログラム・レベル） ................................................................ 21 2-2-1 協力プログラム評価の考え方................................................................................... 21 2-2-2 協力プログラムとプロジェクトの関係 .................................................................... 24 2-3 評価ツール ........................................................................................................... 25 2-3-1 ロジカル・フレームワーク ...................................................................................... 25 2-3-2 指標（業績指標）..................................................................................................... 27 2-3-3 費用便益分析 ............................................................................................................ 30 2-3-4 社会分析 ................................................................................................................... 33 参考資料 .....................................................................................................36 資料 1 外部有識者事業評価委員会からの主な提言 .................................................................. 37 資料 2 ロジカル・フレームワーク............................................................................................ 39 資料 3 レーティング ................................................................................................................. 49 資料 4 インパクト評価.............................................................................................................. 50 資料 5 経済協力開発機構開発援助委員会（OECD/DAC）評価の品質基準.................................. 51 資料 6 参加型評価 ..................................................................................................................... 57 資料 7 パフォーマンス・メジャーメント................................................................................. 59 資料 8 参考文献リスト.............................................................................................................. 62 囲み目次 囲み 1 JICA 事業評価の目的 ....................................................................................................... 1 囲み 2 開発成果マネジメント(MfDR) の定義と原則 ................................................................. 2 囲み 3 パリ宣言「援助効果向上の 5 原則」............................................................................... 3 囲み 4 協力プログラムの要件................................................................................................... 21 囲み 5 ログフレーム/PDM と評価 ............................................................................................ 27 囲み 6 運用・効果指標の定義................................................................................................... 29 囲み 7 指標設定の際に参考となる基準 .................................................................................... 30 囲み 8 NPV と IRR の定義 ........................................................................................................ 31 囲み 9 NPV と IRR の算出例 .................................................................................................... 32 囲み 10 FIRR と EIRR の再計算の手順 .................................................................................... 32 囲み 11 事後評価における FIRR と EIRR の再計算例.............................................................. 33 囲み 12 円借款事業での「受益者調査」の方法 ....................................................................... 34 囲み 13 事業事後評価における受益者調査の例 ....................................................................... 34 囲み 14 貧困分析・マクロ経済シミュレータ（PAMS）を用いた社会インパクト評価の例 ... 35 図目次 図 1 日本の ODA における新 JICA の機能 ................................................................................. 7 図 2 ODA 評価の実施体制と評価対象 ........................................................................................ 8 図3 PDCA サイクルに沿った一貫した評価............................................................................. 10 図 4 評価結果の活用 ................................................................................................................. 11 図 5 プログラム・レベルの評価 ............................................................................................... 15 図 6 JICA 事業評価の実施体制 ................................................................................................. 16 図 7 プロジェクトの現状把握と検証：3 つの要素................................................................... 18 図 8 協力プログラム評価の枠組み ........................................................................................... 22 図 9 「協力プログラム」体系図にみるプログラムとプロジェクトとの関係 ............................ 24 図 10 ログフレームの縦の論理................................................................................................. 25 図 11 ログフレームと運用・効果指標 ...................................................................................... 29 表目次 表 1 RBM の 7 つのステップ ...................................................................................................... 4 表 2 プロジェクトサイクルにおける各評価の概要 .................................................................... 9 表 3 評価結果の活用の種類 ...................................................................................................... 12 表 4 JICA における評価結果の活用の取り組み........................................................................ 13 表 5 3 スキームの評価制度（2009 年 12 月現在） .................................................................. 14 表 6 プロジェクトの現状把握・検証のための視点とポイント ................................................ 17 表 7 DAC5 項目による評価の視点............................................................................................ 19 表 8 評価段階ごとの目的と評価の視点の違い ......................................................................... 19 表 9 評価項目と評価設問例 ...................................................................................................... 23 表 10 ロジカル・フレームワークの一般的な構成.................................................................... 25 表 11 評価のための横断的視点 ................................................................................................. 27 表 12 運用・効果指標の例 ........................................................................................................ 29 表 13 事業事前評価表における運用・効果指標の設定例......................................................... 30 第 1 章 1-1 援助評価と JICA の事業評価の概要 JICA の事業評価の目的と意義 1-1-1 評価の目的 経済協力開発機構開発援助委員会（OECD-DAC）が 1991 年に採択した「開発援助にお ける評価原則」（通称「DAC 評価原則」）では、評価の目的として援助内容の改善とアカウ ンタビリティが掲げられている。JICA の事業評価の目的も、①事業の改善、②説明責任（ア カウンタビリティ）の向上の 2 点に整理することができる。 囲み 1 JICA 事業評価の目的 ①評価結果を事業の意思決定過程にフィードバックし、事業を改善する。 援助戦略、JICAの援助実施方針の策定に活用する。 評価対象事業の実施、軌道修正、協力継続の判断に活用する。 援助関係者・組織の学習効果を高める （類似事業の立案及び実施/実施監理や評価対象事業及び関係組織の能力強化に活用する）。 ②JICA の協力事業の透明性と説明責任（アカウンタビリティ）の向上のために広く情報を公開する。 事業の透明性や説明責任を確保する。 JICAが行う協力の効果やプロセスにかかる情報を広く国内外に公開する。 1-1-2 事業実施または実施監理における評価の位置づけ 評価は事業の実施や実施監理から独立した作業ではない。評価は事業をより適切に実施 または実施監理するためのツールであり、「対象社会のニーズは何か」「事業は順調に実施 されているか」「対象社会にどんな影響を与えているのか」「事業の実施に影響を与えてい る要因は何か」等の情報を、事業の実施または実施監理の全工程を通して関係者に提供す るものである。 JICA では、事前評価から事後評価までの一連のプロセスや評価結果から得られた教訓を、 事業の案件形成や事業実施に結びつけ、マネジメントツールとして活用し、効果的な事業 の実施または実施監理を目指している。 1 1-2 国際的な援助潮流に基づく評価の動向 1-2-1 1. 「援助効果向上」に向けた国際的潮流と評価への影響 「援助効果向上」に向けた国際的潮流 開発援助の世界では、2000 年以降 ODA 事業の援助効果を高める一環として、各ドナー 間で異なる援助手続きにより途上国側に生じる手続きコストを削減し、それぞれの支援を 調和化しながら「開発成果マネジメント」 （MfDR: Management for Development Results） をより高めていこうとする動きが加速している。その主な取り組みとしては、国連ミレニ アム宣言およびミレニアム開発目標（MDGs） （2000 年）、開発成果マネジメントにかかる マラケシュ・メモランダム（2004 年）、援助効果にかかるパリ宣言（2005 年）が挙げられ る。 マラケシュにおける MfDR 円卓会議では、相手国およびドナーは MfDR の定義および原 則に合意した（囲み 2）。MfDR は、相手国に対しては経済成長と貧困削減を促進する政策・ 施策へのコミットメント増大を求め、先進国に対しては、援助政策および貿易政策の効果 を向上させることで相手国の努力を支援することを求めている。 囲み 2 開発成果マネジメント(MfDR) の定義と原則 定義 開発成果マネージメント（MfDR）とは、開発の実績・結果（performance）とアウトカムの持続的向 上に焦点を当てたマネジメント戦略のことである。MfDR は、開発の実績に関する情報を意思決定に用 い、開発の有効性を高めるための一貫したフレームワークを提供するとともに、戦略的プランニング、 リスク管理、進捗モニタリング、アウトカム評価といった実践的なツールを含んでいる。 MfDR の核となる原則 1) 開発のための対話を、あらゆる局面での成果（results）に集中させる。 2) プログラム策定、モニタリング、評価を成果にアラインさせる。 3) 実績・結果の測定と報告を簡素なものにする。 4) マネジメントは成果によってではなく、成果のために行う。 5) 成果に関する情報を学習と意思決定のために用いる。 出所：Memorandum of the Marrakech Roundtable on Managing for Results, 2004 2005 年 3 月にパリで開催された「援助効果向上に関するハイレベルフォーラム」で採択 されたパリ宣言は、こうした原則を踏まえたものであり、援助の質の改善を目指し、援助 が最大限に効果を上げるために必要な措置について、援助国と相手国双方の取り組み事項 が取り纏められている（囲み 3）。 2 囲み 3 1) パリ宣言「援助効果向上の 5 原則」 オーナーシップ（Ownership） 相手国は、開発戦略の策定と実施についてリーダーシップを発揮し、援助国・相手国等はそれを支 援する。 2) アラインメント（Alignment） 援助国・機関等による支援は、相手国の「開発戦略に沿って可能な限り相手国の財政・調達等の制 度と手続きを利用して行う。 3) 援助の調和化 (Harmonization) 援助国・機関等は、可能な限り援助の計画、実施、評価、報告等に関する制度・手続きを共通化す る。 4) 成果マネジメント（Managing for Results） 相手国の開発計画、予算措置、評価等の援助実施・管理に関連する制度を強化し、相互の関連性を 強めることにより、開発の成果を高める。 5) 相互説明責任（Mutual Accountability） 援助国・機関等と相手国は、援助資金や手続き、開発成果等に関して透明性を高め相互に説明責任 を果たす。 http://www.oecd.org/dataoecd/11/41/34428351.pdf , 2007 年版 ODA 白書をもとに作成。 2. 「援助効果向上」に係る国際的潮流が評価に及ぼす影響 2000 年代に見られる MfDR への志向は、ドナーと相手国双方が「成果重視マネジメント」 （Result-based Management: RBM）に適応していく過程であると言える。国連ミレニア ムサミットにおけるミレニアム開発目標（MDGs: Millennium Development Goals）や貧困 削減戦略（PRS: Poverty Reduction Strategy）には、指標に基づくモニタリング・評価が管 理ツールとして組み込まれている1。 1 実績測定に基づく評価は ODA 分野にとどまらず、行政分野でも導入が進展している。欧米を中心に行政 への経営手法を積極的に取り込むニュー・パブリック・マネジメントが世界的に主流化する中、ODA 分 3 RBM とは、 「実績（パフォーマンス）及びアウトプット（産出物）、アウトカム、インパ クトの達成に焦点を置いたマネジメント戦略」と定義され、 「計画策定戦略」、 「実績測定」、 「評価」を行い、その結果をマネジメントに活用する一連のプロセスを意味する（表 1）2。 表1 1 ステップ 目標の明確化 2 指標の特定 3 目標値の設定 4 5 モニタリング・シス テムの構築と実績 値の測定 実績値のレビュー 6 評価の実施 7 目標達成度・評価結 果の利用 RBM の 7 つのステップ 内容 明確かつ測定可能な言葉で求める結果を特定し、 戦 どのように目標を実現するか整理する。 略 それぞれの目標について、指標と単位を定める。 計 それぞれの指標について、達成すべき水準を達成 画 時期と共に設定する。 実績値を定期的に収集するため、モニタリング・シス テムを構築し、実績値を測定する。 実 績 測 定 戦略計画 へフィー ドバック 実績値と目標値を比較し、目標達成度を確認する。 モニタリング・システムから得られない補完的な情報 評 を入手し、目標達成度の要因分析を行う。 価 目標達成度と評価結果を組織内部の学習、意思決定、組織 外部への結果の報告に活用するためには、組織改変、政策・ 手続きの改訂等の改革をあわせて実施する必要がある。 出所：円借款事業評価報告書 2007 RBM では、まず実績を把握するために、何を実現しようとしているかを明らかにし、結 果の達成度を客観的に表すことのできる指標を設定し、目標値を定める。この一連の作業 は、「戦略計画」（Strategic Planning）と呼ばれる。次に、指標の推移を定期的にモニタリ ングするための体制を整備し、指標の実績値のデータを収集し、目標値との比較を行う。 戦略計画の策定から、それをもとに実績を測定するまでの一連の作業は、「実績測定」 （Performance Measurement）と呼ばれる。最後に、モニタリングで得られた情報により、 結果が達成されたかどうか明らかになる一方で、結果を引き起こしたその要因等を詳細に 分析するために「評価」（Evaluation）を行う。ここでは、評価はモニタリング情報を補完 するものと位置づけられている。モニタリングと評価から得られた実績情報は、援助活動 の改善、そして議会や国民への報告（説明責任の確保）のために利用される。このように、 RBM とは、 「実績測定」によって得られた情報を、実際にマネジメントに活用するまでを含 めた概念と解釈されている。 近年の DAC 加盟国における RBM の導入は、伝統的なモニタリングや評価の役割に変化 をもたらした。かつては、モニタリングは、実施過程をチェックすることを目的として援 2 野でも戦略計画、実績測定、評価の基本理念を意識することが以前に増して重要になっている。 RBM の普及とともに、援助効果の成果を精緻に測定し、その有無・程度を検証する「インパクト評価」 と呼ばれる一連の手法への取り組みが世界的に強化されつつある。インパクト評価の詳細は資料 4 を参 照のこと。 4 助組織内部において行われる一方で、評価においてはプロジェクトが成果を上げているか を正確に把握することを目的として、組織外部のコンサルタントによって厳密な手法を用 いて実施することが多かった。評価を行うタイミングは、事前、中間、事後と、事業の実 施サイクルに沿って決まっており、実績に関する分析と報告は、主に事業実施後の事後評 価で行われていた。しかし、結果重視の傾向が強まるにつれて、継続的なモニタリングに よって、実施過程だけでなく実績についての情報も把握し、評価は、モニタリングを補完 するものとして、必要に応じて実施されるようになった。実績を測定することに重点が置 かれるようになったことで、実績の報告を毎年行う援助機関が増えている3。さらに、前者 3 機関では終了時評価報告書の提出も義務付けられている。このように、モニタリングと評 価は、実績に焦点を当てた情報をよりタイムリーに生産することにより、一層マネジメン トに深く組み込まれるものとなった。 1-2-2 日本国内における ODA 評価の動向 日本においては、国際的な潮流や国内の ODA 改革を背景として、ODA をより効果的・ 効率的に活用し、質の高い ODA を実施するための重要な取り組みとして評価の改善に向け た動きがみられる。 1. 国際的な潮流への対応 評価対象の拡大 1990 年代後半にみられるセクターワイドアプローチ（SWAps）、包括的開発フレーム ワーク（CDF）、貧困削減戦略（PRS）といった個々のプロジェクトの枠組みを越えた包 括的なアプローチや戦略の登場によって、日本においても国別やセクター別の取り組み が強化されるようになった。これにより、評価の対象も個別プロジェクトのみならず、 セクター別、国別、課題別の援助計画へと拡大した。「新 ODA 大綱」（2003 年 8 月）で は、「政策、プロジェクト、プログラムを対象とした評価を実施する」ことが規定され、 外務省と実施機関である JICA は、相互に連携し各レベルにおける評価（⇒1-3-1）を実 施している。 成果主義の導入 「援助効果向上に関する我が国の行動計画（2002）」の中で、(1) 今後策定予定の国別 援助計画にて、試行的に成果主義を導入すること（例えば、当該国の開発目標の中で特 に日本が追求すべき開発目標を明確にし、そのために必要な援助の重点分野、重点項目 を検討していく）、 （2）パートナー国の成果重視によるモニタリング・フレームワークに 基づき、現地レベルにおける日本の ODA 事業の実施状況のレビューを強化する、という 具体的措置が示された。 3 例えば、RBM を早くから導入してきた世銀、 CIDA、 DFID、AusAID では、組織の担当者が主体とな って実施中の事業の実績測定を行い、年次実績モニタリング報告書を本部に提出している。 5 2. 国内の ODA 改革への対応 目的の拡大と機能強化 1990 年以降、それまでの「ODA マネジメント改善」に加えて、 「説明責任（アカウン タビリティ） 」が評価の主要目的（⇒1-2-2）として位置づけられるようになった。ODA 改善という目的からは、政策策定者や実施者が ODA の実施状況を把握し、将来の政策策 定や実施に活かすために有益な情報を提供するフィードバック機能が求められる。 「評価 結果のフィードバック」 （⇒1-4-2）は「新 ODA 大綱」 （2003 年 8 月）において規定され ている。評価目的が「説明責任（アカウンタビリティ）」に拡大したことに併せて、評価 の機能も従来のフィードバック機能重視に加えて、ODA の効果を対外的に説明するとい う機能も併せ持つことが求められるようになった。 評価実施時期の多様化 目的や機能が拡大し、その役割が次第に重視されるようになったことで、計画策定、 実施、成果の発現という各段階を一貫して管理することがより効果的な ODA に繋がると の認識から、外務省に対し「プロジェクト・レベルの評価は、事前、中間、事後と各段 階を通じて一貫した評価を行うシステムを確立すること」が提案された。 「新 ODA 大綱」 （2003 年 8 月）は、評価を「開発援助の質を向上させるためのツール」と位置づけ、 「事 前から事後への一貫した評価」を規定している。また、「骨太の方針 2005」（2005 年 6 月）でも、「ODA プロジェクトの成果について、費用対効果を含め第三者による客観的 評価を行い、その結果を公表するとともに、ODA 政策の企画・に反映させるサイクル （PDCA サイクル）（⇒1-4-1）を確立させる」ことが規定されている。 第三者評価の重視 2000 年以降、ODA 改革の動きが本格化すると、ODA の透明性や効率性を確保 （⇒1-4-3）するため、外部の第三者による評価が重視されるようになった。2002 年に 提出された第 2 次 ODA 改革懇親会の報告書や外務省改革のための「変える会」報告書に おいては、評価の拡充に関する提言がなされており、特に第三者による評価・相手国政 府・機関評価や他ドナーとの合同評価等が重視されている。 「新 ODA 大綱」 （2003 年 8 月） においても、 「ODA の成果を測定・分析し、客観的に判断すべく、専門的知識を有する第 三者による評価を充実させる」ことを規定している。 政策評価法に基づく外務省 ODA 評価 2002 年、政策策定への評価結果の活用や評価情報の公表を目的とした「行政機関が行 う政策の評価に関する法律」（通称：政策評価法）の施行に伴い、日本の各省庁において 同法に基づく評価が急速に拡大した。外務省は、同法に基づき、政策全般に係る事後評価、 一定金額以上の個々の無償資金協力・有償資金協力の事前評価等を実施している4。 4 http://www.mofa.go.jp/mofaj/gaiko/oda/shiryo/index_hyouka05.html 6 1-2-3 ODA 改革と新 JICA の発足 2008 年 10 月 1 日、国際協力機構（JICA）は、これまで国際協力銀行（JBIC）が担当し てきた海外経済協力業務および外務省が実施してきた無償資金協力業務の一部を承継し、 新 JICA へと移行した。これにより、援助形態毎に異なっていた日本の ODA の実施体制が 一つになり、技術協力、有償資金協力、無償資金協力の 3 つの援助手法を一元的に実施（⇒ 1-4-4）することが可能となった。 図 1 日本の ODA における新 JICA の機能 2008 年 10 月～ 二国間 援助 無償資金協力 *1 外務省 技術協力 JICA ODA 有償資金協力（円借款） 政府開発援助 多国間 国際機関への拠出 新 JICA JBIC*2 援助 *1 外交政策の遂行上の必要から外務省が引き続き自ら実施するものを除く。 形態 *2 海外経済協力業務 業務の概要 開発途上国の人材育成ならびに組織や制度の整備を支援するため、研修員受入、 技術協力 専門家派遣、機材供与、政策立案や公共事業計画策定の支援に係る助言・指導 等を実施する事業。 円借款 開発途上国等が経済や社会の開発と安定をもたらす基礎を整備するための資金 を円貨で貸し付ける事業。低金利で返済期間の長い緩やかな貸付条件を設定し ている。 無償資金 開発途上国の経済社会開発に資する計画に必要な資機材、設備および役務（技 協力 術および輸送等）を調達する資金を供与する事業。途上国等に対し返済の義務 を課さない。 3 つの援助手法を一元的に運用することで、途上国の開発ニーズに対して包括的かつ的確 に支援を行い、質の高い国際協力を実現することが期待されている。 7 1-3 1-3-1 JICA の事業評価の種類 評価対象による分類 ODA 事業の評価の形態は、その対象によって「政策レベル評価」、「プログラム・レベル 評価」、「プロジェクト・レベル評価」に分類されている。このうち、JICA は、プロジェク ト・レベルとプログラム・レベルの評価を実施している（図 2）。 図2 ウの ODA 評価の実施体制と評価対象 政策レベル ODA 大綱・ODA 中期政策 国別援助計画 重点課題別援助政策等 外務省による評価 プログラム・レベル セクター別援助計画 各スキーム等 プロジェクト・レベル 個別プロジェクト等 JICA による評価 「ODA 評価ガイドライン第 5 版」（外務省）をもとに作成 プロジェクト・レベルの評価5は、個々のプロジェクトを対象とした評価であり、JICA は、 技術協力、円借款ならびに無償資金協力についてプロジェクト・レベル評価を行っている。 プログラム・レベルの評価6は、複数のプロジェクトを取り上げて総合的かつ横断的に評 価するものである。JICA のプログラム・レベルの評価は、 「協力プログラム評価」と「テー マ別評価」に大別される（⇒1-4-5）。 プロジェクト・レベルの評価と比較すると、プログラム・レベルの評価結果を通じて得 られる教訓と提言は、より汎用性が高く、かつより上位の視点からの情報となる。従って、 より広範な事業改善や、上位の計画・指針等の改善に活用される。 5 6 DAC ではプロジェクト評価は「個々の開発インターベンションを対象とする評価であり、この開発イン ターベンションとは、特定の資源と実施期間内で、また、往々にして、より広範囲に及ぶプログラムの 枠組み内において、特定の目標を達成するために計画されたものである」と定義している。 DAC では、プログラム評価は「地球規模、地域別、国別、分野別等の開発目標を達成するために整理さ れた一連のインターベンションの評価」と定義されている。 8 1-3-2 評価の実施段階による分類 プロジェクト・レベルの評価は、プロジェクトのどの段階で評価を行うかによって以下 のように分類される。 表 2 プロジェクトサイクルにおける各評価の概要 評価の種類 事前評価 評価の概要 3 スキーム共通の評価。協力実施前に、実施の優先度や必要性を確 事前段階 認し、協力内容や予想される協力効果を明らかにした上で、協力実 施の適用性を総合的に判断する。事前評価の段階で策定した評価指 標は、各段階において協力の進捗状況と効果を測定する基準として 活用される。 中間レビュー 技術協力プロジェクト、円借款事業を対象とする評価。前者は中間 時点、後者は借款契約後 5 年目に実施する。妥当性を再検証すると 共に、目標達成見込み、プロジェクトの促進要因・阻害要因とその 動向等を分析する。評価結果は計画の見直しや、（技術協力プロジ 事業実施段階 ェクトにおける）運営体制の改善にも活用される。 終了時評価 技術協力プロジェクトを対象とする評価。終了の半年前（小規模案 件の場合には終了時）を目処に実施する。終了時の目標達成見込み、 事業の効率性、今後の持続性の見通し等の観点から協力の実施状況 を総合的に評価し、残りの実施期間の計画を相手国政府側と策定 し、プロジェクトを終了することの適否や協力延長等フォローアッ プの必要性、先方政府独自に継続する場合の留意点の有無等を判断 する。 事後評価 3 スキーム共通の評価。プロジェクト終了後 3 年目までを目処に実 施する。事業完了後の総合的な評価を目的とし、評価 5 項目（妥当 性、有効性、効率性、インパクト、持続性）を用いて評価を行う。 評価結果をわかりやすく公表するために全スキームについてレー 事後段階 ティング制度を導入している（レーティングについては資料 3 を参 照）。他の評価スキームに比べて事後評価では、より説明責任（ア カウンタビリティ）の観点に重点が置かれる。 事後モニタリング 円借款事業を対象とする評価。完成後 7 年目に実施する。DAC 評 価 5 項目のうち、有効性、インパクト、持続性を再検証するととも に事後評価時に挙げられた教訓・提言への対応状況を確認し、事業 に対する最後の提言や教訓を導き出すことにより事業改善に活用 する。 9 1-4 1-4-1 JICA の事業評価の仕組み PDCA サイクルに沿った一貫した評価 PDCA サイクルとは、Plan、Do、Check、Action の 4 ステップからなる活動の継続的改 善を図るマネジメントサイクルである。JICA の事業評価は、援助スキームにかかわらず、 プロジェクトの PDCA サイクルと一体不可分の関係にある。援助スキームの特性、具体的 には支援の期間、効果発現のタイミング等を反映しつつも、プロジェクトの事前段階から、 実施、事後の段階、フィードバックに至るまで、一貫した枠組みによる評価を実施してい る。 プロジェクト開始前に終了時・事後を行うための諸々の指標やデータが揃っていること で、プロジェクトによって発現した効果を適切に評価分析し、適切に事業改善手段を提言 することが可能になる。終了時・事後評価と同じ視点で事前に評価を行うことによって、 最初に評価した指標の変化に基づいて、実際のプロジェクトのパフォーマンスを測ること が可能となる。このように、PDCA サイクルの各段階における評価によって、プロジェク トによる開発成果の向上が期待できる。 図3 PDCA サイクルに沿った一貫した評価 10 1-4-2 評価結果の活用 JICA の事業評価では、評価を実施するだけではなく、プロジェクトの各段階の評価結果 が PDCA サイクルの「Action」に繋がるようにフィードバック体制を強化している。フィ ードバックは、当該プロジェクトの改善に関する提言、実施中あるいは将来の類似プロジ ェクトに対する教訓に加え、今後は JICA の協力プログラムや援助実施方針、課題別指針等 へのフィードバックをさらに強化していく予定である。また、相手国政府への評価結果の フィードバックや評価自体の合同実施により評価結果が相手国政府のプロジェクト、プロ グラム、開発政策等の上位政策に反映されるようにする。 図 4 評価結果の活用 ① JICA の基本的方針への反映 援助実施方針、課題別方針等の改善 ② プログラムへの反映 協力プログラムの改善 ③ Action プロジェクトへの反映 評価対象プロジェクトの改善、実施中あるい は将来の類似プロジェクトの改善 ④ 相手国政府の事業、上位政策等への反映 フィードバック 相手国政府のプロジェクト、プログラム、開 発政策等の上位政策の改善 評価結果 提言 教訓 1. 評価結果の活用の種類 事業評価の結果の活用は、大きく分けて、(1) 事業関係者へのフィードバック（JICA 内 部ならびに相手国政府）と、(2) 一般的なアカウンタビリティの 2 つに分類される（表 3）。 11 表 3 評価結果の活用の種類 事業の改善 ①意志決定過程へのフィードバック に役立てて 評価結果を対象プロジェクト/事業に関する判断に 直接活かすもので、主に JICA の担当部署がプロジ いく過程 ェクト/事業の運営管理の一環として評価を行うも の。例えば、事前評価の結果は JICA でのプロジェ クト/事業の実施決定の判断に、中間レビューの結 フィードバック 果は当初の計画の見直し等の判断に、また、技術協 力プロジェクトの終了時評価の結果はプロジェク トを終了するのか、延長・フォローアップを行うか の判断に、それぞれ活用される。 相手国政府へ評価結果をフィードバックし、評価結 果が相手国政府のプロジェクト、プログラム、開発 政策等の上位政策に反映される。 ②学習過程へのフィードバック 開発援助に携わる関係組織が評価情報や教訓を蓄積することに より、類似のプロジェクト/事業を形成・採択・計画立案する際 アカウンタビリティ 2. や、組織戦略の見直し等に活用する。 説明責任（アカウンタビリティ）を果たす過程。説明責任の要件には、事業目 標が明確であること、組織の意志決定過程の透明性が確保されていること、投 入の効率的な活用や事業結果としての成果が正確に把握されていること等が含 まれる。説明責任の確保のためには、これらの要件を満たした質の高い評価情 報の公開が求められる。 評価結果の活用の仕組み JICA は、評価結果のフィードバックとアカウンタビリティ遂行のため、主に以下の仕組 みを構築・強化している（表 4 も参照のこと） 。 ＜事業関係者へのフィードバックの仕組み＞ ① JICA 内部でのフィードバック セクター別に「教訓」をデータベース化し、新規プロジェクト/事業の計画に反映させる、 事業へフィードバックしやすい教訓を抽出するために、過去の評価結果を総合的に分析し、 共通する傾向や特徴的な傾向を抽出する（技術協力プロジェクト）、事後評価で得られた「提 言」の活用状況をモニタリングするため、実施機関に対して事業完成後 7 年目までの事後 モニタリングの実施を要請する（円借款事業）等がある。 12 ② JICA 外部へのフィードバック JICA と相手国政府は、評価結果のフィードバックを通して、プロジェクトの成果を継続 あるいは向上させるためにどのような措置が必要かについて認識を共有する。相手国側は 次に、必要な措置を実行に移すための計画を、当該国のプロジェクト／プログラム運営管 理システムの中で策定・実施することが期待される。 具体的には、合同評価の実施（主に技術協力プロジェクト）、フィードバックセミナーの 開催（円借款事業）、事後評価結果に対するコメント取り付け（3 スキーム共通）等がある。 ＜一般的なアカウンタビリティのための仕組み＞ 報告書の配布、JICA 事業評価年報や評価結果概要のホームページ掲載、JICA 図書館を通 じた報告書の公開、評価結果に関する一般公開セミナー等がある。 表4 JICA における評価結果の活用の取り組み 評価結果の活用 対象 フィードバック JICA 主な取り組み 教訓提言のデータベース化 評価結果の総合分析の実施 事前評価表への教訓活用項目の記載 実施方針等に評価結果の教訓を反映 評価研修の実施 相手国政府 合同評価の実施 フィードバックセミナーの開催 事後評価結果に対するコメント取り付け アカウンタビリティ 日本・相手国 の国民 報告書の配布 ホームページでの評価結果の公表 評価結果に関する一般公開セミナーの開催 1-4-3 客観性と透明性を確保した評価 JICA の事業評価では、評価の客観性と透明性を確保するための取り組みを行っている。 事業実施の効果を客観的な視点で検証することが求められている事後評価（⇒1-3-2）につ いては、2009 年度以降、3 スキームに共通して外部評価により実施している。 また、評価の質および評価結果の客観性の向上を図るため、外部有識者により構成され る外部有識者事業評価委員会において、評価体制、制度全般、テーマ別評価の方針等に関 する助言を得ており、外部の視点が事業評価制度に反映される仕組みを構築している。 1-4-4 3 スキームで整合性のある評価制度 JICA は、技術協力プロジェクト・円借款・無償資金協力の 3 スキーム間で整合性のある 評価制度を構築し、2009 年度より本格導入した（表 5）。 13 表5 3 スキームの評価制度（2010 年 3 月現在） 評価のタイミング 技術協力 プロジェクト 円借款事業 事前評価 中間レビュー 終了時評価 事後評価 事後モニタリング 評価の対象 事前評価 中間レビュー 終了時評価 事後評価 事後モニタリング 評価実施主体 事前評価 中間レビュー 終了時評価 事後評価 事後モニタリング 無償資金協力事業 事業実施前 事業の中間時点 借款契約後 5 年目 事業の終了 6 ヶ月前 － （注１） 事業終了/完成後 3 年目まで － 事業完成後 7 年目 － － － 全案件（注１） 原則として協力期間 中間段階での確認等 － が 3 年以上の案件 が必要な事業 （注１） 全案件（注１） － － 原則として協力金額２億円以上の全案件（注２） － 有効性（インパクト － を含む）と持続性に 懸念がある事業 内部評価 内部評価 外部評価 － （合同評価） － － 外部評価（一部合同評価あり） － 外部評価 － （注１）総投入計画額 2 億円未満の案件については、簡易な評価方法の運用が可能。 （注２）無償については、一般プロジェクト無償及び水産無償を対象とする。 表 5 のとおり、評価の実施主体は、そのタイミング及び対象スキーム等によって内部ま たは外部に大別される7。内部評価の実施主体は JICA である。外部評価では、公示による 競争を経て選ばれた、開発援助や評価を専門とする外部評価者が実施主体となる。外部評 価の結果は外部評価者の判断の独立性を担保している。 1-4-5 プログラム・レベルの評価による横断的・総合的評価 JICA は、特定のテーマや開発目標を切り口として、JICA の協力を総合的に評価・分析す る「プログラム・レベルの評価」を実施している。これにより、設定されたテーマや目標 に共通する提言・教訓を抽出し、事業の実施や将来の事業計画に活用する。 7 合同評価の場合は、先方関係機関や他の援助機関が参加する。 14 図 5 プログラム・レベルの評価 プログラム・レベルの評価は「協力プログラムの評価」と「テーマ別評価」に大別される。 「協力プログラム」の評価は、JICA が途上国の特定の中長期的な開発目標の達成を支援する ための戦略的枠組みとして取り組んでいる「協力プログラム」を対象として評価を行う（協 力プログラムの評価手法については第 2 章（2-2）を参照） 。 テーマ別評価は、地域、課題セクター、援助手法等、特定のテーマを設定する。そのテー マに関連したプロジェクトを対象として、テーマごとに設定された評価基準を用いて評価結 果を総合的に分析・検証することにより、テーマに関連した教訓・提言を抽出する。 15 1-5 JICA の事業評価の実施体制 JICA における評価実施体制は、外部有識者事業評価委員会、評価部ならびに事業実施部 門（本部、在外事務所等）等から構成されている。それぞれの位置づけと主な役割につい ては以下の通りである。 外部有識者事業評価委員会 JICA 事業評価の質および評価結果の客観性の確保に資することを目的とした委員会で、 外部の第三者（国際協力や評価に関する知見・専門性を有する学識経験者、国際機関、NGO、 マスコミ、民間団体等）で構成される。本委員会は、JICA 事業評価の方針・評価体制・制 度全般等に関する助言を行う。 評価部 評価部は、プロジェクト・レベルの評価のうち、より客観性が求められる事後評価等の 実施を担当する。また、プログラム・レベルの評価8の実施のほか、評価手法の開発・改善、 事業評価にかかる情報提供、他部が実施する評価の支援・監理、JICA 職員等に対する評価 能力強化、評価結果の事業へのフィードバック促進、評価結果の公表促進等を行っている。 事業実施部門（本部、在外事務所） プロジェクト・レベルの評価のうち、事前段階から実施段階までの評価を実施する。各 評価の実施主体部署は、対象案件のスキーム・規模・内容等に基づき決定される。 なお、評価の質の管理と評価を通じた事業への改善体制の強化を目的に、関係事業部と 在外事務所に評価主任が任命されている。 図6 JICA 事業評価の実施体制 理事会 外部有識者 新規案件付議 事業評価委員会 ・評価の方針・実施に関する助言 ・評価体制・制度全般に関する助言 評価部 関係事業部 在外事務所 （評価主任） （評価主任） ・評価の実施、結果活用 8 ・評価の質の監理 ・評価ガイドライン作成 ・フィードバック促進 ・プログラム・レベル評価実施 ・評価の実施、結果活用 プログラム・レベル評価の一部を事業実施部門が主管で実施し、評価部が支援する形をとることもある。 16 第 2 章 2-1 JICA 事業評価の方法概論 評価の枠組み（プロジェクト・レベル） JICA のプロジェクト・レベルの評価は、①プロジェクトの現状把握・検証を行い、②そ れらを DAC 評価 5 項目（妥当性、有効性、効率性、インパクト、持続性）による評価基準 から判断し、③提言や教訓を導き出して次の段階にフィードバックするという 3 つの枠組 みから構成されている。 2-1-1 プロジェクトの現状把握と検証：実績、実施プロセス、因果関係 評価調査で、対象プロジェクトを取り巻く現状を把握・分析するためには、 「実績」、 「実 施プロセス」、「因果関係」についての検証が不可欠である。プロジェクトがうまくいかな かった要因を把握することが事業改善には非常に重要であり、そのためには実績のみなら ず、実施プロセスの検証や因果関係の検証が必要になるからである。仮に、 「実施プロセス」 に問題があった場合、その要因はプロジェクトの運営体制に帰する可能性がある。また、 プロジェクトの論理的な組み立てに問題がみられる場合には、プロジェクトのデザインそ のものに起因することが考えられる。 表 6 は、3 つの検証項目につき検証の視点と主な検証ポイントを纏めたものである。 表 6 プロジェクトの現状把握・検証のための視点とポイント 検証項目 実績 実施プロセス 検証の視点 検証のポイント ・ プロジェクト実施の結 プロジェクトのアウトカム目標の達成度、 果何が達成されたの アウトプットの発現状況を評価時点で測 か、それらは期待どお 定し、計画時に設定した目標値との比較を りであるか。 行う。 ・ プロジェクトを実施す 当初の計画通りに活動が実施されてアウ る過程（プロセス）で トプットに結びついているかを確認する 何が起きているのか、 とともに、実績プロセスの何がアウトプッ それらはプロジェクト トやプロジェクトのアウトカム目標の達 のアウトカム目標の達 成度に影響を与えているかを検証する。実 成にどのような影響を 施プロセスの検証で得られた情報は、効率 与えているか。 性や有効性を検証する際の根拠となる場 合が多く、プロジェクト実施途中の軌道修 正や類似プロジェクト立案に活用される。 17 因果関係 ・ プロジェクトのアウト プロジェクトのアウトカム目標が当初の カム目標の達成が本当 計画どおりに達成されたとしても、プロジ にプロジェクト実施に ェクトの実施とは別の要因が関係してい よってもたらされたも ることもあり得る。そのため、プロジェク のであるか、あるいは トと効果の因果関係を検証するためには、 もたらされるものであ 同じ対象地域の実施前・実施後の変化を比 るか。 較する方法や、プロジェクト対象地域と対 ・（事前評価の場合）プロ 象外地域との比較によって純効果を把握 ジェクトの論理的な組 しようとする方法等、実績把握や目標値と み立てが妥当であるか。 の比較といった方法とは異なる方法が必 要となる。 なお、3 つの項目を適切に検証するためには、プロジェクト実施中のモニタリングが非常 に重要となる。モニタリングはプロジェクトの進捗状況をチェックし、問題があれば適宜 軌道修正を行うものであるが、モニタリングによって、 「実績」のデータや「実施プロセス」 を検証するために必要な情報も収集できる。プロジェクト実施中のモニタリングが適切に 行われていない場合には、評価に必要な情報が不足する可能性が高く、ゆえに信頼性の高 い的確な評価を行うことが困難となる。 図 7 プロジェクトの現状把握と検証：3 つの要素 実施プロセスの検証 事前評価 ・活動計画内容や実施体制の適切性の検証 中間レビュー以降 ・活動は順調であるか、実施プロセスで何 が起きているかの検証 ・実施プロセスに起因する貢献・阻害要因 の分析 実績の検証 事前評価 ・指標・目標値の適切性の検討 中間レビュー以降 ・投入、アウトプット、プロジェクト目標、 上位目標の達成度の測定 ・目標値との比較 因果関係の検証 事前評価 ・ターゲットグループに効果がもたらされるようにプロジ ェクトが組み立てられているかの検証 中間レビュー以降 ・発現された効果はプロジェクト実施によるものであるか の検証 ・因果関係に起因する貢献・阻害要因の分析 18 2-1-2 評価 5 項目の視点からのデータ解釈 JICA のプロジェクト評価では、評価における価値判断の基準として、 「評価 5 項目」を 採用している。評価 5 項目とは 1991 年に経済協力開発機構開発援助委員会（OECD-DAC） で提唱された開発援助の評価基準であり、以下の 5 つの項目から成る。 表7 DAC5 項目による評価の視点 妥当性 開発援助と、ターゲットグループ・相手国・ドナーの優先度ならびに政 (relevance) 策・方針との整合性の度合い。 有効性 開発援助の目標の達成度合いを測る尺度。 (effectiveness) 効率性 インプットに対するアウトプット（定性ならびに定量的）を計測する。 (efficiency) 開発援助が期待される結果を達成ために最もコストのかからない資源 を使っていることを示す経済用語。最も効率的なプロセスが採用された かを確認するため、通常、他のアプローチとの比較を必要とする。 インパクト 開発援助によって直接または間接的に、意図的または意図せずに生じ (impact) る、正・負の変化。開発援助が、地域社会・経済・環境ならびにその他 の開発の指標にもたらす主要な影響や効果を含む。 持続性 ドナーによる支援が終了しても、開発援助による便益が継続するかを測 (sustainability) る。開発援助は、環境面でも財政面でも持続可能でなければならない。 http://www.oecd.org/dataoecd/15/21/39119068.pdf をもとに作成。 これらの DAC 評価 5 項目は、事業実施の価値を総合的な視点から評価する基準である。 5 つの評価の視点は、評価の時期（事前、実施中、事後）や目的によって視点間の重点の置 き方や、現状・実績に基づき評価するか、あるいは予測・見込みに基づき行うかが異なる （表 8）。また、事業の特徴や抱える課題によっても検証作業の濃淡は異なる。 表 8 評価段階ごとの目的と評価の視点の違い 事前評価 中間レビュー スキーム 評価の目的 評価の主な視点 技術協力プロ 事業の必要性や効果、実施計画 DAC 評価 5 項目の考え方を用いつ ジェクト 等を確認する。また、可能な限 つ、特に事業の必要性、妥当性、 円借款 り定量的な指標を用いて成果 目的、内容、効果（有効性）、外部 無償資金協力 目標を設定し、今後の評価計画 要因・リスク等を整理し、事業計 を明確にする。 画の適切性を総合的に検証する。 技術協力プロ 事業が順調に効果発現に向け 現状・実績に基づき、妥当性、有 ジェクト て実施されているかを検証し、 効性（当初想定した事業効果が発 円借款 評価対象事業の計画見直しや 現するか） 、効率性について、影響 運営体制の改善に資する。 する貢献・阻害要因とともに検証 する。 19 終了時評価 無償資金協力 － － 技術協力プロ 目標が協力期間終了までに達 現状・実績に基づき、特に有効性 ジェクト 成されるかを総合的に検証し、 （事業効果の達成状況）を総合的 協力終了の適否や協力延長の に検証する。インパクト、持続性 必要性の判断に活用する。 は、見込みについて検証する。 円借款 － － － － 技術協力プロ より一層の効果的効率的な実 当初想定した事業効果が発現して ジェクト 施および十分な説明責任を果 いるかの検証を中心に、評価 5 項 円借款 たすことを目的として実施す 目すべてについて総合的な判断を る。 行う。 無償資金協力 事後評価 無償資金協力 事後モニタリング 技術協力プロ － － 事後評価時に示された教訓お 有効性、インパクト、持続性につ よび提言の実施状況を確認す いて検証する。 ジェクト 円借款 る。 無償資金協力 2-1-3 － － 提言・教訓の抽出とフィードバック 評価の最終段階では、評価結果に基づいて具体的な提言や教訓を導き出す。「提言」は、 評価対象事業の今後の改善に役立つ提案のことであり、「教訓」は、将来または実施中の類 似案件に対する提案のことである。 提言や教訓を導き出すには、プロジェクトに影響を与えた貢献・阻害要因の特定が不可 欠である。具体的な根拠とともに貢献・阻害要因を明らかにすることで有用な提言・教訓 を導き出すことができる。例えば、有効性の評価の時、プロジェクトの効果が期待通りに 上がらなかった場合、どのような要因や原因が影響を与えたのかを、プロジェクトの実施 プロセスや因果関係の検証結果から分析する必要がある。例えば、技術協力プロジェクト において実施プロセスの検証を通してカウンターパートの配置に問題があると判明した場 合、カウンターパートの配置を見直すための何らかの提言が必要となる。あるいは、アウ トプットの設定が不十分で所期の効果を上げるために別のアウトプットを設定する必要が あると判断された場合には、アウトプットの内容見直しに関する提言を行う必要がある。 評価結果は、関係者や組織・担当部門にフィードバックされ、当該プロジェクトの軌道 修正や類似プロジェクトの立案に活用される（第 1 章「1-4-2 評価結果の活用」参照）。 20 2-2 評価の枠組み（プログラム・レベル） ここでは、第 1 章（1-4-5）で紹介したプログラム・レベルの評価のうち、協力プログラ ムの評価について、基本的な考え方や評価手法を整理する。 2-2-1 協力プログラム評価の考え方 ＜協力プログラムの定義＞ JICA は、協力プログラムを「途上国の特定の中長期的な開発目標の達成を支援するため の戦略的枠組み（＝協力目標とそれを達成するための適切な協力シナリオ）」と定義してい る。ここでいう「戦略的」とは次の要件を満たすものを指す。 囲み 4 協力プログラムの要件 (1) 途上国の特定の開発戦略や日本の援助戦略に沿った明確な協力目標を有すること。 (2) 協力目標を達成するための適切な協力シナリオを有すること。 (3) 投入にあたり複数の援助手法（技術協力、有償資金協力、無償資金協力の 3 手法* の最適な運用を行っていること。 * 必ず 3 スキーム全ての事業が組み合わされていなければならないということではなく、各 国の状況を踏まえ、技術協力事業のみで構成される協力プログラムやボランティア事業等、 国民参加型事業を含むものもある。 ＜協力プログラムの評価手法＞ 協力プログラムは長期間にわたるため、当該プログラムの協力目標・成果指標の達成状 況の確認や、協力シナリオの明確化・見直しを通じた戦略性の強化等を目的とした定期的 モニタリングが果たす役割が大きい。そのため、JICA はモニタリングを中心とした協力プ ログラムの PDCA サイクルの確立を推進している。協力プログラム評価については、当面、 一部試行的に導入して得られた教訓を他の協力プログラムの形成に反映させていく。 協力相手国の開発戦略実現のためには、JICA の協力プログラムだけで対応できる範囲に は限界があり、相手国、他援助機関等、様々な開発主体が不可欠な場合が多い。従って、 当該国や他援助機関の活動全体で達成された成果の中で、一機関として JICA がどのような 役割を担ったのかとの視点から「貢献」（Contribution）の概念により評価を行う。 「貢献」 （Contribution）の概念とは、開発課題に対する進展（対象国の開発戦略の進展状 況）と一機関があるプログラムにおいて達成することを目標としていた成果を明示的に分 けて認識した上で、「開発課題の進展」と「一機関の成果」の「因果関係の可能性の高さ （plausibility）」を検証しようとする考え方である9。 9 これに対し、 「帰属」とは、観察（あるいは期待された）変化と特定の援助とをある因果関係で結びつけ ること（DAC 定義）である。観察された開発効果が、他の援助や（予想したか否かに係わらず）阻害要 因あるいは外的影響を考慮した上で、どの程度特定の援助、あるいは複数の援助機関関係者による援助 21 「因果関係の可能性の高さ」は、１つには当該国の開発戦略の中で JICA の協力事業がど のような位置づけを占めていたのか、重要で優先度の高い課題を選択し取り組んでいたの かという、 「開発戦略における位置づけ」によって確認を行う。またもう１つの視点として は、目標達成に向けて有効な計画が策定されていたか（一貫した取り組みができていたか）、 成果をきちんと上げていたか、状況に応じ適切に計画・実施の変更ができていたか、とい った「協力プログラムの戦略性（計画・成果・プロセス） 」によって確認を行う。本評価で は、これら「位置づけ」と「戦略性（計画・成果・プロセス）」の検証を分析のステップと しつつ、当該国政府の開発戦略の進展（他援助機関や当該国政府の実施する事業の総体と しての成果）を踏まえた上で、 「相手国側の開発戦略への貢献」についての評価を行う。従 って、当該国の開発戦略の中で優先的な課題に取り組み、その中で高い成果を上げており、 なおかつ開発課題の改善も見られるのであれば、因果関係の可能性は高いとの結論を提示 できる形になる。 図 8 協力プログラム評価の枠組み 表 9 は、 「貢献の概念」に基づく評価のための協力プログラム評価の評価項目と設問例で ある。 行為なのかの程度を示す。 22 表 9 評価項目と評価設問例10 評価項目 評価設問 日本側政策に おける位置づけ 相手国開発戦略に １ 位置づけ おける位置づけ 1-1-1 協力プログラムは、日本の国別援助政策においてどのような位置づけに あるか 1-1-2 協力プログラムは、日本の分野・課題別援助政策においてどのような位 置づけにあるか 1-2-1 協力プログラムは、当該国の開発戦略においてどのような位置づけにあ るか 計画 2-1-1 協力プログラム目標達成のためのシナリオ（案件群の構成も含む）は適 切に設定されているか（プログラムの一貫性） 2-2-1 協力プログラムを構成する個々の案件の目標はどの程度達成されたか ２ プログラムの戦略性 個々の案件の実施によってどのような成果がもたらされたか 結果 2-2-2 協力プログラムの目標達成の観点から協力プログラムを構成する JICA 案件間の連携によって、どのような成果が達成されたか 2-2-3 協力プログラムの目標達成の観点から、個々の案件において、他援助機 関との協力によってどのような成果が達成されたか 2-2-5 協力プログラムの目標達成に対し、構成案件の選択は適切であったか プロセス （計画、結果の評価に際し、貢献・阻害要因の抽出のために適宜分析を行う） 2-3-1 協力プログラムを構成する案件間では計画・実施の段階で適切に連携・ 調整が図られたか 2-3-2 協力プログラムを構成する個々の案件の計画・実施に際して、他援助機 関との援助協力・協調に向けて適切な取り組みが行われたか ３ 開発戦略への貢献 3-1-1 協力プログラムが位置づけられている当該国の開発戦略目標に対する 指標はどのように進展したか 3-1-2 上記 3-1-1 においてもたらされた効果に対して、協力プログラムはどの ように寄与したか 3-1-3 開発戦略目標達成に対して協力プログラムは他援助機関と協力しどの ような成果を挙げたか 3-1-4 当該国の開発戦略目標達成の観点から協力プログラムは効率的、自立発 展的であったか（目標達成に向けて今後どのような協力を行うべきか） 10 これらは標準的な評価項目と評価設問である。必ずしもすべての評価設問に対応する必要はなく、プロ グラム評価のタイミングやプログラムの状況に応じて選択してよい。 23 2-2-2 協力プログラムとプロジェクトの関係 上記 2-2-1 で述べたとおり、JICA は協力プログラムを「途上国の特定の中長期的な開発 目標の達成を支援するための戦略的枠組み（＝協力目標とそれを達成するための適切な協 力シナリオ） 」と定義している。協力プログラムは、援助手法別の個別プロジェクトだけで は達成が困難な高次の目標を有し、JICA の資源（予算、人）を重点配分するものである。 協力プログラムの戦略性を高めるには、単なる援助スキーム（プロジェクト）の組み合わ せではなく、特定の開発目標の達成を支援するために各スキーム（プロジェクト）の最適 な運用が必要である。 こうした「協力プログラム」とプログラムを構成する各プロジェクトとの間には、 「目的」 －「手段」の関係があり、「各プロジェクト（手段）が達成されればプログラム目標が達成 する」というロジックがある（図 9）。 図 9 「協力プログラム」体系図にみるプログラムとプロジェクトとの関係11 プログラム構成 インパクト 相手国の開発課題の一つ アウトカム アウトプット 図中の協力プログラムは、日本側の援助政策と整合性が認められる相手国の当該セクタ ーの開発課題を解決するものとして、2 つのプロジェクトから構成されている。つまり、 両プロジェクトはプログラム目標を共有していることになる。 協力プログラム評価の一環としてのプロジェクト評価では、通常のプロジェクト評価（→ 2-1）とは異なる観点が含まれる。例えば、「協力プログラム目標達成の手段として適切な プロジェクトが選択されているか」の検証は、相手国や日本の政策との整合性に加え、他 の開発パートナーの協力状況も鑑み、各プロジェクトからプログラム目標達成に至るシナ リオの戦略性に着目する。また、「結果」の検証では単体のプロジェクト評価と同様に各プ ロジェクト実施による効果の発現状況を評価するが、プログラムを構成するプロジェクト 間の連携および各プロジェクトにおける他の開発パートナーとの協力の観点を重視する。 11 体系図は、プログラム評価「ケニア国エイズ予防プログラム」報告書を改訂。なお、図９では協力プロ グラム目標と相手国の開発課題の解決を同一レベルとして設定しているが、実際にはこうした事例は稀 であり、協力プログラムは相手国自身のプログラムや他の開発パートナーによる貢献とともに当該開発 課題の解決を支援するという位置づけが一般的である。 24 2-3 2-3-1 評価ツール ロジカル・フレームワーク 「ロジカル・フレームワーク」（ログフレーム）12（資料 2 参照）は、プロジェクトの要 約表であり、JICA のプロジェクト・レベルの評価で広く用いられているツールの一つであ る。プロジェクトの計画・実施・評価にログフレームを用いる手法は一般的に「ロジカル・ フレームワーク・アプローチ」と呼ばれている。ログフレームの一般的な構成は表 10 の通 りである。 表 10 ロジカル・フレームワークの一般的な構成 要約 上位目標 （インパクト） 長期的な開発効果 プロジェクト目標 （アウトカム） プ ロ ジ ェ クトの 直 接 的 な便益 アウトプット プ ロ ジ ェ クトが 生 み 出 す財とサービス 活動 ア ウ ト プ ットを 生 み 出 す た め の プロジ ェ ク ト の活動 指標 上 位 目 標 の達成度を測 る基準 指標入手手段 上位目標指標の情報源 プ ロ ジ ェ クト目標の達 成度を測る基準 プロジェクト目標指標 の情報源 外部条件 プロジェクトによる効 果が持続していくため の条件 上位目標達成に必要な 外的要因 ア ウ ト プ ットの産出状 況を図る基準 アウトプット指標の情 報源 プロジェクト目標達成 に必要な外的要因 投入（インプット） アウトプット産出のための活動に用いられる資源 アウトプット産出に必 要な外的要因 図 10 ログフレームの縦の論理 ログフレームには「ロジックモデル」 の理論が内含されている。 「ロジックモ プロジェクトの 概要 デル」とは、プロジェクトの「要約」 上位目標 の 4 つのレベル（上位目標、プロジェ プロジェクト目標 クト目標、アウトプット、活動）を因 アウトプット 指標 指標データ 入手手段 外部条件 果関係で整理したものであり、 「縦の論 理」とも呼ばれる。これらの 4 つのレ 活動 ベルと「外部条件」との組み合わせに 投入 前提条件 よって、 「このプロジェクトは何のため に実施されるのか？」と「目標の達成 には何が必要なのか？」が体系的に表 されている（資料 2 参照）。 円借款事業、無償資金協力事業にお 12 もし前提条件が満たされれば活動が実施される。 もし活動が実施されその横の外部条件が満たされればアウト プットが達成される。もしアウトプットが達成されその横の 外部条件が満たされればプロジェクト目標が達成される。も し、プロジェクト目標が達成されその横の外部条件が満たさ れれば上位目標が達成される。 「ロジカル・フレームワーク」（ログフレーム）とは、「開発インターベンション」の計画を改善させる ために用いられるマネジメントツール（DAC 評価基本用語集）である。 25 いては、事前評価段階ではログフレームは作成せず、それ以降の評価においてもログフレ ームを直接的に使用しない。しかし、事前評価の検討項目であり事前評価表として公表さ れる「事業の目的」、「成果の指標」、「外部要因・リスク」等はログフレームの考え方に基 づいたものである。 技術協力プロジェクトの運営管理には、ログフレームの一種であるプロジェクト・デザ イン・マトリックス（Project Design Matrix: PDM）が通常用いられる。協力計画額 1 億 円以上の技術協力プロジェクトについては PDM を作成することが必須とされている13。 ログフレーム/PDM では、前述の通り目標管理型の秩序だった論理構成が表現されており、 計画全体をその論理構成も含めて一目で概観できるため、ログフレーム/PDM を活用するこ とにより、多数の関係者間においてプロジェクトの枠組みに関する認識を共有することが できる。こうした特徴により、ログフレーム/PDM を使用したプロジェクトの管理の結果と して説明責任（アカウンタビリティ）と透明性の向上が期待できる。 ただし、評価に際しては、ログフレーム/PDM にはプロジェクトに関するすべての情報 が記載されているわけではないことに留意し、必要に応じて他の調査手法との補完を行う ことが望ましい。 プロジェクトを計画する事前評価段階では、PDM の論理的な整合性だけでなく、設定し たプロジェクト目標のレベルがプロジェクト期間や想定される投入量に照らし合わせて現 実的であるかを検証する必要がある。また、当該プロジェクトの選択に至るまでの主要な 議論の内容と議論の参加者、プロジェクト実施者の関係について事前調査報告書等に記録 しておくとともに、プロジェクト進捗監理に必要な時系列上の活動計画についても作成し ておく必要もある。 また、中間レビュー以降の評価に際しては、ログフレーム/PDM から評価できる事項とロ グフレーム/PDM からは判断できない事項（囲み 5）を念頭におく。特に、妥当性、インパ クト、持続性の評価のためには、プロジェクトを取り巻く環境の変化を把握し、そうした 変化とプロジェクトの関係について横断的視点（表 11）を用いて分析することで包括的な 評価を試みる。 なお、プロジェクトの進捗や状況の変化に応じて当初の PDM の見直しや変更が必要とな る場合もある14。 13 地球規模課題対応国際科学技術協力プロジェクトは、国際共同研究という事業の特性に鑑み、PDM の作 成を省略する場合がある。ただし、PDM を作成しない場合でも、成果及び目標の達成度を評価するため の指標の設定は必須である。 14 PDM 変更の管理については、 「事業マネジメントハンドブック初版」 （JICA, 2007 年）p.94-98 を参照の こと。 26 囲み 5 ログフレーム/PDM と評価 ログフレーム/PDM に基づいて評価できる事項 プロジェクトの結果（上位目標、プロジェクト目標、アウトプット、活動、投入の計画と実績を比較） 計画と実績が異なる場合の理由（なぜ計画と実績の齟齬が生じたか） プロジェクトデザインの適切性（前提条件から上位目標までの縦の論理が正しかったか） ログフレーム/PDM に基づいて判断できない事項 計画策定プロセスの適切性（代替案は検討されたか。検討されたプロジェクトの範囲は適切であったか） プロジェクトの実施体制と実施プロセスの適切性（組織体制、活動実施上の工夫、モニタリング方法等） 上位目標以外のインパクト（ログフレーム/PDM に記載された目標以外のインパクトは何か） 持続性（相手国の組織体制、予算状況、外部環境等から判断して、プロジェクト終了後も効果が継続す る可能性はいかほどか） 表 11 評価のための横断的視点 政策 プロジェクトの分野の優先度、関連政策への配慮、制度上の整備状況等 技術 適正な技術の選択、技術者の有無や継続的育成と確保、関連資機材の入 手可能性等 環境 天然資源の管理・開発・利用、環境の保護、環境に与える影響等 社会・文化 地域社会への影響・浸透度、様々なグループ（ジェンダー、民族、宗教、 貧富等）に対する影響、グループ毎のプロジェクトの裨益度とアクセス 等 組織制度・管理運営 必要な組織制度体制、人員の確保、能力、責任の所在等 経済・財政 2-3-2 1. 運営維持管理のための財源確保、事業の費用と便益の分析等 指標（業績指標） 指標の定義 指標とは、ある現象を意味する概念や事柄である。OECD-DAC の「評価と援助の有効性 評価及び結果重視マネジメントにおける基本用語集」15では、「量的又は質的な要素又は変 数のことであり、インターベンションの達成度の測定、協力によって生じた変化の明示、 または開発関係者の実績（パフォーマンス）の査定の手助けとなる簡潔かつ信頼できる手 段を提供する」と定義されている。このように、指標を設定することにより、プロジェク トやプログラムの成果として、目標の達成度を客観的に示すことが可能となる。JICA の事 業評価の目的は、①事業の改善、②説明責任の向上、の 2 点に集約されるが、プロジェク トにおける指標の設定は、これらの事業評価の目的と密接に関連している。 15 “Glossary of Key Terms in Evaluation and Results Based Management”(OECD-DAC、2002)、日本語訳: ODA 評価ガイドライン第 5 版（外務省、2009）。 27 業績指標（Performance Indicator。パフォーマンス指標、パフォーマンス・モニタリング 指標とも呼ばれる）は公共政策や公共事業の目標達成度を評価するための基準である。業 績指標を計画段階（事前＝Ex-ante）から完了後（事後＝Ex-post）まで継続的に測定するこ とで、政策や事業の実績についての一貫した情報を収集することが可能になる。そのよう な情報収集法と、収集情報を施策や業務の改善に活用することは、業績測定（Performance Measurement）と呼ばれ16、米国他において行政管理ツールとして広く用いられている（パ フォーマンス・メジャーメントの詳細については参考資料 7 を参照） 。 世界銀行が 1996 年に発行した「Performance Monitoring Indicators: A Handbook for Task Managers」では、業績指標は「プロジェクトのインパクト、アウトカム、アウトプッ ト、インプットを測定する基準で、プロジェクトの実施中に、目標達成に向けた進捗を判 定するためにモニタリングされるもの」と定義されている。例えば、アウトプットの測定 基準は「アウトプット指標」、アウトカムの測定基準は「アウトカム指標」等と呼ばれる。 2. 指標の設定方法 開発援助プロジェクトにおける業績指標の使い方で、多くの援助機関に共通してみられ る特徴として次のようなものがある。 1) インプット、活動、アウトプット、アウトカム17、インパクト、という階層的な因果 関係が定義されている（ログフレームのロジックモデルまたは縦の論理。前項参照）。 2) 測定対象はインプット実施からアウトプット産出までの「プロジェクトは何をした か？」のみでなく、「プロジェクトが行ったことの成果は何か？プロジェクトは受益者や 対象社会・経済に変化をもたらしたか？」に視点を広げている。 3) ベースラインデータがプロジェクト開始以前に定義・測定され、その後プロジェクト 実施中から事後に至るまで一貫してデータ収集が継続されている。 JICA では、事前から事後まで一貫した事業評価を行うために業績指標を活用している。 技術協力プロジェクトについては、アウトカム指標についてキャパシティ・ディベロップ メントの観点から分野横断での包括的な類型化を行っている他18、分野課題ごとに指標集を 作成している。円借款事業の業績指標（運用・効果指標）については、次項で詳述する。 無償資金協力事業の評価では、協力対象事業の実施により期待されるアウトプット指標を 設定するとともに、プロジェクト全体計画の実施により達成が期待されるアウトカム指標 についても、可能な限り設定している。 16 JICA は、独立行政法人として、業務の質及び効率性の向上、透明性の確保を図るため業績評価制度を導 入しており、事業評価もその対象に含まれている。 17 多くの場合、政策やプロジェクトのアウトカム（アウトプットの結果として起こる、対象となる社会経 済状況の変化）が、一義的に測定すべき業績評価とされている。 18 【類型Ⅰ】C/P（個人）の能力向上、 【類型Ⅱ】C/P 機関（組織）の能力向上、 【類型Ⅲ】サービス利用者 （受益者）の能力向上、【類型Ⅳ】地域（社会システム）における能力向上、【類型Ⅴ】地域における上 京改善・問題解決、の 5 類型。 28 3. 指標設定の事例（円借款：運用・効果指標） 円借款事業では、業績指標として、主なセクターごとに運用・効果指標を 2000 年度から 導入している。運用・効果指標は次のように定義されており、世界銀行の定義する業績指 標の種類の中では、運用指標、効果指標ともにアウトカム指標に相当する。円借款事業に おいても、運用・効果指標は原則としてアウトカムレベルの指標としてみなされる19（図 11）。 囲み 6 運用・効果指標の定義 運用指標：事業の運営状況を定量的に測る指標 効果指標：事業の効果発現状況を定量的に測る指標 図 11 ログフレームと運用・効果指標 上位目標 事業の目的 プロジェクト目標 （アウトカム） 効果指標で測定する （アウトカム） アウトプットの 使用 運用指標で測定する アウトプット アウトカ プロジェク プロジェク ムレベル ト目標 ト目標の の指標 指標 アウトプッ ト 活動 円借款事業の「事業の目的」は、しばしば二つの段階の事柄が記載されている。すなわ ち、事業にて設備・施設等（アウトプット）が整備された結果として、①アウトプットが 適切に運営・使用されることと、②それらが受益者や対象地域に効果をもたらすことであ る。運用指標は①を、効果指標は②を、それぞれ測定するものとなっている。 円借款事業については、2001 年以降に審査が実施されたすべての事業につき事前評価が 実施・公表されている。同評価の際に作成する事前事業評価表にて、運用・効果指標の審 査時現在の実績値（ベースライン）、目標値とその達成時期を記載することになっており、 JICA と実施機関は、審査時にこれらの指標の設定について合意する。 表 12 運用・効果指標の例 セクター名 灌漑 19 代表的な運用指標（単位） 受益面積（ha） 代表的な効果指標（単位） 主要農作物別の生産量（トン） 円借款事業においてアウトカム指標以外の指標が使われないということではない。評価においては常に インプット指標（投入額）、アウトプット指標（多くの場合は整備・調達された施設・設備の規模や内容）、 インパクト指標（事業に応じて設定）も測定される。 29 セクター名 代表的な運用指標（単位） 代表的な効果指標（単位） 発電 治水 設備利用率（％） 送電端発電量（MWh） 治水基準点における年最高水位（m） 破堤または越流による年最大洪水氾 濫面積（km2） 上水道 給水量（m3／日） 水道普及率（％） 港湾 貨物量（トンまたは TEU【注】／年） 平均待ち時間（分） 道路 年平均日交通量（台／日） 所要時間の短縮（時間／年） 注：港湾利用者にとって取り扱える貨物が増加するという意味で、重要な効果指標にもなる。 表 13 事業事前評価表における運用・効果指標の設定例 （フィリピン「幹線道路網整備事業（VII）」） 指標名 道路名 [1] ｱﾚﾝ～ｶﾙﾊﾞﾖｸﾞ間道路 運 交通量の増大（台／日） 用 [2] ｶﾙﾊﾞﾖｸﾞ～ｶﾞﾀﾝｷﾞｯﾄ間道路 効 果 走行費用の低減 （百万ペソ／年） 走行時間の短縮（時間） 現状 完成後 2 年 （2001 年） （2009 年） 1,088 1,570 932 1,342 [1] ｱﾚﾝ～ｶﾙﾊﾞﾖｸﾞ間道路 -- 164.90 [2] ｶﾙﾊﾞﾖｸﾞ～ｶﾞﾀﾝｷﾞｯﾄ間道路 -- 125.63 1.6 1.03 1.17 0.75 [1] ｱﾚﾝ～ｶﾙﾊﾞﾖｸﾞ間道路 [2] ｶﾙﾊﾞﾖｸﾞ～ｶﾞﾀﾝｷﾞｯﾄ間道路 囲み 7 指標設定の際に参考となる基準 正当性（Validity）：設定された指標データは、本当に事業の目標達成度を測るものか。 信頼性（Reliability）：設定された指標データは、誰が何度測定しても、同じ測定結果を出すか。 入手し易さ（Accessibility）：事業は設定された指標データに簡単にアクセス可能か。データ収集の コストや時間に鑑み、指標が多すぎないか。 事業の開始後、実施機関は中間レビュー、事後評価および事後モニタリングに向け、運 用・効果指標の実績を測定・記録することとなっている。指標測定は事業完成 7 年後まで の継続が求められ、測定結果を用いて各段階での有効性の評価が行われる。 2-3-3 1. 費用便益分析 費用便益分析の定義 費用便益分析（Cost-benefit Analysis）は、事業実施の費用と便益を測定または推定し、 これを貨幣価値で示し、その比較を行うことによって当該事業の費用効率を測る手法であ る。主な指標として、純現在価値（NPV: Net Present Value）や内部収益率（IRR: Internal Rate of Return）がある（囲み 8）。 30 囲み 8 NPV と IRR の定義 純現在価値（NPV） 事業から発生するキャッシュ・インフロー（便益）と事業にかかるキャッシュ・アウトフ ロー（費用）の現在価値の総和。現在価値は、事業への投資により得られる額を特定の割 引率（期待収益率）で投資時点の価値に割り戻したものである。NPV がゼロより大きい場 合、事業は投資価値があるとみなされる。 内部収益率（IRR） ：NPV がゼロになるような割引率のことであり、一般に事業から得られ る便益の大きさとみなされる。IRR には次の 2 つの種類がある。 財務的内部収益率（FIRR） ：キャッシュ・インフローは事業からの財務便益（収入）として 計算される。 経済的内部収益率（EIRR） ：キャッシュ・インフローは事業から国民経済に対する便益（付 加価値の増加等）として計算される。 NPV は次のような式で表すことができる。 PVn＝CFn / (1+r) n r＝割引率 n＝単位期間数（通常、年） CFn＝n 期目のキャッシュフロー PVn＝n 期目のキャッシュフローの現在価値 NPV＝PV0 + PV1 + ・・・＋PVn IRR は、NPV=0 になる時の r の値である。 2. 費用便益分析の方法 JICA は、協力スキームの特性を考慮し、主に円借款事業の評価について費用便益分析を 適用している。円借款事業の評価では、事業の審査（事前評価）時に財務的内部収益率（FIRR: Financial Internal Rate of Return）または、経済的内部収益率（EIRR: Economic Internal Rate of Return）、もしくは両方の算出を行っている。FIRR を算出するのは、有料道路や発 電所等、料金収入を伴う事業である。EIRR は可能な限り算出しているが、教育、医療等便 益の貨幣化・定量化が困難な事業については算出しない場合も多い。 なお、技術協力プロジェクトについては、事業効果の評価は金銭価値のみによらない多 面的な観点から行っており、費用便益分析は原則として適用していない。また、無償資金 協力事業では、内部収益率を含む経済評価ではなく、持続性を担保する財務評価を重視し ている。 31 3. 費用便益分析の適用例（円借款） 囲み 9 NPV と IRR の算出例 事業実施期間が 1 年間、プロジェクトライフ（事業で整備した施設等の供用期間）が事業完成後 5 年 間の事業があったとする*。事業のキャッシュフロー（便益と費用の差）が、事業実施年はマイナス 100 ドル、完成 1 年後に 20 ドル、2 年後 20 ドル、3 年後 30 ドル、4 年後 40 ドル、5 年後 50 ドルだ った場合、NPV と IRR はそれぞれ次のようになる。 事業実施年 （0 年目） 完成 1 年後 （1 年目） 2 年後 （2 年目） CF2 3 年後 （3 年目） CF3 4 年後 （4 年目） CF4 5 年後 （5 年目） CF5 CF0 ＝ －100 PV0 ＝－100 CF1 ＝ 20 PV1 ＝ 20 / (1+r)1 ＝ 20 PV2 ＝ 20 / (1+r)2 ＝ 30 PV3 ＝ 30 / (1+r)3 ＝ 40 PV4 ＝ 40 / (1+r)4 ＝ 50 PV5 ＝ 50 / (1+r)5 1 2 3 4 5 NPV ＝ －100 + 20 / (1+r) + 20 / (1+r) + 30 /( 1+r) + 40 / (1+r) + 50 / (1+r) ｒ≒ 0.15 の時、NPV ≒－100 + 17.4 + 15.1 + 19.7 + 22.9 + 24.9 ＝ 0 となるため、IRR ≒ 15％ * この例は、考え方の理解のため非常に簡略化したものである。実際には、インフラを整備する円借款事業の事業 実施期間は数年間、プロジェクトライフは事業完成後 20 年～40 年と長い。 円借款の事後評価では、審査時の算出と同じ条件に基づいて FIRR と EIRR を計算し、事 業の目標達成度を評価する指標の一つとしている。再計算値が審査時の計算値と大きく異 なる場合はその理由を分析する。よくみられる理由は、審査時の想定に比しての事業費の 増減や事業目標達成度の高低である。IRR は非常に明確な定量指標だが、費用項目・便益項 目や金額をどのように設定するかによって値が変動するため、事業評価に IRR を用いる場 合は、計算条件を明記することが重要である。以下に FIRR と EIRR の再計算の手順を示す。 囲み 10 FIRR と EIRR の再計算の手順 1) 事業の枠組みを確認し、審査時の便益・費用の仮定を踏襲して仮定を設定する。 2) プロジェクトライフを設定する。IRR 計算の対象となる評価期間は、事業への投資の1 年目から プロジェクトライフの最終年までである。 3) 評価期間中の費用と便益を算出する。 4) 費用、便益それぞれの金額を基準年の固定価格に変換し、評価期間中の物価上昇要因を排除する。 通常、事後評価時の再計算では基準年は事業完成年としている。 5) EIRR 再計算においては、費用、便益それぞれの市場価格を経済価格に変換し、当該国内の価格の 歪みによる影響を排除する。 6) 毎年のキャッシュフロー（純便益。便益と費用の差）を算出する。 7) EIRR とFIRR を計算する。エクセル等のコンピュータソフトを使用するのが便利である。 32 囲み 11 事後評価における FIRR と EIRR の再計算例 インドネシア「バリ国際空港整備事業（2）」 2003 年に実施された事後評価では、調査で入手できた情報をもとに、本事業（第 2 期）の FIRR と EIRR を再計算した。FIRR は 14.3％となり、審査時に推計された値である 14.2％と同じレベルとなっ た。EIRR は審査時には計算されていなかったが、便益に外国人観光客の外貨消費とインドネシア人旅 客の時間節約を可能な範囲で計上して試算したところ、19.3％という値を得た。なお、便益の算定に用 いた旅客数データは 2003 年 8 月までは実績値を用い、その後は 2000 年の需要予測の伸び率を用いて 推計した。従って、2002 年 10 月の爆弾テロ事件および 2003 年前半の SARS の影響が数値に反映され ている。 EIRR/ FIRR 算定条件 プロジェクトライフ： 施設供用開始後 20 年 固定価格算出方法： 事業の完成年を基準年とし、これをベースに内貨、外貨それぞれの CPI に て割引固定価格に変換。外貨表示固定価格は基準年の為替レートにて変換。 費用： 事業費、運営・管理費（主要施設面積から第 2 期事業分のみの運営・管理 費を推定）。個別施設への投資金額データが入手できなかったので、施設面 積比率を用いた。 EIRR 便益： 本事業によってバリ島を訪れることができるようになった外国人旅行客の 消費額、インドネシア人旅客（国内線旅客で代用）の時間節約を算入。 FIRR 便益： 空港収入（主要施設面積から第 2 期事業寄与分を推定。比率は 39％であり、 第 1 期、第 2 期の投資比率に等しい） 2-3-4 社会分析 1. 社会分析の定義 社会分析は、開発政策、プログラム、プロジェクトの社会的側面に関する各種の調査分 析の総称である。世界銀行では、「社会分析は、検討対象のプログラムや業務がその社会的 な目的を果たしているかどうかの判断や、そのような目的の達成を可能とする」調査であ ると定義されている20。一般には、プロジェクトサイクルやプログラムサイクルのどの段階 のどのような社会的側面も社会分析の対象となるものの、最もそれが必要とされるのは審 査および設計段階である。開発援助評価にて社会分析を行う場合は、外部からの開発介入 （development intervention）の社会（・経済）的な影響の分析に注目することが多い。世 界銀行はそのような分析を貧困・社会影響分析（PSIA: Poverty and Social Impact Analysis） 21 と呼んでいる。 20 World Bank (2003) Social Analysis Sourcebook: Incorporating Social Dimensions into Bank-Supported Projects. (http://www.worldbank.org/socialanalysissourcebook/) 21 詳細は世界銀行の PSIA ウェブサイト。 33 2. 社会分析の適用例（円借款） ＜プロジェクト・レベルの評価（個別事業評価）の場合＞ JICA によるプロジェクト・レベルの評価のうち、社会分析は主に、円借款事業における 「受益者調査」として、有効性やインパクトを評価するために実施される。調査では主に、 受益者の事業への満足度や事業実施前後での生活の変化に注目する。DAC 評価 5 項目に沿 って様々な事項を網羅するプロジェクト・レベルの評価においては、社会分析は評価活動 の一部にとどまることから、簡易な定量的・定性的手法が用いられることが多い（囲み 13）。 しかし、開発成果マネジメントに繋がるような評価とするためには、現地コンサルタント を活用して可能な限り精緻な分析を行うことが求められている。 囲み 12 円借款事業での「受益者調査」の方法 簡易な定量的分析：標本抽出した受益者に対する構造的（structured、formal）な質問票調査やイン タビュー調査。結果は平均値、分散等の簡単な記述統計で表す。可能であれば、回帰分析やクロス 集計を行って受益者のタイプによる便益の差異や受益者と非受益者の変化の差異を分析することも 有用。 簡単な定性的分析：半構造的（semi-structured）または非構造的（unstructured、informal）な質問 票調査、インタビュー調査やフォーカスグループ・ディスカッションを、定量的分析と比べて少数 の受益者（および非受益者）に対して行い、定量的な情報の背景にある理由を理解する。 囲み 13 事業事後評価における受益者調査の例 フィリピン スービック自由港環境整備事業（2004 年） 本事業の目的は、スービック自由港区におけるゴミ処分場の改良工事およびゴミ処理機器を整備する ことにより、ゴミ収集・処理能力の向上を図り、もって同地区への投資促進および衛生環境の向上に寄 与することであった。事後評価のための現地調査の一環として受益者調査が行われた。受益者調査の目 的は、本事業の実施によりゴミ収集・処理サービスは改善したか、またそれによりスービック自由港区 への投資の促進、周辺住民の衛生環境の向上に貢献したかを把握することである。スービック自由港区 内の住民 110 人、企業 110 社に対して質問票に基づくインタビュー調査が行われた。 既存のデータからは、ゴミ収集能力と回収頻度が改善・増加したことがわかっていた。しかし今回の 受益者調査では、事業によりゴミ回収頻度が上がったと回答したのは世帯回答者の 10.3％、企業回答 者の 13.9％のみであった。もっとも、ごみ収集サービス全体への満足度を問う質問に対しては、世帯 の 67％および企業の 69.5％が「非常に満足」または「満足」と回答した。 これらの情報および他の収集情報から、本事業の有効性は「満足」（評点 B）と評価された。 ＜テーマ別評価の場合＞ テーマ別評価の一部では、社会インパクト評価を実施している。使用する社会分析ツー http://web.worldbank.org/WBSITE/EXTERNAL/TOPICS/EXTPOVERTY/EXTPSIA/0, menuPK:49013 9~pagePK:149018~piPK:149093~theSitePK:490130,00.html 34 ルは個別事業評価よりも選択肢が多く、各種統計分析を用いたマクロ経済モデルや、組織 分析またはステークホルダー分析といった、より質的または受益者参加型のツールが用い られることもある22。 囲み 14 貧困分析・マクロ経済シミュレータ（PAMS）を用いた社会インパクト評価の例 インド 貧困削減に対するインフラの役割 評価は、貧困分析の経済学的手法である「貧困分析・マクロ経済シミュレータ（PAMS）」を活用して、 インフラ整備の貧困削減への寄与を定量的に分析する手法を開発することを目的に実施された。PAMS はいわゆる「貧困・社会影響分析（PSIA）」の一つであり、その特徴は、マクロモデルからメソレベル （主として労働市場）を経由してミクロレベルまで、整合的にインパクトを計測する点にある。 評価の対象として 8 つの有償資金協力事業（いずれもインフラ整備）を選定した。 マクロレベルでは、対象事業が受益地域の GRDP（域内総生産）にどのような影響を与えたかを分析 した。事業への投資額（インプット）と部門別 GRDP の回帰分析を行い、その関係式を用いて、事業 が実施されなかったと仮定した場合の GRDP と実際の GRDP の差を事業のインパクトとした。例え ば、本事業の工業部門 GRDP 増加分への寄与は 30％と推計された。 メソレベルでは、各部門の GRDP の変化が、雇用の増加を通じ、 各部門間の労働人口の配分にどのような影響を与えたかを分析し た。例えば、事業を行った場合と行わなかった場合の農村工業部門 の労働人口の差は 0.1％であった。 ミクロレベルでは、GRDP の変化や労働人口の変化が世帯収入に 与えた影響を分析した。例えば、農村の工業部門では、マクロレベ ル、メソレベルの影響により貧困率（貧困ライン以下の世帯数の割 合）が 16.5％から 5.3％に低下した。 22 各ツールの詳細な解説は前述の PSIA ウェブサイトに掲載されている。 http://web.worldbank.org/WBSITE/EXTERNAL/TOPICS/EXTPOVERTY/EXTPSIA/0,,menuPK:49013 9~pagePK:149018~piPK:149093~theSitePK:490130,00.html 35 参考資料 資料 1 資料 2 資料 3 資料 4 資料 5 資料 6 資料 7 資料 8 外部有識者事業評価委員会からの提言 ロジカル・フレームワーク レーティング インパクト評価 経済協力開発機構開発援助委員会（OECD/DAC） 評価の品質基準 参加型評価 パフォーマンス・メジャーメント 参考文献リスト 36 資料 1 外部有識者事業評価委員会からの主な提言 2008 年 10 月の新 JICA 発足後、2009 年 12 月までに 3 回の委員会が開催された。新 JICA における事業評価の方針に対し、各委員から寄せられた主な提言は以下の通りである。 ① 新 JICA における事業評価について 1） 無償資金協力事業の評価：これまでの外務省による評価は、悉皆調査ではあるが、 在外公館による質問票を活用した評価が中心である。JICA の限られた評価予算の 中で、評価の質を確保しつつ悉皆調査を行うことに対しては、評価手法の工夫が必 要となる。これらに対応するためには、例えば、1）質問票の工夫（適切な評価と なるような高度化）、2）評価実施上のメリハリ（一定規模以上の案件等を丁寧に評 価、他は簡易に評価等） 、3）全件を外部専門家に評価してもらうのではなく、大使 館への協力要請・JICA 現地事務所の参画等による対応、等が考えられる。あわせ て、4）外務省によるこれまでの評価のメタ評価も、今後の評価の質の向上の観点 から有益と考えられる。 2） 事後評価の実施：無償資金協力に限らず、事業実施に利用可能な資源が限られてい る中で、JICA として実施する評価のカバレッジと質とを両立させるためには、選 択と集中等のメリハリが重要となる。例えば、インパクト評価等、国民の視点から からも重要で専門家の関心の高いものに注力していくことが望ましい。 3） 評価結果データベース：現在、JICA 内部にて活用されている評価結果データベー スは、情報管理等の制約に配慮した上で、プロジェクトの実施に携わるコンサルタ ントとも共有することが有益ではないか。 4） 財政支援の評価：国・地域の開発援助環境によって、視点を変えて評価することが 重要である。例えば、インドネシアやベトナムといった援助協調が進み日本の役割 が大きな国において、日本が主導的役割を担い評価していくのであれば、他ドナー と協調して共通の指標を設定していくといった援助協調の枠組みの中で実施する ことや、日本が主体的に行った貢献に着目して評価を行うという考え方もあるだろ う。他方、タンザニアやザンビア等、日本の量的プレゼンスが小さな国では、財政 支援を行うことで日本の既存の協力案件がスケールアップする等の効果発現につ ながったか、といった視点が重要になろう。 ② 事業評価における今後の取り組みについて 1） スキーム連携：スキーム連携のない単独スキームの事業評価であっても、外部評価 者に「連携があればどのようによくなっていたと考えられるか」の視点からの提 言・教訓を抽出してもらうことで、次の案件形成につながるフィードバックが可能 37 ではないか。 2） プロセス重視からアウトカム重視へ：アウトカム重視は重要ではあるが、例えば技 術協力の中には集団研修や、個別専門家派遣等のようにアウトカムが測りにくい案 件があることに留意が必要である。また案件の小規模化も進んでおり、個別案件に よるアウトカム産出には限界がある場合がある。このような場合でも、例えば研修 として束ねる等でアウトカムの評価は可能となる。また、特に技術協力では、アウ トカムは重視しつつもプロセスを確認する作業が依然として重要と考えられる。 3） プログラムの考え方：国により援助依存度や他ドナーの存在等が異なっており、プ ログラムの意味も異なることを、評価でもふまえる必要がある。なかには、日本の みでアウトカム目標を設定できないケースも存在する。また、特に新 JICA 誕生に よりスキーム間の垣根が低くなっていることをふまえて、個別プロジェクトの「寄 せ集め」的なプログラムではプログラムとしての効果が期待しづらいこと、3 スキ ームを柔軟に組み合わせて実施できることがプログラムの意義として大きいこと、 等を評価の立場から発信することが重要である。 国際機関や世銀は技術協力と資金協力を 1 つの事業の中のコンポーネントに位置 づけ、トータルで事後評価を実施している。JICA 事業においても、3 スキームが 組み合わさり 1 件の事業としてインパクトをめざすことが将来的に向かうべき方 向であると考える。また、案件採択においても協力プログラム単位での採択を目 指すべきだと考えるが、協力プログラムの場合、予算化、事業化が非常に難しい。 事前調査を行って骨組みを把握したうえで協力プログラムを形成し、コンポーネ ントを決めていかなければならない。 4） 相手国の評価能力向上：先ずは相手国側に評価してもらい、結果をシェアすること を検討してほしい。日本から見る評価と相手国から見る評価では視点が異なるため、 相手国から「むしろこのような援助をしてほしかった」というような要望が寄せら れる可能性もある。そして、それは持続性の問題にもつながると考える。 38 資料 2 ロジカル・フレームワーク23 ロジカル・フレームワーク（Logical Framework：略称 Logframe ログフレーム）は、プ ロジェクトをマネジメントするために使用する「論理的枠組み」である（表Ｉ－１）。開発 援助の分野ではプロジェクト計画表として、米国を中心に古くは 1960 年代後半から使われ てきたが、現在では成果重視の事業運営（results based management: RBM）の流れのなか で、目標を明確にし、成果を測るための指標を整理する主要なツールとしても活用されて いる。 JICA ではログフレームを活用し、開発課題を解決するための１つの手段である技術協力 プロジェクトを立案し、実施監理している。従って、①ログフレームは常に大きな開発課 題の一部に位置づけられるものであること（図Ⅰ－１参照）、②実施中のモニタリングおよ び中間レビューにおいて必要に応じ修正されるべきものであることに十分留意する必要が ある。また、ログフレームはプロジェクトの構成や内容、計画の論理性を表すものだが、 概要表であり、すべての事柄（例：プロジェクトの背景、詳細活動内容、プロジェクトの 運営体制、技術協力内容の詳細等）を説明するものではない点も、おさえておく必要があ る。 ログフレームは、プロジェクトの戦略を 4 行 4 列のマトリックスに纏めた「プロジェク ト計画概要表」である（表Ⅰ－１参照）。具体的には、「上位目標（overall goal）」「プロジ ェクト目標（project purpose）」 「アウトプット（outputs）」 「活動（activities）」 「投入（inputs）」 といったプロジェクトの構成要因を、「原因」と「結果」の連鎖関係で組み立て、事前に目 標や成果の期待値を指標化して示すとともに、プロジェクトの成否に影響を与えるかもし れない外部条件（important assumptions）を特定している。 23 参考文献： ・NORAD：The Logical Framework Approach(LFA)： Handbook for Objective-oriented Project Planning, 1990. ・FASID（2007） ：開発援助のためのプロジェクト・サイクル・マネジメント（参加型計画編）改訂第 7 版 39 図Ⅰ－１ 開発課題とログフレーム 都市衛生が改善される（水因性疾 患の疾病率が下がる） 上水道普及率 が向上する 上水道サービ ス向上プロジ ェクトのログ フレーム 都市環境行政 組織が強化さ れる 都市環境行政 改善のログフ レーム 浄水場が建設 される 浄水場建設プ ロジェクトの ログフレーム 40 住民の衛生に 対する知識・理 解が深まる 衛生教育プロ ジェクトのロ グフレーム 廃棄物が適切 に処理される 廃棄物処理プ ロジェクトの ログフレーム 表Ｉ－1 ロジカル・フレームワーク（ログフレーム） objectively means of important narrative summary verifiable verification assumptions プロジェクト要約 indicators 入手手段 外部条件 指 標 overall goal 上位目標 プロジェクトによ 上位目標の達成度を 左記指標の情報源 る効果が持続して 間接的・長期的な効 測る指標と目標値 いくための条件 果、対象社会へのイ ンパクト project purpose プロジェクト目標 プロジェクト目標の ターゲットグループ 達成度を測る指標と 左記指標の情報源 や対象社会への直接 目標値 的な効果 outputs アウトプット 活動を行うことによ アウトプットの達成 っ て 、 産 出 さ れ る 度を測る指標と目標 左記指標の情報源 値 財・サービス activities 活 動 上位目標に貢献す るために満たされ ていなければなら ない外部要因であ るが、不確かな要素 があるもの プロジェクト目標 を達成するために 満たされていなけ ればならない外部 要因であるが、不確 かな要素があるも の inputs 投 入 （日本および相手国双方） アウトプットを出 すために満たされ ていなければなら アウトプットを産出 するための活動 活動に必要な資源（人材、資金、資機材等） ない外部要因であ るが、不確かな要素 があるもの preconditions 前提条件 活動を始める前に クリアする条件 41 ログフレームの論理構成（図Ｉ－２参照） ログフレームの論理構成の中心を成すものは、 「活動→成果→プロジェクト目標→上位目 標」の連鎖関係のロジックである。もし活動が行われれば（if）、成果が達成され（then）、 もし成果が達成されれば（if）、プロジェクト目標が達成され（then）、もしプロジェクト目 標が達成されれば（if）、上位目標に貢献するであろう（then）、という if-then の仮説のロジ ックである。プロジェクトを計画するということは、ある仮説を立てるということである。 この仮説を立てる作業は、ターゲットグループとその社会の何が問題で、何が原因かとい った因果関係による現状把握がベースとなっている（問題分析等）。この仮説の実現度が高 ければ高いほど良いプロジェクト計画ということになり、そのためにはできるだけ if-then の関係性が直接的であること、プロジェクトの努力でさまざまな問題がコントロールでき ること、あるいはリスクが低く効果的な活動が含まれることが重要になる。モニタリング・ 評価を行う時は、プロジェクトと実績の因果関係を探るうえで、このロジックを活用する ことができる。 If-then だけでプロジェクトが期待される効果を上げることができるのだとしたらそれに 越したことはないが、プロジェクトが問題解決の一つの手段であることから、現実にはプ ロジェクトに影響を与えうるさまざまな外部要因が存在する。ログフレーム上ではこの外 部要因を「外部条件」として特定し、「活動→成果→プロジェクト目標→上位目標」と「外 部条件」との関連性を明確にしている。もし活動が行われて（if）、それに加えて、成果を 達成するために必要であるがプロジェクトではコントロールできない外部条件が満たされ ていたら（and）、成果が達成できるであろう（then）、という連鎖関係で、if-and-then のロ ジックでプロジェクトの計画全容を表すものである（アウトプット以上のロジックも同様） 。 外部条件は、プロジェクトの計画内容が果たしてこれだけで十分なのだろうか、せっかく プロジェクトを実施しても外部要因のために効果の発現が阻害されないだろうか、といっ た視点でプロジェクトを計画・立案する時のツールとして有効である。 モニタリング・評価を行う時には、外部条件は、その調査対象として重要な役割を担う ものでもある。プロジェクトを取りまく環境は常に変化している。計画立案の際に特定し た外部条件が、実施中に予想以上にプロジェクトへ大きな影響を与えることも多い。その 場合は、モニタリングや中間レビューにより計画内容の見直しや新たな外部条件の確認を 行う必要がある。終了時評価や事後評価では、外部条件が目標の達成度等の阻害要因にな る場合もあるが、評価者は、そのような外部条件の存在が実施中にモニターされていたか どうかを調査する必要がある。外部条件が、プロジェクトの実施プロセスにおける責任の 所在を不明確にする項目として扱われることは避けなければならない。 42 図Ｉ－２ ログフレームの論理構成 important narrative summary assumptions プロジェクト要約 外部条件 overall goal 上位目標 project purpose ＜持続可能な条件＞ then and if プロジェクト目標 then outputs アウトプット and if then activities 活 and if preconditions 動 前提条件 then if 43 ログフレームの各欄の定義 ■「プロジェクト要約」と「投入」の特徴 プロジェクト要約 プロジェクト要約は、 「活動」、 「アウトプット」 、 「プロジェク ト目標」、「上位目標」から構成されており、プロジェクト計画 の骨格となる要素が含まれている。ある資源（人、物、金等） を「投入」し、さまざまな「活動」を通してアウトプットを産 出し、 「目標（objectives）」を達成していくことがプロジェクト であるが、ログフレームの特徴の一つはその「目標（objectives）」 を、 「プロジェクト目標」と「上位目標」の 2 つのレベルでとら えているということである。 上位目標 「上位目標」は、プロジェクトを実施することによって期待 される長期的な効果であり、計画する時には、この上位目標が 開発課題にどのように貢献するものであるか（あるいは、プロ ジェクトによっては開発課題そのものが上位目標となる場合も あり得る）を十分に検討しなければならない。なお、JICA の技 術協力プロジェクトでは、上位目標は「プロジェクト終了後 3 年～5 年程度で対象社会において発現する効果」と位置づけられ ている。 「プロジェクト目標」は、プロジェクト実施によって達成が プロジェクト目標 期待される、ターゲット・グループ（人、組織を含む）や対象 社会に対する直接的な効果である。 「プロジェクト目標」は、技 術協力の場合は原則としてプロジェクト終了時に達成されるも ので24、プロジェクトの効果が上がっているのかどうか、プロジ ェクトを実施した意味があるのかどうかは、この「プロジェク ト目標」レベルの達成度が一つの目安となる。アウトプットは 出ているが、ターゲットグループには何の便益も発現していな いというようなプロジェクトは、多くの資源を投入して実施し た意味がなくなってしまう。 24 プロジェクトの内容や性質によってはプロジェクト終了後一定期間が経なければ、直接的効果として発 現しないものもある。例えば、灌漑プロジェクトでは、灌漑が建設された後、一定期間を経なければ米 の生産量の変化は把握できない。 44 アウトプット 「アウトプット」は、「プロジェクト目標」達成のためにプロ ジェクトが生み出す財やサービスである。「プロジェクト目標」 はターゲットグループをはじめとする受益者側に対するプラス の変化を表しているのに対し、「アウトプット」はプロジェクト を実施する側が産出する事柄である。例えば、研修を中心とし たプロジェクトの場合、 「研修の実施」はアウトプットであるが、 「受講者の知識の向上」や「職場での習得技術の活用」等はプ ロジェクト目標レベルで捉えることができる。 活動と投入 「投入」は「アウトプット」を産出するために必要な資源（人 材、資機材、運営経費、施設等）で、日本側と相手国側双方の 資源が記載される。 「活動」は、それら「投入」を使って「アウ トプット」を産出するために必要な一連の行為であり、プロジ ェクト・サイトにおいてプロジェクト・チームにより実施され る事柄である。ログフレームは計画概要表であるため、詳細な 活動計画書は別途作成されるが、プロジェクトの戦略を表す主 な活動群を記載する。 45 ■「指標」および「入手手段」の特徴 指標 指標入手手段 アウトプット、プロジェクト目標、ならびに上位目標に対応 する「指標」の欄には、それぞれの達成度を具体的に測る指標 （indicator）と目標値（target）を記載する。 「指標入手手段」の 欄には、それら指標の情報源を明記する。情報源から得られる データは、信頼性が高く、入手可能で、かつ入手するのにコス トがかかりすぎないものであることが重要である。それらの要 件をふまえつつ、できるだけ客観的なデータを取るために、必 要に応じ複数の指標や情報源を設定することも必要となる。 指標及び目標値は、計画立案段階ベースライン調査等に基づ き設定することが最も望ましい。それらを受け事前評価では、 指標及び目標値、ならびに入手手段の妥当性を検討することが 重要な検証作業となる。指標は目標やアウトプットの内容を的 確に捉えていなければならず、その測定手段は客観性と再現性 （誰が測っても同じ方法で同じ種類のデータがとれる）が必要 である。事前段階で適切なベースラインがない場合には、プロ ジェクト開始後なるべく早い段階で、ベースライン調査に着手 し、その結果を以って指標及び目標値を設定する。 ベースライン値に基づいて適切な指標を設定することは、プ ロジェクトの透明性を高めるとともに、プロジェクトを運営管 理するうえでも不可欠である。プロジェクト実施中は、指標を 使い、計画どおりにプロジェクトを実施されているかどうかを チェックできる（モニタリング）。プロジェクトによってはさま ざまな外部環境の変化やプロジェクトの実施状況から、当初の 目標値を見直す必要も出てくる。それに伴い、投入の内容、活 動の方法等を策定し直すこともある。 外部条件 ■「外部条件」と「前提条件」の特徴 「外部条件」は、プロジェクトではコントロールできないが、 プロジェクトの成否に影響を与える外部要因である。プロジェ クトとは開発課題の解決に貢献するために、ある基準で選択さ れた一つの手段である。従って、問題解決に必要なすべての要 因を対象としたものではない。プロジェクトを計画する際には、 できるだけ実現する確率が高い目標を設定するが、現実には、 46 プロジェクトではコントロールできないさまざまな外部要因の 影響がある。これらを「外部条件」として計画段階でログフレ ーム上に特定することにより、目標の設定、活動内容の妥当性 を検討するとともに、実施中はモニタリングの対象としてその 影響を注視していくことが必要になる。 「外部条件」は、図Ⅰ－３に示すとおり、プロジェクトにと っての重要度、プロジェクトによるコントロールの可能性、条 件が満たされる確率等から特定し、ログフレーム上には「満た される状態」で表現する。また可能であれば、どの程度満たさ れていればよいのかを定量化して記述しておくと、モニタリン グや評価の時に外部条件の変化やプロジェクトへの影響をとら えやすくなる（例：「養成された教官の 8 割が職場に残る」 ）。 「外部条件」はプロジェクトでは直接コントロールできない ものであるが、プロジェクトがうまくいかなかった時の責任逃 れに使うことを意図して設定することだけは避けなければなら ない。プロジェクトを計画する作業のなかで、どのような活動 や目標を立案すれば、よりリスクが低く、効果があるプロジェ クトになるのか、という視点で「外部条件」を議論することが 重要である。外部条件と考えられる要因であっても、プロジェ クト活動として対処できるものであるかどうかを慎重に検討し、 対処が可能だと判断されたものについてはプロジェクト活動と して設定することが必要である。 （例：村の女性のエンパワメント促進のために、女性を対象と したインカムジェネレーションを行うプロジェクトの場合、家 長/夫が女性の研修参加に反対しないことが外部条件の一つと考 えられるが、村の男性に対する啓発活動をプロジェクトで実施 することで反対を抑えることができる。） 「前提条件」は、プロジェクトが実施される前にクリアして おかなければならない条件で、前提条件が満たされれば活動を 開始できる（開始しても差し支えない）ものを指す。 前提条件 47 図Ⅰ－３ この条件はプロジェクトに とって重要か？ 外部条件の決め方 いいえ no 外部条件 ではない はい yes この条件はプロジェクトで はい yes コントロールできるか？ 外部条件 ではない いいえ no 条件が満たされる可能性 きわめて高い almost certain 外部条件 ではない は？ 低い not likely どちらともいえない uncertain 外部条件である （ログフレームに書 いてモニターする） プロジェクトの内容を変 更できるか？ killer いいえ no assumption プロジェクトは はい yes 成功しない 条件の影響を受けないよ うにプロジェクトの一部 を変更する 48 資料 3 レーティング レーティングとは、一定基準に基づく評価結果の格付け、評点付けである。レーティン グは評価結果をわかりやすく表すだけでなく、事業を改善するための施策・検討に活用で きる手段である。レーティングは事業のすべてを包括的に反映しているわけではないので、 その結果のみが過度に強調されることは好ましくない。 JICA は、案件別事後評価について、その結果をよりわかりやすく提示するためにレーテ ィングを行い、公表している。2008 年 10 月の統合までは、技術協力プロジェクト、円借 款事業、無償資金協力事業についてそれぞれ評価実施主体が異なっていたためレーティン グ方法も異なっていたが、統合後は下表のとおり 3 スキームに共通する新たなレーティン グ制度を構築した。 具体的には、事業の①妥当性、②有効性（インパクト）、③効率性、④持続性について、 各スキームの特性に合わせた判断基準を設けてサブレーティング（abc の 3 段階）を行い、 その結果をもとにフローチャートに従い総合評価（ABCD の 4 段階）を算出している。 49 資料 4 インパクト評価 一般に、開発プロジェクト／プログラムのみに起因する変化の量を計測することを「イ ンパクト評価」と呼ぶ。社会・経済の変化は様々な要因によってもたらされるものである ため、特定のプロジェクト／プログラムの成果を把握するのは困難な場合が多い。しかし 近年、開発経済学者を中心に、プロジェクト／プログラムの純効果を科学的に検証する、 いわゆる「厳密なインパクト評価手法」の研究・開発が盛んになり、開発援助評価の実務 でも徐々に採用されるようになっている。厳密なインパクト評価手法は、プロジェクト／ プログラム等の介入が実施された場合と実施されなかった場合の変化の差を統計的に分析 することを基本としている。 インパクトを科学的に評価する際の代表的な方法には実験計画法（experimental）、擬似 実験計画法（quasi-experimental）がある。どちらも、事業前後での受益者（実験グループ） と非受益者（比較グループ）それぞれの変化を分析するものである。実験計画法と擬似実 験計画法の違いは調査対象者の設定の仕方にある。すなわち実験計画法では、事業（介入） が開始される前に、実験グループと比較グループを無作為に選定するのに対し、擬似実験 計画法では、調査対象者の抽出は無作為ではなく、比較グループは事業の受益者ではない という点以外は受益者と条件の似通ったグループを事後評価時に設定する。開発援助の評 価では、純粋に実験的な調査は非常に困難である。このような方法によるインパクト評価 の文献やウェブサイトは数多く存在する。例えば、Baker (2000) Evaluating the Impact of Development Projects on Poverty: a handbook for practitioners. The World Bank. (http://siteresources.worldbank.org/INTISPMA/Resources/handbook.pdf) 等がある。 厳密なインパクト評価を行うことにより得られるメリットには、 （i）評価対象となったプ ロジェクト／プログラムが本当に効果的かを検証し、効果の認められたプロジェクト／プ ログラムに優先的に限られた資源を投入することによって開発成果の実現に資する、 （ii）資 金が本当に有効に使われているかを示す（説明責任を果たす）、といったものがある。但し、 インパクト評価を厳密に行うためには、事前段階からのデータ収集を含めて人的にも資金 的にもコストを要するため、組織的に導入する際には実施する目的、範囲について検討が 必要である。 50 資料 5 経済協力開発機構開発援助委員会（OECD/DAC）評価の品 質基準 「DAC 評価の品質基準」は、OECD/DAC の下部機関である開発評価ネットワーク （EVALUNET）25が「DAC 開発援助の評価原則」（1991）を基礎におきつつ、パリ宣言等 の近年の援助効果に関する議論の進展を受けて作成した、評価の実務的指針である。各国 の異なる実施機関による様々な開発援助の評価が本基準を参照しながら実施されることに より、一定水準を確保し、合同評価ならびに評価の比較、さらに評価結果の活用が促進さ れることを目的としている。 本基準は、約 3 年間の試行を経て 2010 年 2 月に確定された。拘束力はないものの、上記 目的に基づき DAC 加盟国を含む全ての開発パートナーによる活用を推奨している。 DAC 評価の品質基準（仮訳） 1 最重要事項 1.1 開発評価 開発評価は現在実施中あるいは既に終了した開発介入、その計画、実施ならびに結果 についての体系的かつ客観的な査定である。開発のコンテキストでは、評価はある開 発介入の価値や意義を決めるプロセスを指す。 開発評価を行う際は、全てのプロセスにわたって以下の最重要事項に留意する。 1.2 自由で開かれた評価プロセス 信頼性を高めるため、評価プロセスは透明かつプログラム運営や政策立案から独立し て行われる。 1.3 評価倫理 評価は、評価者のための専門・倫理ガイドラインや規定を遵守する。評価は誠意と実 直さをもって行われる。委員会、評価管理者、評価者は全ての利害関係者の人権なら びに文化・習慣・信仰と実践を尊重する。 評価のデザインや実施において、評価者はジェンダー、民族性、能力、年齢、性的指 向、言語ならびにその他に留意する。 25 www.oecd.org/dac/evaluationnetwork EVALUNET の任務は以下のとおり： 1）メンバー間で、また適当な場合にはパートナー国と、情報や経験の交換ならびに評価に関する協力を 強化する。 2）DAC および広い開発コミュニティによる評価結果（政策・戦略・事業に関する教訓）の活用、メン バー間で実施される合同評価の促進を通じて、援助効果の向上に貢献する。 3）ピア・レビュー（相互審査）、開発成果ならびに援助効果等に関し、DAC 及び同下部機構に対して助 言・支援を提供する。 4）パートナー国の評価能力の強化を推進し支援する。 51 1.4 パートナーシップ・アプローチ 開発のオーナーシップを高め、成果に対する相互責任を築くために、開発評価へのパ ートナーシップ・アプローチを評価プロセスの早期段階において体系的に検討する。 パートナーシップの概念は、様々な利害関係者（政府、議会、市民社会、受益者、国 際パートナー等）が参加するプロセスを意味する。 1.5 協調とアラインメント 開発評価における協調と国家システム強化を支援するため、評価プロセスは国レベル や地方レベルの評価の計画、活動、政策に留意する。 1.6 キャパシティ・ディベロップメント（能力強化） 評価プロセスが開発パートナーの評価能力にもたらすプラス効果を最大化する。評価 は、例えば、評価に関する知識やスキルの向上による能力強化の支援、評価運営管理 の強化、評価結果に対する需要の喚起や活用の促進、説明責任や学習に関する土壌の 育成等の可能性がある。 1.7 品質管理 評価プロセスの全体を通じ品質管理を行う。評価の範囲と複雑さに応じて、内部なら びに/もしくは外部のメカニズム（例えば、ピア・レビュー（相互審査）、諮問委員会 またはレファレンス・グループ）を通じて、品質管理を実施する。 2 目的、計画とデザイン 2.1 評価の根本的理由と目的 評価の根本的理由、目的、用途が明確に述べられていること：なぜこの時点において 評価が実施されるのか、評価がなぜ、また誰のために実施されるのか、評価は学習や 説明責任機能のためにどのように活用されるのか、等が記述されていること。 例えば、以下のような全体目的が挙げられる： - 開発政策、手続きあるいは技術の向上に資する、 - プロジェクトあるいはプログラムを継続するか否かを検討する、 - 利害関係者および納税者に対して公的支出や開発結果を説明する。 2.2 評価の目標 評価の目標が、当該評価が何を達成することを目指しているか明確化している。 例えば： - 結果（アウトプット、アウトカム、インパクト）を確認し、具体的な開発 援助の有効性、効率性、妥当性と持続性を審査する。 - 具体的な政策、プログラム等に関する調査結果、結論、提言を提供し、将 来の事業のデザインと実施に活用する教訓を抽出する。 2.3 評価の対象と範囲 評価の範囲は、評価対象となる開発援助における、期間、消費された資金、地理的対 象範囲、ターゲットグループ、組織構造、実施上の取り決め、政策や制度に関する背 景、およびその他の要素により、明確に定義される。当該援助の計画と実際の実施結 果との相違について確認されていること。 2.4 評価可能性（Evaluability） 評価の実施可能性を判断する。特に、当該開発援助が適切に定義され結果が検証可能 であるかどうか否か、そして評価が政策立案者や利害関係者の問いに答えるための最 52 善の方法なのかを決定する。 2.5 利害関係者の巻き込み 利害関係者は評価プロセスの早期段階から参画し、評価のデザイン（課題や評価設問 を含む）に寄与する機会を与えられる。 2.6 合同評価の系統的な検討 調和化、アラインメント、ならびに効率的な援助の分業（division of labour）のために、 援助機関とパートナー国は合同評価（1 つ以上の援助機関ならびに/もしくはパートナ ー国）と共同で実施するもの）の選択肢を系統的に検討する。 2.7 評価設問 評価の目標を、妥当かつ具体的な評価設問に言い換える。評価設問は評価プロセスの 早い段階で決定され、方法の開発に対し情報を提供する。評価設問は、ジェンダーや 環境、人権等の横断的な課題も対象とする。 2.8 評価判断基準の選定と適用 評価では開発援助を評価するための DAC 評価基準を適用する。DAC 評価基準は、妥 当性、有効性、効率性、インパクト、持続性である。これらの評価基準ならびに追加 的な基準の適用は、評価設問と評価の目標に拠る。特定の評価基準が使用されない場 合、あるいは追加的な基準が適用される場合は、評価報告書において説明する。使用 する全ての評価基準について明確な語句で定義する。 2.9 手法（approach）と手順(procedure)の選定 目的、範囲と評価設問により、それぞれの評価に最も適した手法と手順が決定する。 評価手法の選定に関する情報を提供するために、着手報告書（inception report）を活 用することも出来る。 手順は、選定された評価手法に沿って開発される。手法には、当該評価のデザインの 仕様と理由、データの収集ならびに分析に使用された技術が含まれる。選定された手 法は、信頼できる証拠を使って評価設問に答える。異なる成果レベル（インプット、 アウトプット、アウトカム及びインパクトを述べる目的階層を含む援助のロジック） を明確に区別する。 目的の達成を計測する指標は、SMART（specific, measurable, attainable, relevant and time bound; 具体的で、測定可能で、入手可能で、測定対象ときちんと対応しており、 そして期限付である）等の一般に認められた基準に従い検証される。性別や異なるグ ループ（貧しい人々、取り残されたグループ等を含む）ごとのデータを示し、差異を 明らかにしなければならない。 2.10 リソース 評価の目的が効果的に達成されるよう、当該評価に対して、資金、人員とレベルの点 において十分なリソースが提供されること。 2.11 運営管理体制 当該評価の背景、目的、範囲及び目標に適合するよう運営管理体制を計画する。 評価の運営体制は信頼性、包括性及び透明性を保護するものである。管理は評価プロ セスをまとめるものであり、日常的な意思決定の責任を負う。当該評価の規模と複雑 53 さに応じ、これらの諸機能を一緒にあるいは別個にする。 2.12 目的と期待を明記した文書 評価の計画設計段階は明瞭かつ完全な文書のドラフト作成をもって完了する。この文 書は、通常は Terms of Reference(TOR; 業務指示書）と呼ばれ、当該評価の目的、範 囲、目標、使用される手法、充当するリソースと時間、報告書の要件、その他当該評 価のプロセスと成果物に関し期待されていることを示すものである。当該文書は評価 責任者や評価実施スタッフにより合意される。この文書は別名「業務範囲書」あるい は「評価指示」と呼ばれる。 3. 実施と報告 3.1 評価チーム 評価チームの選定に当たっては、透明かつ開かれた調達手続きをとる。 評価チームの構成は、評価手法と分野別知識を持つメンバーを組み合わせる。ジェン ダーバランスを考慮し、かつ対象国/地域出身の専門家を含めるべきである。 3.2 利害関係者に対する評価者の独立性 評価者は、当該の開発援助（政策、運営管理機能ならびに対象受益者を含む）から独 立性を有する。ありうる利益相反については公明正大に触れる。評価チームは自由か つ干渉なしに業務を遂行することができる。また、全ての関連情報へのアクセス及び 協力が保証される。 3.3 利害関係者の協議と保護 全ての利害関係者は（相手国とドナーを含め）は評価プロセスにおいて意見を求めら れ、見解を述べる機会を与えられる。利害関係者を特定・選定する基準を明記するこ と。 評価に参加する者の権利と福利は保護される。 3.4 与えられた時間と予算内での評価の実施 評価の目的を達成するため、適時に評価を実施し、調査結果を示す。評価を効率的か つ予算範囲内で実施する。条件と状況に関する変更は報告し、想定外の作業工程と予 算の変更については説明・議論を行い、関係者間で合意する。 3.5 評価報告書 評価報告書は、対象とする読み手が容易に理解できるようにすること。また、報告書 は、当該評価の目的に沿った適切な形式とすること。 報告書では、以下の要素と論点を記載する： 3.6 要約の明確さと本文への対応 評価報告書には要約を付す。要約には報告書の概要、主な調査結果、結論、提言なら びに全般的な教訓を記載する。 3.7 当該開発援助の背景 評価報告書では、以下を含む開発援助の背景について記載する： 政策的背景、援助機関や開発パートナーの政策文書、目標及び戦略； 開発にかかる背景（社会掲載、政治ならびに文化的要因を含む）； 54 制度的背景と利害関係者の巻き込み 評価では、開発援助が行われている様々な背景と、それらが開発援助の実績に及ぼす 影響を特定し、価値判断する。 3.8 開発援助のロジック 評価報告書は開発援助のロジックあるいはセオリー（基本前提、援助の成功に影響を 及ぼす要因を含む）について記述し、価値判断する。 3.9 情報源の妥当性と信頼性 情報の適切性を判断できるように、評価報告書で用いた情報源（文書、回答者、管理 データ、文献等）は詳細に記載する。評価報告書では事例研究やサンプルの選定につ いて説明する。その際、評価サンプルの代表性の限界について特定して記述する。 評価では情報源をクロスチェックし、データの妥当性と信頼性について批判的に審査 する。 評価調査者のプライバシー及び機密を害さない程度にインタビュー対象者及び使用文 書の完全なリストを添える。 3.10 使用された評価手法の説明 評価報告書では、評価手法とその適用について記述、説明する。アウトカムとインパ クトの価値判断にあたっては、成果への帰属あるいは貢献について説明する。また、 評価で直面した如何なる制約も、それに起因する当該評価（評価の独立性及び公平性 を含む）への影響とともに確認する。さらに、データの収集及び分析に使用された方 法と技術についても詳述し、手法の選択理由およびその制限や欠点についても説明す る。 3.11 分析の明確さ 評価報告書では、調査結果、結論、提言、教訓を別々に、明確で論理的な区別をもっ て記載する。 調査結果はデータの分析から論理的に導かれ、結論を裏付ける明確な証拠を示さねば ならない。結論は調査結果と分析から具体化する。提言と教訓は論理的に結論から導 かれる。分析の背後にある仮定も明示する。 3.12 評価設問への回答 評価報告書では、当該評価の TOR 内で詳細に決められた全ての設問及び情報ニーズに 回答する。これが不可能な場合は、その理由と説明とを付す。評価チームが十分に設 問（分野横断的な課題を含む）を吟味したか、そして評価の目的を達したかどうかを 読者が判断できるように、元の評価設問を（何か訂正事項があればそれら全てと併せ て）報告書中に記載する。 3.13 変更と評価の制約に関する確認 評価報告書では、プロセス、手法或いはデータの制約について説明し、妥当性と信頼 性について議論する。自由で開かれた評価プロセスに対する障害があり調査結果に影 響を及ぼした可能性がある場合には、報告書で述べる。評価対象の計画内容と実際の 実施内容、成果品との齟齬については漏れなく説明する。 3.14 評価チーム内における意見の不一致の容認 55 評価チームメンバーは特定の判断や提言について異なる意見を持つ機会が与えられ る。チーム内において合意されなかった意見の不一致については報告書に異なる意見 を記載する。 3.15 利害関係者の意見聴取 利害関係者は報告書ドラフトにコメントする機会を与えられる。最終報告書では、こ れらのコメントを反映し、特筆すべき見解の相違については全て記載する。そのうち、 検証可能な事実に関する相違については、評価者が調査し、必要に応じて修正しなけ ればならない。また、意見や解釈の相違の場合においては、参加者の権利と福利を阻 害しない範囲内で、付属文書あるいは脚注の中で利害関係者のコメントを字句どおり に記録する。 4. フォローアップ、活用と学習 4.1 適時性、妥当性と評価の活用 評価は対象ユーザーのニーズにこたえるべく設計、実施、報告される。評価が目指す 学習と説明責任の目的を達成できるよう、結論、提言ならびに教訓は、明確かつ適切、 的確かつ実施可能である必要がある。評価は適切な時期に完成させ、評価結果の最大 限の活用を図る。 評価結果は、全ての開発パートナーが容易にアクセスでき、対象とする読者に広く読 まれ、評価からの学習効果を最大化するよう、体系的普及と保管ならびに管理を確実 に担保する。 4.2 提言への体系的対応とフォローアップ 提言については体系的な対応をとる必要があり、個別の提言について対象となった人/ 組織による措置がとられなければならない。これには、正式な管理対応とフォローア ップが含まれる。合意されたフォローアップ措置は追跡確認され、実施に係る説明責 任を確保する。 4.3 普及 評価結果は利用しやすいフォーマットで提示され、内部ならびに外部に向けて体系的 に配布され、学習やフォローアップ対応、透明性の確保のために活用される。当該評 価が提示する教訓を考慮し、より広い開発コミュニティにおける追加関係者を特定し て働きかけることにより、関連調査結果の活用を最大化する。 56 資料 6 参加型評価26 「参加型評価」は、1970 年代以降、事業の主要な利害関係者（stakeholders）が評価へ 「参加」することは評価結果の質を高めることになるとして、注目されるようになった評 価方法である。重視する評価の目的やプロセスに応じて、その評価の理論や方法は多岐に わたっている27。開発援助の分野においても、援助機関により参加型評価の定義が異なるが、 共通している考え方は、参加型評価とは（１）受益住民を含めたプロジェクト関係者が共 同で行う評価であり、（２）評価のデザインから情報収集・分析、評価結果のフィードバッ クまでのすべてのプロセスに幅広い関係者が積極的に参加する評価である、という点であ る。ただし、援助機関や案件によってプロジェクト関係者の範囲や参加の程度は異なって いる。 このような特徴をもつ参加型評価は、評価専門家や特定の専門家集団が査定を行う従来 型の評価とはその方法が異なる。参加型評価では、評価の価値判断をするのは利害関係者 自身であり、関係者間のコンセンサスにより評価基準を含む評価方法を決定し、調査し、 評価結果を導き出す。その一連の過程を通して、関係者のキャパシティ・ディベロップメ ント（課題分析能力、自己評価能力等）が期待され、その後の事業実施に良い影響を与え るとされている。従って、参加型評価における評価専門家の役割は、従来の「査定者」と しての役割を放棄し、会議等の招集者、機会の提供者、ファシリテーター、触媒、サポー ターとしての役割を担うことになる。評価者はファシリテーターに徹し、利害関係者が評 価を行えるように側面支援を行うことになる。 参加型評価は評価の段階で「参加型」を取り入れたとしてもなかなかうまく機能しない。 計画、実施のプロセスを通じて、利害関係者が常に関わっていなければ、参加型評価の意 義を共有することがむずかしくなるからである。 平成 12 年度に国際協力総合研修所によって実施された「参加型評価基礎研究」では、JICA における参加型評価を以下のように定義づけ、説明している。 26 国際協力事業団国際協力総合研修所（2001）「国際協力と参加型評価」 Cousin, J.B. and Whitmore, E. (1998). Framing Participatory Evaluation, Understanding and Practicing Participatory Evaluation, New Direction for Evaluation, American Evaluation Association, Jossey Bass, San Francisco pp5-23 27 例えば、利害関係者評価(Stakeholder-based Evaluation), 民主的評価(Democratic Evaluation)、実用性重 視評価(Utilization-focused Evaluation)、エンパワメント評価(Empowerment Evaluation)等がある。 57 JICA における参加型評価： 参加型評価とは、最終受益者を含めた幅広い関係者（stakeholders）が、評価計画の作成、 情報の提供・収集・分析、プロジェクトの当初計画の修正等に可能な限り参加して行う評価 である。ここでいう“評価”とは、プロジェクト終了時における評価のみを指すのではなく、事 前評価、実施中のモニタリング、終了時評価、事後評価を含めたものを指す。 このような参加型評価を実施することによって、JICA では以下のような効果を期待してい る。 マネジメント能力の強化 オーナーシップ（主体性）の強化 効果的なフィードバックの促進 説明責任（アカウンタビリティ）の向上 58 資料 7 パフォーマンス・メジャーメント28 パフォーマンス・メジャーメントの背景 パフォーマンス・メジャーメントとは、一言でいうと「公共政策や公共プログラム（以 下、プログラムと呼ぶ）の成果（アウトカム）と効率性を定期的に測定すること」である。 日本語では「業績監視」、「事務事業評価」あるいは「実績評価」という用語で紹介されて きている。 パフォーマンス・メジャーメントはアメリカの政策シンクタンクであるアーバン・イ ンスティチュートのハトリー（Harry P. Hatry）とホーリー(Joseph S. Wholey)が中心となっ て理論的に発展させたものである。彼らは、それまでアメリカの政策評価の分野で使われ てきた実験計画法等を用いた大規模なプログラム評価（Program Evaluation）29の方法では、 政策立案者や現場の実施者が必要とするタイミングで評価結果が提供されないことの反省 に立ち、それにニュー・パブリック・マネジメントを基礎とした行政管理学の側面を加味 し、より簡易な評価と行政活動の改善を組み合わせたパフォーマンス・メジャーメントの 仕組みを研究・発展させてきたものである。パフォーマンス・メジャーメントにより、タ イムリーかつ少ない費用で評価が実施でき、納税者と実施機関双方にとってわかりやすい 評価結果を出すことができ、それが行政活動の改善につながっていく、とされている。 特徴と利点 パフォーマンス・メジャーメントでは、プログラムがめざす成果（アウトカム）を明ら かにし、成果を測定する指標と数値目標を決めて定期的に測定することにより、当初の数 値目標がどれだけ達成されたのかを評価し、事業実施改善と意思決定に利用していく。JICA や他の援助機関で導入しているロジカル・フレームワークをベースにしたマネジメントの 方法も、パフォーマンス・メジャーメントの考え方をベースにしているといえる。 パフォーマンス・メジャーメントの新しい点は、それまでは主に経費等のインプットや アウトプットを中心に評価測定が行われてきたものを、プログラム実施の結果発現する受 益者や顧客に対する便益・成果（アウトカム）に重点をおいて測定する点である30。効率性 も、インプットとアウトプットの関係で捉えるのではなく、アウトカムに焦点を当てて測 28 参考文献： ・Hatry, H.P. (1999). Performance Measurement: Getting Results, Urban Institute, Washington D.C. ・佐々木亮・西川シーク美実（2001）パフォーマンス・メジャーメント －最近の傾向と今後の展望－、 『日本評価研究』第 1 巻 第 2 号、pp.45-52 29 ここで使っている Program Evaluation とは「公共政策や公共プログラム等の政策評価」を意味する。 30 プログラムの構成要素であるインプット、活動、アウトプット、アウトカムの各定義は、本文のロジッ ク・モデルの説明と同じである。 59 定する。例えば、禁煙教室の一回あたりの実施に掛かったコストを算出しその効率性を検 証するのではなくて、実際に禁煙するようになった参加者一人当たりの投入コストにより 効率性を見る。つまり、プログラムを実施したことの効率性は、プログラム実施により発 現する便益との関係で捉えなければならないとするものである。 もう一つの特徴は、定期的な測定を行うことである。予算管理の観点からは年 1 回程度 のチェックでも十分であるが、特定の行政活動が成功しているのか、どこに重要な問題が あるのか、あるいは事業改善に向けて関係者を鼓舞させるためには、アウトカムが出てい るかどうかについてより頻繁なチェックが必要になる。従って、実験計画手法に代表され るような「比較グループ」を持たずに対象地域のみの変化により評価を行うため簡便であ る。また、事前から事後にわたり定期的に指標を測定するため、迅速なフィードバックが 可能になる。 このような特徴を持つパフォーマンス・メジャーメントは、公共サービスを提供する事 業に適している。公共サービスでは、顧客や受益者が受ける便益の質や、それらサービス の効率性を常にチェックしていなければならないからである。ただし、基礎研究部門や長 期計画を要する事業にはあまり向いていない。 制約・留意点 パフォーマンス・メジャーメントの制約・留意点として 3 つの点を指摘できる。第 1 点 は、比較グループを持たずに、プログラムの対象地域のデータのみを収集するため、プロ グラムとの因果関係は検証しにくいことである。つまり、プログラムの外部要因の影響を 取り除くことができない。また、アウトカムの達成度を把握しただけでは、なぜそのよう な状態になったのかの原因を探ることができず、プログラム改善のための対策は立てにく い。ただし、その弱点をできる限り補うために、パフォーマンス・メジャーメントにおい ても、プログラムの実施状況の詳細やアウトカムのデータに関する説明を十分に行うべき であるとの指摘がある。 第 2 点目は、アウトカムを直接的に測定できないケースがあることである。例えば、犯 罪や麻薬使用の減少等、好ましくない事柄の減少を測定する場合である。そのようなケー スでは、発生件数の推移を測定し、その傾向を探ることで「犯罪の減少」を捉えるという 代替指標を立てる必要が出てくる。 第 3 点目の留意点は、パフォーマンス・メジャーメントが提供する評価情報は、予算配 分や人事等の組織の意思決定プロセスを直接左右するものではなく、意思決定する時の一 部の情報に過ぎない点である。パフォーマンス・メジャーメントの主要な目的は「疑問点 60 を挙げる」ことであり、対応策や解決法を提示するものではない。 パフォーマンス・メジャーメントの活用にはいろいろなものがあるが、従来型の評価方 法との組み合わせにより実施されているケースとしては、アメリカ USAID の評価方法をあ げることができる。USAID では 1994 年にすべてのプログラムでパフォーマンス・メジャ ーメントを実施することを決定した。その一方で非常に成功したプログラムと失敗したプ ログラムを取り上げ、従来型の評価を行い、綿密な分析により原因を探り提言を得ること とした。ローコストで簡便なパフォーマンス・メジャーメントと、コストが高いが精密な 評価を組み合わせたケースである。評価予算を効率的に使う方法として注目される。 61 資料 8 参考文献リスト 評価理論一般 Evaluation: a systematic approach, 6th ed. Rossi, Peter H., Reeman, Howard E., and Lipsey, Mark W., Sage Publications, 1999 Evaluation, 2nd ed. Weiss, Carol H., Prentice-Hall, 1998 Handbook of Practical Program Evaluation Wholey, J.S., Hatry H.P. & K.E. Newcomer, Jossey-Bass, 1997 Evaluation for the 21st Century: A Handbook Chelimsky, E. & Shadish W.R.,Sage Publications, 1997 Evaluation Thesaurus 4th ed. Scriven, M., Sage Publications, 1991 Evaluability Assessment: Developing Program Theory Wholey, J.S., Jossey-Bass, 1987 Theory-Driven Evaluation Chen, Huey-Tsth, Sage Publication 1990 実用重視の事業評価入門 マイケル・クイン・パットン著、大森弥監修 山本泰・長尾真文編集、 清水弘文堂書店、2001（原書: Patton M.Q., Utilization-Focused Evaluation, The New Century Text, 3rd edition , Sage Publications, 1997） 政策評価の理論と技法 龍慶昭・佐々木亮、多賀出版、2000 政策評価の理論とその展開 山谷清志、晃洋書房、1997 62 開発援助の評価とその課題 FASID、2008 国内の評価関連サイト 機関 JICA ウェブサイト http://www.jica.go.jp/evaluation/index.html 外務省 http://www.mofa.go.jp/mofaj/gaiko/oda/siryo/siryo_3/siryo_3f.html 日本評価学 会 http://www.idcj.or.jp/JES 他援助機関の評価関連サイト 援助機関 EC ウェブサイト http://europa.eu.int/comm/europeaid/evaluation/methods/index.htm FAO http://www.fao.org/pbe/ IFAD USAID http://www.ifad.org/evaluation/index.htm http://evalweb.usaid.gov/index.cfm DFID GTZ /KfW SIDA CIDA NORAD DANIDA AusAID 世界銀行 UNDP ADB http://www.dfid.gov.uk/aboutdfid/evaluation.asp GTZ : http://www.gtz.de/en/leistungsangebote/6332.htm KfW :http://www.kfw-entwicklungsbank.de/EN_Home/Ex-post_Evaluation_at_ KfW/index.jsp BMZ: http://www.bmz.de/en/evaluation/index.html http://www.sida.se/sida/jsp/sida.jsp?d=1509&language=en_US http://www.acdi-cida.gc.ca/CIDAWEB/acdicida.nsf/En/JUD-111795644-KJX http://www.norad.no/default.asp?V_ITEM_ID=3507 http://www.um.dk/en/menu/DevelopmentPolicy/Evaluations/ http://www.ausaid.gov.au/ode/default.cfm http://www.worldbank.org/oed/ http://www.undp.org/eo/ http://www.adb.org/Evaluation/ UNICEF UNHCR UNFPA http://www.unicef.org/reseval/ http://www.unhcr.ch/evaluate/main.htm http://www.unfpa.org/publications/evaluation/index.htm OECD-DAC 関連サイト 項目 EVALUNET トップページ ウェブサイト www.oecd.org/dac/evaluationnetwork DAC 評価用語集 http://www.idcj.or.jp/JES/DACyougoshu0214.pdf DAC 評価 5 項目 http://www.oecd.org/dataoecd/12/56/41612905.pdf DAC 加盟機関へのリンク http://www.oecd.org/document/47/0,3343,en_21571361_3 4047972_34629871_1_1_1_1,00.html 63 評価手法 ＜ロジックモデル＞ Program Logic: An Adaptable Tool for Designing and Evaluating Programs Funnell, S. Evaluation News and Commnet, Vol.6(1). pp5-7 Program Theory in Evaluation: Challenges and Opportunities New Directions for Evaluation, No.87, Jossey Bass ＜パフォーマンス・メジャーメント＞ Performance Measurement: Getting Results Hatry, H.P., Urban Institute, 2000 Clarifying Goals, Reporting Results Wholey, J.S. & Newcomer, K.E., In Katherin Newcomer, Using Performance Measurement to Improve Public and Nonprofit Programs, New Direction for Evaluation, 1997 ＜実験計画手法＞ Social Experimentation, Sage Classics 1 Campbell, D.T. & Russo, M.J., Sage Publications, 1999 Quasi-experimentation: Design and analysis issues for field settings Cook, T.D. & Campbell, D.T., Rand McNally, 1979 ＜定性評価＞ Qualitative Research & Evaluation Methods Patton, M.Q., Sage Publications, 2002 Qualitative Data Analysis: An Expanded Sourcebook (2nd ed.) Miles, M.B. & Huberman, A.M., Sage Publications, 1994 ＜事例研究＞ The Art of Case Study Research Stake, R. E., Sage Publications, 1995 64 Case Study Research Yin, R.K., Sage Publications, 1984 ＜開発プログラム評価＞ Monitoring and Evaluating Social Programs in Developing Countries ： A handbook for policy makers, managers, and researchers Valadez, J. & Bamberger, M., World Bank, 1994 Evaluating Country Development Policies and Programs: New Approaches for a New Agenda New Directions for Evaluation, No. 67, Jossey-Bass ＜参加型評価＞ Foundation of Empowerment Evaluation Fetterman, D.M., Sage, 2001 Participatory Evaluation in Education; Studies in Evaluation Use and Organizational Learning Cousins, j.B. & Earl, L.M., Falmer, 1995 Partners in Evaluation-Evaluating Development and Community Programs with Participants Feuerstein, M.T., MacMillan, 1986 Evaluating the Arts in Education: A Responsive Approach Stake, R. E., Merrill, 1975 国際協力と参加型評価 JICA 国際協力総合研修所、2001 参加型評価基礎研究 JICA 国際協力総合研修所、2001 ＜組織評価＞ 非営利組織の「自己評価手法」 ピーター・ドラッカー財団編、田中弥生訳、ダイヤモンド社、1995 65 （ 原 書 : Druchker, P.F.Foundation, Self-Assessment Tools for Nonprofit Organization, Joseey-Bass, 1993） ＜「JICA 協力プログラム」評価＞ 2009 年度版 JICA 事業評価年次報告書 テーマ別評価「ホンジュラス基礎教育拡充プログラム評価」、2005 テーマ別評価「プログラム評価 マラウイ・ベトナム教育分野」、2006 ＜評価手法キット＞ Program Evaluation Kit, 2nd Ed., Sage Publications, 1987 1) Evaluator’s Handbook 2) How To Focus An Evaluation (Stecher B.M. & Davis W.A.) 3) How To Design A Program Evaluation (Fitz-Giboon C.T. & Morris L.L.) 4) How to Use Qualitative Methods in Evaluation (Patton M.Q.) 5) How to Assess Program Implementation (King J.A., Morris L.L. & Fitz-Gibbon C.T.) 6) How to Measure Attitudes (Henerson M.E., Morris L.L. & Fitz-Gibbon C.T.) 7) How to Measure Performance And Use Tests (Morris L.L, Fitz-Gibbon C.T. & Lindheim E.) 8) How to Analyze Data 9) How to Communicate Evaluation Findings (Morris L.L, Fitz-Gibbon C.T. & Freeman M.E.) 調査の技法・手法 ＜質問紙・アンケート調査＞ アンケート調査の進め方 酒井隆、日本経済新聞社、2001 実践アンケート調査入門 内田治・醍醐朝美、日本経済新聞社、2003 ＜インタビュー＞ グループインタビューの技法 Ｓ・ヴォーン、Ｊ・Ｓ・シューム、Ｊ・シナグブ著、井下理監訳、慶應義塾大学出版 会、1999 66 ＜フォーカスグループ・ディスカッション＞ The Power of Focus Groups for Social and Policy Research Billson, J., Skywood Press, 2002 Focus Groups 3rd ed. Krueger, R.A. and Casey, M.A., Sage Publications, 2000 ＜統計分析＞ Practical Sampling Henry, G., Sage Publications, 1990 Statistical Methods in Education and Psychology 3rd ed. Glass, G. & Hopkins, K., Allyn and Bacon, 1996 Design Sensitivity: Statistical Power for Experimental Research Lipsey, M. W., Sage Publications, 1990 EXCEL で学ぶやさしい統計処理のテクニック 内田治・醍醐朝美、共立出版、2000 新・統計のまとめ方つかい方 田中恒男、医歯薬出版、1999 ＜フィールドワーク＞ フィールドワークの技法と実際―マイクロ・エスノグラフィー入門 箕浦康子編著、ミネルヴァ書房、1999 フィールドワーク －書を持って街へ出よう－ 佐藤郁哉、新曜社、2000 ＜質的研究―インタビュー、フォーカスグループ、観察等の方法論＞ 質的研究入門 ウヴェ・フリック著、小田博志・山本則子・春日常・宮地尚子訳、春秋社、2002 （原書：Flick U., Qualitative Forschung, ,Rowohlt Taschenbuch Verlag GmbH, 1995） 質的研究実践ガイド：保健・医療サービス向上のために 67 キャサリン・ポープ、ニコラス・メイズ編集、大滝純司監訳、医学書院、2001 （原書：Pope C. & Mays N., Qualitative Research in Health Care, 2nd ed., BMJ Books, 2000） Silverman, David, Doing Qualitative Research: Practical Handbook Sage Publication 2000 評価研究誌 日本評価研究：日本評価学会 American Journal of Evaluation: The American Evaluation Association その他 ＜評価ガイドライン・ハンドブック＞ 技術協力プロジェクト評価実務ハンドブック JICA 事業評価ガイドライン（改訂版） 円借款事業評価研修テキスト (2008) 外務省 ODA 評価ガイドライン（第 5 版） 無償資金協力に係るプロジェクト・レベル事後評価実施ガイドライン（2007） アウトカム指標の考え方（2005） ＜NGO 評価関連＞ 小規模社会開発プロジェクト評価 アーユス NGO プロジェクト評価法研究会編、国際開発ジャーナル、1995 なぜ、いま評価なのか：国際開発ＮＧＯの評価を考える 笹川平和財団、2001 国際協力プロジェクト評価―NGO から ODA まで ＮＰＯ法人アーユス編、国際開発ジャーナル、2003 「政策レベル及びプログラム・レベルのＯＤＡ評価手法」研究会報告書 （財）海外投融資情報財団、2003 ＜キャパシティ・ディベロップメント＞ キャパシティ・ディベロップメントからみた JICA 技術協力の有効性と課題に関する一 考察～ガーナ灌漑農業振興支援の事例から～ 68 JICA 国際協力総合研究所、2005 途上国の主体性に基づく総合的課題対処能力を目指して－ キャパシティ・ディベロップメント（CD）～CD とは何か、JICA で CD をどう捉え、 JICA 事業の改善にどう活かすか～ JICA 国際協力総合研究所、2006 キャパシティ・アセスメントハンドブック～キャパシティ・ディベロップメントを実 現する事業マネジメント（初版） JICA 国際協力総合研究所、2008 69