政策評価の手法（その1）

政策評価の手法（その１）
２０１２年度政策評価演習⑤
２０１２．５．１７（木）
塚本壽雄
[email protected]
政策評価の典型的作業
• ①評価対象政策の「意図・シナリオ」（誰・何を、どう
することによって、何を実現するのか）を確定（合意）
する
• ②その確定（合意）された政策の「意図」が実現した
か（しているか）どうかを調査・分析して明らかにする
（できるだけ客観的に、すなわち第三者に検証可
能なかたちで明らかにする）
1
Ⅰ 政策評価の段取り
2
政策評価の結論を出すための
段取り表
政策の意図とシナリオ
（＝「ロジックモデル」）
指標
（意図の実現如何を明ら
かにする手がかり）
評価の基準
（意図が実現したと言
える指標の水準）
インプット
活動
（対象・介入）
アウトプット
（活動が生み出
すモノ・サービス）
直接アウトカ
ム
（効果・成果）
中間アウトカ
ム
最終アウトカ
ム
対象や社会の状
態の変化
3
（参考）ロジカルフレームワーク
要約
（プロジェクト概要）
指標
指標データ入手手段
外部条件
【最終アウトカム】
【中間アウトカム】
プロジェクトの目的
【直接アウトカム】
【アウトプット】（略）
活動
投入
前提条件（プロジェ
クト開始前に充たさ
れるべき条件）
4
１．ロジックモデル
5
ロジックモデルの例
• 当日別途配布資料
6
用語
説明
例示（高速道路）
インプット
（投入）
予算・人員など
労力
資材
活動
政策（事業）の内容
工事
アウトプット
活動から生み出されたもの 道路の完成
や提供されたサービス
アウトカム
ものやサービスがもたらす
改善（事件、できごと、状
態・行動・態度の変化）
利便の向上
経済の発展
7
政策の意図とシナリオ（再度確認）
解決すべき社会（地域）の課題の存在と
その原因に関する知識（例：問題分析の結果）をもとに
• 対象に
• 働きかけて（介入）
• 対象の状態を望ましいものに変える（ないし変わるきっ
かけを与える）（効果・成果）
• 効果・成果の連鎖
⇒社会（地域）の課題の解決
8
ロジックモデルの文法
インプット
（予算、人員など）
活動
（誰（何）を対象に・・・を実施する）
アウトプット
（・・・を・・・が受ける）【状態や変化の記述（以下同じ）】
直接アウトカム
（・・・が・・・になる）
中間アウトカム
（・・・が・・・になる）
最終アウトカム
（・・・が・・・になる）
政策（事業）の
意図に関する記述
（・・・することにより、・・・の状態を実現し、・・・の達成に貢献す
る）
（参）役所が書くと：・・・・により、・・・・を充実する
9
（練習）
• 「求職活動中の者に対する職業訓練事業」
– 対象：求職活動中の者
– 介入（対象への働きかけ）：
– 効果・成果（状態記述）（対象がどうなり、どのような望まし
いことがらが起きるか）：
• 「公共政策大学院の教育」
10
外部者による政策の意図確認方法
（参加型計画手法以外）
（１．文献調査）
• Googleなどインターネット検索
• 政策に関する法令、通達（該当する場合）およびその解説
（単行本、あるいは法令解説刊行物である『時の法令』、『法
令解説資料総覧』また『ジュリスト』など）
• 政策そのものの解説（単行本、官庁広報誌、専門誌、関係業
界紙（誌）、白書）
• 総務省行政評価局の行政評価・監視（行政監察）結果報告
書、会計検査院検査報告書
• 国会議事録（衆議院・参議院ホームページから検索可能）
• 新聞記事
• 当該政策分野に関する文献、出版物
11
（２．担当者ヒアリング）
１．政策（施策、事務事業と呼ばれるものを含む。以下同じ。）によって短期及び中長
期に何が変化することが予定されているのか。
どのような証拠があれば政策が成功であると認めることができるか。
２．政策の短期及び中長期の副次効果としてどのようなものが考えられるか。
３．政策の対象者は誰か。どのような種類の人たちか。
地域社会全体への直接あるいは間接な影響はあるか。
それ以外に影響を受ける者があるか。
４．もしこの政策が廃止されたらどんなことになるか。
地域住民には何が起きるか。
誰が苦情を言うか。それはなぜか。
よろこぶのは誰か。それはなぜか。
•
（出典）Harry P. Hatry, Richard E. Winnie and Donald M. Fisk, Practical Program
Evaluation for State and Local Governments (Second Edition), The Urban Institute
Press, 1981.
12
注目すべきこと
• ロジックモデルを作ってみると政策の問題点が改め
てデータ収集や調査をするまでもなくわかってしまう
場合がある。（⇒「評価可能性評価」）
（注）担当者ヒアリングも同じ効果を持つことが考え
られる⇒自治体「事業仕分け」の特長
13
（事例） 「台湾自治体生ごみ減量作戦」
政策評価
• 自治体が埋立処理限界。毎日収集であったもの
を週６回にして、生ごみの排出を減らす作戦。
なお住民は通常生ごみを室内の隅のバケツにい
れている。
• 隣接する二つの市で社会実験を行った（一方は、
週６回収集、他方は毎日収集として、生ゴミ排出
量に差が出るかどうかを見た）。
14
台湾自治体生ごみ減量作戦
ロジックモデル
インプット
活動
家庭の収集を週６日にする。
アウトプット
家庭が生ごみの収集されない日に直
面する。
家庭で生ごみが１日室内に滞留する。
直接アウトカム
中間アウトカム（１） 住民は不快でしかたがない状態にな
る。
中間アウトカム（２） 住民はその日に備えて生ごみが出な
いよう食事などの工夫をする。
最終アウトカム
家庭ひいては地域の生ごみの排出
が減少する。
15
２．指標
16
ロジックモデルと指標
政策の意図とシナリオ
（＝「ロジックモデル」）
指標
（意図の実現如何を明ら
かにする手がかり）
インプット
活動
（対象・介入）
アウトプット
（活動が生み出すモノ・
サービス）
直接アウトカム
（効果・成果）
中間アウトカム
最終アウトカム
変化が実際に生じ
たことは何でわかる
対象や社会の状態 か
の変化とその道す
じ
17
意図の実現を検証するための指標
（成果指標）
• 成果指標の目的：政策の意図の実現のいかんを把握す
るためにあてはめる尺度。客観的な測定と分析を容易
にすることから数量的に測定できる尺度（定量的指標）
が望ましいとされる。
•
•
•
•
・・・の数（の変化）
・・・の割合（％）（の変化）
・・・の比率（の変化）
・・・の発生率（の変化）
（数と比率の両方を用意するのがよいとされる。）
18
数量的に測定できるとは限らない
（定性的指標も使うべし）
• （例）“子育てのひろば”「子育てに悩まなくなった状態」がア
ウトカム
• （例）“会館の維持管理”「壁のよごれの減少」がアウトカム
⇒インタビュー、アンケート、目で見て把握
• なお、評価の作業では定量化して分析する
①比率化（悩まなくなった人の割合の変化を見る）
②評点付け（「よく悩む、時々悩む、悩まない」の段階をセット。
その分布の変化を見る）
③採点（悩まなくなったことを意味する事象をいくつか特定し、
それぞれの達成状況をはい１点、いいえ０点など配点して全
体の平均点の変化を見る）
19
意図の実現を検証する指標（成果指標）
の特定方法
１．「ロジック・モデル」をフローで描く。
２．その各段階について、その成功や順調な進捗とはどんな状
態をいうのかを考える。
●政策の対象（対象集団）は誰か
●対象（対象集団）についてどのような実態があれば政策は
成功だといえるのか
３．その状態を表すことができる（証拠になる）と思う指標をとに
かく書き出してみる。
①状態を直接的に表す指標
②状態のある側面を表す指標
③状態を間接的に表す（状態につながる）指標
20
データの入手方法検討必要
• 既存の統計を利用
• 事業実施者の保有する文書・記録類を利用
• 調査を行う
①観察調査（観察し記録を作成する）
②面接調査（聞き取る）：対面；電話
③質問表調査（記入してもらう）
• その他：テストの実施；行動評価の実施；日記の作
成依頼；フォーカス・グループ；苦情申立書；新聞記
事など
21
（練習）「指標」
（例題：以下の状態が実現したことは何でわかるか）
「観光地として魅力がある土地になった」
「安心して子育てができるまちになった」
「治安がいい都市になった」
（ヒント）
①状態を直接的に表す指標
②状態のある側面を表す指標
③状態を間接的に表す（状態につながる）指標
22
３．評価の基準
23
政策評価の結論を出すための
段取り表
政策の意図とシナリオ
（＝「ロジックモデル」）
指標
（意図の実現如何を明ら
かにする手がかり）
評価の基準
（意図が実現したと言
える指標の水準）
インプット
活動
（対象・介入）
アウトプット
（活動が生み出
すモノ・サービス）
直接アウトカ
ム
（効果・成果）
中間アウトカ
ム
最終アウトカ
ム
対象や社会の状
態の変化
24
Ⅱ 有効性の評価
25
１．段取り
26
評価の段取り（求職者職業訓練）
（ロジックモデルと指標・評価基準）
インプット
人・物・カネ
活動
アウトプット
直接成果
（アウトカム）
訓練
技能修得
中間成果
（アウトカム）
最終成果
（アウトカム）
【意図の規定】
（ロジック
モデル）
訓練提供
就職
雇用安定
生産向上
【実現如何の検証】
（指標）
（評価基準）
指標の望まし
い水準を設
定
⇒測定・分
析・結論
訓練時間
技能認定
合格率
就職率
所定時間
満了
○○％
○○％
失業率
減少
部門別
鉱工業
生産
伸長
27
測定・分析
• 政策の実施前後で比較が通常
28
２．政策との因果関係の検証
ーインパクト評価・モデルの使用ー
「アウトカム評価」と「インパクト評価」
• 最も素朴な有効性評価：政策実施前（訓練を受ける前の状態＝失
業）と実施後での指標の比較（就業率）（単純な前後比較） （「アウ
トカム評価」）
• ただ、指標の値に実施前後で差があっても「政策の」意図が実現
したとは言えない（意図した状態は実現しても政策の結果ではな
い）可能性
–
–
–
–
歴史効果
成熟効果
テスティング効果
測定尺度効果など
（山田治徳『政策評価の技法』日本評論社、2000、pp.7-21）
⇒厳密な結論を求める場合、必ず、政策の実施されている場合とさ
れていない場合など、比較対照を行う事例の存在が必要（評価モ
デルを使う「インパクト評価」）
30
理想的な比較対照
ランダム実験モデル
対象の状態
A1
グループ A
(実施グループ)
ランダム抽出（乱数表）
A1 = B1
対象の状態
B1
グループ B
訓練
対象の状態
A2（例：就職
率）
A2 － B2
＝ 政策の効果
対象の状態
B2
(比較グループ)
対象（母集団）
<実施前>
<実施後>
31
ランダム実験モデルの事例
政策等の概要
評価の設問
ギャンブル依存症患 治療と訓練は治療に
者 に 「 認 知 矯 正 」 を 効果を示すか。
中心に、状況対応と
対人スキルの治療と
訓練を行うことによ
り 、 病 気 を 治 癒する 。
成果指標・評価方法
成果指標：
治療・訓練の結果
ギャンブル依存症の
症状が軽快ないし消
失すること。
①自己抑制への意識
②ギャンブルへの欲
求
③治療効果に関する
自己評価
④ギャンブルの頻度
評価方法：ランダム
実験モデル
40 人の依存症患者を
新聞広告と医療機関
からの照会で集め、
治療・訓練を受ける
グループと比較グ
ループに無作為割り
当てし、それぞれに
ついて、治療中及び
終了後の指標の変化
を定期的に測定把握
する。
評価の結論
データ収集・分析の
結果
治療・訓練を受けた 提案にかかる治療方
グループについ て は 、法は有効である。
すべての指標につい
て、有意の変化がみ
られ、これは、６か
月後及び１２か月後
においても変動がな
かった。
ただし、治療・訓練
グループの20人中8人
及び比較グループの
20人中3人が実験から
抜けた。
32
実験モデルの問題点
Random Experiments/ Randomized Controlled Trial (RCT)
• 政策の対象となる者とならない者を設けることの倫
理的問題(参考：医薬品の治験）
• 実験の結論が出るまでに時間を要すること
• 人員・経費を要すること
• 実験の管理にエネルギーを要すること
33
擬似（準）実験モデル
（より実行可能）
• マッチングモデル（政策意図の実現に影響する属性を特定し、
それらを共通に有する他の集団と比較）
【指標を類似自治体で対象政策をやっていないところのもの
と比較するということがよく行われるが、このモデルが意識さ
れているかどうかは別として、軌を一にするものと言えなくも
ない】
• 一般指標モデル（対象の属する集団を上記属性共通の他の
集団とみなす）
【指標を県内や全国の自治体の平均と比較するということが
よく行われるが、上記と同様、軌を一にするものと言えなくも
ない】
• 時系列モデル（対象の過去の長期トレンドと比較）
• パネルモデル（対象の過去のトレンドと比較）
• （詳細は当日別途配布資料）
34
時系列モデルの事例
政策等の概要
評価の設問
指標・評価方法
低い飲酒許容年齢
は飲酒運転事故を
増加させるという
想定のもとに行わ
れた年齢の引き上
げ（法令改正）
年齢の引き上げは
事故の減少に貢献
したか。
なお、自動車の安
全装備の向上と飲
酒運転の危険への
認識向上により、
事故そのものが減
少傾向を示してい
る状況にある。
指標：免許保有運
転者千人当たりの
飲酒がらみの衝突
事故数
評価方法：時系列
モデル
年齢層別の上記事
故件数の引き上げ
前後18年間の変化
を事故データ（行
政データ）から把
握する。
年齢は、1984年に
18から19へ、1986
年に19から21へ引
き上げられた。
評価の結論
データ収集・分析
の結果
18歳層については、年齢の引き上げは、
19歳への引き上げ テ ィ ー ン エ イ
の結果、事故は２ ジャーの飲酒がら
６％減少した。
み事故の減少に即
１９から20歳層に 時かつ争う余地の
ついては、21歳へ ない効果を生んだ。
の引き上げの結果、
１９％減少した。
21歳以上層につい
ては、2.5％の減少
であり、統計的に
有意ではなかった。
35
実情としては単純な前後比較も困難
（しかし、やりようはある）
• 政策実施前のデータがあるかどうか
• 緊急避難：事後データのみでマッチング。無理なら
ば専門家、受益者、行政官の見解を把握し、事前の
データを推測して比較する
• 評価モデルをどこまで意識するかは、自治体等にお
ける評価でどこまでの厳密性が求められるかの判
断問題
36
インパクト評価のステップ
① 政策の意図とシナリオの把握【ロジックモデル】
② 指標（成果指標）の特定【政策の意図実現の如何
を把握するもの】
③ 評価の基準の設定【政策の意図が実現したと言え
る指標の水準】
④ 評価モデルの選択
⑤ データの収集
⑥ データの分析
⑦ 結論
⑧ 報告書の作成
37
３．プロセス評価について
38
プロセス評価：インパクト評価の前提
• 「政策」が「行われている」ことの確認
（教育・福祉などの対人プログラムでの実情
に対応）
39
プロセス評価がなぜ必要か：
政策と「実施」
• 政策は想定したとおりに行われないことがしばしば
である。
– 不完全な実施
– 間違った実施
– バラバラ（まちまち）な実施
⇒対象である「政策」を評価していることにならない
可能性
(龍・佐々木『「政策評価」の理論と技法（増補改訂版）』p.39を参考にした。)
40
実施状況を把握し、計画・想定と比較
•
•
•
•
•
•
•
事業・サービスの対象・利用者
事業・サービスの実施体制
実施手続・基準
利用状況
事業・サービスの実施・提供基準
施設・設備の実態
事業・サービスの実態
⇒①「政策」が行われているかどうかを確認する意義②それ
はそれとして意図実現のために実施を改善する余地を発見
する意義（会計検査院の有効性検査や総務省行政評価局
の行政評価・監視）
41
４．政策評価＝応用社会科学
（「評価研究」）
42
方法論が意識される奥の深い世界
ー有効性評価報告書構成範例ー
（研究論文の趣き）
• Ⅰ．要約
• Ａ．評価により解答を与えることとされた設問
• Ｂ．政策の概要
• Ｃ．主要な結果
•
結果の要約
•
結果の意味するもの
•
提言
• Ⅱ．政策が対応している課題
• Ａ．規模、範囲、深刻さ、これまでの経緯
• Ｂ．過去の政策的取組み
43
•
•
•
•
•
•
•
•
•
•
•
•
Ⅲ．政策の内容
Ａ．目的と個別目標
Ｂ．政策に伴う活動
１．当初の設計
２．現実の実施状況
ａ．実施内容
ｂ．頻度
ｃ．強度
ｄ．それらの時間
経過に伴う変化
ｅ．当初の設計と
の異同
• Ｃ．政策の位置付け
• １．政策の推進母体
• ２．政策の実施環境
•
ａ．実施地域
•
ｂ．実施地点
•
ｃ．実施施設
• ３．政策の経緯
• ４．予算
44
• Ｄ．政策の受益者（対象者）
• １．人数と特質
• ２．受益者となる手続
• ３．受益者である期間
• ４．受益者からの退出状況
• ５．その他関係データ
• Ｅ．政策に関係する職員
• １．人数及び特質
• ２．政策に関係している期間
• ３．その他の状況
45
•
•
•
•
•
•
•
•
•
•
Ⅳ．評価の内容
Ａ．評価が扱った中心
的設問
Ｂ．評価の実施内容
１．評価の設計
２．評価が対象とし
た期間
３．データ収集の方
法
４．分析の方法
• Ｃ．評価結果
• １．調査・分析結果
• ２．調査・分析結果の有す
•
る制約
• ３．結論
• ４．解釈及び説明
• Ｄ．講ずべき措置に関する
提言
46
•
•
•
•
•
•
•
Ⅴ．類似の政策に関する評価結果との比較
Ⅵ．更に評価を要する事項
Ⅶ．謝辞
附属文書
Ａ．方法論
Ｂ．データ表
Ｃ．主要な面談筆記録
• （注）Weiss, Carol H, 1998, Evaluation (Second Edition),
Prentice Hall, pp. 296-7をもとに作成した。
47
参考文献
• 山田治徳『政策評価の技法』（日本評論社、2000
年）第１部
• 龍慶昭・佐々木亮『「政策評価」の理論と技法（増補
改訂版）』（多賀出版、2004年）
• 安田節之・渡辺直登『プログラム評価研究の方法』
（新曜社、2008年）第5章、第6章
48