評価に関する根本的な論争

21 世紀社会デザイン研究 2009 No.8
評価に関する根本的な論争
─ そもそも評価とは何か？─
佐々木 亮
SASAKI Ryo
1．はじめに
評価研究の本場は何と言ってもアメリカである。筆者は 2006 年 9 月に渡米し、アメ
リカのミシガン州立ウェスタン・ミシガン大学の評価研究所（The Evaluation Center,
Western Michigan University）の博士課程に在籍して、最終的に同研究所から評価学
の博士号（Ph.D. in Evaluation）を取得した。指導教官は評価研究の創設者の一人と
目されるマイケル・スクリヴェン（Michael Scriven）であった。スクリヴェンは「評
価研究における唯一の哲学者」と呼ばれ（Stake, 1982, pp.10-14）、1950 年代から 2000
年代の現在に至る長期間にわたって、評価に関する数々の重要な概念を提案する一方
で、この論文でも解説する一連の重要な論争に参加し、評価研究を一つの独立した学
問分野として確立することに多大な貢献をしてきた（Shadish, Cook, & Leviton, 1991,
p.71）。
なお、同評価研究所はスクリヴェンのほかに、マネジメントの視点を重視した初め
ての評価アプローチである CIPP モデルを提唱したスタッフルビーム（Stufflebeam, D）、
プログラム評価スタンダードを取りまとめたサンダース（Sanders, J）、アメリカの社
会科学のパラダイム転換につながった構築主義を提案したグーバ（Guba, E）など評価
研究の第一線の研究者が在籍している。また近隣の大学に、キャンベル（Campbell, D,
1996 没）、クック（Cook, T）、ステイク（Stake, R）などが在籍していることもあり、
同研究所は、アメリカの評価研究の最有力の拠点となってきたと言える。
本論文では、こうしたアメリカの第一線の研究者たちとの議論の中で筆者が学んだ
いくつかの重要な議論の成果を日本の評価研究者や実務家にフィードバックするとと
もに、日本の評価研究における示唆を得ることを目指した。
リサーチ・デザインや統計分析手法など評価手法に関して教える大学院はいくつか
存在するが、評価を独立した学問領域として捉え、評価そのものを研究対象として扱っ
た博士レベルの大学院は、同研究所の博士課程が世界初だと同研究所は述べている。
なお、アメリカにおける評価関連の大学院教育は、日本における今後の評価教育の展
開の参考になることから、アメリカにおける大学院プログラムの概略を「補論」とし
て本論文の最後に掲載したい。
すでに述べたように、本論文の目的は、アメリカにおいて展開されてきた評価を巡
̶̶77
77̶̶
る論争の整理を通じて日本の評価研究における示唆を得ることであるが、こうした議
論の整理の試みは山谷（1997）が日本で初めて本格的に取り組んだのに続いて、佐々
木（2003）も 7 つの論争を整理して解説している。7 つの論争とは、（1）科学的評価
と実用的評価の論争、（2）定量的評価と定性的評価の論争、（3）独立的評価と参加型
評価 / 協同評価の論争、（4）定量的評価のなかの争い∼実験デザインと計量経済学ア
プローチの論争、（5）費用 ─ 便益評価の是非に関する論争、（6）業績測定と評価の関
係に関する論争、（7）評価における統計検定の是非に関する論争であった。それぞれ
の論争に興味のある読者は、佐々木（2003）を参照されたい。
本論文では、これら既存の論争の解説と部分的に重なるが、アメリカで長期にわたっ
て議論されてきた評価の根幹に触れる論争について解説する。それは、「そもそも評価
とは何か」に関する論争である。この根本的な問いに関して、じつは長い論争の歴史
があり、現在もその論争が続いている。未だに評価研究の世界では、自分たちの研究
対象が何であるかについて合意を見ていないという驚くべき状況とも言えるが、逆に
言えば、評価とは何であるかを明らかにすることが評価研究の究極的な目的であると
言えるのかも知れない。
以上の非常に根本的な議論のレビューを踏まえて、最後に日本の評価研究における
示唆を探ることとしたい。
2．基本的な評価論理：評価の本質は価値判断
そもそも評価とは何か？ 調査と評価は何が違うのか？ 1960 年代に評価が独立した
学問領域として成立して以来、常に評価研究者を悩ませてきた問いである。この問い
に対して、一貫して評価を哲学的観点から論じてきたスクリヴェンは次のように述べ
ている（Scriven, 1980）。なお、スクリヴェンは 1950 年代から評価の基本論理につい
て解説してきたが、独立した本として出版されたのは 1980 年の著書である『評価論理』
（Scriven, M.（1980）. The logic of Evaluation）が初めてであった。
スクリヴェンは、評価とは「体系的かつ客観的に、物事の意義、値打ち、あるい
は重要性を明らかにすること」
（Systematically and objectively determining the merit,
worth, or significance of things）と定義した（Scriven, 1980）。つまりスクリヴェンは、
評価とは価値判断（value determination）を行うことだということを、この定義で端的
に示していると言える。したがって、評価は、物事の状況という事実を特定し（Factual
identification）、その状況に関して価値判断を行う（Value determination）、という二段
階の作業を通じて評価結果を得るに至ることになる。以下にその概念を示した。
図表 1 評価の基本構成
評価 ＝ 事実特定 ＋ 価値判断
（Evaluation）（Factual identification）（Value determination）
̶ 78 ̶
21 世紀社会デザイン研究 2009 No.8
本章の冒頭で述べたように、評価研究者や実務者から、調査と評価は何が違うのか
という問いが頻繁になされた。上記の論理によると、調査が物事の状況（それは因果
関係を含む）を明らかにすること、つまり「事実特定」を目的とするのに対して、評
価は特定された事実を踏まえて何らかの「価値判断」を行うことだというのである
（Davidson, 2005, p.xi）。したがって、「良い／悪い」
（good or bad）、「値打ちがある／
値打ちがない」
（worthwhile or worthless）、「重要だ／重要でない」
（significant or not
significant）という価値判断を表わす用語が評価では使われることになる。
評価研究においてスタンダードなテキストのひとつとして認識されているウェイス
の『評価：プログラムの効果を明らかにする技法』
（Weiss, 1998）では、この点がよく
認識されている。同書では「評価とは、プログラムもしくは政策の改善に貢献するた
めに、プログラムもしくは政策の実施や成果を、明示的あるいは暗示的な基準（explicit
or implicit standards）と比較することによって、体系的に明らかにすることである」
と定義し（p.4）、何かしらの方法によって明らかにされた価値基準と比べて、価値判
断を下さねばならないと述べている。
3．基本的な評価論理に対する批判：評価はさまざまな目的に資する
スクリヴェンの考え方に従うと、評価の定義は、意図的に狭く解釈されるべきでも
なく逆に広く解釈されるべきものでもないことになる。しかし、評価研究においてス
タンダードなもうひとつのテキストとして認識されているロッシ、フリーマン、リ
プセイの『評価：体系的アプローチ』
（Rossi, Freeman, & Lipsey, 1999. ただし初版は
1979）は、評価を「社会介入施策の効果を体系的に明らかにするために社会調査手法
を使用すること」
（p.4）と極めて狭く定義して価値判断には触れておらず、評価と調査
はほとんど違いがないと見ている。
さらに、近年、評価の定義を巡ってスクリヴェンと激しい論争を繰り広げたトロチ
ム（Trochim, 2000, p.30）は次のように述べている。「多くの評価では、必ずしも意義
や値打ちを明らかにする必要はない。例えば、記述的調査、実施過程分析、形成的評
価などがそうである。おそらく、評価における情報処理やフィードバック機能を強調
する定義をした方がより適切だろう」と述べて、「評価とは、ある目的のために有用な
フィードバックとなる情報を体系的に明らかにして取得する行為である」とし、あえ
て価値判断には言及せずに多くの評価にほぼ共通する目的のみを取り出して、極めて
限定的に評価を定義している。
対して、他の定義を見ると、評価を極めて広く定義している場合がある。例えば先
進国が加盟する経済協力開発機構（OECD, 2002, pp.21-22）は、「評価とは、進行中あ
るいは終了した事業、施策、政策のデザイン、実施過程、結果を体系的かつ客観的に
明らかにすることである。評価の目的は、目標の妥当性、効率性、有効性、インパク
ト、持続発展性を明らかにすることで、援助機関と被援助国双方の意思決定過程に役
立つ教訓となるような、有用で信頼に足る情報を提供することである。また、評価は
活動、政策、プログラムの意義や値打ちを決定するプロセスでもある。」と定義してい
̶ 79 ̶
る。OECD の定義は、事実特定や価値判断という行為を含みながら、さらに評価の対象、
局面、目的、用途などを網羅的に述べているわけである。
その他、「理論に推進された評価」の主唱者（Chen, 1990）や「現実的評価」の主唱
者（Pawson & Tilley, 1997）などは、誰に対してどのように施策が機能するかを明らか
にするかという説明的機能に評価の特徴を見出している。また、「エンパワーメント評
価」では、「自己決定を可能とするために評価の概念と技法を使用する」という新しい
評価の概念を提案している（Fetterman, 1994, p.1）。
スクリヴェンが提唱した評価論理を批判する研究者による評価の定義を述べてきた
が、いずれの定義も本質的な評価の論理を見誤っていると言わざるを得ないだろう。
それらはいずれも価値判断に関する議論を意図的に避けるか見落としており、それに
取り組まない限り、評価は調査と必然的に同義になるのである。逆説的に述べれば、
もし評価が調査と本質的な違いがないと考えれば、そもそも評価は存在しないことに
なる。
4．最近の合意：さまざまな目的を認めるが価値判断は不可欠な要素
評価はさまざまな方法をとり得るしさまざまな目的に貢献することは認めるが、い
ずれにせよ対象に関して何らかの価値判断を下さなければ評価たり得ないというの
が最近の合意だと言っていいであろう（Mark, Henry & Julnes.（2000）. p.13; Shadish,
Cook & Leviton.（1991）. p.49））。また最近の傾向として、評価の究極の目的は、民主
的な過程を通じた社会改善（Social betterment through democratic process）にあると
いう見解が出されている（House & Howe.（1999）.pp.131-134; Mark, Henr y & Julnes.
（2000）. pp.18-32）。この民主的な過程を通じた社会改善という概念は、日本ではなかな
か理解されない概念であるとも言えるが、アメリカでは評価研究者の広範な支持を急
速に獲得しつつあることが観察されている。
5．価値判断の基本的手続き
それでは実際にどのような手続きを経て価値判断がなされるべきであろうか。因果
関係を含む事実特定の手法としては内的妥当性の章で述べたように実験デザインをは
じめとする精緻な手法が確立している一方で、残念ながら価値判断の手法はアメリカ
でも未だ十分に研究されているとは言い難い状況である。今後の研究が待たれるほぼ
手付かずの領域と言っていいであろう。ただし、価値判断の基本的手続きをスクリヴェ
ン（Scriven, 1980）がよく整理しており、その手続きは評価実務において幅広く普及
していると言える。それは以下の手続きである。
（i）評価項目（Criteria of merit）を設定する。
（ii）評価水準（Standards of merit）を設定する。
（iii）評価統合（Synthesis of merit）の手続きを設定する。
̶ 80 ̶
21 世紀社会デザイン研究 2009 No.8
「評価項目」は、妥当性、有効性、効率性、持続性など、評価に用いる視点と言い換
えてもいい諸側面のことである。「評価水準」はそれぞれの評価項目に関する、5 ∼ 1、
a ∼ e、優∼不可などの諸水準の定義のことである。こうして図表 9 のようなマトリッ
クスができるわけで、これが評価枠組ということになる。あとは、特定された事実に
この評価枠組を適用することになる。
図表 2 評価枠組の例
最後の（iii）評価統合は、それぞれの評価項目に関して出された評価結果をどのよ
うに統合するかの手続きを定めることであり、「加重・統合」
（Weight and Sum）や
「最低基準付け」
（Baring、いわゆる足切り）などの手法が提案されている（Scriven,
1991）。また評価統合のために論理的なフローチャートを作成することもよく行われて
いる。好例として旧・国際協力銀行（現・国際協力機構（JICA））のフローチャートを
図表 10 として掲載する。このフローチャートは、アメリカにおける一連の評価研究の
知的蓄積をよく咀嚼して作成されたものと筆者は理解している。
図表３ （iii）評価統合（Synthesis of merit）の手続き
（出所）国際協力銀行（2006）
『円借款事業評価報告書』
̶ 81 ̶
なお、日本の行政機関が発行するマニュアルやガイドラインの類において、（i）評
価項目の設定のみで終わっているものが多数ある。上記（i）∼（iii）を整備したマニュ
アルあるいはガイドラインに改められるべきであろう。
6．日本の評価研究への示唆
評価における価値観の取り扱いに関する研究は、極めて重要かつ評価の本質に迫る
研究であると言える。しかし日本では、このテーマに関する学術的な取り組みよりも、
実務家が評価と価値の問題をある程度理解したうえで、価値の問題を意図的・戦略的
に回避しつつ、単なる調査や分析にとどまることのない営為として評価を成立させよ
うとする実践的な活動の方が先行したと見ることができる。
日本で評価の導入が本格化した時期に、山谷（2000、p.105）は、「評価が多元化す
るということは評価基準も多元化するということであり、それには社会の多元的な価
値観が適切に反映されねばならない」と述べており、評価における多元的な価値観の
取り扱いの重要性を指摘している。これに対して、梅田（2001、p.71）は自治体の行
政評価の現状を分析して、「長い間中央集権システムの中で国の出先機関として仕事を
こなすことに終始し、補助事業が無条件に善となってどれだけ多くそれを実施できる
か」が事実上の価値基準になっており、自治体が価値判断に関して思考停止状態に陥っ
ていると指摘している。その後の自治体における急速な実績重視型評価の流行によっ
て、西出（2005、p.17）は、「評価イコール価値判断という単純な観念が蔓延し、事業
の存廃を左右する情報が重視され」、住民の多様な価値観を丁寧に特定するという過程
がおろそかになっている現状があると指摘している。極端から極端に振れた状況が指
摘されているわけである。
このような自治体の先行した動きがある一方で、総務省の第一回政策評価会議要旨
（総務省、2002）を見ると、政策選択という価値判断をすべき政治家に価値判断の材料
を官僚が提供するのが政策評価であるという意見の表明があり、この場合はやはり価
値判断を評価の外側に置くという認識が垣間見える。
なお、事業評価の導入で先行した国際援助（ODA）分野においては、もともと国際
援助が異文化や異なった価値観が交錯する場で検討され実施されているという認識が
あり、参加型評価手法などが広範に普及している現状が象徴するように、評価に多様
な価値観を反映させて価値判断を下す努力が行われてきたとされる（三好・源、2001、
p.89, p.92）。
結論としては、評価における価値観の取り扱いおよび価値判断の手続きに関する研
究は、日本でもまだまだ手付かずの領域であり、今後の研究が待たれていると言える。
7．結論
本論文では、アメリカで長期にわたって議論されてきた評価の根幹に触れる論争で
̶ 82 ̶
21 世紀社会デザイン研究 2009 No.8
ある「そもそも評価とは何か？」という論争をレビューして論じた。日本においては、
法律による義務付けもあり評価の実践の方が先行したため、こうした根本的な学術論
争は十分に行われてこなかった。本論文で解説されたアメリカにおける議論の状況を
踏まえて、日本の状況に即した独自の論争が展開されていくことが望まれていると言
える。
補論：アメリカの大学院における評価教育の現状
アメリカには、大学院レベルの評価関連プログラムが豊富にある。ただし近年、そ
の数は減少傾向にある。ある研究によると、1986 年には 44 のプログラムがあったが、
1993 年には 38、2000 年には 26 に減ったとされる（1）。これは一時のブームを経て、プ
ログラムの淘汰が進んだためと考えられており、数の減少に伴って逆に教育プログラ
ムの質は向上していると結論されている。
2006 年現在のもっとも最新のリスト（アメリカ評価学会編纂）によると 20 のプロ
グラムが確認されている（http://www.eval.org/university_programs.htm）。それらのプロ
グラムを一覧としてまとめると付表 1 のようになる。なお、大学・大学院ではないが、
評価の研修を専門に行っている評価インスティチュート（The Evaluation Institute）も
大学院レベルのプログラムを実施しているので、リストの最後に追加した。
この表によると、修士レベルのプログラムが 15、博士レベルのプログラムが 13、証
明書プログラム（Non-degree programs）が 10 存在することになる。証明書プログラ
ムは、日本ではあまり馴染みのない名称であるが、英語では Non-degree program ある
いは Cer tificate program であり、一年程度で取得できる証明書である。証明書プログ
ラムの需要は、各分野で年々高まっていることが観察されている。
この表に基づいて、各プログラムを実施している大学院を種類別に分けると以下の
図のようになる。評価学専門の大学院等が３つ存在する（全体の 15％）。それらは、ウェ
スタン・ミシガン大学（学際的評価学博士）、メリーランド大学（リサーチ手法と応用
学博士）のふたつで、さらに大学院ではないが評価専門の研修を行っている評価イン
スティチュート（各種証明書）である。
日本では、評価学に特化した博士課程はまだ存在しない。しかし日本の評価研究の
質を継続的に向上させるために
は評価学を専門とする研究者を 図 1 評価関連プログラムを有する大学院の種類
育成することが急務であり、付
表１で特定された大学院プログ
ラムを詳細に分析し、その成果
を踏まえて、早期に評価学に特
化した博士課程を設立すること
が望まれていると言える。
̶ 83 ̶
付表１ 大学院レベルのプログラム
大学名
学部名
アメリカン大学
公共政策大学院
修士プログラム
クレアモント大学
行 動・ 組 織 科 学 大 ○（評価学修士）
学院
コーネル大学
ヒ ュ ー マ ン エ コ ロ ○（政策分析管理学修 ○（プログラム評価と
ジー大学院
士）
計画学博士）
○（公共政策学修士）
博士プログラム
×
証明書プログラム
×
○（評価と応用方法学 ○（上級評価証明書）
博士）
フィールディング大 人 材・ 組 織 開 発 大
学院
学院
×
フロリダ州立大学
○（プログラム評価学 ○（プログラム評価学 ○（プログラム評価
修士）
博士）
証明書）
教育大学院
×
×
○（評価と組織開発
証明書）
ジョージメイソン大 教育大学院
学
○（カリキュラムとイ
ンストラクション
修士（査定・評価・
テスト専攻））
×
×
ハワード大学
×
×
○（科学と数学評価
証明書）
教育訓練インス
ティチュート
南イリノイ大学カー 教養学部
ボンデール
○（応用心理学（Non- ○（応用心理学）
terminal）
×
タフツ大学
×
○（プログラム評価）
大学院・専門研究
×
カリフォルニア大学 教育大学院
バークレー校
○（定量手法と評価学 ○（定量手法と評価学
修士）
博士）
×
コネティカット大学
教育大学院
○（教育メジャーメン ○（教育メジャーメン
ト修士、他）
ト博士、他）
×
メリーランド大学
大 学 院（ メ ジ ャ ー ○（リサーチ手法とそ ○（リサーチ手法とそ ○（査定学証明書）
メ ン ト・ 統 計・ 評
の応用修士）
の応用博士）
価学部）
メリーランド大学（ボ 公共政策学大学院
ルチモアカウンティ）
ミネソタ大学
○
（公共政策学修士（評 ○（ 公 共 政 策 学 博 士
価と分析手法専
（評価と分析手法専
攻））
攻））
×
教 育・ 人 材 開 発 学 ○（心理学・教育心理 ○（心理学・教育心理 ○（ 教 育 心 理 学（ プ
部
学（評価学専攻））
学（評価学専攻））
ログラム評価））
ノースキャロライナ 教育大学院
大学（チャペルヒル）
○（教育学修士）
○（教育学博士）
○
テキサス大学オース 教育大学院
チン校）
○（プログラム評価）
×
×
ウィスコンシン大学 人材開発大学院
スタウト校
○
（応用心理学修士（プ
ログラム評価専
攻））
×
×
ユタ州立大学
×
○（ リ サ ー チ・ 評 価・
手法博士）
×
ウェスタンミシガン 教育大学院
大学
○（ 評 価・ 測 定・ リ ○（評価・測定・リサー
サーチデザイン学
チデザイン学博士）
修士）
×
ウェスタンミシガン 評 価 研 究 所（The
大学
Evaluation Center）
×
○（学際的評価学博士） ○
評 価 イ ン ス テ ィ
チ ュ ー ト（The
Evaluation Institute）
×
×
教育大学院
―
20
15
○ （①評価実践、
②応用評価実践、
③定量評価手法）
13
10
（出所）アメリカ評価学会 http://www.eval.org/university_programs.htm
■註
（1） Engle, Molly, and James W. Altschuld. 2004. An update on university-based evaluation
training, The Evaluation Exchange, IX-4
̶ 84 ̶
21 世紀社会デザイン研究 2009 No.8
■参考文献
Chen, H. T. (1990). Theory-driven evaluations. Thousand Oaks, CA: Sage.
Cochran, W.G. & Cox, G.M. (1950). Experimental Designs. NY: John Wiley & Sons, Inc.
Davidson, E.J. (2005). Evaluation Methodology Basics: The Nuts and Bolts of Sound Evaluation.
Thousand Oaks, CA: Sage Publications.
Fetterman, D. M. (1994). Empowerment evaluation’. Evaluation Practice, 15(1), 1-15.
House, R.E. & Howe, K.R. (1999). Values in Evaluation and Social Research. Thousand Oaks,
CA: Sage Publications.
Mark, M.M., Henr y, G.T., & Julnes, G. (2000). Evaluation: An Integrated Framework for
Understanding, Guiding, and Improving Policies and Programs. San Francisco, CA: JosseyBass.
OECD (2002). Glossary of key terms in evaluation and results based management. Paris, France:
Organisation for Economic Co-Operation and Development.
Pawson, R., & Tilley, N. (1997). Realistic evaluation. Thousand Oaks, CA: Sage Publications.
Rossi, P.H., Lipsey, M.W. & Freeman, H.E. (1979). Evaluation: A Systematic Approach 1 st ed.
Thousand Oaks, CA: Sage Publications.
Rossi, P.H., Lipsey, M.W. & Freeman, H.E. (1999). Evaluation: A Systematic Approach 6 th ed.
Thousand Oaks, CA: Sage Publications.
Shadish, R.S., Cook, T.D., and Leviton, C.L. (1991). Foundations of Program Evaluation: Theories
of Practices, Thousand Oaks, CA: Sage Publications.
Scriven, M. (1980). The Logic of Evaluation. Pt. Reyes, CA: Edgepress.
Scriven, M. (1991). Evaluation Thesaurus 4th ed. Thousand Oaks, CA: Sage Publication
Stake, R. E. (1982). The two cultures and the evaluation evolution. Evaluation News, 3, 10-14.
Trochim, W. M. K. (2000). The research methods knowledge base. Cincinnati, OH: Atomic Dog.
Weiss, C. (1998). Evaluation 2nd ed. Upper Saddle River, NJ: Prentice Hall
国際協力銀行（2006）.『円借款事業評価報告書』国際協力銀行
総務省（2002）『第 1 回政策評価会議事要旨』、総務省
http://www.soumu.go.jp/daijinkanbou/020716_1.html
佐々木亮（2003）『政策評価トレーニング・ブック─ 7 つの論争と 7 つの提案』多賀出版
西出順郎（2005）
「行政評価の再構築 ─ 理論着眼型評価思考の確立に向けて─」、
『日本評価研究』、
5（1）: 15-25
三好皓一、源由理子（2001）
「国際協力事業団「評価ガイドライン」の理論的枠組み─ガイドラ
イン作成のプロセスにおける一考察─」、『日本評価研究』、1（2）: 89-100
山谷清志（1997）『政策評価の理論とその展開─政府のアカウンタビリティ（広島修道大学学術
選書）』晃洋書房
山谷清志（2000）「評価の多様性と市民─参加型評価の可能性」、西尾勝編『行政評価の潮流─
参加型評価システムの可能性』、行政管理センター、77-105
̶ 85 ̶