精神保健福祉領域における プログラム評価

研究セミナー「プログラム評価の動向と課題（１）」
精神保健福祉領域における
プログラム評価
日本社会事業大学社会福祉学部
精神保健福祉学分野 大 島 巌
１. 保健・医療領域におけるプログラム
評価の位置と近年の新しい発展
z
1920年前後より公衆衛生分野を中心にプログ
ラム評価が発展
z
教育学領域とともに、保健・医療領域における
評価研究は、プログラム評価の礎になる
z
1990年代以降、科学的根拠に基づく医療
(Evidence-Based Medicine; EBM)が注目される
1
(山谷清志､1997)
１. 保健・医療領域におけるプログラム
評価の位置と近年の新しい発展(2)
z
EBMとともに、
z 心理・社会的介入プログラムを、科学的に社会シ
ステムに位置づけようとする、科学的根拠に基づく
実践(Evidence-Based Practices; EBP)
z 治療法や治療システムに関する、科学的で適切な
意思決定を行うことを目指した科学的根拠に基づ
く保健医療ケア（Evidence-Based Healthcare;
EBHC）などに対して、多くの関心が向けられる
z
プログラム評価方法論の活用とその方法論の発展
2
２. EBMと精神保健福祉サービス
ＥＢＭとは
z
直感やあやふやな経験に基づく医療ではなく、科学
的に明確なエビデンス（証拠）に基いて最適な医療や
治療法を選択し実践するための方法論、あるいは行
動指針
z
各種疾患に対する、さまざまな治療法・介入方法の
効果を、メタ分析を用いたシステマティック・レビュー
(SR)によって明確化することを重視する
z
ランダム化比較試験(RCT)によって明らかにされた効
能研究efficacy researchの結果が、レベルの高いエ
ビデンスとして尊重される
２. EBMと精神保健福祉サービス
ＥＢＭの歴史
z
1991年 カナダのマクマスター大学のGuyattが初め
てEBMの用語を使用
z
同大EBMワーキンググループがEBM概念を発展
z
1992年 コクラン共同計画(The Cochrane Collaboration;
CC)によるシステマティック・レビュー（SR）
z
1990年代中頃以降、世界的な医療の新たなパラダイ
ムになる
z
1990年代中頃以降、EBMに基づく治療ガイドラインが
相次いで、数多く公表される
3
図　Evidence-Based Practices関連論文(ﾀｲﾄﾙに使用)の
年次別出現頻度(Medline)
論文件数
250
200
150
100
50
0
1992
1993
1994
1995
1996
Evidence-Based Practices
1997
1998
1999
2000
2001
2002
2003
Evidence-Based Medicine
２. EBMと精神保健福祉サービス
プログラム評価の視点からみたEBM
z
z
z
z
z
EBMで重視される臨床試験自体は、直接的には、プログラム評価
に分類されない
一方、ケアマネジメントや家族介入プログラムなどの心理社会的
介入プログラムは、プログラムの有効性を科学的に明らかにする
ために、プログラム評価の手法が活用される
精神保健福祉領域では、薬物療法などの身体療法のみならず心
理社会的介入プログラム(EBP)が身体療法と同等の効果を示す
EBPプログラムを臨床・実践現場で実施していくためには、臨床・
実践現場という社会システムの中にそのプログラムを位置づける
こと、最終的には社会政策的な位置づけが不可欠になる
科学的根拠に基づく実践（Evidence-Based Practices; EBP）プログラム
4
3. 心理社会的介入プログラム普及研究とプログラム評価
科学的根拠に基づく実践プログラム(EBP)とは
z
利用者の援助効果を向上させる一貫した科学的証拠
のある援助プログラムのこと
z
これらのプログラムは、有効性に関する十分な証拠と
合意がありながら、実践に移せなかったり、プログラム
基準を満たさない不十分な実践しか行えていない
z
利用者の自立や生活の質の向上を実現するために、
利用者はEBPを活用する権利があり、限られた資源の
中でEBPを優先的に提供する必要がある(Drakeら、
2001を整理・改編）
図１　家族支援プログラム研究による再発率(９ヶ月後予後)
11
ゴールドスタインら(1978)
29
9
レフら(1982)
家族支援
コントロール
50
6
ファルーンら(1982)
44
10
ハガティら(1986)
29
12
タリアら(1988)
48
0
20
40
％
60
5
家族支援プログラムの有効性
●メタ分析の結果：
条件に合致した６研究（n=350人)の再発率低減に
関するOdds比(信頼区間)：
介入６ヶ月
0.30(0.06-0.71)
介入９ヶ月
0.22(0.10-0.37)
介入２年
0.17(0.10-0.35)
●再発率以外の効果：
家族のExpressed Emotion(ＥＥ)を改善する効果
家族の負担を低減する効果
障害者本人の社会機能が向上する効果など
ケースマネジメント(ACT､ICM)のRCT研究（n=25)
結果(研究数)
研究数① 改善②
件
不変
件
改善率
悪化
件
(②/①)
件
％
入院期間
23
14
8
1
60.9
住居定着期間
12
9
2
1
75.0
刑務所/留置所
10
2
7
1
20.0
コンプライアンス
4
2
2
0
50.0
精神症状
16
8
8
0
50.0
薬物乱用
6
1
5
0
16.7
社会適応度
14
3
11
0
21.4
職業機能
8
3
5
0
37.5
QOL
13
7
6
0
53.8
患者満足度
7
6
1
0
85.7
家族満足度
4
2
2
0
50.0
Mueser et al(1998)
6
ＩＰＳ援助付き雇用のRCT研究(n=12)に
おける一般就労率の比較
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%
96
NH
(IPS)
94
NY
(SE)
04 CA 04 IL 04 CT 04
99 DC 95 IN
(IPS) (IPS)
(IPS)
SC
(IPS)
(SE)
(IPS)
Supported Employment
Control
00
NY
(SE)
04 QUE 97 CA
(IPS)
(SE)
02
MD
(IPS)
Control 2
表　治療･援助プログラムのガイドライン(勧告)の実施率
アメリカ統合失調症PORT研究､1998､n=719
ガイドライン(勧告)
入院
通院
％
％
急性期向精神薬の使用
89.2
-
維持的向精神薬の使用
-
92.3
家族介入､家族心理教育
31.6
9.6
職業リハビリテーション
30.4
22.5
ACＴ､積極的ケースマネジメント
8.6
10.1
7
EBPツールキットプロジェクト
• 包括型ケアマネジメント(Assertive Community
•
•
•
•
•
Treatment: ACT)
家族心理教育（Family Psychoeducation: FPE）
援助付き雇用プログラム（Supported Employment）
疾病管理とリカバリープログラム（Illness
Management and Recovery: IMR）
統合的重複障害治療（Integrated Dual Disorders
Treatment: IDDT）
薬物管理アプローチ（Medication Management
Approaches in Psychiatry: MedMAP）
※アメリカ連邦保健省薬物依存精神保健サービス部(SAHMSA) 精神
保健サービスセンターとの委託契約とRobert Wood Johnson
Foundationの補助金によって実施されている
EBP ツールキットの目次構成
z利用者ガイド
z情報提供
利用者に／家族と他の支援者に
実践家と臨床指導者に
精神保健プログラムのリーダーに
z実施方法
精神保健プログラムリーダーの工夫
精神保健行政担当者の工夫
文化的な適用
フィデリティ評価法・尺度
利用者のアウトカムモニタリング法・尺度
z実践家と臨床指導者のためのワークブック
zビデオ
紹介ビデオ／実践紹介ビデオ
8
EBMとEBPの実施プロセスの違い
z EBM
①問題の定式化
②科学的なエビデンスの収集【Systematic Review; SR】
③エビデンスを批判的に吟味して信憑性を確認【SR】
④エビデンスの使用可能性を判断して患者に適用【治療ガイドライン】
z EBP
①問題の定式化
②科学的なエビデンスの収集【SR】
③エビデンスを批判的に吟味して信憑性を確認、
個別状況に応じた効果的なプログラムモデルを確認【SR】
④EBPの実施技法、実施体制を整備【援助プログラムのシステム化】
⑤EBPの使用可能性を判断して利用者に適用【援助システム・普及シス
テムを含むガイドライン】
アメリカ連邦政府EBPプロジェクトの歴史
1989 脳の10年 (国立精神保健研究所)
統合失調症研究国家プラン
1991 国立精神保健研究所・サービス改善のための国家研究計画
1992 統合失調症 PORT (Patient Outcomes Research Team)プロジェクト開始
1995 PORT報告書 No. 1: EBPに関する文献研究のまとめと政策提言
1997 アメリカ精神医学会､統合失調症治療ガイドライン
1998 PORT報告書 No. 2: 治療･介入の勧告と勧告実施状況に関する利用者調査
1999 精神保健に関する公衆衛生長官レポート
連邦 EBPツールキット・プロジェクトのスタート
2002 国立精研、全州精神保健プログラム責任者全国協会(NASMHPD)、専門学会
など各種機関・団体がEBPの全国集会、シンポジウムを開催する
2003 PORT勧告改訂版
精神保健に関する大統領ニューフリーダム委員会報告
2006 EBPツールキットの完成
9
統合失調症PORT治療推奨の構成
z 30項目からなる
z 構成：
薬物療法：急性期症状エピソードの治療(7項目)
z 薬物療法：維持的薬物療法(5項目)
z 薬物療法：新しい抗精神病薬治療(4項目)
z 薬物療法：付加的薬物療法(2項目)
z 電気痙攣療法(3項目)
z 心理的治療(2項目)
z 家族介入(3項目)
z
職業リハビリテーション(2項目)
z ケースマネジメント･ACT(2項目)
z
統合失調症PORTの特徴
z
連邦政府の支援を受けて実施されたプロジェクト
z
EBPを効果的に日常実践に取り入れることを目的
z
効能的Efficaciousなプログラムを、効果的Effectiveな
実践にするための方法を検討する目的を持つ
z
EBPを実施するためのサービスシステムを重視
z
EBPに関わる様々な利害関係者(stakeholders)たちの
関心に配慮して、多様で幅広い効果に注目
z
アドボカシーAdvocacyや品質保証Quality Assuarance
の目的でも使用可能
10
EBPに基づくサービス研究／普及研究の
方向性(1)：４レベルの研究(Rosenheck, 2001)
z
efficacy research（効能研究）
z
effectiveness research（効果研究）
z
effectiveness studies（有効性研究）
z
dissemination process research
（普及プロセス研究）
EBPに基づくサービス研究／普及研究の
方向性(2)：サービス普及研究の研究領域
z 効果的プログラムモデル構築に関する実証研究の進展
z 効果的な援助要素(critical ingredients)の抽出
z 効果のある援助対象者の明確化
z 実施可能な援助プロセスの解明
z 普及のためのプログラムモデルの構築
→フィデリティ尺度の構築
z 行政組織に関する研究、医療経済研究･財政分析
z サービス組織のスタッフ･指導者の知識･技能･教育に関
する研究
z 組織過程に関する研究
z 合意形成に関する関係者の意識に関する研究
11
フィデリティ評価(Fidelity assessment)とは
z 特定のプログラムが、科学的根拠に基づく実践
（EBP）の基準に従っている程度の評価
z プロセス評価の一部であり、効果的なプログラムモデ
ルへの適合度・忠実度(fidelity)を評価する
z 効果的で、質の高い援助要素を同定して作成される
フィデリティ評価とは（２）
z EBPモデルに忠実に実施されたプログラムは、より良
いアウトカムをもたらすために重要と考えられる
z サービスの質のモニタリングや、プログラムモデルを
発展・改善させるために使用される
z 評価尺度としての社会的認知は、1995年前後に包括
型ケアマネジメント（ACT)に対するフィデリティ評価で、
その有効性を明らかにしてから
z 今日では、プログラム評価における必須の用具と認
識される【ツールキットの主要用具】
12
フィデリティ評価の進展を阻害する要因
z十分に定義されたプログラムモデルの欠如
もっとも主要な要因は、十分に定義されたプログラムモデル
に欠けること。ACT、SE、FPE、SSTを除いて、適切な援助法マ
ニュアル(treatment manual)さえ存在しない
⇒EBPツールキットプロジェクト(1999-)
z精神科リハビリテーションの複雑さ
zフィデリティ評価にとって大きなチャレンジ
zプログラムの構造的側面(スタッフ配置など)とともに、プ
ログラムの援助機能もモデル化する必要性
代表的なフィデリティ尺度：DACTS
(Dartmouth Assertive Community Treatment Scale）
z
ACTモデルfidelity評価する尺度として、Teagueら(1998)によっ
て開発され、国際的に幅広く使用される
z
3領域「スタッフの配置」「組織」「サービスの特徴」 28項目から
なる、５段階評価尺度
z
プログラムと関わりを持たない評価者が、以下に挙げる様々な
情報源から情報を入手し、それを総合して評価
z
情報源：同行訪問面接などで援助場面の観察やミーティングの
観察、チームリーダーやケースマネジャー、利用者への面接、
記録の確認
13
項目の例
z 毎日行われるチームミーティング：
ACTチームは少なくとも週4回の
チームミーティングを持つ
14
モデル実践度尺度(Fidelity Scales)と入院日数減少の関連
実践度尺度、下位項目
r
全実践度
0.60
スタッフサブスケール
0.54
クライエント・スタッフ比
0.19
チームサイズ
0.35
精神科医がチームにいる
0.28
看護師がチームにいる
0.49
組織サブスケール
0.56
ケースロードの分担
0.65
チーム会議を毎日実施
0.49
ケースマネジャーが直接サービス提供
0.46
24時間対応サービス
0.55
サービスサブスケール
0.33
訪問サービスの回数
0.31
全接触回数
0.59
注：n=18 地域精神保健センター(McGrew et al 1994)
最も重要な予測因子
z チームに看護師がいること
z ケースロードの共有
z 毎日行われるチームミーティング
z チームリーダーが利用者に会うこと
z 合計コンタクト回数
(McGrew, Bond, Dietzen & Salyers, 1994)
15
弁別妥当性の結果（ACTチームは他のケースマネジメ
ントと異なる(Teague, Bond, & Drake, 1998)）
プログラム
の種類
サイトの数
ACTフィデリティ
ACT
14
4.01
VA病院 ICM
10
3.52
ホームレスCM
15
3.42
従来のCM
11
2.38
5 = 最高のフィデリティ….1 = 最低のフィデリティ
予測妥当性の結果(McHugoら、1999)
z
精神疾患と物質関連障害をもち、７つの地
域精神保健センターでＡＣＴを利用するクラ
イアエントが対象者
z
４つの高フィデリティＡＣＴチーム (n = 61)
z
３つの低フィデリティＡＣＴチーム (n = 26)
z
厳密な３年間のフォローアップ研究
16
予測妥当性の結果
高フィデリティ 低フィデリティ
ＡＣＴ
ＡＣＴ
支援からのドロップアウト
15%
30%
物質利用の軽減
58%
13%
入院（回数）
2.87
4.69
(McHugoら、1999)
なぜフィデリティ尺度を使うのか？
z
活動の実施状況を明らかにし、援助の質を
向上させる
z
新たなプログラム実施を追求する現場へ、
具体的なフィードバックを提供する
z
行政機関に対して、プロジェクト目標の達成
状況の情報を提供する
z
情報を公共のために公開する
17
４. 課題と展望：
プログラム評価論の発展への示唆
z
効能研究efficacy researchから、効果研究effectiveness
research、有用性研究effectiveness studies、普及プロセス
研究dissemination process researchの位置づけ、役割分担
の明確化
z
効果的で、実施可能なプログラムモデル構築の必要性
z
フィデリティ評価の重要性、アウトカムと結びつけたプロ
セス評価の必要性
z
実施･普及ツールキットの意義
４. 課題と展望：
プログラム評価論の課題
z
サービス普及研究の観点から、効果的な援助要素に
関するより詳細な分析が必要。特に、サービス機能に
関する援助要素の検討はこんごの課題
z
実施・普及ツールキットをより優れたものにして行くため
に、その内容をプログラム理論（プロセス理論）の観点
からより詳細に検討することが必要
z
サービス普及研究の位置づけと、その方法論の発展
z
サービスの質評価・モニタリングに、アウトカムの視点
をより十分に導入することが必要。フィデリティ評価の
活用
18