当日配布資料（1.89MB）

音声韻律・脳血流情報を用いた
認知症早期スクリーニングの
支援技術
名古屋工業大学 大学院工学研究科 情報工
学専攻
准教授
May 26-27 / 2011
東海国立３大学新技術説明会
加藤昇平
1
きっかけ
高齢者向けロボット開発・サービス提案の
イフコム社から技術相談
発話者の発話音声からそのメンタルを推定
することは可能か？
我々も同様の技術を研究開発
音声から発話者の感情を推定する技術
技術内容を公開済，学術的評価済み
技術Key： 音声韻律特徴，ベイジアン推定技術
May 26-27 / 2011
東海国立３大学新技術説明会
2
技術シーズ：エモーションエンジン
-感性ロボットの感情制御モデル- 発話音声からの感情推定
人間の発話
自己の
感情遷移
相手の
感情推定
感情要素
の抽出
解析
感情推定
自己の感情遷移
ベイジアンネットワークによる感情推定
こんにちは...
・言語情報
・音声情報
・話者表情
May 26-27 / 2011
表情制御
感情要素付加
文生成
ロボットの表情発話
エモーション・エンジン
ロボットの感情空間と遷移
・喜び
・怒り
・悲しみ
・楽しみ
・喜び
・怒り
・悲しみ
・楽しみ
元気がでるお話
しよう。
悲しそうだなぁ
東海国立３大学新技術説明会
3
音声・言語混合ベイジアンネット感情推定モデル
目的
ロボットに対話者の感情を認識させる
対話者感情を考慮した会話
音声の感情要素
音声韻律特徴
言語の感情要素
発話言語情報
f0s
f0min
time
Bayesian Network
感情推定知識
モデル化
f0max
sex
pmax
emot
ps
pmean
音声
混合感情推論器
Σ
info1
•K2探索アルゴリズム
•BIC評価基準
info2
emot
gram
言語
音声・言語双方が持つ感情要素
総合的な感情推定が可能
May 26-27 / 2011
不特定話者・自由発話音声に対する推定性能
4
東海国立３大学新技術説明会
高齢者福祉へ利用できないか？
認知症早期発見・診断支援への応用を共同検討
背景： 認知症をとりまく問題点
国内の認知症者数の予測
500万人
認知症の早期診断
の重要性
450万人
400万人
300万人
200万人
200万人
100万人
［粟田ら2008： 厚生労働科学研究報告書］より
2008年
2035年
厚生労働省「認知症の医療と生活の質を高める緊急
プロジェクト」
今後の認知症対策： 認知症の早期診断の重要性
May 26-27 / 2011
東海国立３大学新技術説明会
5
認知症早期診断の現状
医療機関で実施
医師等の経験判断、かつ、手間がかかる
現在の認知症スクリーニングツール
・改定長谷川式簡易評価スケール（HDS-R）
・MMSE
10分程度の認知機能検査
・質問式
一定のトレーニングが必要
より広域にスクリーニングが可能
科学的かつ簡便さが
さらに進めば
認知症の早期診断
・医師
・臨床心理士
知能・学習・統計数理・IT技術で何とかならないか？
高齢者の発話音声データから認知症患者の特徴を取り出すこ
とは可能？
血圧や体温を計るように手軽にチェックできたら…（夢の技術）
May 26-27 / 2011
東海国立３大学新技術説明会
6
従来技術 v.s. 提案技術
音声特徴を用いたアルツハイマー型認知症の補助的診断ツール
May 26-27 / 2011
東海国立３大学新技術説明会
7
認知症スクリーニングシステム
認知症診断補助ソフトウェア
認知症をスクリーニングする機能
音声韻律特徴を指標
データベース機能
非侵襲 で 簡易な
認知症スクリーニング
音声と認知症診断の臨床データを
蓄積・管理
認知症スクリーニングシステム
臨床データベース
韻律特徴データ
音声データ
音声韻律特徴抽出
学習
May 26-27 / 2011
音声韻律特徴を指標
認知症スクリーニング機能
音声
＋
認知症診断結果
東海国立３大学新技術説明会
推定結果
音声と認知症診断の
臨床データを蓄積・管理
8
GBNを用いた認知症推定システム（試作）
推定エンジン：ベイジアンネットワーク
データマイニング，学習型
Nの増加により
信頼性が向上
未知の音声データの
認知症を自動的に推定
既知の診断結果を用いてGBNが学習
May 26-27 / 2011
東海国立３大学新技術説明会
9
高齢者音声とHDS-Rを用いた実験
データ採取
臨床データ： 84名 （64~89歳男女）
健常（NL）：24名，軽度認知機能障害（MCI）：31名，認知症（AD）：29名
施設入居高齢者とその家族： 115名 （38~99歳，男性32名，女性83名）
健常（NL）：75名， 認知機能障害（CI）：40名
音声特徴 ９８属性
スペクトルとピッチ関連: 13
フォルマント関連: 61
発話速度と反応時間: 2
短時間パワー関連: 22
音声韻律に基づく認知機能障害度評定
SPCIRスコア: Speech Prosody-based Cognitive Impairment
Rating
相関分析：
HDS-R（長谷川式スコア）との相関性
重回帰分析
主成分分析
ステップワイズ変数選択
May 26-27 / 2011
東海国立３大学新技術説明会
10
SPCIR：音声韻律に基づく認知機能障害度評定
HDS-Rスコアとの間に
高い相関を確認
SPCIR
R
0.73
（相関係数）
2
R
0.57
S.E.
3.75
（補正済み決定係数）
（標準誤差）
相関係数Rの絶対値|R|
1.0≧|R|≧0.7：高い相関がある
0.7≧|R|≧0.5：かなり高い相関がある
0.5≧|R|≧0.4：中程度の相関がある
0.4≧|R|≧0.3：ある程度の相関がある
0.3≧|R|≧0.2：弱い相関がある
0.2≧|R|≧0.0：ほとんど相関がない
出典：「社会調査の基礎」放送大学テキスト
May 26-27 / 2011
東海国立３大学新技術説明会
11
音声韻律特徴
以下の音声韻律９８特徴から選択・合成
周波数に関する１３特徴量
フォルマントに関する６１特徴量
短時間パワーに関する２２特徴量
時間に関する２特徴量
May 26-27 / 2011
東海国立３大学新技術説明会
12
SPCIRを用いた認知症スクリーニング実験
NL/MCI/ADに対する２群判別推定
SPCIRを用いた認知症スクリーニングの試作
音声
推定モデル：Tree-augmented Naïve Bayes （TAN）
音声韻律 98 特徴
13 特徴
[Hz]
Spectrum
[dB]
time
22 特徴
61 特徴
Intensity
[Hz]
formant
time
ステップワイズ変数選択に
より選択された 31 特徴
2 特徴
Response Time
time
モデル構築
クラシファイア（２分類）
Tree Augmented Naive Bayes （TAN）
推定
NL or MCI
May 26-27 / 2011
東海国立３大学新技術説明会
MCI or AD
NL or AD
13
実験結果（判別対象：NL / MCI）
•TANによる変数選択
T1
For48
•7特徴量(選択基準：感度と特異度の平均) For34
•構造学習方法：TAN
推定値
診断
NL
MCI
17
67データ
MCI
17
49
66データ
74.24
74.63
May 26-27 / 2011
For16
Pow4
推定モデル
50
特異度
（％）
Pow18
0 or 0.5
NL
感度
（％）
For19
For16:第三フォルマント周波数の最大値
For19:第二フォルマント周波数の最小値
For34:第一フォルマント帯域幅の標準偏差
For48:第三フォルマント帯域幅の最小値
Pow4:発話開始直後0.015秒間のパワー値の
微分係数の中央値
Pow18:短時間パワーの最大値
T1:採取された返答音声の合計時間
陽性推定
陰性推定
陽性尤度比 陰性尤度比
的中率（％） 的中率（％）
74.24
74.63
東海国立３大学新技術説明会
0.3418
2.8973
14
実験結果（判別対象：NL / AD）
Pow6
•TANによる変数選択
For19
•5特徴量(選択基準：感度と特異度の平均)
For7
For58
•構造学習方法：TAN
推定値
診断
NL
0 or 1
AD
推定モデル
NL
46
21
67データ
AD
15
40
55データ
感度
（％）
特異度
（％）
陽性推定
的中率（％）
72.73
68.66
65.57
May 26-27 / 2011
Pow8
For7：第二フォルマント周波数の標準偏差
For19：第二フォルマント周波数の最小値
For58：第一フォルマント帯域幅の
線形近似直線の傾き
Pow6：発話開始直後0.025秒間の
パワー値の微分係数の中央値
Pow8：発話開始直後0.035秒間の
パワー値の微分係数の中央値
陰性推定
陽性尤度比 陰性尤度比
的中率（％）
75.41
東海国立３大学新技術説明会
0.4310
2.5174
15
脳血流測定を取り入れた新展開
認知・認識・思考活動時の脳機能情報
fNIRS： 脳機能イメージング測定装置
fNIRS（機能的近赤外線分光法）によ
る脳機能計測技術
認知症患者と健常者の脳機能計測
回想課題において顕著な相違を確認
統計値（ｔ値）
GLM
a：5秒
［S社製品紹介Webサイト］より
May 26-27 / 2011
東海国立３大学新技術説明会
16
認知症スクリーニングシステム
認知症診断補助ソフトウェア
認知症をスクリーニングする機能
音声韻律特徴およびfNIRS脳機能計測
データを指標
データベース機能
非侵襲 で 簡易な
認知症スクリーニング
音声・fNIRSデータと認知症診断の臨床
データを蓄積・管理
認知症スクリーニングシステム
韻律特徴データ
音声データ
音声韻律特徴抽出
臨床データベース
脳機能特徴データ
fNIRSデータ
May 26-27 / 2011
脳機能特徴抽出
音声韻律特徴を指標
認知症スクリーニング機能
学習
音声，fNIRS
＋
認知症診断結果
東海国立３大学新技術説明会
推定結果
音声・fNIRSと認知症診断の
臨床データを蓄積・管理
17
用途・波及効果
ごく簡易な認知症スクリーニングシステム
誰でも，定期的に，安心して，認知
症スクリーニング検査を受けること
が可能
認知症の疑いを早期に発見し，専
門医への受診誘導を促す仕組みの
実現
地域ネットワークづくり（専門医, か
かりつけ医, 地域包括支援センター
の連携）を強化する中核的コンテン
ツの提供
May 26-27 / 2011
東海国立３大学新技術説明会
18
用途・波及効果
想定される市場・業界
利用者・対象
認知症サポート医
かかりつけ医の教育研修を担当：871名（H17-20実績）
地域のかかりつけ医・クリニック
認知症に関する研修を受講するかかりつけ医（受講者数：約7000名/年）
市場規模（ターゲット）
一般診療所： 約10万ヶ所
65歳以上の定期検診/
認知症スクリーニングを提案
年齢65～74歳人口：
約１，５００万人
認知症発症（75歳）まで
5～10年の期間から
May 26-27 / 2011
東海国立３大学新技術説明会
19
将来の展望
医師の日常の診療時間を阻害しない認知症スクリーニングシステム
認知症の早期発見が、かかりつけ医によって、きわめて容易に実現可能
かかりつけ医への応用サービス
地域高齢者医療ネットワーク
言葉の意味ではなく
韻律の特徴を分析する
認知症スクリーニング
（
一次：音声 二次： NIRS
）
May 26-27 / 2011
日常会話でOK
わずかな時間でOK
東海国立３大学新技術説明会
20
産学連携プロジェクト
2002-2004年
（株）ビジネスデザイン研究所，ブラザー工業（株）など数社
感性会話ロボットifbotの開発
グッドデザイン賞受賞・高齢者向け癒しロボットの開発・商品化・愛知万博 他
多数イベント出展
2004年 NEDO 経済産業省大学発事業創出実用化研究開発事業 採択
独居高齢者の安否確認ロボットの開発
2007年-現在
（株）イフコム
高齢者音声を用いた福祉サービスロボットに関する研究
2008年-現在
（株）イフコム，認知症介護研究・研修東京センター
音声モニタリングによる認知症の危険度推定システム
2009年-現在
（株）島津製作所，国立長寿医療研究センター
脳血流（fNIRS）計測による認知症の早期発見システム
2009-2010年
JST先端計測分析技術・機器開発事業 採択
認知症の早期スクリーニングのための計測分析システムに関する調査研究
この他に過去多数の産学連携共同研究の実績
May 26-27 / 2011
東海国立３大学新技術説明会
21
本技術に関する知的財産権
発明の名称： 認知機能障害危険度算出装置，
認知機能障害危険度算出システ
ム，及びプログラム
出願番号： 特願2010-134403
出願人：
名古屋工業大学，イフコム，
本間 昭（認知症専門医）
発明者：
加藤昇平，小林朗子，小島敏昭
伊藤英則，本間 昭
May 26-27 / 2011
東海国立３大学新技術説明会
22
本技術の特徴
本技術の特徴
音響・生体信号解析技術
さまざまな信号系列，テキスト文字情報等に応用可能
データマイニング技術
分析・判別したいデータを相当数用意すれば，目的に応じ
て自動分類モデルを構築
企業・パートナーへの期待
測定装置（ハード）の提供・開発
入出力インターフェース（ユーザビリティ）の共同開
発
データの提供・測定協力
May 26-27 / 2011
東海国立３大学新技術説明会
23
お問合せ先
名古屋工業大学大学院
工学研究科 情報工学専攻 加藤昇平
TEL： 052-735-5625
FAX： 同上
Email： [email protected]
URL: http://www-katolab.ics.nitech.ac.jp
産学官連携コーディネーター 山本 豊
TEL： 052-735-5787
FAX： 052-735-5542
Email： [email protected]
May 26-27 / 2011
東海国立３大学新技術説明会
24