Comments
Description
Transcript
「音声感情・心理認識の応用」 心を定量計測する技術
「音声感情・心理認識の応用」 心を定量計測する技術 the University of Tokyo, 工学部＋医学部 株式会社AGI ＋ PST株式会社 Ph D. Shunji Mitsuyoshi, 博士（工学）光吉俊二 16.10.2012 www.agi-web.co.jp ST/PSTとは • ST = Sensibility Technology • PST= Psychoanalysis System Technology 感情が見える技術 = ST 音声から感情がわかる 複雑な感情も簡単に見える 発話と同時に色と量で感情を瞬間計測（９感情） 色（状態比率）と度合い（量）で感情を表示します ST Emotion SDK 心や脳を知る技術 = PST 状態を知る 生理を知る 心を知る サポートする 改善する （NEC 言花） 「心の体温計」ストレス・疲労などの定量計測 脳神経・伝達物質の様相を声から解析 うつ状態・そう状態/統合失調など 障害者への認知機能の補完 認知行動療法への応用 PST Mind analyzer 2 特許取得済み 一般人は、現実的にデバイスを日常的に装着することはない ＝ ウェアラブルの限界 ＝ 腕時計はブランドとデザインのみ優先 携帯電話以外に面倒な装備を追加することなく、日常的に心の状態を計測する ＝ 携帯電話そのもので ＝ 人を幸せにしたい ● ● ● ● 簡単に、 マイク一つで ＜携帯電話マイクでも＞ だれでも、 年齢・性別・国籍に関係なく ストレス、抑うつ、感情、心理が脳活動から 科学として、リアルタイム計測（主観＋脳計測＋血液検査＋医師で確認済み） 3 特許取得済み ST・PSTのこれまでの歩み 2001年「ezバーチャルトーク」KDDI 2003年「アンドロイドSAYA」東京理科大学 2005年「感性生命体んとと君」NTT研究所 2009年「感性コールセンタ」NTTソルコ 2010年「意識空間」三井住友建設 2011年防衛省・防衛医科大学校 「東日本大震災支援」 Stanford 感情が 見える 感情が測れる ＳＴ原理発表 脳と感情の 相関検証実施 ＜2001年 STエンジン発表＞ ＜2004年 STエンジンVer2発表＞ エイジーアイ時代 ▲ 2000 ▲ 2001 ▲ 2002 大手コールセン ターにて行動予測 実験実施 DSR 臨床心理士と うつ検知の検証実施 ＜2008年 STエンジンVer3発表＞ 日本SGIの子会社＜NEC孫会社＞時代 （AGI） ▲ 2003 ▲ 2004 ▲ 2005 ▲ 2006 ▲ 2007 ▲ 2008 AGI時代 ▲ 2009 ▲ 2010 ▲ 2011 ▲ 2012 ★東日本震災で 自衛隊ストレス 検知として採用 携帯電話 先進国正式採用世界初 ST 音声 Server STコールセンタ 導入実績：会話サービスでの利用＜2000年～2004年＞ 学生 ST Learning Server ST Learning（ver.1.0） 英会話教材の改善 日本大学 バーチャルロボット「んとと」 NTTサイバーソリューション研究所 感情を捉える新インタフェースの模索 ST 受付システム「接遇」 （ver.1.0，2.0） 音声認識と感情認識によるエージェント 携帯電話 ST 音声Server 「EZバーチャルトーク」ＫＤＤＩ 「スタープライベートトーク」 （ver.1.0） 仮想キャラクター，著名人との会話コンテンツ・サービス 5 導入実績：コミュニケーション支援端末＜2005年＞ With NECデザイン the feeling communicator • 気持ちを光で表現する 「言花（KOTOHANA）ＮＥＣ」を 「CeBIT2006」に出展 ■会期・会場 ・2006年3月9日（木）～15日（水）７日間 ・ドイツ・ハノーバー国際見本市会場 ・出展社数：6,270社， ビジター数：48万人 （いずれも2005 年実績） 応用例： ビデオ会議システム＋言花 6 ST system “KOTOHANA” 7 By NEC + Nihon TV (2006) What is emotion? 感情ってなんだろう？ 感じる情（情動）？ 主観や感覚値である感情 これを 「感じる」主観や「情動」の感覚として、定量的に計測するには？ 主観と生理反応から見える感情について説明します 8 感情・心理規格化のアウトライン 1. 感情表現の調査更新 2. 感情項目の確定 （同義語・同意語の収束） 3. 感情項目の生理反応調査、マトリックス更新 （心的身体的作用と生体物質の関係 マトリックス） 4. 感情項目の関係メカニズム更新 5. 感情項目の規格化 → 感情って幾つあるの？ 感情項目 生理とどう関係あるの？→ → どういう内容属性？ 感情マトリックス どういう構造しているの？→ 感情メカニズム 感情の工業規格化へ 感情辞書 Emotional RGBY 緑 「いったい、 感情っていくつあるの？」 辞書・心理学書などから 4500語の感情単語 をピックアップする ことから、始めた 生理指標との 比較から ４つの色 ２２３ジャンルの グループ 感情ラベリング にわけた を行い 黄色 赤 青 10 By 光吉 (1999~2006) 223Emotional label ４５００個の感情に関する表現を、同類のものをまとめ以下の２２３の項目に分類した。 心理学辞典・広辞苑・日本語大辞典・Oxford English Dictionary 11 臨床精神分析学辞典などから、ピックアップ By 光吉 (1999~2006) 生体物質 脳内物質 情動反応・身体反応と物質の関係調査 興奮 ストレス 不安 CRH 覚醒 ○ACTH○ ◎ 神経ペプチド 沈静 ○CRH ◎ ○× 嫌悪 闘争 ◎ ○ パゾプレシン ○恒常性 ◎ ○ ◎× CCK-4 前◎ CCK-8 全◎前× メラトニン オピオイドペプチド ○ ◎強 安定 陶酔 ◎ ○ ◎強 ◎ 交感神経 発汗 体温 活性 ○ 血圧 周期 ◎ 日周 ◎ 日周 NA× 快感 ○ × ○ CRH◎△ ◎ CRH◎ CRH◎ ガラニン CRH◎ ソトマスタチン CRH× αーMSH CRH× GABA CRH× × 日周季節 ◎ ◎ ◎ ◎ J◎ ◎ ◎× 低◎ ◎ ◎ 低◎ ◎ ◎ 拡大 ◎ 拡大 緊張記憶 緊張 記憶 ◎ × × NA× NA× ◎ ジアゼパム NA× NA× エタノール NA× NA× ○ エンケファミン βカルボリン ○◎ イソプレナリン ◎ ヨヒンビン ◎ フェンフラミン ◎ 乳酸ナトリウム 目的：脳の活動と伝達物質・ホルモンから導かれる情動の発生メカニズムの推定 ◎強 覚醒 ◎強 ◎ ガラニン オキトシン 感情や精神状態（横軸）、および身体反応（縦軸）に影響するという確認が学会 誌や論文などの治験にある、生体物質やホルモンなどを調べ、対批表マトリックスにした。 ◎ CO２ ×？ × × ×？ FMRFアミド × ◎？ テストロステン × ◎強 アンドロゲン × ◎ エストロゲン × × プロゲステロン コチコイド ○は合成/分泌，○×は分泌して抑制，◎は促進，CRH ◎はCRH 合成・ 分泌促進，前◎は前頭葉皮質で促進，全◎は脳全体 で促進，前×は前頭葉皮質で抑制，低◎は低下したら促進，×は抑制， ○恒常は分泌により恒常性を維持，CRH ×は，CRH 合成・分泌抑制，◎×で制御，△は調整，NK はナチュラルキラー細胞， 活性は免疫機能の活性，機能は免疫機能，日周はバイオリズム， ?は報告情報，- は文献[9] に記載なし 表を見てわかるように- が多く，心と感情と分泌物質の関係では不明な部分が多い．CCK 系統と5-HT, GABA, DA は複 雑にお互い影響しあって情動に作用するようである．また，性ホルモンは闘争と深く結びついているようである．これらの分泌 物や物質は脳神経活動に制御され，大脳辺縁系と情動と記憶は密接に連携している × ○ 活性 NK活性 運動快感 ◎ ◎ CRH◎ 忘却機能 ◎ CRH◎△ アンジオテシン カフェイン 免疫 ○ 幸福 NA× セロトニン ベンゾジアゼピン ○ 瞳孔 × CRH◎ アドレナリン 心拍 ◎ CRH× ◎ 期待 ○ 沈静 アセコルリン ドーパミン 快不快 ◎ ○× βエンドルフィン ノルアドレナリン うつ NA× コルチゾール ACTH 恐怖 表１：心的身体的作用と生体物質の関係マトリックス 母性行動 感情モデルの推定 i. 目的： 生理・臨床系の論文を調べ、感 情反応と脳の関係から情動や 行動のメカニズムを再現する i. 作業： 心的身体的作用と生体物質の 関係マトリックス(表１)から脳の 構造、伝達物質を対比軸にし て「目的」の構造化を行う i. モデル化： 「作業」から同じ物質や脳機能 から来る効果を対角線上に配 置して、円形のダイアグラムに 置き換えた 13 仮説図（博士論文・日本機械学会編集「感覚・感情とロボット」より） ２２３感情の色彩グルーピング iv. v. vi. vii. viii. ix. x. 「モデル」から作られた感 情地図を5色にまとめる 中心は生存・増殖からくる 原始的な情動反応とする 外郭が行動 外側から中心へ向けて情 動分析が可能になる 中心から外側へ向けて行 動分析・予測が可能になる 興奮（脳の情動賦活）や驚 きは別の立体軸になり、壊 乱（不安情動）は立体の様 相変化から求める 各円周が回転することで 個人特性を吸収すること が出来るようにしてあり、 臨床家が精神分析との比 較確認を想定し、中心に 行くほど病気の影響 黄色い感情 緑の感情 青い 感情 青い 感情 赤い感情 仮説図（博士論文・日本機械学会編集「感覚・感情 ロボット」より） 14 興奮（賦活）・不安情動（壊乱） 興奮（賦活＋） 感情のメカニズム先行研究 賦活・壊乱 １８感情 （快不快情動を含む中心 部の色彩グループ） 興奮と不安情動 のあり方 興奮（賦活0） この様相の状態から 不安情動（壊乱）が生まれる 仮説図（光吉博士論文より） 感情の規格化 この感情地図を英訳することは、対応する単語の不足 （日本語の心境単語４５００語に対して英語２２３語程 度）からきわめて困難 ①快活 ④平静 ③ 落ち 込み みんなで世界中の技術者が自由 にemotionを扱えるようにしよう！ ②主張・不快 Regulation 感情のMIL規格 STE 工業規格番号化 2nd circle 3rd circle ① STY <P> -L -L ② STR <N>-D -Ag ③ STB <N>-U -Ax STG <P> -S ④ 仮説図（光吉博士論文より） 1st circle 4th 5th circle 6th 7th 8th and STB<N>-D-P 情動の起源（脳生理学） 川村光毅、小幡邦彦 「知」は大脳新皮質・海馬、「情」は扁桃体・視床下部、「意」は帯状回・辺縁系に大きく 関連する。 前頭前野を中心とする皮質連合野、視床下部・下垂体を主座とする液性調節系、ド パミン、セロトニンを含む汎性投射系など考察の視野を広げた上で精神活動 これらのアミンやGABAのレセプター、トランスポター、合成酵素の遺伝子ノックアウト マウスで情動行動の異常を主徴とするものが次々と得られている。 17 情動と神経メカニズム 国立精神・神経センター神経研究所微細構造研究部 湯浅 茂樹 食欲、性欲のような本能的行動とともに快・不快、喜怒哀楽のような情動として表出されるような心の 働きには、主に大脳辺縁系 (limbic system)と呼ばれる、大脳の中でも系統発生的に古い領域が関 与します。この辺縁系は解剖学的には側脳室周辺に位置して間脳を取り囲むように配置した海馬と 扁桃体が主要な構成要素で、これに帯状回、梨状葉のような大脳皮質が加わります。 扁桃体での情動に関わる情報の処理結果は、 まず自律神経機能とホルモン分泌の中枢であ る視床下部へ伝えられ、自律神経反応を引き 起こして心臓の拍動が早くなり胃腸の動きも変 化します。恐怖を引き起こすような刺激を受け たときは、同時に扁桃体から中脳へ情報が伝 達され、すくみ上がるといった行動が引き起こ されます。更に、扁桃体からは、大脳の帯状回 や海馬のような大脳辺縁系へ刺激が伝わり、 長期的な記憶にも大きな影響を及ぼします。こ のように、扁桃体には原初的な情動に関連し た記憶が蓄えられ、この記憶と関連した情動 刺激がやってくると記憶が引き出され、感情的 ならびに身体的な反応が強く引き起こされます 。この神経回路の概略が図1の左半分に示さ れています。 18 人体原理の工学発想A ＜脳の情動活動の短期的影響＞ 情動 人は情動という強い感情の源泉があります。 しかし、健常者は社会生活において、この情動を上手くコントロールしております。 情動を抑えようとする部位の影響 を受ける声道 ＝ コントロール状態 扁桃体 視床下部 中脳 フィルタリング （フォルマント） 話者 声帯から 脳を解析 して情動 分析する 声帯ひだの張力 扁桃体⇔視床下部・中脳 の不随情動が出る 言語生成なので随意筋で意図的に動く 脳情動活動の不随意影響で声が固まる、震える 緊張するなどの影響がでる 意図的に言語を生成 するから嘘がつける 建前 本音 肺 声帯 声道 口 音声 19 特許取得済み 声帯障害と神経の関係 篠原内科外科耳鼻科 耳鼻科医長 砂山恵子 声帯というのは複数の筋肉(喉頭筋群)で動きますが動かすためにある沢山の筋肉の動きを『反回神 経という神経からまた枝分かれした小さな神経』が支配しています。そのひとつひとつの筋肉に『反回 神経』からの神経の枝が行き、動かすことで声を出したり呼吸をしたりします。 反回神経麻痺症状による声帯障害の原因 1 神経損傷・・・つまり交通事故、あるいは手術の後。 声帯に行く途中の迷走神経、またはさらに枝分 かれした反回神経の断裂などです。 2 神経圧迫・・・反回神経は経路が長く、心臓の近くまで降りて、また上がっていく神経です。ですから その心臓およびその近くの大動脈の拡大（心拍上昇など）でも圧迫を受けたりその他 悪性腫瘍や全身 麻酔で気管内挿管をした後などの圧迫によって神経が途中で圧迫を受けてる場合などがあります。 3 急性感染や 薬物（向精神薬なども） 神経の疾患（情動障害なども）など。ここまでは原因が想像でき ます。 4 その他原因不明のもの『突発性(特発性)反回神経麻痺（急激な神経変化なども）』といわれるもの。1 、2、3 なしに突然起こり、自然に治癒していくものもある。 すなわち、声帯は脳の情動活動の影響を受けた反回神経活動による 心拍の変化や神経状態の影響を受けるといえる＜防衛医大 徳野先生＞ 20 人体原理の工学発想B ＜複雑な自律神経フィードバック影響下でも、 声は出力するだけでフィードバックしない＞ 話者 情動エリア 扁桃体 視床 下部 感情（気分）の中枢（情動）はもちろん脳で短期的反応である。しかし、強い情動が脳 で発生すると自律神経の影響以外でも、ホルモン分泌で血圧が上昇したり、心拍が早 くなるという一般論があります。 身体反応のみで、感情を分析するとこの反応の計測になり、感情が長時間影響すると 結論付けてしまう。 また、ホルモンなどの影響が逆に脳にフィードバックすることもあり、認知影響を考慮す ると気分（感情）の生理計測は困難である。 重要 音声だけは出力だけしてフィードバックしない だから、感情の神経や身体反応状態を正確に把握できる 双方向でループしてしまうから、 何が起きているのかわかりにくい 同じ不随意運動だが、 副腎髄質ホルモンが血管を拡張し、交 感神経が興奮状態になる ホルモン しかし、実際は血液や生体物質の影響 21 特許取得済み ST/PSTの構造と感情測定の概念 話者 理性で情動を 隠蔽する 気分主観分析 ロジック比較 ①理性抑制＋影響で感じる気分＝ 主観的要素 主観を本人の感じ方 （前頭前野）からロジック 構造を導出する 情動 口腔・舌 声道 前頭前野の支配下 気分測定 一般で言う 感情 大脳辺縁系支配下 出力だけ 情動測定 声帯 振動音源 ②脳情動活動 や神経影響 声帯は情動の脳部位の、 直接的な影響により 不随意な脳情動の影響を分析する 音響パラメタを導出する 内蔵・身体⇔神経・脳 の様相 神経系分析 音声パラメタ 22 特許取得済み ST/PSTの構造と出力 情動と呼吸は密接な関係があるとされるため、発話単位（ブレスの間）で感情を分析する 話者 STの内部構造 抑制された複雑な感情状態 もそのまま見えてしまう 怒り度合い 喜び度合い 悲しみ度合い 情動 意図的主観分析 平静度合い 興奮度合い 快不快度合い 情動 苦痛度合い 不安度合い 呼吸単位で感情を分析 安心度合い 呼吸と感情の関係レセプタ解明され、また 深呼吸では、ネガティヴ感情は想起できない 情動に関係する 音響パラメタ （周波数特性など） 脳神経由来の隠せない情動 が見えてくる 人の感じ方（主観）のパターン を再現（パラメタ閾値セット） 各感情判定ロジックがある 一番強い感情を第一候補に判定ロジックの多数決システムで選定し、その他の様相も 23 色や成分割合として表示する 特許取得済み ST/PSTの真髄 情動エリア 扁桃体 視床下部 中脳 建前 抑制された結果 神経レベル 脳情動 の賦活状態 本音 話者 感情エリア 情動要素と主観抑制の 状態分析エリア（成分バランス） もしかして？ 深層意識 情動の強さ（パワー） 脳計測での定量比較高精度 確認済み 特許取得済み “ST Demo” ST の感情の色と量の可視化のデモンストレーション 25 By AGI (2008) 堅牢な声帯の基本周波数検知 音声波形 従来のケプストラム による推定. バラつきが多く 自動化できない. ばらつきあり、自動化不可能 ④これで、不随意 の情動を自動的に 解析できるように なった ＳＴの推定手法 非ケプストラムにより、 一般騒音下での基本周 波数推定を実現させた. ばらつき一切なし 光吉俊二 博士論文「感情認識及び情動の脳生理信号分析システムに関する研究」から 26 特許取得済み 堅牢な基本周波数検知の実演 a lot with the error. 27 By AGI (2004) ST system ( ST 2009 ) ST は感情を色と量で見えるようにしました。 感情分析出力 哀しみ, 喜び, 怒り, 平静 そして 興奮 (自律神経系) 強さと バランス Speaker A 入力 Speaker B 入力 リアルタイム処理（時間軸） 28 特許取得済み PST ver1.0 PST は感情や心も色と量で見えるようにしました。 精神分析出力 躁鬱（双極性） パーソナリティ障害 そう状態 Speaker A 入力 医師 自律神経作用 (興奮) パラメータ うつ状態 Speaker B 入力 患者 29 特許取得済み PST Psychoanalysis System PSTは心を色と量で見えるようにしました。 30 By AGI (2009) 人の感情発話の評価 人の主観の標準化 ＜学習データ（2800名の発話）、テストデータ（1100名の発話）＞ 自然感情発話データ： 自然な感情が出易い 映像を見せながら会話を収録した。 演技感情発話データ： シナリオにそって感 情をこめて発話させた。 評価ツール手法： 男女年齢を平均化した１０ ０名の評価者を使い、音声を無意識に評価 できる専用ツールでランダム に組み合わされた音声セットを聞き、発話者 の感情を判定させた。 100名以上の主観でラベルされた音声試料 50,000発話（2800名）×100主観 １名１時間で300発話評価の作業=11年間かかりました。 31 ST/PST の構造特徴 主観学習データ 解析パラメータ etc 学習データ（2800名の発話） １００名の主観評価つき 固定された200 以上のパラメー タで解析する 2800名主観再現メカニズム 解析結果 主観分析 主観再現ロジック 実はとても大変、普通の研究 者は気が変になります！ 全員共通の主観分離 規則性を見つけ出す 人の主観を 判定ロジック ルールに置き換える 学習データ 本人評価 A 他者評価 A∩B B 各種分析手法 （HMM / NN / SVM など） を試したが、 手作業とルールベース分析で実用レベルまでに到達した。 32 特許取得済み 判定ロジックのオープン試験1100名 学習用と異なる 主観テストデータ 主観分析再現 パラメータ・ロジック・ルールセット 人の主観と同じ ように色で分離 できればロジックは 人の主観を 再現出来たと いえる。 etc 他者評価と本人主観で ラベルされた感情音声 オープン・テストデータ （１１００名） テストデータ 本人評価 A 他者評価 A∩B B 固定されたパラメータと判定ロジックで人の主観と 同じように分離できるか？試験する A： 発話者が発話直後に、自分の感情がどうであったか上記の評価ツー ルを使って確認した。 B： 他者による発話者の感情判定を上記の評価ツールを使って実施した。 A∩B ： AとBで同じ評価 （1/100程度） だった音声を学習用とテストデー 33 タとした。 STの主観再現性能試験 （オープンテスト） IEEE2007NLP-KEで発表 縦軸・横軸は各種パラメータセット Bならば、怒りと喜びを分離するセット構成 結果 ＳＴは人の主観でラベリングされた試験用サンプル音声（数万ファイル） を自動的に分離した.＜感情が出ているとされた音声を使用＞ 光吉俊二 ＩＥＥＥ論文「Emotion Voice Analysis System Connected to the Human Brain」発表から 34 ＜実施＞日本ＳＧＩ社 色彩グルーピングの音声分析出力形式 STにおける主な出力情報 関数名 int CSTEmotion: :isEmotion (STEmotion_Enum emot); STEmotion_Enum: CSTEmotion::getEmotion 関数概要 引数 引数の意味 戻り値 戻り値の意味 指定した感情がどの 程度の確度で含まれ ていたかを取得 STE_CALM (1) 平常 0から10の範囲の整数値 0(含まれていない)～10（確実） STE_ANGER (2) 怒り 0から10の範囲の整数値 0(含まれていない)～10（確実） STE_JOY (3) 喜び 0から10の範囲の整数値 0(含まれていない)～10（確実） STE_SORROW (4) 哀しみ 0から10の範囲の整数値 0(含まれていない)～10（確実） STE_UNKNOWN (0) 多数決判定が同点 STE_CALM (1) 平常 STE_ANGER (2) 怒り STE_JOY (3) 喜び STE_SORROW (4) 哀しみ 0から10の範囲の整数値 分析した音声に含まれる最も確 度の高い第一候補感情の確度 （最大10）を返す。 分析に失敗した場合には0を返す。 0から10の範囲の整数値 1（興奮していない）～10（非常に 興奮して いる）の整数値で返す。分析に失 敗した場合には0を返す。 推定した第一候補感 情の感情 種類を取得 無し (void); Int CSTEmotion:: getEmotionLevel(void); 推定した第一候補感 情の確度を 取得 Int CSTEmotion: 推定した興奮(脳の 情動全体の賦活)度 合いを取得 getExcitmentLevel(void); 無し 無し 興奮 （脳野騎乗 道活動の賦 活状態） ST判定ロジックの人の直感比較試験 人の主観で作られたＳＴで、本人の自然な発話感情も認識できるのか？ １と２で会話をする４０名 発話単位で、情動および感情を色でリアルタイムに表示する可視化ツール 市販化 etc 判定ロジックルール ST Ver2.0 ( 今回の実験に使用・感情の有無・情動の３段階判定 ) ST Emotion 36 （ 各情動・感情１０段階判定 ） STの主観一致率（直感テスト） 人の感情認識能力とSTの認識率の比較実験 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% 評価限界 （主観限界） 日本人 本人でも 自分の 気持ちが 解らない 本人 ST 正解 70% 本人 ST 正解 86% 日本人 外国人 外国人 感情 怒り・喜び・悲しみ・平静 結果 *ＳＴ SDK Ver2.0時のテスト結果 情動 興奮 本人主張 (日本人・正解) vs 聞き手 (日本語を知らない外国 人・比較) 本人主張 (日本人・正解) vs 聞き手 (日本人・比較) 本人主張 (日本人・正解) vs ST (機械・比較） 本人評価 考察： 情動は自動システムであると 世界の科学者は考えている. ＝ＳＴも人も人種を超えて一 致率が高い（認知・文系研究 者の意見として、感情は文化 や風俗・環境などの認知影響 を受け一致しにくいので基準 が低い可能性がある）. 科学的には人の主観の一致率が低すぎるため、認識率出せない = 感情認識100％を標榜するのは嘘とわかる → ライバル技術壊滅(日本撤退) 光吉俊二 ＩＥＥＥ論文「Emotion Voice Analysis System Connected to the Human Brain」発表から 37 ＳＴ／ＰＳＴと脳情動活動 の比較 38 脳計測と生体センシングで情動抽出は 可能か I. 人の主観が不正確なので、脳と比較する II. 原則的には生体反応で確認できるものを情動 （Emotion）としているので、可能性がある III. 感情（Feeling）は認知影響やホルモンなどの フィードバック影響、環境状況影響を受けて、 複雑になると考えるが、最終出力系として、脳 神経系から始める 39 ST/PST脳生理システムでの脳情動計測 装置 パラメータ・ロジック構造なので、 生理とSTの関係が一対一で 確認できる！ 揺らがない 固定基準 何度やっても 同じ結果を保証 純粋な科学実験を 可能にさせる. 脳との比較 身体との比較 パラメータ 利点：揺らぎ、不確実な対象を固定 した基準を利用してどの程度 揺らいでいるかを知る. 問題：fMRIでは騒音が大きすぎて、 音声分析できない. ⑥この解決が科学証明のポイント 光吉俊二 博士論文「感情認識及び情動の脳生理信号分析システムに関する研究」から 40 ST/PST 脳との比較 ｆＭＲＩの８０デシベルノイズキャンセル技術 ノーマルｆＭＲＩ ジェット戦闘機 近接騒音程度 １億分の1ノイズ削減 の成功 ノイズキャンセル後のｆＭＲＩ ひそひそ声程 度 この技術で１３０デシベルのfMRI騒音下での ＳＴと脳比較実験を実現させた. 光吉俊二 博士論文「感情認識及び情動の脳生理信号分析システムに関する研究」から ⑦これで、音声 取得が出来る ようになった41 実験手順とデータ解析 •ＮＩＣＴバイオＩＣＴグループ田中研究員提供 実験手順： fMRI（３Ｔ）ガントリー内の被験者（マスクマイク着、頭部固定）とfMRI室外の実 験者に自然会話。 時間１５０秒ｘ連続２セッション。 被験者SM（実験者YT)、YT（実験者SM)の２名（友人同士の自然会話現在６ 名）。 情動解析： ST２．０TMによる「興奮」、「平静」、「笑い」 成分抽出 脳信号解析： • SPM統計解析 • ST興奮判定時刻におけるイベント関連解析 イベント時刻（情動興奮）オンセットに対応したBOLD反応が，それ以外のすべての活動と差がある かどうか，という（イベント）－（非イベント）の形式でｔ検定を実施． 42 被験者同士、会話して共感している証拠 BOLD の動き • Motor cortex ＜口の動き ＞ • Blocca area ＜会話発言＞ • Welnicke area ＜言語認識＞ • Right Blocca area ＜共感, mirror neuron＞ 会話により感情が 誘発されている R L R L L R 43 By NICT + AGI (2005-2008) STがネガティヴと判別した時だけ 発話者の脳がどうなっていた？を調べる ＳＴがネガティヴ情動ありと認識した 認識してない ▲（ネガティヴ情動あり）の部分と空白（情動なし）の部分を比較して、 ▲（ネガティヴ情動あり）の時だけの脳活動を調べるために 全脳活動の比較で▲と空白の脳活動の ｔ 検定をした。 ボジティヴの感情は研究されていないので、使えない。 •ＮＩＣＴバイオＩＣＴグループ田中研究員提供 44 STは発話者のネガティヴ（怒り＋興奮） な脳の 情動活動をその時だけ、しっかり検出した！ 活動領域: 独立行政法人情報通信研究機構（NICT）での実験により、統計的有意水準0.1％で脳の情動活動を検出する研究 (t-test, p<0.001, 危険率0.1％で非修正) 3Tのシーメンス社製 fMRIを使用 R 1．Left and right frontal BA44,45 ＜L: 会話発言, R: 共感 ＞ 2．Left dorsofrontal BA12 ＜ホルモン制御, 抑圧情動＞ 3．Left amygdalate complex ＜ネガティヴ情動＞ 4．L/R inferotemporal ＜画像イメージング, 身体イメージ ＞ なぜ、画像イメージが動いた? 被験者は相手の顔を思い出していた と供述していた. L L R R L R L L R 45 By NICT + AGI (2005-2008) 情動要素の検出 画像領域 恐怖と動画 46 By NICT + AGI (2005-2008) ２０００～２００９ 生理科学 脳比較 統計学 主観比較 人の主観 DB etc STにより脳の情動反応の検出に成功 ただし、被験者数がまだ少ない また、MRIに疑問が残る 行動科学 事実比較 ７０～８０％でSTと 人の主観との一致を確認 人の能力を超えている可能性がある しかし、音声パラメータ効果の詳細不明 そこで、行動予測実験をした 最大手クレジット会社にある、＜支払い・滞納・自殺・入会＞の有無 の事実確認ができる音声データとの比較により、行動予測をした 事故率50％（返済事故）のコールセンタにおいて、無作為に選択された音声2000ファイルのST分析から、 音声内容を聞かないで、顧客の属性と顧客の行動を予測するアルゴリズムを構築して、事実確認比較によ り、その正当を確認した。現在、８割の予測正当率である。（一週間後の確認では9割） 47 ストレスが無いものストレス？ いったい何を計測するの？ この緊張状態全体を ストレスと呼ぶ？ もともと、身体の非特異 的反応としていた。 個人 有害性 環境要求 直面 一次 評価 脅威性 対処努力 情動 喚起 情動が抑 制可能か どうかの 二次評価 で規格化 情動の種類決定 これを低減させ ようとする行動 動機が生まれる これを対象にした！ 情動の強度決定 情動的ストレス反応 48 ストレスの解釈 しかし、検証するには倫理規定が難しい • 語源は工学用語であるストレス（金属ストレスなど）を人間的要 素に還元している • そこで、工学者でもストレスを把握しやすい定義が必要になる ストレッサ＝圧力（時間・力） どれくらい・どの程度・どのような力が加わっているのか？ ストレス＝応力・耐久性・物性 （疲労度・個人差を緊張として把握する） この人（物性）は、どのくらい耐久性（緊張限界）があり、現在どの程度の 緊張による疲労が溜まっているのか？ 健常者の反応は＜闘うか＞＜逃避する＞ ウェアラブル雰囲気 非健常者の反応は＜異常判断に偏向し固まる＞ 最初は、このような考えの下、生物学・生理指標と音声の関係性を 規格化することで、簡易なウェアラブル計測を実現させる ①東大井出君の研究 ②東大山本君の継続研究 コミュニケーション 共同研究へ応用 49 ストレスは脳だけではない！ 腸は「第二の脳」といわれるように、腸と脳には密接な関係があります。腸と脳は神経によってつながっ ていて、脳が不安やストレス（必ずしも自覚できるとは限りません）を感じると、その信号が腸に伝わって 腸の運動に影響を与えることがわかっています。 ｢IBS（過敏性腸症候群）｣の患者さんは、この信号が伝わりやすくなっているため、腸が過剰に反応し てしまうのです。また最近では、このしくみにセロトニンという神経伝達物質が深くかかわっていることや 、セロトニンをコントロールすることで、ストレスがあっても症状を抑えられることがわかってきたのです。 セロトニンというと、うつ症状と関連して イメージする人が多いかもしれません。 しかし実は、体内のセロトニンのうち、脳 などの中枢神経に存在しているのはわ ずか1～2％程度。残りの約90％は、腸 内に存在しているのです。 脳がストレスなどの刺激を受けると、腸 の粘膜からセロトニンが分泌されます。 それがさらに腸内にある｢セロトニン受 容体｣と結合します。すると、腸のぜん 動運動が異常をきたし、下痢や腹部症 状を引き起こすのです。 最近では、この「セロトニン」に着目した 新しい治療薬がついに国内でも登場し 、大きな期待が寄せられています。 出典：ＩＢＳネットより 50 緊張の尺度 • 生理指標 ① ② ③ ④ ⑤ ⑥ ⑦ ⑧ 心電心拍 呼吸・呼気 血圧変化 皮膚電位差 全身の緊迫度（筋肉の緊張計測など） 声帯の緊張度計測（ストロボスコピー・喉へ電極など） 脳計測 神経レセプタ計測 • 音声 ① ② ③ 声帯の緊張（声帯ひだの硬度変化など）の音響特徴 音質の変化 音声の不快情報の集積（頻度の増加など） 51 ｽﾄﾚｽの地図 特異点・特異パラメータ の導出 情動地図・パラメータ連動 不快 （不安） ここまで行くと もうストレスで はない？？ ストレスの原因 情動抑制を評 価する状態 ここまで行くと もうストレスで はない？？ 快 （安心） 精神障害 （不安、うつ） ストレス 心 身 身体障害 （生活習慣病） 疲労 心 神経障害 （心異常値） 結果 身体 （正常値） 身 機能障害 （体異常値） 結果 明確にしましょう！ 52 ストレス研究の成果 防衛省・防衛医科大学校共同研究 被験者群 自衛隊・富士学校生徒 自衛隊・レンジャー部隊 ST/PST基本原理 防衛医科大学校 正式採用の根拠 イスラエルの技術 に勝ち採用された 防衛省正式採用 世界で初めて、音声心理分析 システムが先進国の防衛組織 に正式採用され、原理が科学証 明された 採用にあたり、国内・国外のす べての研究や商品と比較され、 ST/PSTのみ唯一有意であると 確認された。 通常群 長期肉体的ストレス群 自衛隊・海外派遣隊員 長期精神的ストレス群 自衛隊・東日本震災派遣隊員 長期過酷ストレス群 STによる 分別に成功 53 ストレス研究の結果報告 防衛省・防衛医科大学校共同研究 東日本大震災での活用 東日本震災における、被災地赴任の自衛官のストレス計測 世界防衛科学研究会議（DSR）にて発表 結果：PSTと以下のストレス指標との比較で 血液検査（ヘルペス菌痕跡）との一致 医師の診断結果との整合性 その後の病態度合との一致 国際軍医学会で受賞 世界防衛科学研究会議（DSR） 国際軍医学会（受賞） メディカルトレビューン（掲載） 日本トラウマティック・ストレス学会（査読通過） 現在、 ネイチャー誌への投稿を準備 ST/PSTの最終勝利 54 受賞者で共同研究者の徳野准教授（MD&PhD）はカロリンスカ医科学研究所（ノーベル医学賞選定機関）の出身 医療レベルST開発の優先課題 1. 主観STの場合 1. 2. 3. 4. 2. 神経系STの場合 1. 2. 3. 脳計測での感情や精神疾患症状の決定的な指標が確立していない 脳・神経伝達物質やレセプタの計測が極めて困難 内臓系STの場合 1. 2. 4. 18感情を万遍無く高い認識率で施行する 被験者から自然で強調された18感情を取得する 被験者から演技で強調された18感情を取得する（うつ病を演じているなど） 医師臨床家の評価主観をロジックルールベースで再現する 遺伝子・ホルモン・生体物質の時制計測が極めて困難 神経伝達物質も内臓の方が多い 身体系STの場合 1. 2. 交感・副交感神経の動き、生理指標は、ちょっとした運動でも影響を受ける 空腹やストレスの影響を定量化する 以上の優先順位別の課題を解決しないと、科学的な感情、ストレス・精神疾患の 音声計測が出来たとはいえないであろう。 55 今までより、楽に、正確に、 すばやく診断できます。 時間圧縮と日常データ による誤診予防 日常的に気分を 気楽にチェック 人(医師)に言いにくいこと も言えるよ Inside 情動変動 分析アプリ 出力 音声からの「心の体温計」 ＳＴセンサ ＋ケータイ ＋自動アドバイスアプリ 主観以外の 問診基準 モニタ PST ビジネスモデル 臨床からの 「心のレントゲン」 医療用PST機器 心の可視化 定量化 生理 指標 ＳＴ サーバ 臨床心理分析 専用ソフト 出力 ＋専用分析ソフト ＋専門医の診断 臨床分析 専用機器 Inside 56 特許取得済み フィンランド政府採用システム１ ⑤データ集約 タブレットPC スマートフォン ①毎日の音声データ取得 コールセンター ②コールセンターへの 健康相談時にデータ取得 情報サーバ 見守り巡回 ③見回り巡回時に持参した タブレットPCでデータ取得 医師 専門カウンセラー ④カウンセリングに ICレコーダでデータ取得 ユーザ 地域住民 企業 ■タブレットPC・スマートフォン ユーザの毎日の音声データを取得する。日々の ストレス状況に合わせて適切な情報配信を行う。 ■コールセンター ユーザが任意で電話による健康相談を受けられる 窓口。その際に音声を取得しストレスデータを チェックする。また、ストレスデータを元にコール センター側からユーザに電話をかけることもできる。 Copyright(c) 2012 The Smart Medical Co.,Ltd.All rights reserved. ■情報サーバー （情報管理・配信システム） タブレットPC、コールセンター、ICレコー ダ等から取得したストレスデータをデータ ベースに保存し、逐次最適な情報を各端末、 コールセンター、見守り巡回拠点へ配信する。 ■見守り巡回 仮設住居、独居老人の住宅を定期的に訪問。訪 問員はタブレットPCを携帯し、その場で音声によ るストレスデータを取得できる。また、ストレス データを元に臨時で巡回に行くこともできる。 ■精神科医、臨床心理士 企業のメンタル相談において、実地の買うセリ ングを行う。カウンセリング時はICレコーダで音 声取得する。 57 フィンランド政府採用システム１ ストレスデータによるアラートモデル ①ストレスの閾値超えた ユーザを指摘 タブレットPC スマートフォン コールセンター ②コールセンターへの 問合せを示唆 ③対象ユーザへ電話する ※許諾を取っている時間に 情報サーバ 見守り巡回 ④対象ユーザ宅へ巡回 ※許諾を取っている時間に 医師 専門カウンセラー ⑤企業人事部に報告 ユーザ 地域住民 企業 ■タブレットPC・スマートフォン ユーザの毎日の音声データを取得する。日々の ストレス状況に合わせて適切な情報配信を行う。 ■コールセンター ユーザが任意で電話による健康相談を受けられる 窓口。その際に音声を取得しストレスデータを チェックする。また、ストレスデータを元にコール センター側からユーザに電話をかけることもできる。 Copyright(c) 2012 The Smart Medical Co.,Ltd.All rights reserved. ■情報サーバー （情報管理・配信システム） タブレットPC、コールセンター、ICレコー ダ等から取得したストレスデータをデータ ベースに保存し、逐次最適な情報を各端末、 コールセンター、見守り巡回拠点へ配信する。 ■見守り巡回 仮設住居、独居老人の住宅を定期的に訪問。訪 問員はタブレットPCを携帯し、その場で音声によ るストレスデータを取得できる。また、ストレス データを元に臨時で巡回に行くこともできる。 ■精神科医、臨床心理士 企業のメンタル相談において、実地の買うセリ ングを行う。カウンセリング時はICレコーダで音 声取得する。 58 将来像 ■背景 疾病解説動画 ・信憑性向上（動画の数と質により） ・各コンテンツに即した動画（動画の意味により） ■要素1 メタボリック対策との連係 ■要素2 専用機器との連係 ■要素3 医師・専門家との連携 ■要素4 家電との連携 ・身長、体重、体脂肪 ・既存サイトとの連携 ・ウェイトコントロールと 気分の関係 ・血圧、心拍など ・コンティニュア対応製品 ・各疾病と気分の関係 ・コールセンターでの電話カ ウンセリング ・オンラインチャットによるカ ウンセリング ・実地でのカウンセリング ・エアコン、照明など ・体調、ストレスに合わせた 家電のコントロール ■基盤技術 日常の気分・ストレスをセンシング ・感情によるライフログプラットフォーム ・ソーシャルサービスとの連携（C向けのみ） 今回のメンタルケアツールはここ。 Copyright(c) 2012 The Smart Medical Co.,Ltd.All rights reserved. 59 ２０１０年から 自殺防止のための うつ・不安障害状態の 音声分析研究 60 社会問題 「うつ」の実態 立法対応 実は、法律ができます 職場のメンタルヘルス対策義務化＝臨時国会で法改正へ—厚労省 2011年10月24日23時6分 小宮山洋子厚生労働相は２４日、日本のすべての事業者に向けて → 医師などによる従業員のメンタルヘルスチェックを義務付ける労働安全衛生法 → 来年秋にも施行される見込み 厚労省は「東日本大震災を契機にメンタルヘルスが不調に陥る人の増加が懸念され、予 防対策を充実させる必要がある」として、 改正案は全従業員の精神状態の把握を事業者に義務化。 ［時事通信社］ 罰則・罰金 未定のまま 現実問題 技術がない！ 「うつ」病が５大疾病に指定され、生活習慣病にされても 定量的に日常計測する手段がない！！ 生活習慣病 ＝「維持する」という 視点が不可欠！ 今までここの定量化 は誰もできなかった！ 「うつ」 測定 診断 処置 維持 フィードバック オブザベーション 今までの問診アンケートでは １：本当の「うつ」はわからない＝真性患者は「うつ」を隠そうとする 非科学 的な悪 ２：嘘が付ける＝仕事をサボりたい人は「うつ」を演出できる 社会問題化してる「幽霊社員・幽霊教師」など また、問題の多量投薬事件などの主たる原因であった 保険医療費 負担激増！ 企業社員 負担激増！ うつ病診断 • 東京大学では、NIRS＋ICD-10（国際診断基準）に基づいた診断を使用 し、POS(problem oriented system)に基づく治療が推奨されています ● ● ● ● ● ● ● ● 心電図、単純X線検査 光トポグラフィー（NIRS）検査：うつ症状の原因疾患診断補助 コンピュータ画像診断（CT）、脳波検査：器質性精神疾患の除外診断 血液検査BDNF：合併症の除外、評価 精神科診断面接（SCID）による、詳細な症状の評価 心理検査：知能検査（WAIS-R）、人格検査（MPI・SCT）、各種臨床評価シートによる状態評価 評価シートによる発達障害の簡単な評価 核磁気共鳴診断（MRI）・単一光子放射断層撮影（SPECT）：認知症などの除外診断 （検査の必要がある場合） • 千葉大学・防衛医科大学では、血液検査を実施し、80％の効果を確認 • 実態は、クリニックで面接して、生理確認なしのまま、患者自己申告から 安易に向精神薬を出して、その効果を確認するのが現状→誤診・事故率 の拡大 • 現実は、自殺の主な原因である「うつ」と「不安」は生理的には重なりあう ものであるが、全く反応は別である • 「うつ」はあくまで臨床上の表現でしかない 64 うつ病診断の現状 NIRS 心電など ICD-10 fMRI SCID 真性「うつ」？ ≒「うつ」の真値？ 血液検査 BDNF DSM-4 この現状では「うつ状態」の明確な指標が見えて来ない。 65 音声病態分析学 PSTが考えるうつ病 • 神経作用と心理作用が連携して、心の恒常性が維 持出来なくなり、ホメオスタシスの崩壊、偏ったまま 戻らなくなったり、感情消失したりすると、「うつ病」 となる • 「大うつ病」では改善や完治が無いのは、神経作 用として、配線が切断されたり破壊されて起きるか らである • よって、メランコリー（陰鬱気分）段階で、ホメオスタ シスを戻さないといけない • まず早期発見をテーマとする 解決策 音声から、脳を分析して、 簡単に病気を自動診断 音声病態分析学 作病もスクリーニング（抑止） 患者 神経作用パラメータから重篤が見える 心理作用パラメータから状態が見える この二つから何を判断するのか！ 情動エリア 扁桃体 視床下部 中脳 マイク 一つで 一瞬に 病気の原因 がわかります リアルタイムに脳と 情動の変化が見えて 心因性の原因 環境状況の原因 認知性の原因 身体性の原因 脳神経音声パラメタ 神経性の原因 生体物質音声パラメタ 情動音声パラメタ 病気の状態 も見えます 特許出願中 音声病態分析学 1. スマホでソフトダウンロード 2. ユーザの同意得る 3. ユーザの普段の音声を自 動解析 日常での使用例 日常計測から外来診断までをサポート 4. 心の健康状態を分析 5. 急激な変化や危険を知ら せる 6. ２週間分でメランコリー度 を知らせる ユーザに体温計対応でき る病院を紹介する 7. 外来受付で外来用の心の 体温計を渡される 8. 精密なデータを計測 9. PST医療機器での精密検 査と外来用心の温度計を 照合 10. ユーザの日常変化情報と 照合 11. 正確な日常データと整合 した正しい診断を可能に なせる 普段からユーザとの信頼関係 を構築して、日常の音声健康 分析をしている手段を講じる 医療用PST「音声病態病理分析」の 災害時「数百名単位で救う命」 使用例 音声から傷病者の 病態と度合いを分析する SOS状態を音声分析して病態 と緊急度合を自動判定 救急車両用は 強い騒音下でも 使用可能にする 災害発生時で大量に抱える患者の中から、危 機状態の優先を判定、誰から最初に処置する のか自動トリアージする 救急車の中でも病態変化を 経過分析し病院へ送信 神奈川県医療特区 ＆消防署全面協力 PSTの構造と 感情測定精神疾患音声分析の概念 気分主観分析 ロジック比較 ①気分障害など抑制関係・不安の思考性 話者 理性で情動を 抑制する 情動 意図的に抑制された状 態を分析する 口腔・舌 声道 気分系測定 前頭前野の機能障害 不安の一過性 思考性の分離 大脳辺縁系機能障害 神経障害？ セロトニン？ 声帯 振動音源 ②脳情動障害 や神経障害 情動系測定 声帯は情動の脳部位と 直結しているため、 不随意な情動の影響を分析する 情動「不安」と抑制「不安の抑制」の状態を ①と②の関係から精神状態の対比、ばらつき（分裂）で知る 不随意の情動と意図的抑制や気分を識別できる 特許出願中 統合 失調 測定 神経系分析 音声パラメタ 70 特許取得済み 神経系と主観系を簡単声分析 そこで、 生理（神経系）と 主観（気分分析）を 分けてカンタン分析 アンケート分析の限界克服 この症状は 患者の自覚がないので PSTで自動定量測定する 意味は高い 神経系分析 気分主観分析 71 特許出願中 特許取得済み PSTによるうつ状態・不安障害の原因と分析手法 家族問題 心因性の原因 気分要素が強いと 思われるため、 ST主観分析 ロジックルールセット で分析可能と 予測する 異性問題 仕事家事育児 状況 環境状況の原因 金銭問題 天候地域 文化特性 認知性の原因 長期 計測 検出 可能 ぼけ 身体ストレス 状況 身体性の原因 空腹など 身体状態 身体疾患 神経性の原因 神経障害 脳疾患 特許出願中 神経 疾患 神経身体影響 が強いと思われるため、 ST音響パラメタ に影響すると 予測する 注意・上記における複合原因の場合、疾患性原因を優先して分析する方向性を模索する 短期 計測 短時間 検出 可能 72 特許取得済み うつ診断の手法項目 • 神経診断（NIRS・fMRI）による診断 • 面接診断（SCID）による診断 • DSM-4/ICD-10による診断 • 心電などによる診断 • 血液検査による診断 • その他、合併症の可能性の確認 • 投薬の効果から確認 73 音声分析の有効性 合併症の有無を明確にして、以下の有効性比較を行う • 神経診断（NIRS・fMRI）確認された音声と健常音声比較 • 面接診断（SCID）確認された音声と健常音声比較 • DSM-4/ICD-10確認された音声と健常音声比較 • 心電などにより確認された音声と健常音声比較 • 血液検査BDNFにより確認された音声と健常音声比較 • 投薬効果との比較 74 研究の方向性 問題点 うつ病診断の問題点は、神経性と心因性を分けることが困難で、診断手法によっ てばらつき、医師間での診断に統一性が確保できないことである（東大専門医） また、ストレス同様に、「うつ」定義が明確ではない（千葉大・東大専門医） 研究 弊社音声分析の特徴は、ロジックルールとパラメタにあり、これを有効活用して、 感情地図の様相を利用して、心因性と神経性の特徴を分析可能にすることが出 来れば、画期的な精神状態の生理特徴分析の手法になると考える 一方、不安障害は「うつ病」と並ぶ、若しくはそれ以上の「自殺の大きな要因」であ り、医師間の診断も、生理指標も統一性が確保されていると専門医（東大・千葉 大）から指導を受け、最初は、不安障害をターゲットに研究を進めることになる また、認知行動療法・小児科発達障害児リハビリ療法との連携も高い効果が期待 されると専門医（千葉大・慶應大・国立育成研）から指摘されるため、これをすす め、同時に、経過観察、向精神薬効果測定においても高い有効性があると専門 医（千葉大・防衛医大・慶應大・国立精神神経研）から指摘されるため、これもす すめる 75 課題、対処法 • 単なる「落ち込み」と「うつ状態」の音声の差、「不安」と「うつ状態」の音声の差 が明確になる手法が必要＝長期的計測が必要か？瞬間診断が可能か？ • 現在は未分化傾向にある「心因性（落ち込み）と神経性（うつ）」を明確に切り 分ける手法が必要、様々な要因で「うつ状態」が形成されていることを念頭に 起き、最初は不安障害（神経症も含む）から分析を始める方が良い • 心因性は面接診断系、神経性は生理検査系でわけて音声分析の研究を進め 、DSMー４、ICDー１０などの精神疾患別ではなく、生理指標別の変化パタンと の関係を中心に構成される方が良い • 可能性として、心因性はロジックルール、感情地図と面接手段の連携、神経性 は音声パラメタの変化率パタンに分析のヒントがありそう • それ以外でも、血液検査など新しい手法を考慮して、上記の区分化と共通性 を研究し、音声からそれを可視化する • 合併症の場合も考慮して、単純なうつ状態・不安状態をあぶり出し、向精神薬 の効果がどのようにメカニカルに影響したかを考慮して検証を行う必要もある 76 音声資料収集 話者 脳機能計測装置＜ｆＮＩＲＳ／ｆＭＲＩ／ＰＥＴなど＞ 声帯の状態を詳細に形状の変化が動画で確認できる装置 （振動状態が明確にハイスピードカメラ的に1000~2000fpsレベル） 扁桃体 視床下部 中脳 音声を録音する装置＋基本周波数測定 ＶＴＲや目の動き 声帯の振動を正確に計測する装置 血液検査 データベース 心拍心電・血圧関係計測装置 ホルモン 神経活動計測装置 医師の診断 生体分泌物計測装置 特許出願中 77 特許取得済み 脳外科手術臨床からの音響パラメタ取得① 患者 頭部を開いて、脳に電極を刺して、発話させる脳外科 手術での音声取得により、音声と脳神経の関係パラ メタを取得する。 SMC+KNI+PST倫理規定に Copyright(c) 2012 The Smart Medical Co.,Ltd.and PST ,Inc all rights reserved. 従い、患者同意のもと実施 78 脳外科手術臨床からの音響パラメタ取得② MRI 和田テスト 患者 和田テスト 左右の脳を薬で交互に停止させ、発話してその影響 を分析する脳外科検査で音声分析する Copyright(c) 2012 The Smart Medical Co.,Ltd.and PST ,Inc all rights reserved. SMC+KNI+PST倫理規定に 従い、患者同意のもと実施 79 前項の脳外科臨床音響パラメタ①②から、 脳や神経由来の原因か？心因性か？分別する研究 精神科医と患者の会話分析 PST技師 カウンセリング 患者 精神疾患の患者と精神科医との会話から、前項の２つのパラメタを基本として、 心理的要素と神経要素の影響度合いを導出するパラメタとロジックセットを導出する Copyright(c) 2012 The Smart Medical Co.,Ltd.and PST ,Inc all rights reserved. SMC+KNI+PST倫理規定に 従い、患者同意のもと実施 80 治験 ＜個人差か？病理差か？＞ 脳神経系パラメタ 神経診断（NIRS・fMRI）確認された音声と健常音声比較 面接診断（SCID）確認された音声と健常音声比較 ロジックセット DSM-4/ICD-10確認された音声と健常音声比較 心電などにより確認された音声と健常音声比較 LF/HF? 血液検査BDNFにより確認された音声と健常音声比較 医師の診断 との比較 心因性比較 神経性比較 双方の病態で統合診断 投薬による確認 統合 診断 比較 / 調整 表示 81 特許出願中 特許取得済み 研究成果の社会性・意義 • 曖昧なうつ病診断が、マイクでカンタンに正確 にできるようになる • 心のレントゲンとしての感情地図の機能が実 証される • この実証から、人の心のメカニズム（行動判断 の構造）が解明される • 他分野では、これにより、ＡＩの自己判断機能 が構築できるようになる 82 PSTの製品とは？ • 心の体温計（ST） • 1. 世界中誰でも声から 2. ストレスや感情の変化 がわかる 1. 医療専用機器として 2. 脳や神経の状態、ホルモンや 病気の状態がMRIレベルで分 析可能へ 3. 治療への応用 心のレントゲン（PST） 国際特許取得済み 東大＋防衛省で実証済み 声から脳を分析して 簡単に気持ちの動きが見える そこから、ストレスや心理の分析 すでに一部商品化している 特許出願中 臨床予定 国際特許取出願済み 特許取得済み 世界の医療が変わる！ 時間や費用がかかる血液検査 も脳検査もなしで、声からすぐ に診断できる 心のレントゲン （医療用PST） ５大疾病を含む うつ・不安・神経障害・脳障害・精神疾患・内科系循環器系 今ココ 心の体温計 （簡易PST） リハビリ治療 予防に有効で、精神科誤診 大量投薬による自殺 社会問題 保健費用軽減 大手健康機器メーカーが 絶賛、提携進行中 声からストレスが見える、強さを定量化 商品化 声から感情が見える、強さを定量化 商品化 東大・防衛医科大学で採用 東日本震災で活躍 耳の不自由なひと、発達障 害児のリハビリ、コミュニケー ション補助 IEEE 特許出願中 特許取得済み 医療費削減の秘策ココロ特区とは？ 職場のメンタルヘルス対策義務化＝臨時国会で法改正へ―厚労省 産業医・カウンセラーの全国的な供給不足 現状 ： 測定方法も分析手法もいい加減なアンケートしかなかった 最初に特区指定の保険点数化へ 医療技術の研究 AI の供給 基礎エンジンの供給 生理指標から求めた医療用 神経レベルの音声パラメタ 特許を申請中 の取得特許を使った人工知能開発 臨床 医療機器の開発供給 主観から求めた民生用 感情レベルの音声パラメタ 特許を取得済み の特許出願を使った医療機器開発 の取得特許を使った健康機器開発 基礎エンジンの供給 この特区計画は、仙台市・神奈川県・フィンランド政府により実施予定である World Grand Prix スマートメディカルビジネスとビジョン MS EU / China / USA Grand Prix チャイナ モバイル GE 世界の医療外来コールセンター・カウンセリング の覇者となり、医療費削減と質の向上、自殺防止 を実現させる医療分野の世界最強最速モデル ノキア ドコモ Finland / Japan Grand Prix 日立 音声ストレス検知・ステアリング NEC PST社製エンジン ストレスST （クラウド・DB開発中） 前輪・ココロコンパス シャシー・疾病動画解説 東大・慈恵医科大・東京医科大 ボディ・docomo Dメニュー SoftBank etc… 駆動輪・カラダコンパス World Grand Prix スマートメディカルビジネスとビジョン MS EU / China / USA Grand Prix チャイナ モバイル GE 世界の医療外来コールセンター・カウンセリング の覇者となり、医療費削減と質の向上、自殺防止 を実現させる医療分野の世界最強最速モデル ノキア ドコモ Finland / Japan Grand Prix 日立 音声ストレス検知・ステアリング NEC PST社製エンジン ストレスST （クラウド・DB開発中） 前輪・ココロコンパス シャシー・疾病動画解説 東大・慈恵医科大・東京医科大 ボディ・docomo Dメニュー SoftBank etc… 駆動輪・カラダコンパス 今後の研究 Circulation 循環 X 情動と生体恒常性連鎖の可視化 各X(k)系の 加速度を 連鎖比較する = 連続量 = 量分割連鎖記号 a b = 変化閾値 Mitsuyoshi operator model 生体分子 Biomolecule k 遺伝子 Gene k 1 k 10 脳情動 Emotional Brain 9 k 免疫系 Immunity system k 情動と生体恒常性連 鎖循環の定量化 2 ホルモン Hormone k 日本機械学会編集「感覚・感情とロボット」より 細胞 Cell fMRI 2003－2004 Bio-Robotics Lab. Haptics-robot Project Stanford Univ. 3 神経伝達物質 Neurotransmitter k 8 消化器系 Alimentary system k 7 心臓 Heart k 6 声帯 Vocal chords k 5 4 STを利用した、 音声から簡易の 生体情動系連鎖 推定はQOLとしても とても便利である. 2005－2008 脳情動通信研究 NICT 理事長ファンド 2009－ 呼吸・情動・ストレス 東京大学 予定：ワイツマン研究所 88 カロリンスカ医科大学 Standardization of emotional RGBY ver-1.0 Regulation Activation = EX Corruption = CO 1st circle 2nd circle 3rd circle 4th 5th circle 6th 7th 8th Basic emotions ① STY <P> -L -L ② STR <N>-D -Ag ③ ④ STB <N>-U -Ax STG <P> -S ⑤ STR B <N>- 3 7 (EX89)(CO= and STB<N>-D-P n i=1 Xi) Circulation X = Continuous quantity = Quantity division chain operator a b = Change threshold 結論 i. 情動を基準として、音声から情動の変化を機械で検知することが出来るよ うになった ii. 人の主観や脳とシステムの比較から人と同等もしくは、人以上の性能（脳 情動検知）を確認した iii. 情動の定量化に向けた「心のレントゲン」のような物理考察を可能にさせる 一歩（可視定量化）が出来きた iv. 人の属性と行動予測にも情動分析は８割有効であると確認した v. しかし、MRIのみで脳との比較を論じることは、不完全であり、主観でも完 全ではない。よって、パラメータの精密な効果を断言できない。 vi. ＱＯＬや医療分野の新しい「センサー」技術として発展させるため、向精神 薬投与の比較研究や情動と心の関係をメカニカルに解明する必要がある 90 顧客心理分析 •STインフラが出来上がると、顧客の「欲しい」という 気持ちがいつでもリアルタイムに計測可能。 あらゆる会社が求める情報 •ブラックショールズ式では予測できないアクシデント、 アンケートでは見えない本音を簡単に分析。 市場分析から、株価予測まで正確に •このデータベースを市場分析や株価予測システムに 転用することでビジネスチャンスは無限大となる。 91 ST のコールセンタでの活用 顧客の「支払い・遅延」の有無を８０％以上で行動予測 ＜クレジットカードコールセンタでの客観的な試験結果＞ 92 ST/PSTの性能評価まとめ 科学検証の実例 主観とSTの比較：人の主観（感情の感じ方）とSTの比較で A:人の感情の感じ方と同様の区分化がSTシステムにて再現できている B:初話者本人との一致は同じ日本人の他者（第三者評価）より高い 脳とSTの比較：人の脳活動（感情反応）とSTの比較で C:間違い率0.1%で非修正の精度で、完全に被験者がネガティヴと脳が反応した時だけ STシステムはネガティヴと判定していた。（被験者6名でfMRI（3T）装置を使う） ストレスとPSTの比較：以下のストレス指標とPSTの比較で D:血液検査（ヘルペス菌痕跡）との一致 E:医師の診断結果との整合性 F:その後の病態変化（悪化・自殺・死亡など）との一致を其々確認した。 応用の実例 行動とSTの比較：消費者金融返済コールセンタでのSTを使った返済予測実験 事故率50%（返済しない確率50%）での環境にて返済するかしないかを予測する 音声を聞かないで自動的に80%を正答した。（一週間後では90%） 防衛省が調査したイスラエル・欧州・米国・日本などにある音声技術で、同省にて実際に全てを比較検証 し、ここまでの結果を実現し、医療・防衛・安全管理・金融システムで、人の感情や判断（行動予測）、脳生 理反応と整合性が確認された技術はST/PSTのみであると言えます。 93 心つなぐネットワーク新領域ビジネス ユーザの本音をリアルタイムに 相手の気持ち 世界どこでも 自分の気持ち 行動予測 S N 確実に把握している 心理予測 心（本音）を 知りたい 反応・対応型 福祉健康医療 心の機能を 使いたい 分析・治療型 人工感性知能 による 心のネットワーク S N 市場分析 行動予測を 使いたい 感性分析型 広告代理 誘導型 声から心が見える 1 極端な例ですが・・ 1. 「いうことを聞かない」小学生や幼児に、いきなり向精神薬 で静かにさせることが、本当に正しいのでしょうか？ 2. 子供のうちから、海外では使用を禁止されている心（脳）を 溶かすような薬を処方するモノ、それを要求する教師や親 を私は理解できません。 3. 「落ち着きがない」に病名をつけて高額な薬から逃れられな くなり生涯消費する費用を税金で賄えるのでしょうか？ 大人の狂い出した良識の被害者が子供なら、人間の大人ができないのであれば、 機械に頼るしかないのも現実である。 鉄腕アトムは、欲望に身勝手な人間との関係に「うつ病」にまでなる感情（共感力）を持った 初めてのロボットの物語でしたが・・・まさか、アトムはできないうちに人間がダメになった？ 心を育む仮想自我アプリケーション 1. メンタルビルドアップ – のび太君を励まし、強くさせる「ドラえもん」超自我機能 2. メンタルレゾナンス – ジャイアンに他人の気持ちを共感させる超自我機能 3. メンタルダンス – スネ夫君に「空気を読む」ことを教える超自我機能 4. 不安解消バイオフィードバックトリートメント A) 自分の声で自分を変える B) 相手の気持ちを知り、不安を解消する 子供のうちから、しっかりと心を育てれば、精神疾患の殆どがなくなります。 これは、まだEUですら気が付いてない日本の工学最後の砦です。 ST ①音声 4851447 3676969 感情変化 加速計算 ③ 短期 表示 ⑤ＰＳＴ人格判定表示 自動 切換え 4704952 DB 中期 判定 DB 初期商品と特許の関係 長期 判定 設計図の番号は特許番号・出願番号 4704952 2008-123479 2010-113446 フィンランドでの自殺防止に 最大の成果あり 日常でのコミュニケーションでOK フィンランドメンタルヘルス協会 DB ④ 感情地図 精神分析 行動予測 地図表示 ＳＭＣ更新差替え 4704952 ⑥ メンタルビルドアップAPP ＳＭＣ更新差替え 4704952 ⑦ メンタルレゾナンスAPP ＳＭＣ更新差替え 4704952 ⑧ メンタルダンスAPP 自動 補正 光吉のみ 更新差替え 可能にする 手動 切換え 対中国韓国人識別ハッキング対策 時限崩壊プログラム ＰＷＤロック 光吉のみ 更新差替え 可能にする 仮想超自我 マインドトレーナー キャラクターアニメーション ＜冷静な第三者＞ コミュニケーション パイロット介入 3676981 4204839 効果A 効果B 自己啓蒙 入力情報 音声マイク入力 ② 出力情報 リアルタイム感情状態 認知改善 ③ 分析情報 その時の精神状態 自己制御 ④ 感情地図 行動予測 ⑤ 変化量からの人格判定 自己判断 メンタルビルドアップ 抑うつ状態改善 人格強化 欝・不安障害 ⑦ メンタルダンス コミュニケーション改善 空気読めない改善 コミュニケーション障害 ⑧ メンタルレゾナンス 共感力養成 人格改善 人格障害 トレーニングAPP 特許出願中 ＳＭＣ更新差替え 対象者 ① ⑥ トレーニング APP 選択 全般 事故未然予防 全般 特許取得済み 最新の動向２０１０ ユーザの心を精神分析して 今の心境にあった音楽を自動選択配信する USAグレースノート社が展開 98 最新の動向２０１２ 心のレントゲンを目指しPST開発が始まりました 防衛医科大学によるST技術とその他の技術の比較の結果が東 日本震災対応で有効確認されました。＜学会賞受賞＞ これにより、精神分析専用のエンジン開発が出来ました。 そして、フィンランド政府は公式採用を決定、医療認定を進め、 自国の医療機関やメンタルヘルス事業へ積極的に導入すること を決定した。これは確実にEU標準化と医療費の大幅な削減を 狙ったものである。 フィンランドは、うつ病発症率、自殺率共に世界最高であったが、政府主導で薬剤に頼る 医療からカウンセリングとケアにシフトし、現在日本より少ない発症率を実現させた。 世界が注目するフィンランドメンタルヘルス分野での公式採用は、PSTの世界基準への 第一歩となった。 「薬漬け」「NIRS」信奉の日本の精神医療による高額医療費問題はどうなるのでしょう？ 99 Ｔｈａｎｋ ｙｏｕ！ 100