Kinectを用いた福祉支援アプリの開発

産学官連携フェア2014 Winter みやぎ
～研究成果発表・交流の集い～
Kinectを用いた福祉支援アプリの開発
東北福祉大学
情報福祉マネジメント学科
大内
誠
研究室
介護予防のためには楽しく食事をしたり、頭を使いながら運動したりすることが
重要であることが最近の研究で分かってきました。そこで今回は、Kinectのモー
ションセンシング機能を用いて咀嚼を分析するアプリと、コンピュータと会話を
しながら運動することによって脳機能を向上させ、いつまでも若々しい体と脳を
保持することを目的とするアプリを展示します。
1-1. 咀嚼認識ソフトウェア「ウェル・噛む噛む」
肥満予防
味覚の発
達
言葉を正
しく発音
脳の発達
歯の病気
予防
がんの予
防
胃腸快調
全力投球
厚生労働省が提唱している
「噛ミング30」の8つの効能
食事の際、咀嚼回数が減少すると、食物の消化吸
収が悪化するだけでなく、睡液の分泌が減少し口臭
の原因になったり、歯並びが悪くなったり、食物ア
レルギーになりやすくなったり、噛み合わせが悪化
して肩こりや頭痛が起こりやすくなったりします。
厚生労働省では、一口30回以上噛んで食べる「噛
ミング30」を提唱しています。
しかし、咀嚼回数を数えながら食べるのは容易で
はありません。そこで、私たちはKinectのモーショ
ンキャプチャ機能を利用して、咀嚼回数をカウント
するアプリ「ウェル・噛む噛む」を試作しました。
1-2. 「ウェル・噛む噛む」の概要
Kinectによるフェイストラッキング
2010年11月にMicrosoft社からXbox360向けのゲームデバ
イスであるKinect for Xbox 360センサが発売されました。
深度センサ、カメラ、マイクロフォンアレイ、および専
用ソフトウェアを動作させるプロセッサを内蔵しており、
プレイヤの位置、動き、声などの認識や、顔の表情を認識
（フェイストラッキング）することができます。
Kinect for Xbox 360
Kinect for XBOX360
咀嚼回数のカウント
Kinectから送られてきたフェイストラッキング情報から
口元の座標を抽出し、咀嚼回数をカウントしています。
未実装の機能
・食物を口に入れる動作と飲み込む動作の認識
・咀嚼と発話の識別
開発者：柳田恵梨奈、斉藤夏美
参考文献
開発中の「ウェル・噛む噛む」の実行画面
[1]藤井知、閔弘圭、小川祐司、「非接触型咀嚼センシング～食環境づくり噛むログ～」、千葉大学先進的マ
ルチキャリア育成プログラム、2012
[2]大山高裕、阿久津智美、伊藤和子、渡邊恒夫、神山かおる、「筋電位計測による若年者と高齢者の漬物咀
嚼特性」、日本食品科学工学会誌、2006
産学官連携フェア2014 Winter みやぎ
本研究に関するお問い合わせ先： [email protected]
大内誠
産学官連携フェア2014 Winter みやぎ
～研究成果発表・交流の集い～
Kinectを用いた福祉支援アプリの開発
東北福祉大学
情報福祉マネジメント学科
大内
誠
研究室
2-1. 頭を使って運動し認知機能を改善する「ドロップスター」
J.Rateyは、複雑な動きや新しい技能を習得しよ
うとするような運動を有酸素運動と組み合わせて行
うとするような運動
うことにより、脳全体の細胞が活性化して学習や認
うことにより
知機能が高まると報告しています。
知機能が
国立長寿医療研究センターの鈴木らは、「しり
とり踏み台昇降
とり踏み台昇降」や「引き算歩行」などを考案し、
運 動 時 に 頭 を 使 う こ と で 、 軽 度 認 知 障 害 (Mild
Cognitive Impairment : MCI)から認知症への移行
を遅らせたり
を遅らせたり、改善できると報告しています。
「ドロップスター」をプレイしている様子
そこで、私たちは、Kinectのモーションキャプチャ機能と音声認識機能を用いて、コン
ピュータと会話やしりとりをしたり、簡単な計算問題をしながら運動できるシリアスゲー
ム「ドロップスター」を試作しました。
2-2. ドロップスターの概要
画面（仮想空間）上に表示された28個の星に手を伸ばし、星を消していくゲームです。
同時に画面上には簡単な計算問題が表示されるので、その答えを音声で回答します。
音声で回答
Kinectによるモーションキャプチャと音声認識
プレーヤの腕の動きを認識するために、Kinectのモーション
キャプチャ機能を用いています。また、音声の入力にはKinectの
音声認識機能を用いています。
今後の予定
①コンピュータと１対１でしりとりする機能の追加。Nバック
課題機能付きしりとりゲームの追加
②体幹や下肢を含む有酸素運動ゲームの追加
③認知機能アセスメントツールの開発
④実証実験（長期実験前後の認知機能や記憶力の検査、脳血流
状態の検査）
開発者：丹野隼斗、小石川未来
東北福祉大学
大内誠
研究室
開発中の「ドロップスター」の画面
私たちの研究室では障害のある方や高齢者が利用できるさまざ
は障害のある方や高齢者が利用できるさまざ
まなICTシステムの開発を行っており，産学官連携事業にも積極
的に取り組んでいます。
■Unityを用いた簡易運転シミュレータの開発
■視線追跡技術を用いたALS患者のためのUIの開発
■３次元音響バーチャルリアリティ技術
■Wiiリモコン等の市販センサの利用技術
産学官連携フェア2014 Winter みやぎ
運転シミュレータ
3次元音響VR
本研究に関するお問い合わせ先： [email protected]
大内誠