温度画像を用いた発声時のオンライン表情認識システム

卒業論文要旨
温度画像を用いた発声時のオンライン表情認識システムの開発
(知能情報システム学) 中野真里
1. 緒言
人とロボットが自然なコミュニケーションをとっていくためには、ロボットが人の感情を理解
する必要がある。これを実現するため、さまざまな表情認識手法が研究されてきた。その中でも、
温度画像を用いた表情認識手法においては照明条件に左右されない表情認識が可能であり、5 表
情における平均が 90 %という認識率を得ている[1]。しかし、既報の表情認識システム[1]は、動
画像を入力し、表情認識を行うまでにいくつかの手動操作が必要であり、実用化のための課題の
一つとなっていた。
本研究では表情認識の実用化を目指し、発声時の動画像入力から表情認識までの処理の自動化
を行った。
2. 開発環境
・OS : Windows XP
・使用したプログラム言語 : Visual C++6.0
・DELL Optiplex GX280 CPU : PentiumⅣ 3.6GHz メインメモリ : 2GB
3. 処理概要
① 入力画像を AVI ファイルに保存
8 ミリビデオの温度動画像を入力し、20 秒ずつ AVI ファイルに保存する。
②静止画像を採取
保存された順に AVI ファイルを開き、その中の音声データをもとに発声直前、「ta」発声時、
「ro」発声時の 3 枚の静止温度画像を採取する。AVI ファイルに保存する際、処理の関係上、連
続する AVI ファイルの間に数百ミリ秒の保存できない時間が生じ、そこに発声がある場合、正
しいタイミングで静止画像が採取できないため、ファイルの始まりと終わりに現れた発声時の表
情については認識の対象としないこととした。
③ 表情認識[1]
1.
採取した静止温度画像の顔領域の位置、回転角度、サイズの補正処理を行ってから、表情の
特徴が出やすい顔部品領域を抽出し、平均無表情画像との差分をとり、純粋な表情変化のみ
を抽出する。
2.
得られた差分画像に二次元離散的コサイン変換(2D-DCT)を施す。
3.
3 枚の画像から得た DCT 特徴量から、特徴ベクトル作成ルールに基づいて、高い確率で表情
を分類できる DCT 特徴量を選び、特徴ベクトルとする。
4.
学習画像から得た特徴ベクトル空間に未知画像の特徴ベクトルを入力し、最小距離識別法によ
る表情認識を行う。
既報の手法[1]では AVI ファイルの保存にビデオ編集ソフトウェアを用いていた。本法では
DirectShow を用いることで、プログラムによって AVI ファイルを柔軟に扱えるようにした。ま
た、①から③の処理を同時並行で行い、入力から表情認識までの時間を短くした。
4. 実験
被験者に中立的な言葉(日本名「taro」)を 5 表情(怒り、喜び、無表情、悲しみ、驚き)におい
て発声してもらった。このときの温度動画像を入力し、前述した処理によって表情認識実験を行
った。1 表情に対して 30 回の発声データを採取し、このうち 20 サンプルを学習用、10 サンプ
ルを認識用に用いた。1 回の発声から得た静止画像は発声直前、「ta」発声時、
「ro」発声時の 3
枚である。特徴ベクトルは 19 次元となった。
5. 結果
既報の手法による表情認識結果[1]を表 1 に、本法による結果を表 2 に示す。本法では、入力し
た温度動画像は既報の研究[1]と同じであるが、そこから得た AVI ファイルは異なっており、静
止画像取得のタイミングも異なっている。
表 1. 既報の手法による認識率[1]
認
識
怒り
喜び
無表情
悲しみ
驚き
怒り
70
30
喜び
10
90
入力表情
無表情 悲しみ
90
10
表 2. 本法での認識率
驚き
認
識
100
100
怒り
喜び
無表情
悲しみ
驚き
怒り
78
22
喜び
入力表情
無表情 悲しみ
驚き
88
100
11
100
100
既報の手法[1]による認識率は平均 90 %であり、本法での認識率は平均 93 %となった。
認識用に用いた 5 表情 50 サンプルの発声データのうち、AVI ファイルの最初、もしくは最後
に発声データがあり、表情認識しなかった割合は 16 %であった。なお、認識結果が出るまでの
時間は 45 秒であった。このうち AVI 保存に 21 秒、静止画像採取に 12 秒、表情認識に 12 秒か
かっていた。
6. 結言
既報の表情認識手法[1]を用いて、入力から認識まで自動でできるシステムを開発した。その結
果、表情認識実験では平均 93 %の認識率を得ることができた。今後はこのシステムを用いて多
数の人の表情認識を行い、実用化への課題を抽出する予定である。
参考文献
[1] 池添史隆 : 温度画像を用いた発声時の表情認識;京都府立大学大学院人間環境科学研究科環
境情報学専攻 修士論文, 2006.