Aided Eyes:Eye Activity Sensing for Daily Life

CV 輪講
Aided Eyes:Eye Activity Sensing for Daily Life
後藤祐斗
2010 年 9 月 24 日
はじめに
1
ライフログシステムは人の行動記憶から有益な情報を読み取る研究である．この研究に人の眼
球運動も重要なデータの一部として認識されている．しかし，眼球運動を捉える眼球追跡の研
究には，頭部着用型の計測装置や，顔に電極のような実験器具を取り付けて行う大規模なシス
テムが必要とされ，研究が可能な地域も限定される問題がある．この問題に対して暦本ら [1]
は，眼球運動を日常生活の中で携帯可能な計測装置を使って取得する方法を提案している．そ
こで，今回は暦本らが提案している眼球運動計測装置と計測手法について紹介する．
EYE-ENHACED ライフログ演算
2
周囲のビデオ画像を持ったライフログは私たちに相当な量の情報を与えることができる．一方
で，人は周囲の情報から興味のある物に目と視線を向ける．注視情報をビデオから検出して，
注視物およびユーザの状態をビデオと眼球運動から抽出し，その情報から検索を行い，最終的
にライフログとして加える (図 1)．そういった理由から，ライフログには注視方向，眼球運動，
まばたき頻度の 3 通りの情報を記録する必要がある．
• 注視方向 ：何を見たか，何に興味があったか理解するため
• 眼球運動 ：対象への興味に依存して変化
• まばたき頻度 ：頻度によって集中力のレベルを推定
3
3.1
組込式眼鏡型眼球センサーのデザイン
眼球検知のために要求される仕様
眼球運動にはいくつかの動作速度をもっている．それらの数種類は高速な眼球運動である．例
えば，マイクロサッカードの周波数は 1000Hz より高く，まばたきは約 150ms である．方法と
1
FLAB Work Document Sep 21, 2010
2
図 1: ライフログの概念
して，眼球運動の正確な検出のために眼球運動とまばたきを正確に区別しなければならない．
さらに，人の視界角度は片目で約 160 度である．暦本らは，一間隔 5 度程度の解像度があれば
情報抽出には十分な精度であると論じている．
3.2
眼球追跡手法の候補
眼球追跡手法にはいくつかの手法がある．暦本らは赤外線角膜輪郭追跡手法を用いて検出を行っ
ている．
カメラベースシステム 注視用のテクスチャを使う最も一般的な手法．
サーチコイルおよびオプティカルレバー 限定された環境で実験．
眼電図 (EOG) 眼球の電位を利用する手法．
赤外線角膜輪郭追跡 赤外 LED を用いた検出手法．
3.3
眼球計測機
図 2 に暦本ら用いている眼球計測機を示す．眼鏡の片側に 4 つのフォトトランジスタと 2 つの
赤外線 LED が取り付けられている．
測定前に，図 3 に示すようにカメラとセンサーの校正を行う．対象は 240 点 (横 20 点，縦 12
点) となる．これらのデータは注視方向を推定するために使される．また，注視方向の推定は
情報抽出システムを画像内の注視域だけに限定するために必要となる．
3.4
ライフイベント抽出システム
赤外線追跡の手法を用いる場合，センサーの値はまばたきによって素早く変化する．図 4 に示
すように，まばたきはの速度は約 150ms である．したがって，まばたきと眼球運動は簡単に区
別することが可能である．また，システムは被験者の注視領域から，顔および文字，あらかじ
FLAB Work Document Sep 21, 2010
(a) カメラ部分
3
(b) 全体像
図 2: 眼球計測機
図 3: カメラとセンサーの校正
図 4: カメラとセンサーの校正
(c) センサー部分
FLAB Work Document Sep 21, 2010
4
め登録された物から情報を抽出して物体をリアルタイムで認識する．このため，画像マッチン
グ手法として SURF を用いることで高速な物体認識を行う．また，“OpenCV Library” による
heer-like を使って顔認識を，OCR によって文字の読み取りをしている．それから，システム
は，時間，位置，顔画像などを記憶する．
4
事例研究
画像と注視情報を使って，あらかじめ登録された物，人の顔および文字を取り出す．図 5 には
ポスターなどの物体の抽出例を示す．この状況で，被験者は部屋にあらかじめ登録された 100
枚のポスターを 1 つ 1 つ観察している．図 6 は注視情報の光学文字読み取り結果を示し，図 7
(a) 検出例 a
(b) 検出例 b
図 5: 物体認識
には顔画像とともに，抽出した実時間を同時に記録している．このことから，複数の人がいる
場合にも注視情報を使って誰を見ているか取得することができる．
図 6: 文字認識
FLAB Work Document Sep 21, 2010
5
図 7: 顔認識
5
日常的な有用性と将来性のより高い実現
暦本らは事例研究より，画像処理による情報抽出がより正確な情報を提供するために広角，高
解像度カメラの使用を必要すると結論付けている．そのため，暦本らは眼鏡に解像度の低いカ
メラを埋め込み，広角，高解像度のカメラを首から提げることで解決している (図 8)．頭部カ
メラと首に提げたカメラの情報を比較，統合することでより正確に情報が求められることがで
きる．
6
おわりに
暦本らが提案している眼球計測機と計測手法について紹介した．視線検出からライフログ情報
を得ることで顔や物，文字などの認識が可能であることがわかった．
参考文献
[1] Yoshio Ishiguro，Adiyan Mujibiya，Takashi Miyaki，Jun Rekimoto，“Aided Eyes:Eye
Activity Sensing for Daily Life”，The 1st Augmented Human International Conference
(AH2010), Megeve, France, 2010.
FLAB Work Document Sep 21, 2010
図 8: カメラの組み合わせ
6