多段化した ASM による目領域抽出の向上に関する研究 Cascaded

多段化した ASM による目領域抽出の向上に関する研究
Cascaded Active Shape Model for Eye Region Extraction
ヒューマンインタフェース学講座
0312011102
千葉 隆裕
指導教員：Prima Oky Dicky A.
伊藤 久祥
て，
ランドマークごとの画像特徴量を学習データとし，
1. はじめに
パッチモデル（patch model）を生成する．この形状お
Haar-like 特徴 1)が登場してから，画像処理による顔
よびパッチモデルを入力顔画像に対して当てはめるこ
検出精度は飛躍的に向上してきた．一旦顔を検出でき
とによって，入力顔画像における顔ランドマークを自
れば，目や鼻等どの部位に対する検出も行いやすくな
動的に抽出できるようになる．
り，これらの部位の特徴を利用した固有顔による顔認
2)
以上のことから，ASM の精度は顔データベースの品
証（Eigenface） や顔形状のモデル（Active Shape Model;
質，形状およびパッチモデルの当てはめに左右されて
ASM）3)などの処理を高速化できるようになった．ヒ
いる．さらに，顔部位の中で剛体（rigid）
・非剛体変形
ューマンインタフェース学講座では，ASM をベースと
（non rigid）における実装方法によってはその当ては
4)
した Face Tracker ライブラリ を利用して目領域を抽
出し，その領域内の虹彩の中心を算出することで，可
視光線による視線追尾システム 5)を実現した．しかし
めの結果が変化する．
3. 多段化した ASM による目領域の抽出
ながら，照明条件によっては目領域を正確に検出でき
本研究では，正確に目領域を抽出するために，ASM
ないという課題があり，最終的に視線計測の精度の低
を 2 段階で実装し，第 1 段階では顔画像からの顔ラン
下に繋がった．ここで，本研究では ASM の処理を多
ドマークの抽出，第 2 段階では第 1 段階によって得ら
段化し，目領域の抽出精度向上を試みる．
れた顔ランドマークの内から，目を包含する四方領域
の画像を用いて，目領域のみのランドマークの抽出を
2. ASM について
行う．それぞれについて以下に述べる．
ASM では，次のように顔画像から顔ランドマークを
抽出する（図 1）
．まず，大規模な顔データベースに対
3.1 第 1 段階の ASM
この段階の ASM として，広く使われる Face Tracker
して顔ランドマークを手動で指定（annotate）し，点分
ライブラリを採用した．このライブラリによって 66
布モデル（point distribution model; PDM）を作成する．
点の顔ランドマーク（図 2）は抽出されるが，左右の
この PDM に対して主成分分析を行い，顔ランドマー
目領域に該当するランドマークは，
そのうちの 16 点で
クの分布を固有値で形状モデル（shape model）として
ある．目の四方領域について次のように求める．
表現する．一方，顔ランドマークの近傍画素を利用し
図 1 ASM の概略
よび形状モデルを作成した．
ただし，
その内の 2 点は，
眼球の中心に位置するランドマークである．図 3 は，
多段化した ASM による目領域を示す．抽出した目領
域（楕円）から，頭部姿勢と目の開き度合によって，
目画像の大きさおよび傾きを正確に求められることが
分かる．なお，MacBook Pro 15 Retina Late 2012（CPU:
Core-i7, Clock: 2.6G Hz, Mem: 16 GB）で本処理を実行
した場合，処理速度が 22fps に達しており，リアルタ
イム処理が必要な応用分野において，十分に実用的で
ある．
36
39
42
45
5. おわりに
図 2 目を包含する四方領域
本研究では，より正確な目領域を抽出するために，
a. 左目
多段化した ASM を提案した．本手法を用いて視線計
左目を包含する四方領域は，その目尻に位置する 36
測を行った場合，より安定した視線の検知・追尾を期
番と 39 番のランドマークをもとに算出される．図 2
待できる．今後，より多くの目領域のランドマークを
のように，顔を真正面化（frontalization）した状態で，
収集し，高精度に目領域の自動抽出を実現したい．
四方領域の長辺を 36 番と 39 番のランドマークを結ぶ
参考文献
ベクトルと平行するものとし，短辺は長辺に垂直した
ものとして決定する．ここで，目領域を適切に含める
1) Viola, P., and Jones, M., Rapid object detection using a
ために，短辺および長辺の長さを調整する．
boosted cascade of simple features, Conference on
b. 右目
Computer Vision and Pattern Recognition, (2001).
右目の領域を包含する四方領域は，上記 a.と同様に
2) Turk, M. and Pentland, A., Face recognition using
求められるが，その際に 42 番と 45 番のランドマーク
eigenfaces, Proceedings of Computer Vision and
を利用する．
Pattern Recognition, pp.568–591, (1991).
3.2
3) T.F. Cootes and C.J. Taylor and D.H. Cooper and J.
第 2 段階の ASM
前述の左右目を包含する四方領域をもとに，図 1 と
Graham, Active shape models - their training and
同様に，手動で目領域のランドマークを作成し，パッ
application. Computer Vision and Image Understanding
チおよび形状モデルを作成する．ただし，従来の ASM
では，Haar-like 特徴を利用して点分布モデルを正規化
Vol.61, pp.38–59, (1995).
4) Saragih, J.M., Lucey, S., Cohn, J. F., Deformable model
するが，本処理において，上述の四方領域を利用して
fitting
by
regularized
landmark
mean-shift,
正規化を行う．
International Journal of Computer Vision, Vol.91，No.2,
pp.200–215, (2011).
4. 結果
5) 今渕貴志，可視光カメラを用いた非接触型視線計
多段化した ASM を C++で実装し，目領域の抽出性
測システムの開発，平成 25 年度岩手県立大学ソフ
能およびプログラムの実行速度について評価を行う．
トウェア情報学部卒業研究・制作論文予稿集，
ここで，様々な頭部姿勢が異なる目の四方領域の画像
pp.158–159, (2013).
から，両目で 22 点のランドマークを作成し，パッチお
Initial facial landmarks
Cascaded eye
landmarks
Cascaded eye
landmarks
Initial facial landmarks
Cascaded eye
landmarks
Initial facial landmarks
Cascaded eye
landmarks
(a) 顔が真正面に向いた場合
(b) 顔が左斜めに向いた場合
図 3 多段化した ASM による目領域の抽出
Cascaded eye
landmarks
Cascaded eye
landmarks