組込み Linux を使用した正面顔での視線方向認識の考察

組込み Linux を使用した正面顔での視線方向認識の考察
Investigation on detecting the line of sight from frontal face photographs
using Embedded Linux Device
難波田 ゆう子†
中野秀男††
大西克実†
Yuko Naniw ada
Hideo Nakano
Katsumi Onishi
概 要 ： ALS の患 者 にとっ て, 視 線 でのコ ミュ ニケ ー ション が非 常 に重 要 である .し かし, 現 在市 販 さ れて い る 視 線 入
力コミュニケ ー ション シ ステ ム の中 で 安 定 し た動 作 を 行 う製 品 は 非 常 に高 価 であ るこ とや, 使 用 にあ たり あ る 程 度 の
訓練を要 す るこ とが原 因 で, 多 く の機 能を 備 え てい る システムを 有 効 に使 え るよ うに なる までに 諦め てし ま う 方 も 多
い.
本論文では, 可 能 な 限 り低 価 格 な 環 境 上 で 正 面 顔 の視 線 が 正 面 にあ る か否 かのシン プル な ON・ O F F の 判 断
を行えるシステム に つい て 研 究 を 行 っ た. 低 価 格 な環 境 には 組 み 込み L inux であ る オー プン ソ ー スハ ー ド ウ ェア
の Raspberry Pi と専用のカメ ラ モジ ュー ルを 使 用し た構 成を 採 用し , 視 線 認 識 が有 効 に行 え る のかを 実 験 , 考 察
した.
視線認 識 につ い ては , 正 面 顔 が 写 っ た画 像 から 顔, 目 頭, 瞳 孔 を 検 出 し, 検 出 結 果 から カメ ラ との距 離 と 視 線 方
向を推定す る. 一 般 的 なパ ソコ ン 環 境 で 作 成 し たプロト タイ プを Ras pb erry Pi へ移植して動 作 の比 較 を 行 っ たと
ころ,同じ画 像 に 対 し て 処 理 時 間 に差 は あ る が, 検 出 結 果 は 完 全 に 一 致 し た. また, 専 用 カ メラ モ ジュ ー ル を 使 っ た
実験におい ては , フル HD と VG A の 2 種 類 のサイ ズで実 験を 行 っ た. 結 果 とし ては , フル HD は やは り 認 識 ま で の
時間がかかっ てし まい 違 和 感 が 残っ た. VG A は 時 間 に関 し ての違 和 感 は なかっ たが, 距 離 が 0.5 ～1 . 0 m ま では
安定してい る が,1. 5m 離 れ る と検 出 失 敗 が 増 え る 結 果 となっ た. こ の結 果 から 提 案 し た低 価 格 な環 境 に お い て
1.0m 程度の近 距 離 であ れば 視 線 認 識 が十 分 行 える ことを 示 した.さら に, Ra spb erry Pi2 という新 機 種 を 使 用 し
て速度を計 測 し, Ra spb erry Pi と比較し て 2 倍 強 の結 果 が出 るこ とを 示 し た.
キーワード：筋委縮性側索硬化症, 視 線 認 識 ,ラ ズベ リー パ イ,ラ ズベ リーパ イ 2
Keywords ： ALS, Detect the line of sight, Raspberry Pi, Raspberry Pi2
大阪市立 大 学 大 学 院 創 造 都 市 研 究 科 , Graduate School for Creative Cities, Osaka City Univers it y.
帝塚山学 院 大 学
ICT センター, Tezukayama Gakuin Univers it y.
35
1 はじめに
肢体不自由者にと って,コミ ュニケーショ ン ツー ル
2 現 在 の視線入力システムについ
て
は 重要であ る .中でも , 筋 委縮 性 側 索 硬 化 症 ( 以
本章では, 視 線 入 力 シス テムを 必 要 とさ れ る 方 が 多
下,ALS)という病気は,運動ニューロン が 侵 され る 病
い ALS という病 気 につい て, また実 際 に現 在 は ど の よ
気で,手や足,顔など,自分の体を思い通 り に 動 かし
うなシステム が使 用 さ れ てい る の か, そし て 現 在 の 問 題
にくくなり徐々に筋肉が衰え ていく.し かし , 目 を 動か
点を述べる.
す筋肉は最終的にあ る 程度残る ため, 視 線 を 使 用
2.1 ALS という病気について
したコミュニケーションツールが非常に重要になる.
現在の日本の ALS の患者数は 日本 A LS 協 会
ALS とは 正 式 名 称 は 筋 委 縮 性 側 索 硬 化 症 ( 以
によると約 8300 人と 報告され ている.多く の 患 者は ,
下,ALS)とい う. ALS は 脳 や 末 梢 神 経 から の 命 令 を 筋
現在は透明文字盤を使用して家族や介 護 者と のコ
肉に伝え る 運 動 ニュ ーロ ン が侵 さ れ る 病 気 で , 手 や 足 ,
ミュニケーションを取っている .し かし ,意 思 を 持 って
顔など, 自 分 の 体 を 思 い 通 り に動 かし にく く な り 徐 々 に
何かをしよう と する と 必ず聞き 手と なる 相 手 が 必 要
筋肉が衰 え てい く.
になる.それは患者 にと って非常にストレス に な って
その一 方 で, 知 覚 神 経 と自 律 神 経 は 侵 さ れ な い た
め五感（視 覚 , 聴 覚 , 臭 覚 , 味 覚 , 触 覚 ）, 記 憶 そ し て 知
いる.
すでに高価な視線入力システ ムは 存在 し て い る
性に関わる 神 経 につ い ては 原 則 障 害 がみ ら れ な い . ま
が,本研究では,低 価格でシン プル な装 置 を 使 用し
た,ALS で侵さ れ る のは 随 意 筋 に 伝 え る 運 動 ニ ュ ー ロ
て,視線認識 を行う .例えば正 面を向い て い る 場 合
ンであり, 心 臓 や 消 化 器 は 自 律 神 経 で動 い てい る ため
には「ON」,視線が正面以外を向いている 場合 には
影響がない . ただ し, 呼 吸に は 随 意 筋 と自 律 神 経 の 両
「OFF」などの簡単な判断を行える こと を目的 と する .
方に関係 があ る ため 呼 吸 筋 がし だい に 弱 く な り 呼 吸 が
低価格でシン プルな装置には 近 年 話 題 の
困難になっ てくる.
Raspberry Pi を使用する.シングル ボード コ ン ピュ
ータであり＄35 で販売され ている Raspber ry Pi と
＄25 で販売されている 専用カ メラモジュ ール を 使
用した環境で視線認識が行える かを実験し , 結 果に
ついて考察した.
2 章では,ALS と いう 病気や現在の視線 入 力シ ス
テムについて調査し ,本研究の目的を挙 げ た . 3 章
では ,作成し た画像処理のプロ トタ イ プについて ,4
章では作成したプロトタイ プの Raspbe rry Pi への
図 2 -1 人 間 の神 経 を 働 き で分 類(AL S ホ ー ム ペ ー
移植方法や実験方法を確認する.5 章 では 実 験結
ジよ り抜 粋 )
果の結果について考察し た後,本論文 に お い て残
された課題と今後について述べていく.
36
2.2 ALS と眼球運動
伝わっていれば OK の合 図 を す る. （ 違 っ て い
ALS の症 状 とし て 表 れ に くいも のの 一 つ に 眼 球 運
れば合図をせ ず 見 つ め 続 ける. ）
動障害 が あ る . その 為 , 多 く の患 者 が, 声 が 出 な く な り ,
手足が動 か なくなっ て も, 目 の 動 き で 自 分 の 意 思 を 伝
えることが可 能 に なっ てい る.
2.2.1 透明文字 盤
現在多くの AL S 患 者 がコ ミュニケ ー ショ ン に 使 用 し
図 2 -3 透 明 文 字 盤 の使 い 方
ているものが, 透 明 文 字 盤 で あ る . 透 明 文 字 盤 とは , 文
字が書 かれ た透 明 の シ ート であ り, 聞 き 手 側 が シ ー ト を
2.2.2 視線入力 シ ス テ ム
手に持 ち患 者 と向 き 合 う形 で使 用 す る . そ し て 一 文 字
視線入力 システム とは , 多 くの 場 合 , 画 面 に 隣 接 し た
ずつ読解 し て今 何 を 伝 え よ うとし て い る の か を 認 識 す
場所にカ メ ラ が あ り, 使 用 者 が 画 面 に表 示 さ れ て い る
ることが可 能 になる ツール であ る.
文字やボタ ン （例 え ば メ ー ル 等 の メ ニュ ー ボ タ ン ） を 注
視することで, 使 用 者 の瞳 孔 を 追 跡 し, 視 線 の 向 き を 認
識してどこを 見 てい る かを 特 定 する システム であ る.
視線入 力 シス テム は , カ メラ (赤 外 線 を 含 む ) の 高 性
能化,低 価 格 化 によ っ てい く つ かの メ ーカ ー で 研 究 開
発・販売さ れる よ うになっ てき てい る.
例えば, スウ ェー デン の トビ ー テクノ ロ ジ ー 社 が 発 表
しているマイト ビ ー とい う製 品 は , AL S を 含 む 手 足 , 声 ,
体の一 部 が使 え ない , または 使 うこ とが非 常 に 困 難 な
図 2 -2 透 明 文 字 盤
(透 明 文 字 盤 t encil のホ ー ム
人に向い てい て, 例 え ば 脳 性 麻 痺 の 患 者 の 頭 の 揺 動
ペ ー ジから 抜 粋 )
もキャンセルして安 定し た視 線 入 力 を 行 う.
透明文 字 盤 の使 用 方 法 は 以 下 の 通 り.
① 聞き手は 盤を もっ て
お互いに盤 の 文 字 な ど が
見やすいように姿 勢 を 調 整 する .
② 話し手は伝 え たい 文 字 な どを 見 つめ る .
③ 聞き手は 話 し 手 と視 線 が合 うよ うにゆ っ く り と 盤
図 2 -4 視 線 入 力 システム マイ ト ビ ー
を動かす.
④ 聞き手は 話 し 手 と視 線 が 合 っ たら
その視 線 の
間にある文 字 な どを 読 上 げ る.
マイトビー では 画 面 上 の 文 字 を 見 て自 分 の 意 思 を 文
字へと変 換 す る こ とが 可 能 に なる . また, イ ン タ ー ネ ッ ト
⑤ 話 し 手 は 聞 き 手 が読 上 げ た文 字 な ど が 正 し く
37
やメールを 通 し て遠 くの 人 とのコ ミュ ニケ ー シ ョ ン が 可
意図は, よ り 小 型 で 汎 用 性 の 高 い 環 境 で の 動 作 を 確
能になる 重 度 障 害 者 用 の 視 線 に よ る 意 思 伝 達 装 置
認することである .
であり,価 格は 1 ,39 0,000 円と高 額 であ る.
また,多くの 視 線 認 識 シス テム で使 用 さ れ てい る カ メ
ラは赤外線 L ED の 出 力 があ るも ので ある が , 赤 外 線
LED の照 射 に つい ては 人 体 へ の影 響 は 証 明 さ れ て
2.2.3 問題点
透明文字 盤 を 使 用 する には , 常 に聞 き 手 と 話 し 手 が
いないが,24 時 間 365 日 間 目 に 照 射 す る こ とは 少 な
必要になる ため , 自 発 的 な 行 動 を 起 こ す こ と が 出 来 ず
からず人 体 に 対 す る 悪 影 響 を 及 ぼ す 可 能 性 が あ る の
にストレスが溜 まっ てい くことが 問 題 であ る.
ではないかと 考 え , 赤 外 線 カ メ ラを 使 用 せ ず に 視 線 認
前述したよ う に視 線 入 力 シ ステ ム は , カメ ラ ( 赤 外 線
識システムを 開 発 す る.
を含む)の高 性 能 化 , 低 価 格 化 によ っ てい く つ か の メ ー
本研究 の 目 的 を , 「 赤 外 線 カ メラ を 使 用 し な い 低 価
カーで開 発 さ れ るよ うに な っ てき て い る が, シ ス テ ム とし
格な構成 で, 視 線を 使 っ ての O N/ OF F が出 来 る こ と」
ては依然 とし て高 価 であ る こ とや, 思 うよ う な 動 作 が 得
とし,目標を「 カメ ラとの 距 離 が 0.5 m ～1. 5 m の 範 囲 で
られないため,大 き な 普 及 には 至 っ てい ない .
正 面 顔 の状 態 で, 視 線 方 向 が正 面 か 正 面 以 外 か 認
安定した視 線 入 力 を 実 現 す る シ ステ ム と し て , 前 項
識すること」とす る.
2.4 先行研究
で上げたマイ ト ビ ー は 非 常 に 高 価 であ る . 価 格 が 低 め
のものであ れ ば , 安 定 し た視 線 入 力 を 行 う こ と が 困 難
阿部氏 ら の 研 究 [2 ]で は , 重 度 肢 体 不 自 由 患 者 の
になる.安 定 し た視 線 入 力 が 行 え な いとい うこ と は 患 者
頭部移 動 が小 さ いこ とに着 目 し, 室 内 照 明 の も と に , 視
にとって大 き なスト レス とな り, シ ステ ム 自 体 を 使 用 し な
線検出 を 行 う 方 法 を 提 案 さ れ てい る . 提 示 さ れ た シ ス
くなる傾 向 が あ る. ま た, 視 線 入 力 シ ステ ムを 使 え る よ う
テムでは,ユー ザご とに 上 中 下 それぞ れ の 位 置 の 注 視
になるには ,あ る 程 度 練 習 期 間 が必 要 であ り , 以 前 から
画像を記 憶し , それ ら から 光 強 度 分 布を 求 め 基 準 デ ー
ICT に触れ てい た患 者 とそうでない 患 者 に は 慣 れ る ま
タとしてユーザ ご とに辞 書 化 す るこ とで, 光 強 度 の 誤 差
でに大きな差 がある .
を抑えている.
Onur Ferhat 氏 と Ferna ndo
2.3 目的
Vilarin o 氏 ら の 研
究[8]では, Rasp berry Pi を使用し て安 価 な 視 線 追 跡
現在の視 線 入 力 シ ステ ム は 高 機 能 だが , 実 際 に は
システムを 提 案 され てい る. 提 示 さ れ たシス テム は オ ー
使いこなせる 人 が少 な い. 例 え ば, 機 能 とし て は 簡 単 に
プンソースの Op engaz er を 元 に 視 線 の 追 跡 シ ス テ ム
テレビを付ける, 消 す等 の O N/ OFF が出 来 る だ け でも
を 作成し, 視 線 の キ ャ リ ブ レ ー シ ョン を 行 な う こ と で
患者のスト レ スの一 つを 解 消 す るこ とが考 えら れ る.
80cm 離れた場 所 から VG A で撮 影 した画 像 を 3 fp s
そこで, 本 研 究 では 可 能 な 限 り 低 価 格 な 構 成 で , 視
で処理している .
線を使用し た O N/ OF F が出 来 る シ ステ ムを 提 案 す る .
2.5 関連技術
低 価 格 な構 成 の 実 現 には , 名 刺 サ イ ズ (85. 6 0 m m ×
53.98mm) の シ ン グ ル ボ ー ド コ ン ピ ュ ー タ で あ る
The
Raspberry Pi を使用す る. Ras pb erry Pi を 使 用 す る
Eye
Tribe
Tracker
は ,
本
体 と
Windows,Ma c,L inux の 何 れ かで 動 作 さ せ る ため の
38
API とセット が 低 価 格 で販 売 さ れ て い る の で , 購 入 す
1.8GHz(4 コア )
れば視線入 力 システ ム 開 発 が 可 能 とな る.
Memory
8GB
SSD
128GB
開発言語
C 言語(G UI ツー ル キ ット の G T K +
を使用)
ディスプレイに結果表示
図 2 -5 視 線 検 知 シ ステ ム T he Eye Trib e Tra ck er
赤外線 照 合 システ ム と 結 合 し た全 く新 し い 高 解 像
度センサ ー に よ りユ ー ザ の視 線 を 検 知 . 接 続 し た パ ソ
コンやタブレ ット の操 作 が 視 線 だ けで でき る よ う に なる
装置の開 発 者 向 けモデ ル.
45cm から 75cm 離 れ た位 置 から 可 能 で , 本 体 か ら
65cm の位 置 では 4 0 cm 四 方 のエリア を 検 知 可 能 . 価
格は 99 ドルと安 価 である .
NUC
3 正 面 顔の視線認識システムのプ
ロトタイプ開発
図 3 -1 一 般 的 なパ ソ コ ン の構 成
2 章の目 的 で提 案 したシ ステム を 実 現 す る ため , シ ス
3.2 評価用データの収集
テムのプロト タイ プを 作 成 し た.
3.1 開発環境のシステム構成
画像処理では,多くの画像を評価すること で
プロトタイプ開 発 を 行 う際 は 一 般 的 な パソ コ ン で あ る
Intel の NUC(Next
認識精度を向上させる.本研究でも可能な限り
Unit of Computing )を 使 用 し
の 画 像 を 収 集した .収集 した画 像を評価して,
て開発する. スペ ックに つい ては 表 3 -1 に記 す.
結果を比較する為,画像の撮影はカメラ 3 種類
OS に Debian GNU/Linux7.0 を 選 択 し た 理 由 は , 後
を使い,類似した環境下で同じパターンの画像
に移植す る Rasp berry
に限定した.
Pi の OS を D eb ia n Linux
系の Raspb ia n を 使 用 す るため, よ り簡 単 に 移 植 で き
ることを考慮し た.
3.2.1
評価データ撮影環境
(１) カーテン,ブラインドを閉め て 室 内 の
表 3-1 プロトタイプ開 発 環 境 のスペ ック
NUC
DC3217IYE
OS
Debian GNU/Linux7 .0
CPU
Intel
Core
電灯下で撮影する.
画 像 処 理 にお い て 影 の 存 在 は 大 き く 検 出
i3-3217U
結果を左 右 す るこ とが 考 え ら れ る. 本 研 究 の 場
CPU
@
合であれ ば, 部 屋 の窓 か ら 差 し 込 む 太 陽 光 で
39
鼻影が出 来 るこ とによ っ て 左 右 の顔 の ト ー ン の
カメラの情報にある通りであり,収集した評価
差が大 き く な る 等 があ る の で 本 研 究 で 利 用 す
用 画 像 の 種 別にあ る眼鏡 有につ いては 後述す
る 評 価 デ ー タ の撮 影 時 は 室 内 電 灯 の 光 だ け
る 目 頭 の 検 出にお いて眼 鏡の縁 を誤検出して
で撮影する .
しまうため,本研究での評価対象外とする.
(２) 白い机を挟 んで撮 影 する .
机にピント が 合 っ て し まわ な い 様 に , 白 い 机
表 3 -2 評 価 画 像 の対 象 者 とカ メ ラ 情 報
を挟んで撮 影 する .
(３) 被 写 体 の目 の 高 さ にカ メ ラ の レ ン ズ を 合 わ
せ,1m 離れた距 離 から デ ジ タル ・光 学 ズ ー ム
性別
男性：55 名
眼鏡有
10 名
年代
20 代：41 名
女性：11 名
30 代：4 名
を使用せず に撮 影 す る.
40 代：2 名
3.2.2
評価データ撮影パターン
50 代：7 名
以下の 4 パタ ーン で 撮 影 す る.
(１)
真正面に座 りカ メラ に視 線を 向 けて 撮 影
(２)
(１)の状 態 から 視 線 だけを 目 印 へ 移 し て 撮
60 代：2 名
不明：10 名
カメラ
iPhone5s：22 名
SONY DSC-W320：25 名
影
(３)
Canon EOS Kiss X2:19 名
座る位置 は 変 え ず に 目 印 が真 正 面 に な る よ
うに顔を動 かし 目 印 に視 線 があ る 状 態 で撮 影
(４)
サイズ
iPhone5s：2448×3264
[pix]
SONY DSC-W320：4320×3240
(３)の状 態 から 視 線 だけを カ メ ラ に 戻 し て 撮
Canon EOS Kiss X2：2256×1504
影
3.2.4
評価画像に対して正 解 点 を
登録
被写体
収集した全画像に対して正解点を登録する.
正解点とは,画像処理の評価を行うために事前
1m
に人間が画像を確認し,“ここが正解”と考える
90°
場 所 を 決 定 する必 要がある .本 研究では,全て
目印
の 画 像 に 対 して目 頭と瞳 孔の 座 標登録を予め
1m
手動で行った.
撮影者
図 3 -2 評 価 用 画 像 収 集 イ メ ー ジ
3.2.3
3.3 視線方向を認識するまでの流れ
視線方向 を 認 識 す る 為 には , 前 段 階 とし て 目 頭 と 瞳
評価用画像の収集数
孔の位置 検 出 を 行 う. 続 い て, 検 出し た位 置 か ら 距 離 と
本研究で収集した評価用画像は 66 人分にな
視線方向 の 認 識を 行 う. 視 線 認 識 までの 流 れ を 図 3 -3
った.内訳としては表 3-2 評価画像の対象者と
40
へ記す.
顔検出
目のエリア 決 定
目頭候補検出 (複数)
瞳孔検出
目頭決定
図 3 -4 入 力 画 像
検出
距離認識
白枠 と 点 線 枠
視線方向 認識
の２ヵ 所 が 顔 検
認識
出された. こ の 場
合は 白 枠 が画
図 3 -3 視 線 認 識 までの流 れ
像の中 心 に 近
3.4 視線認識に必要な検出
いので採 用 さ れ
る.
3.4.1 顔検出
顔の検出 には オー プンソ ー スの O penC V を 使 用 す
図 3 -5 顔 検 出 結 果
る.OpenCV に 実 装 され て いる オ ブジェクト 検 出 プ ロ グ
ラムは Haar-lik e 検 出 器 と Adab oos t と呼 ば れ る ア ル
検出した顔 のサ イズによ る, 以 降 の検 出 処 理 へ の 影 響
ゴリズムが使 用 さ れ てい る ので, 非 常 に高 速 に オ ブ ジェ
を考慮し,顔 検 出 さ れ たエリアを 400 [p ix]
クト検索 が行 える ため 今 回 使 用し た.
400[pix]へ 正 規 化 し た. (図 3 -6)
顔検出を 行 うと複 数 の 候 補 が上 がって く る の で , そ の
中で極 端 に 小 さ い も のを 除 き 一 番 画 像 の 中 心 に あ る
ものを顔と 判 断 し てい る . 入 力 画 像 (図 3 -4 ) を グ レ イ ス
ケールに変 換 して顔 検 出 をし た結 果 が図 3 -5 の 四 角
枠の位置 になる.
41
×
図 3 -6 顔 検 出 エリア を 正 規 化 し た画 像
図 3 -8 正 規 化 さ れ た画 像 に対 す る 目 のエリア
3.4.2 目検出
目の検 出 の 処 理 時 間 短 縮 の ため に Op e n C V の
(２) 目の上限 と下 限 を 見 つ ける
equalizeHist ()を 使 用し てヒスト グラ ム の均 一 化 を 行 う .
目の上 限 ・下 限 は その 上 下 幅を 含 む 付 近 から
ヒストグラ ム の 均 一 化 を 行 う 理 由 とし て は , 明 る す ぎ や
目頭と瞳 孔 を 検 出 す る ため に 使 用 す る . 目 の 上
暗すぎなどの濃 度 差 が両 極 端 に偏 っ て い る 画 像 で は
限・下限 で 必 要 な画 像 は (１)で 決 め た 目 の 検 出
検出結 果 が偏 っ て し まう可 能 性 が あ る た め 累 積 度 数
エリアに対 し て, まず 右 目は 左 端 から 縦 の 中 心 か
分布が直 線 になる よ うに各 1 枚 ず つ均 一 化 を 行 う.
ら 20pix 引い た 180 pix までを 使 用 す る . 同 じ よ
(１) 目の上 限 下 限 を 検 出 す る ため の目 の エ リ ア
うに左目は 縦 の中 心 であ る 200 p ix から 2 0 p i x
を決定する
足した 220pix から 目 の検 出 エリア の 右 端 ま でを
人間の目 は 顔 の 上 半 分 にある と推 測 で き る の
使用する . 左 右 とも に指 定 し たエ リア の 輝 度 か ら
で,正規化 され た画 像 に対 し て図 3 -7 の エ リ ア を
目の上限 と下 限 を 検 出 す る.
目 頭 ・瞳 孔 の 検 出 に 使 用 す る 目 の エ リ ア と し
20pix
た.OpneCV を 使 用 し て 目 の検 出 する こ と も 可 能
であるが, 画 像 の 全 体 に 対 し て 検 出 処 理 を か け
るため,時 間 短 縮 を 考 慮 し , 固 定 のエ リ ア で 決 定
400pix
した.
目の検出エリア
(90,100)
400pix
(310,199)
400pix
目の上限・下限検索エリア
図 3 -9 目 の上 限 ・下 限 用 エリア
目の上 限と 下 限を 見 つ ける 方 法 は , 図 3 -1 0 に あ る 様
400pix
に,目があ る 箇 所 では 黒 目 や まつ 毛 などの 黒 の 要 素 が
図 3 -7 目 のエリア
大きくなり, 上 下 は 肌 色 で 黒 の 要 素 が 小 さ く な る と 考 え
42
られる.この切 り替 わ る 部 分 上 限 と下 限 とし て 見 つ け 出
3.4.3 目頭候補 の 検 出
目頭の検 出 は 正 規 化 さ れ た顔 画 像 (図 3 -6 ) を 二 値
す.
化したエッジ画 像 と 3 .4.2 で求 め た目 の上 限 , 下 限 を
使用す る . 目 の 上 限 と下 限 の 間 を 顔 の 中 心 か ら 外 側
肌色の部 分 に な る の
に向 かっ て 連 続 し た 線 に なっ てい る 箇 所 を 検 出 す
で輝度が大き い
る.(図 3-14 )
目頭候 補 の検 出 の フロー チ ャー ト は図 3 -1 5 に 示 す .
このフローチ ャ ート は 右目 の 検 出 フロ ー チャ ー ト な の で
黒目やま つ毛 が あ るの で 全体 的 に 輝 度
中心から x 方 向 は 中 心 から － 方 向 に進 む が, 左 目 の
が小さくなる
検出の場 合 は x 方 向 の 中 心 から ＋ 方 向 に 進 む . ま た,
図 3 -1 0 目 の上 限 と下 限 の決 定
候補は最 大 で 1 0 個 まで検 出 する .(図 3 -14 ) そ の 後 ,
一番初め に検 出 し た目 頭 を 仮 の 目 頭 として 3 .4.4
瞳
図 3-11 が実 際 の横 方 向 の 輝 度 の 最 低 値, 平 均 値 , 平
孔の検 出を 行 い, 結 果を 使 用 し て, 後 述 する 3 .4.5
目
均値‐最 低 値 となっ てい る. これ ら の値 の 1 ラ イ ン ご と の
頭候補 か ら 目 頭 を 決 定 で再 度 候 補 の 中 か ら 一 番 目
変化を比 較し てい き, 連 続し た一 定 以 上 の 輝 度 変 化 を
頭らしい箇所 を 目 頭 とし て検 出 する .
探すことで上 限 と下 限 を 決 定 す る.
(a)(b)(c)
(c)(b)(a )
(A)右目
（B)左目
図 3 -1 3 目 頭 検 出 用 の二 値 化 エッジ画 像
(A)右目
（B)左目
図 3 -11 目 の輝 度
(a) 横方向の輝 度 の 最 低 値
(b) 横方向の輝 度 の 平 均 値 ‐ 最 低 値
(c) 横方向の輝 度 の 平 均
(A)右目
図 3-12 が上 限 と下 限 のライ ン になる .
(A)右目
図 3 -1 2 目 頭 候 補 の検 出 結 果
（B)左目
図 3 -1 2 目 の上 限 と下 限
43
（B)左目
3.4.4 瞳孔検出
瞳孔の検 出 は 正 規 化 さ れ た顔 画 像 の グ レ イ ス ケ ー
ル画像, 目 の 上 限 , 下 限, そ し て前 項 で述 べ た 様 に , 最
大 10 個の目 頭 候 補 の 中 で最 初 に検 出 さ れ た 目 頭を
使用する.
縦は目の上 限 と下 限 の中 から , 横 は 使 用 す る 目 頭 の
候補から 左 目 は -100 pix の幅, 右 目は +1 00 p i x の 幅
の中を瞳 孔 探 索 エリア とする .
(A)右目
（B)左目
図 3 -1 6 瞳 孔 探 索 エリア
( １ ) 瞳孔探索 エ リ ア の 平 滑 化
瞳孔探索 エリアを 25 [p ix]× 25 [p ix]の近 傍 でメ デ ィ ア
ンフィルタ に かけ る. こ の 際 , 画 像 を ぼ か す た め に 近 傍
を大きくとった.
(A)右目
（B)左目
図 3 -1 3 瞳 孔 探 索 エリア を 2 5 近 傍 でメ デ ィ ア ン フィ
ル タ にかけた結 果
( ２ ) 瞳孔探索 エ リ ア の 二 値 化
瞳孔探 索 エ リア を 二 値 化 す る ため の 閾 値 を 算 出 す
る . 瞳 孔 検 索 エ リア の 輝 度 の 最 低 値 (min ), 最 大 値
(max),平 均 値 (a vr)を 算 出 し, 輝 度 の min が 2 0 以 上
で avr との差 が 20 を 超 え る 場 合 は m in+1 5 を 閾 値 と
し,そうでない 場 合は m in+((a vr - min)/3)を 閾 値 とし
て使用する. 図 3 -17 を 二 値 化 し た結 果 が図 3 -1 8 に な
る.
図 3 -1 5 目 頭 の候 補 を 検 出 す る フロ ー チ ャ ー ト
44
孔の傾き を 顔 の 傾 き と考 え, 瞳 孔 同 士 を 繋 い だ 直 線 と
同じ傾きを 持っ てい る 目 頭 を 最 終 的 に目 頭 と し て 確 定
(A)右目
する.図 3-19 では” × ” の目 頭 候 補 よ りも ” △ ” の 点 で 表
（B)左目
図 3 -1 4 二 値 化 の結 果
している点の方 が 瞳 孔 の 傾 き に近 い ので目 頭 とし て 確
定される.
( ３) 瞳孔の決 定
二値化 さ れ た瞳 孔 探 索 エリ ア (以 下 , 瞳 孔 探 索 エ リ
ア)の中 で 0 を 探 すこ とで黒 の 塊を 探 す. 図 3 -1 8 は 黒
の塊は左 右 とも 一 つ ずつ だ が, 黒 の塊 が 5 個 よ り 多 く
検出された場 合 は 判 別 不 能 とな り検 出 失 敗 とす る.
5 個以下の場 合 には, どの塊 が一 番 瞳 孔 ら し い かを そ
れぞれの塊 に点 数 を 付 けて い き, 一 番 点 数 の 高 い も の
が有効 と なる 得 点 方 式 で 判 断 す る . 得 点 の 付 け 方 は
以下の通 りであ る.
A) 塊が極端 に 小さい 場 合
B) 一番大きな塊
-1
+3
C) 矩形の上 下 左 右 の端
それぞれ-1
D) 矩 形 の縦 横 の 大 き さ を 比 較 し て 縦 長, 横 長 よ り も
縦横の差 が 小さ い ほうが 高 得 点 にな るよ う , 以 下 の
図 3 -1 5 瞳 孔 の傾 き と目 頭 の確 定
計算を行う.
3.5 距離と方向の認識
・横幅よりも 縦 幅 が大 き い 場 合 の計 算
現在の得 点
× 横幅 / 縦幅 × 10
3.5 では,3.4 で述 べた視 線 認 識 で検 出 し た, 目 頭 の
以上の条 件 で得 点 を 付 け た結 果, 瞳 孔 探 索 エ リ ア の
位置を使 い, カ メ ラ と被 写 体 の 距 離 を 推 定 す る . そ し て
中でより大 き く, よ り丸 く, 中 心 にあ る も の が 高 得 点 に な
目頭, 瞳 孔 , 距 離 を 使 い 被 写 体 の視 線 方 向 が 正 面 に
る.
あるか否かを 認 識す る 方 法 につ い て述 べる .
さ ら に , 決 定 し た 瞳 孔 位 置 を 中 心 に 40 [p i x ] ×
40[pix]分 の グ レイ スケ ー ル 画 像 から 再 度 輝 度 を 使 っ
3.5.1 距離の推 定
人の内 眼 角 幅 (左 右 の 目 頭 の距 離 )は , 日 本 人 頭 部
て,黒がよ り強 くなっ てい る 箇 所 に瞳 孔 を 寄 せ る.
寸法デー タ ベ ー ス 200 1[7 ]によ れ ば 青 年 群 男 子 5 6
人,青年 群 女 子 6 1 人 の平 均 値 が 36. 6m m と な っ て い
3.4.5 目頭候補 か ら 目 頭 を 決 定
瞳孔が決 定 す る と, 3.4 .3
るので,本 研 究 では 3 7m m を 使 用 し た.
目頭候 補 の検 出 で あ が っ
ていた候補 の中 から 目 頭 を 確 定 さ せ る. 目 頭 の 確 定 に
実際に評 価 で使 用 する カメ ラ で 3 7m m を 撮 影 し , 撮
は,検出し た 左 右 の瞳 孔 の傾 きを 使 用 す る . 左 右 の 瞳
影した距 離 に よっ て 画 像 上 で は ど の程 度 の ピ ク セ ル
45
表 3 -4 カ メ ラ 別 左 右 の目 頭 瞳 孔 間 の距 離 差
数になるかを 事 前 に 調 べ た.
表 3 -3 ip hone5s で撮 影 し た 3 .7m m のピクセル 数
カメラとの距 離 [m ]
左右の目 頭 瞳 孔 間
撮影画
実際の値 [pix]
0.5
200
1
100
1.5
70
の距離差[pix]
カメラの種類
像サイズ
[pix]
iPhone5s
2448 ×
正面視
45 度視
線時
線時
3.97
35.20
7.57
90.20
2.25
29.61
3264
前項 3.4.5
SONY
目頭候補 から 目 頭 を 決 定 し た 時 の 値 が
D SC-
W320
以下になる . (図 3 -19 )
・ 右目頭の座 標(1134, 1499 )[pix]
Canon
・ 左目頭の座 標(122 4,14 94 ) [pix]
Kiss X2
4320 ×
3240
EO S
2256 ×
1504
この値から, 左 右 の目 頭 の 距 離 は 90p ix に なる の で
4 組み込み Linux 環境への移植
カメラとの距 離を 1m 離 れ た場 所 から 撮 影 し た 画 像
本 章 では , 3 章 で 作 成 し た 視 線 認 識 ラ イ ブ ラ リ を
と考える.
Raspberry Pi への移 植 につい て述 べ る. Rasp b e r r y
Pi を使用した環 境 では , まず NUC と同 様 に 評 価 用 の
3.5.2 視線方向の 推 定
本研究 で は , 目 頭 と 瞳 孔 の 位 置 関 係 を 使 用 し て 正
画像を評 価し た後 , Rasp berry Pi の専用 カ メ ラ モ ジ ュ
面に視線 が 向 い てい る 時と 45 度 先 に 視 線 が 向 い て
ール(以 下 , カ メ ラ モジ ュ ー ル )を 使 用 し て 実 験 す る . ま
いる時を推定 す る.
た,Raspberry Pi 本体は,Ra spb erry Pi B と , 第 二 世
代の Raspberry Pi B(以下, Ras pb erry Pi2 )の 2 タ
収集した評 価 用 のデ ー タ 全 て に対 し て, 目 頭 と 瞳 孔
の正解 点を 予 め 登 録 し てい る ので, 正 面 に 視 線 が あ る
イプで実 験を 行 なう.
時と,45 度 先 に視 線 が向 い てい る 時 の目 頭 と 瞳 孔 と の
4.1 Raspberry Pi のスペック
位置関 係を 表 し たも の が表 3 -4 カ メラ 別 左 右 の 目 頭
瞳孔間の距 離 差 にな る.
Raspberry
正 面 顔 の正 面 に視 線 方 向 があ る 場 合 の 左 右 の 目
Pi のスペックは 表 4- 1 の通 り で あ る .
開発環境 に 比 べて CPU の 処 理 速 度 とメ モ リ 容 量 が 大
頭,瞳孔 の位 置 と 45 度 先 に視 線 方 向 があ る 場 合 では
幅に下がる .
目頭・瞳 孔 間 の 距 離 に 大 き く 差 が 出 て くる . 正 面 に 視
表 4 -1 実 験 に使 用 す る Ra s p b erry P i スペ ック
線がある 場 合 には 左 右 の目 頭 ・瞳 孔 間 の 距 離 は ほ ぼ
型
Raspberry Pi B
Raspberry Pi2
等しくなる が, 左 4 5 度を 向 い てい る 場 合 に は 左 目 の 目
OS
Raspbian
Raspbian
頭・瞳 孔 間 の 距 離 は 大 き くな り, 右 目 の 目 頭 ・ 瞳 孔 間
CPU
700
の距離は 小さ くなる.
Memory
46
MHz
/
900MHz / ARM
ARM1176J ZF -S
Cortex-A7
コア
ア
512MB
1GB
4 コ
4.2 Raspberry Pi 上で動作する視線認識
ずつ撮影す る 方 法 を 採 用 し た.
ライブラリの作成
事前準 備と し て, 異 な るバ ー ジ ョン の O pen C V で は コ
開始
ンパイルが通ら なくな る 為, NUC と Ras pber ry P i で
はバージョンは 揃 えて お く必 要 があ る.
視線認識続ける
4.3 実験環境
評価用画 像 を 使 用 し た結 果 の 確 認 は lo g 出 力 し て
Yes
結果を NUC と比 較 する . カメラ モ ジュ ー ルを 使 用 し た 場
合については ブレ ッドボー ド上 で LED を 点 灯 さ せ て 確
スナップショットを撮影
認する.
LED
(認識結 果の出 力 )
No
視線認識
Raspberry Pi
GPIOへ結果出力
専用カメラ
モジュール
図 4 -1 Ra s p b erry P i と専 用 のカ メ ラ モジ ュ ー ル の
終了
構成
4.4 カメラモジュールを使用した際の動
図 4 -2 フロ ー チ ャ ー ト
作フロー
4.5 カメラモジュール
Raspberry Pi 上では, 連 続 した視 線 認 識 を 行 う ため ,
Raspberry Pi のカメラモジュ ール の スペ ッ ク に つ い
カメラモジュ ー ル で撮 影 し た静 止 画 を 視 線 認 識 ラ イ ブ
ラリに渡し て結 果 待 ち GP IO を 使 用 し て 結 果 の 出 力
て以下に記 す.
を行う.これ には 処 理 速 度 の 問 題 があ り, 本 来 は 動 画 モ
表 4 -2 カ メ ラ モジュ ー ル のスペ ック
ードで動 作 中 のカ メ ラ モジ ュ ール から 静 止 画 を 取 得 す
センサー
OmniVision
OV5647
Color
CMOS QSXGA (500 万画素 )
る方法 で動 作 さ せ る 方 が時 間 的 な 無 駄 は な い の で あ
るが,Raspberry Pi にかかる 負 荷 の 軽 減 を 考 え 1 回
センサーサイズ
47
3.67 x 2.74 mm
4.6 結果の出力と評価方法
ピクセル
2592 x 1944
ピクセルサイ ズ
1.4 x 1.4 um
レンズ
f=3.6 mm, f/2.9
結果の出 力 には G PIO を 使 用 し てブレッド ボ ー ド 上 で
視野角
54 x 41 度
LED の点 灯を 行 う.GP IO の 制 御 には デ バ イ ス ド ラ イ
視野
2m の距離で 2.0 x 1.33 m
バを使用し て 制 御 し た. レ ジスタを 直 接 操 作 す る よ りも
35mm フル サ イ
35 mm
時間がかか る が 簡 単 に制 御 す るこ とが 可 能 で あ る . 点
Raspberry Pi のカメラモジュー ルを 使 用 し た 場 合 の
灯する LED の色 で確 認を 行 う.
ズ換算
1 m から 無 限 遠
固定焦点
LED の色と 検 出 結 果 につ い ては 表
(レン ズ を 固
定してい る 接 着 剤 を 除 く と 変 更
味の通りであ る.
可)
表 4 -3 L ED 色 と意 味
LDE の色
1080p/30fps, H.264 (AVC)
ビデオ
4-3 L ED 色 と意
意味
赤
顔検出有
本 研 究 で は , VG A(640 [p ix] × 480 [p ix ] ) と フ ル
黄
目頭・瞳 孔 検 出
HD(1920[p ix]×10 80 [p ix])で 視 線 認 識 結 果 と 処 理
青
視線方向 正 面 認 識
時間につい て評 価 す る.
緑
視線方向 正 面 以 外 認 識
5 実験結果の評価と考察
5.1 評価用画像を使った評価
5.1.1
対象
3 種類のカメラ で 撮 影 し た評 価 用 画 像を 対 象 とする . 詳 細 は 5.1 .2 に記 す .
5.1.2
NUC の結 果
対象数
iP hone5 s
Ca non
EO S
K is s X2
SO NY
W320
D SC-
顔検出
目 頭 ・瞳 孔
視 線 方 向
平 均 処 理
検出率
の認 識 率
時間
正面視線
11
63.6%
100%
100%
0.38sec
目印視線
11
54.5%
100%
100%
0.38sec
正面視線
21
95.2%
95%
100%
0.22sec
目印視線
18
83.3%
86.7%
100%
0.22sec
正面視線
24
91.7%
86.3%
100%
0.61sec
目印視線
25
88%
81.8%
100%
0.60sec
48
5.1.3
Raspberry
Pi の結果
対象数
iP hone5 s
Ca non
EO S
K is s X2
SO NY
D SC-
W320
EO S
K is s X2
SO NY
D SC-
W320
視 線 方 向
平 均 処 理
検出率
の認 識 率
時間
11
63.6%
100%
100%
7.73sec
目印視線
11
54.5%
100%
100%
7.60sec
正面視線
21
95.2%
95%
100%
4.59sec
目印視線
18
83.3%
86.7%
100%
4.74sec
正面視線
24
91.7%
86.3%
100%
15.35sec
目印視線
25
88%
81.8%
100%
15.08sec
顔検出
目 頭 ・瞳 孔
視 線 方 向
平 均 処 理
検出率
の認 識 率
時間
Pi2 の結 果
対象数
Ca non
目 頭 ・瞳 孔
正面視線
5.1.4 Raspberry
iP hone5 s
顔検出
正面視線
11
63.6%
100%
100%
3.02sec
目印視線
11
54.5%
100%
100%
3.03sec
正面視線
21
95.2%
95%
100%
1.82sec
目印視線
18
83.3%
86.7%
100%
1.89sec
正面視線
24
91.7%
86.3%
100%
6.13sec
目印視線
25
88%
81.8%
100%
6.00sec
5.1.5 処理時間 の 内 訳
それぞれの検 出 時 間 に つい て 全 体 に 対 す る 割 合 で
5.1.6
確認すると図 5 -1 の 様 にな る.
想定していた通 り NUC と 2 種 類 の Rasp berry P i
での処 理 時 間 には 大 き な 差 が 出 たが , 同 じ 画 像 を 入
処理時間
顔 検出
目 検出
15%
事 前準 備
考察
力した場合 の NUC と Ras pber ry Pi,Raspberry Pi2
そ の他
では , 検 出 結 果 は 完 全 に 一 致 し た こ と を 確 認 で き
た.(全 ての 結 果 デ ー タ は 付 録 で記 載 )し か し , 評 価 画
0%
像のサイズが大 き す ぎ る 場 合 には , 顔 の 検 出 に 失 敗 す
ることも多 く , また非 常 に 時 間 が かか る ため , 実 際 に 使
18%
用する際 には 画 像 サ イ ズの選 択 に 多 くの 実 験 が 必 要
67%
になる.Raspb erry Pi と Raspberry Pi2 での結 果 を
比 較 す る と ,Raspb erry
図 5 -1 処 理 時 間 の内 訳
Pi2 で の 処 理 時 間
Raspberry Pi に対して半 分 以 下 になって い る こ とを
49
中 5 人に評 価 され た.
確認できた.
サイズが大きい 画 像 では Ra spb erry P i では 時 間
5.2 Raspberry Pi を使った評価
5.2.1
がかかっ てい る が, 顔 検 出 を し た後 の 視 線 認 識 に つ い
ては十分に動 作 し てい ると考 えら れ る. 現 在 は , リ ア ル タ
実験の対 象
５名の被 験 者 を 対 象 に Ras pb erry Pi での評 価 を
イム感を出す には VG A 程 度 のサイ ズが 限 界 か と 考 え
行った.カメラ モジュ ー ルを 使 用 し て 撮 影 す る 画 像 サ イ
られるが,ム ー ア の法 則で考 え る と名 刺 サ イ ズ の シ ン グ
ズ は , フ ル HD と VG A の 2 種 類 を 使 用 し ,
ルボードコ ン ピ ュ ー タ も 数 年 後 に は 大 き く進 化 し , さ ら
各々,0.5m,1.0 m,1 .5m と距 離 を 変 え て そ れ ぞ れ 5 回
に大きな画 像 を リ ア ルタ イ ム に 処 理 で き る よ う に な る と
ずつ正面 視 線と 45 ° 左 右 に 視 線 を 移 動 させ た.
考えられる.
名刺サイ ズの シン グ ル ボー ドコ ン ピ ュ ー タ を 使 い 視
5.2.2
Raspberry
Pi の結果
線の認 識 が出 来 たこ とは 低 価 格 での 視 線 認 識 が で き
5 名の被験 者 が それぞ れ のサ イ ズと距 離, 方 向 に 対
るということ. 今 後 視 線 をイ ン タ ー フェ ー スと し て 使 用 し
して何回 視 線 方 向 を 認 識 し たかを 記 録 し た 結 果 を 以
てコミュ ニケ ー ショ ンを とれ る よ う なも の が 出 来 る よ う に
下に記す. 値 は 5 回 中 何 回 成 功 し たかを 意 味し て い る .
なると考える.
フル HD
5.3 今後の課題
VGA
本研究 では , 特 定 の 環 境 での視 線 認 識を 行 っ た が ,
0.5m
1.0m
1.5m
0.5m
1.0m
1.5m
A
B
A
B
A
B
A
B
A
B
A
B
今後は 室 内 光 以 外 の 光 を 想 定 す る 必 要 が あ る . ま た,
１
5
5
4
4
4
3
5
5
4
3
3
1
正面顔以 外 に 対 す る 対 応 も 必 要 になっ てくる .
２
5
5
5
5
5
5
5
5
5
4
5
5
まず,光の問 題 につ い ては 顔 に光 が当 た る と 輝 度 が
３
5
5
5
5
4
4
5
5
3
3
5
2
高くなり現 在 使 用 し てい る 閾 値 では 二 値 化 処 理 を 行
４
5
5
5
5
5
5
5
5
5
4
5
2
った際にエッジが 出 にく くなる こ とが想 定 さ れ る た め , 輝
５
5
5
5
5
4
3
5
5
5
4
3
5
度の調 整 を 行う必 要が あ る. ま た, 鼻 を 境 に 光 が 当 た り
A:正面へ 視 線, B:45 ° 先 へ 視 線
明るくなる 方 と影 が 出 来 て暗 く なる とい っ た 左 右 の 輝
表 5 -1 視 線 認 識 成 功 回 数
度に大き な差 が 出 来 る 場 合 が想 定さ れ る. そ の 場 合 は ,
左右の輝 度 を 調 整 す る 必 要 も 出 てくる と考 える .
・
5.2.3
次に,正 面 顔 以 外 につ い ての 対 応 時 に は 顔 の 向 き
考察
実際に Ras pber ry Pi のカメラモジ ュ ー ル を 使 用 し
の認識が必 須 となる.3 次 元 的 な考 え を 加 え て 2 ヵ 所
た場合の結 果 に 関 して は, 高 評 価 であ った.し か し , フ ル
にカメラを設 置し て深 度 を 取 得 する ことや, 現 在 は 左 右
の目頭と瞳 孔 の 4 点 だけでの 視 線 方 向 の 認 識 を 行 な
HD のサイ ズの場 合 は 認 識 す る まで の時 間 が 長 く 違
和感が常 にあ る . 認 識 の 失 敗 が起 こ っ た場 合 で あ っ て
っているが, 耳 の 認 識 を 加 え て顔 の 向 き に 対 応 で き な
も VGA での試 験 を 行 っ てい る 時 の 方 が 次 の 視 線 移
いか等につい て考 え る.
そして現 在 は 正 面視 線 と 正 面 以 外 の視 線 とい う 2
動を認識す るこ とが多 い ので違 和 感 がな か っ た と 5 人
50
つのパターン での 精 度 評 価 に 留 まっ たが, 分 解 能 を 増
やすことができ れ ばさ ら にコ ミュ ニケ ー シ ョ ン ツ ー ル とし
ての可能 性 が出 て くる と考 え る.
6 おわりに
非常に安 価 なシステ ム 構 成 であ って も 視 線認 識 が
行える可能 性 がある ことを 実 験 ・考 察 を お えて 確 認 で
きた.しかし, 安 定 し た視 線 の 認 識 が出 来 な ければ 結 局
は長く使 用し ても ら うこ とは でき ない と考 え る. また, 本 研
究の最終 段 階 で発 売 さ れた Raspb erry Pi の第二
世代である Ras pb erry Pi2 では,第 一 世 代 の
Raspberry Pi と比べて 2 倍 以 上 の速 度 が出 てい る
ことが確認 でき た.こ の 環 境 であ れ ばよ り早 く, 正 確 な認
識が行える よ うにな る だろう.
本研究で実 験 し たこ とは, 視 線 にお ける O N と OFF
の２パターン の判 断 のため のも のにな る が, 今 後 は 視
線入力システム のプラ ット フォーム とし て, 今 後 の課 題
にあげた項 目 の対 応を 行 な い, 視 線 入 力 シ ステム の 裏
側で動作 す る 視 線 認 識 のライ ブラ リへ 発 展 でき るよ う
に更なる研 究 を 続 けて いき たい と考 え る.
51
(2014.06.14
http://qiit a. com /J ey/ it ems/3 34d1 4376 7aab fd c41
参考文献
[1] 厚生労 働 省
45)
平成１８年 身 体 障 害 児 ・ 者 実 態 調
査結果
[8] 日本人頭 部 寸 法 デー タ ベ ー ス 200 1
http://www. m hlw. go. jp /t ouk ei/sa ikin/hw/ shint a
https://www. d h.a is t. go. jp/ da tabas e/ hea d/
i/06/dl/01_0001 .p df (2014.12.07)
(2014.06.14)
[2] 一般社団 法 人
日本 ALS 協 会
河内まき 子 ・持 丸 正 明 ,
患者数に 関 す
2008：日本 人 頭 部 寸 法 デ ー
る ALS データ
タベース 2001,
http://www.a ls ja pa n. org/ com m on/w hat is/ alsda t
Makiko Kouchi and Masaaki Mochima ru, 2008 :
a2012-1.pdf (2014.12.07)
Anthrop omet ric
[3]
2001, National Institute of Advanced Indus t ri a l
阿部清 彦 , 佐 藤 寛 修 , 大 山 実 , 大 井 尚 一 , 視 線 に
よる重度 肢 体 不 自 由 者 向 け コン ピ ュ ー タ 操 作 支 援 シ
Science
ス テ ム ,2006:
(2014.06.14
映 像 情 報
メ デ ィ ア 学
産業技術 総 合 研 究 所 H16P RO -2 1 2 .
Database
and
of Japanese
Technology,
[9] Onur Ferhat
and Fernando
[4] 阿部清 彦, 大 山 実 , 大 井 尚 一 , 自 然 光 下 に お け る
Cheap
Eye-Tra ck er
画像解析を用いた 多 指 標 視 線 入 力 シ ス テ ム 視
Common
,2004:
映
像
情
報
メ
デ
ィ
ア
H16PRO -2 1 2 .
https://www. dh.a is t. go.j p/ )
会,Vol.60, No.1 2,p p.19 71 -19 79,
線
Hea d
Portable
Setups,
Journal
Vilarino
Solution
of Eye
A
for
Movem e nt
Research, 7(3):2, 1-10.
学
会,Vol.58, No. 11, pp. 1656 -1664 ,
[10]
[5] 画像処 理 ア ル ゴ リズ ム の 基 本 と仕 組 み (20 1 2 . 1 0
http://mv. cvc.uab. es/ p roj ect s/ eye -t ra cker)
長尾智晴 )
[11]
[6]
http://www. gnot e. org/ cam era _howt o. htm l )
視 線 検 出 と プ レ イ ヤ ー 動 向 (20 14. 0 6 . 1 4
URL:http:/ /s o -t i. com/ rep ort /d eta il15 1. ht m l)
[7] 顔検出用 のプロ グラ ムを 動 かす まで のメ モ
52
Low
Cost
RasberryP i
Eye-Tra ck er
Eye-Tra cker
(2015.03 . 0 3
(2015.03 . 0 3
付録
１.
SONY DSC-W320 で撮 影 した画 像 (43 20 x32 40 )
1-1. 正面視 線 時 の正 解 点 と正 解 点 から 取 得 でき る 情 報
右瞳孔
左瞳孔
右目頭
左目頭
瞳孔と目 頭の
目頭の
ｘ
ｙ
ｘ
ｙ
ｘ
ｙ
ｘ
瞳孔移動 量
直線距離
ｙ
直線距離
の差
右
左
1
1980
1517
2372
1525
2062
1544
2285
1549
185.07
86.33
90.25
3.92
2
2046
1835
2473
1834
2146
1857
2373
1856
194.00
102.39
102.39
0.00
3
1927
1238
2398
1239
2015
1267
2297
1265
194.01
92.66
104.29
11.64
4
1902
1864
2354
1902
1968
1892
2276
1921
175.41
71.69
80.28
8.59
5
1718
1798
2191
1787
1814
1844
2080
1832
210.34
106.45
119.77
13.32
6
1937
1459
2382
1469
2042
1481
2286
1492
221.27
107.28
98.72
8.56
7
1891
1716
2328
1720
1980
1738
2237
1747
190.21
91.68
94.92
3.24
8
2112
1581
2501
1620
2192
1605
2438
1633
197.99
83.52
64.33
19.20
9
1813
1269
2238
1255
1891
1288
2137
1284
181.04
80.28
105.08
24.80
10
1857
1627
2306
1663
1956
1658
2212
1680
191.27
103.74
95.52
8.22
11
1920
1527
2362
1506
2014
1538
2263
1526
202.36
94.64
101.00
6.36
12
1897
1361
2364
1395
2005
1398
2259
1417
203.89
114.16
107.28
6.88
13
2157
1729
2476
1741
2219
1757
2408
1767
146.34
68.03
72.80
4.77
14
1991
1548
2344
1560
2063
1570
2261
1577
160.15
75.29
84.72
9.44
15
2052
1510
2414
1506
2132
1538
2331
1537
161.00
84.76
88.60
3.84
16
2124
1776
2481
1775
2210
1804
2399
1803
154.00
90.44
86.65
3.79
17
2101
1868
2457
1847
2176
1879
2370
1866
147.57
75.80
89.05
13.25
18
1972
1455
2332
1440
2056
1468
2253
1462
169.11
85.00
82.01
2.99
19
2174
1261
2525
1277
2250
1286
2445
1299
154.55
80.01
82.97
2.96
20
2014
1496
2365
1511
2098
1517
2276
1523
152.12
86.59
89.81
3.22
21
1926
1712
2267
1715
1992
1725
2205
1733
137.23
67.27
64.56
2.71
22
1945
1606
2281
1597
2020
1624
2218
1624
143.00
77.13
68.54
8.59
23
1904
1564
2302
1575
1994
1590
2204
1595
173.07
93.68
100.02
6.34
24
2008
1531
2365
1530
2085
1558
2283
1558
153.00
81.60
86.65
5.05
平均値
7.57
単位は pixel
53
1-2. 45 度左目 線 時 の正 解 点 と正 解 点 から 取 得 でき る 情 報
右瞳孔
左瞳孔
右目頭
左目頭
瞳孔と目 頭の
目頭の
ｘ
ｙ
ｘ
ｙ
ｘ
ｙ
ｘ
瞳孔移動 量
ｙ
直線距離
直線距離
の差
右
左
1
1954
1542
2341
1531
1983
1562
2207
1557
163.08
35.23
136.50
101.27
2
2036
1881
2461
1869
2085
1909
2315
1895
190.52
56.44
148.30
91.86
3
2032
1276
2510
1273
2074
1302
2360
1304
194.01
49.40
153.17
103.77
4
1880
1948
2352
1961
1911
1971
2228
1984
188.45
38.60
126.12
87.51
5
1812
1817
2283
1783
1855
1843
2128
1832
211.29
50.25
162.56
112.31
6
2017
1459
2449
1463
2057
1484
2297
1486
216.01
47.17
153.73
106.56
7
1941
1655
2361
1664
1969
1675
2214
1683
186.17
34.41
148.22
113.81
8
2160
1617
2540
1624
2196
1642
2432
1639
192.02
43.83
109.04
65.21
9
1885
1256
2306
1242
1917
1276
2155
1262
186.53
37.74
152.32
114.58
10
1959
1631
2406
1660
2001
1657
2255
1676
186.97
49.40
151.85
102.45
11
2068
1536
2500
1527
2100
1544
2349
1544
203.00
32.98
151.95
118.97
12
2025
1365
2477
1407
2077
1402
2330
1422
205.97
63.82
147.76
83.94
13
2250
1695
2570
1713
2273
1720
2459
1730
138.36
33.97
112.29
78.32
14
2098
1563
2443
1562
2132
1581
2330
1583
167.01
38.47
114.93
76.46
15
2080
1515
2442
1502
2109
1537
2307
1535
152.01
36.40
138.97
102.57
16
2239
1779
2582
1769
2274
1799
2459
1797
173.01
40.31
126.15
85.84
17
2201
1692
2570
1663
2234
1718
2457
1701
147.98
42.01
119.22
77.21
18
2121
1888
2473
1858
2153
1895
2347
1878
146.99
32.76
127.58
94.82
19
2109
1515
2455
1513
2147
1526
2339
1526
162.00
39.56
116.73
77.17
20
2275
1270
2623
1283
2306
1293
2504
1302
156.26
38.60
120.51
81.91
21
2083
1506
2435
1532
2121
1529
2305
1545
142.90
44.42
130.65
86.23
22
1998
1712
2330
1714
2013
1726
2219
1729
132.03
20.52
112.01
91.49
23
2081
1617
2414
1606
2116
1635
2311
1630
145.09
39.36
105.76
66.40
24
1961
1614
2359
1623
2004
1639
2211
1646
189.13
49.74
149.78
100.04
25
2075
1525
2432
1531
2107
1553
2307
1552
162.00
42.52
126.75
84.23
90.20
平均値
単位は pixel
：
54
iPhone5s で撮 影 し た画 像(4 320 x32 40 )
２.
2-1. 正面視 線 時 の正 解 点 と正 解 点 から 取 得 でき る 情 報
左瞳孔
ｘ
右瞳孔
ｙ
ｘ
左目頭
ｙ
ｘ
右目頭
ｙ
ｘ
ｙ
目頭の
瞳孔と目 頭
瞳孔と目 頭
瞳孔移
直線距離
の直線距 離
の直線距 離
動量 の
(左)
(右)
差
1
1230
1408
1405
1402
1270
1416
1364
1413
83.05
40.79
42.45
1.66
2
1173
1779
1318
1783
1212
1788
1281
1791
79.06
40.02
37.85
2.17
3
1237
1675
1397
1665
1270
1686
1358
1680
83.22
34.79
41.79
7.00
4
1232
1548
1394
1549
1268
1557
1356
1560
81.06
37.11
39.56
2.45
5
1209
1277
1372
1263
1242
1286
1335
1276
72.69
34.21
39.22
5.01
6
1215
1353
1373
1351
1249
1358
1342
1359
81.01
34.37
32.02
2.35
7
1152
1229
1309
1239
1186
1243
1269
1247
89.09
36.77
40.79
4.02
8
1116
1396
1275
1393
1155
1406
1239
1404
71.03
40.26
37.64
2.62
9
1140
1350
1290
1353
1176
1358
1260
1362
81.10
36.88
31.32
5.56
10
1130
1480
1280
1484
1168
1494
1248
1496
73.03
40.50
34.18
6.32
11
1084
1167
1227
1162
1119
1172
1197
1169
73.06
35.36
30.81
4.55
平均値
3.97
2-2. 45 度左目 線 時 の正 解 点 と正 解 点 から 取 得 でき る 情 報
左瞳孔
ｘ
右瞳孔
ｙ
ｘ
左目頭
ｙ
ｘ
右目頭
ｙ
ｘ
ｙ
目頭の
瞳孔と目 頭
瞳孔と目 頭
瞳孔移
直線距離
の直線距 離
の直線距 離
動量 の
(左)
(右)
差
1
1215
1419
1392
1408
1237
1423
1336
1419
84.10
22.36
57.07
34.71
2
1193
1754
1336
1757
1213
1762
1282
1761
68.01
21.54
54.15
32.61
3
1276
1655
1436
1640
1297
1664
1383
1656
91.35
22.85
55.36
32.52
4
1269
1549
1431
1550
1283
1557
1369
1558
87.01
16.12
62.51
46.39
5
1256
1311
1421
1295
1272
1317
1366
1309
70.46
17.09
56.75
39.67
6
1233
1366
1402
1364
1250
1377
1343
1376
79.01
20.25
60.21
39.96
7
1175
1241
1332
1251
1188
1252
1272
1255
89.05
17.03
60.13
43.10
8
1123
1391
1285
1385
1153
1404
1238
1400
74.11
32.70
49.34
16.64
9
1162
1351
1312
1355
1177
1360
1258
1358
79.03
17.49
54.08
36.59
10
1166
1481
1311
1484
1181
1491
1259
1495
68.12
18.03
53.15
35.12
11
1098
1144
1243
1142
1116
1151
1194
1147
74.11
19.31
49.25
29.94
55
平均値
35.20
Canon EOS Kiss X2 で撮影し た画 像(4320 x3 240 )
３.
3-1. 正面視 線 時 の正 解 点 と正 解 点 から 取 得 でき る 情 報
左瞳孔
ｘ
ｙ
右瞳孔
ｘ
ｙ
左目頭
ｘ
ｙ
右目頭
目頭の
瞳孔と目 頭
瞳孔と目 頭
瞳孔移 動 量
ｙ
直線距
の直線距 離
の直線距 離
の差
離
(左)
(右)
ｘ
1
1196
626
1343
616
1231
630
1311
626
80.10
35.23
33.53
1.70
2
1147
679
1292
664
1184
682
1255
671
71.85
37.12
37.66
0.53
3
1199
650
1347
651
1234
656
1314
656
80.00
35.51
33.38
2.13
4
1108
734
1221
722
1134
736
1196
729
62.39
26.08
25.96
0.12
5
1110
814
1250
817
1142
824
1214
824
72.00
33.53
36.67
3.15
6
1119
688
1282
677
1162
696
1238
689
76.32
43.74
45.61
1.87
7
1066
774
1222
770
1105
782
1184
779
79.06
39.81
39.05
0.76
8
1051
686
1185
685
1084
697
1153
694
69.07
34.79
33.24
1.54
9
1034
642
1183
630
1069
648
1149
641
80.31
35.51
35.74
0.22
10
1137
784
1271
779
1165
795
1240
791
75.11
30.08
33.24
3.16
11
1091
643
1188
637
1108
647
1169
644
61.07
17.46
20.25
2.78
12
1133
742
1236
731
1155
749
1212
741
57.56
23.09
26.00
2.91
13
1143
656
1267
656
1165
666
1241
667
76.01
24.17
28.23
4.07
14
1107
657
1232
654
1135
663
1203
660
68.07
28.64
29.61
0.98
15
1058
666
1182
655
1086
671
1154
662
68.59
28.44
28.86
0.42
16
1086
671
1210
666
1116
676
1185
673
69.07
30.41
25.96
4.45
17
1060
634
1190
628
1084
646
1160
643
76.06
26.83
33.54
6.71
18
1119
696
1245
697
1144
706
1218
705
74.01
26.93
28.16
1.23
19
1082
625
1194
623
1106
632
1167
631
61.01
25.00
28.16
3.16
20
1221
706
1338
696
1249
711
1312
705
63.29
28.44
27.51
0.93
21
1272
628
1385
628
1298
637
1363
635
65.03
27.51
23.09
4.43
平均値
2.25
56
3-2. 45 度左左 目 線 時 の正 解 点 と正 解 点 から 取 得 でき る 情 報
左瞳孔
右瞳孔
左目頭
右目頭
目頭の直
瞳孔と目 頭
瞳孔と目 頭
瞳孔移動 量
線距離
の直線距 離
の直線距 離
の差
(左)
(右)
ｘ
ｙ
ｘ
ｙ
ｘ
ｙ
ｘ
ｙ
1
1234
640
1385
635
1250
646
1332
646
82.00
17.09
54.13
37.04
2
1181
682
1318
664
1199
685
1264
676
65.62
18.25
55.32
37.07
3
1180
658
1331
657
1198
668
1276
666
78.03
20.59
55.73
35.14
4
1180
736
1289
726
1195
740
1255
733
60.41
15.52
34.71
19.19
5
1158
853
1289
838
1180
854
1247
847
67.36
22.02
42.95
20.93
6
1107
718
1262
706
1127
725
1197
717
70.46
21.19
65.92
44.73
7
1127
782
1274
779
1150
790
1226
788
76.03
24.35
48.84
24.48
8
1104
701
1239
696
1123
707
1192
705
69.03
19.92
47.85
27.93
9
1101
621
1242
608
1118
629
1193
620
75.54
18.79
50.45
31.66
10
1155
816
1265
810
1165
825
1224
823
59.03
13.45
43.01
29.56
11
1086
661
1185
650
1092
665
1155
658
63.39
7.21
31.05
23.84
12
1140
743
1242
729
1152
749
1208
741
56.57
13.42
36.06
22.64
14
1057
641
1255
630
1077
649
1187
639
110.45
21.54
68.59
47.05
15
1090
658
1218
649
1101
668
1176
666
75.03
14.87
45.31
30.44
16
1114
693
1235
691
1128
703
1196
700
68.07
17.20
40.02
22.82
17
1076
727
1187
723
1088
734
1148
733
60.01
13.89
40.26
26.37
18
1234
712
1354
700
1245
717
1311
710
66.37
12.08
44.15
32.06
19
1119
619
1234
616
1133
627
1199
625
66.03
16.12
36.14
20.01
平均値
29.61
57
４. SONY DSC-W320 で撮影した画像の検出結果( 正解点との距離[ pix])
4-1.正面視 線 時
左瞳孔
x
y
右瞳孔
左目頭
右目頭
x
x
x
y
y
処理時間[sec]
y
Raspberry
Pi
Raspberry
Pi2
NUC
1
6
1
4
3
3
5
37
3
14.54
5.74
0.59
2
10
0
3
2
1
12
15
11
14.77
5.74
0.61
3
6
2
1
0
2
4
6
6
14.71
5.81
0.60
4
5
1
1
0
2
10
8
7
14.76
5.81
0.59
5
9
0
1
2
16
3
51
6
15.01
6.03
0.60
6
6
8
1
7
1
8
2
6
15.18
5.86
0.60
7
9
5
3
0
13
8
8
11
15.19
5.99
0.60
-
13.92
5.48
0.59
8
-
-
-
-
-
-
-
9
6
0
1
4
2
6
7
1
13.91
5.44
0.59
10
5
4
3
4
3
7
4
4
14.57
5.79
0.60
41.55
19.18
0.78
11
-
-
-
-
-
-
-
-
12
4
2
2
5
1
2
4
4
14.34
5.57
0.59
13
5
1
2
0
42
29
45
37
13.41
5.31
0.62
14
5
3
1
2
2
1
1
3
14.30
5.48
0.59
15
6
4
3
5
2
4
4
8
14.09
5.46
0.59
16
4
3
1
0
3
3
4
7
14.21
5.43
0.59
17
2
4
4
3
3
2
4
0
12.95
5.15
0.59
18
6
1
1
3
1
4
2
5
13.89
5.46
0.59
19
2
3
90
54
57
44
54
76
13.87
5.44
0.67
20
3
1
5
3
4
3
24
6
14.23
5.55
0.59
21
4
1
3
2
2
5
4
1
13.44
5.3
0.58
22
4
4
0
5
2
5
31
12
13.56
5.16
0.58
23
5
5
1
4
1
1
23
4
14.56
5.59
0.61
24
7
0
2
1
2
5
4
5
13.38
5.34
0.62
58
4-2.45 度左 目 線 時
左瞳孔
右瞳孔
左目頭
右目頭
x
x
x
x
y
y
y
処理時間[sec]
y
Raspberry
Pi
Raspberry
Pi2
NUC
1
7
2
2
0
1
5
40
0
14.13
5.4
0.59
2
5
1
1
6
3
3
10
9
14.94
5.81
0.60
3
3
2
1
3
2
8
5
6
14.79
5.81
0.60
4
7
2
7
2
1
13
12
6
15.09
6.09
0.60
5
9
1
1
6
42
17
5
29
15.57
6.28
0.65
6
11
1
1
4
2
3
5
179
14.62
5.66
0.60
7
9
2
2
6
0
10
3
5
14.47
5.68
0.59
8
-
-
-
-
-
-
-
-
40.49
18.88
0.77
9
-
-
-
-
-
-
-
-
13.92
5.4
0.59
10
9
4
2
4
2
1
47
5
14.42
5.68
0.59
11
173
2
438
2
176
7
356
13
13.56
5.16
0.59
13.16
5.07
0.59
12
-
-
-
-
-
-
-
-
13
9
2
7
4
3
4
3
2
13.63
5.3
0.58
14
11
3
2
4
2
0
3
2
14.09
5.4
0.58
15
9
4
7
5
4
0
4
5
14.18
5.42
0.59
16
9
4
4
8
29
43
64
48
13.55
5.42
0.63
17
7
1
3
7
2
2
13
8
13.40
5.2
0.58
18
9
1
2
4
3
1
4
3
13.25
5.28
0.59
19
8
4
2
6
3
1
2
4
13.91
5.38
0.59
20
11
4
5
5
6
5
2
2
14.15
5.37
0.59
21
5
2
4
2
14
32
14
20
14.13
5.49
0.59
22
10
2
3
2
2
3
1
0
13.17
5.21
0.57
23
4
0
4
2
4
5
3
2
13.25
5.13
0.59
24
6
0
36
97
1
1
21
100
13.58
5.19
0.60
25
9
2
4
5
5
11
15
6
13.65
5.36
0.58
59
５. iPhone5s で撮影した画像の検出結果( 正解点との距離[ pix])
5-1. 正面視線 時
左瞳孔
ｘ
1
右瞳孔
ｙ
1
ｘ
2
左目頭
ｙ
2
ｘ
1
右目頭
ｙ
1
ｘ
2
19
経過時間
ｙ
Raspberry
2
Pi
Raspberry
7.83
2
-
-
-
-
-
-
-
-
-
3
-
-
-
-
-
-
-
-
-
4
-
-
-
-
-
-
-
-
-
Pi2
3.09
-
NUC
0.39
0.35
2.88
-
0.38
0.36
5
4
11
5
11
0
2
0
3
8.50
3.09
0.41
6
4
2
1
3
19
1
10
1
7.40
2.97
0.37
-
-
-
7
-
-
-
-
-
-
-
0.37
8
5
3
0
5
1
2
1
2
7.66
3.09
0.36
9
2
0
1
1
1
4
1
2
7.51
3.01
0.37
10
5
4
2
10
1
4
1
7
7.49
2.97
0.39
11
8
1
0
1
0
1
1
0
6.25
2.93
0.35
5-2. 45 度左目 線 時
左瞳孔
ｘ
1
右瞳孔
ｙ
2
ｘ
0
左目頭
ｙ
1
ｘ
1
右目頭
ｙ
1
ｘ
5
経過時間
ｙ
1
Raspberry
7
Pi
Raspberry
7.75
Pi2
3.05
NUC
0.39
2
-
-
-
-
-
-
-
-
-
-
-
3
-
-
-
-
-
-
-
-
-
-
-
4
-
-
-
-
-
-
-
-
-
-
-
5
6
8
2
11
1
1
2
2
7.71
3.06
0.38
6
1
2
1
2
0
3
1
6
7.54
3.02
0.37
7
7
526
8
531
12
526
11
529
7.66
3.02
0.38
8
3
10
2
6
0
2
1
4
7.60
3.05
0.37
9
3
1
2
1
0
5
0
1
7.48
3.03
0.38
10
4
4
1
3
1
6
0
1
7.51
2.99
0.38
3.05
-
11
-
-
-
-
-
-
-
-
-
60
６. Canon EOS Kiss X2 で撮影した画像の検出結果( 正解点との距離[ pix])
6-1. 正面視線 時
左瞳孔
右瞳孔
x
x
y
左目頭
y
x
右目頭
y
x
処理時間[sec]
y
Raspberry
Pi
Raspberry
Pi2
NUC
1
2
2
1
1
2
1
2
4
5.68
1.76
0.24
2
30
5
0
5
2
4
2
3
4.41
1.74
0.23
3
3
2
1
3
14
0
3
1
4.46
1.78
0.24
4
4
3
2
1
1
0
4
0
3.98
1.6
0.21
5
4
1
1
2
2
8
2
2
4.11
1.63
0.21
6
9
38
1
3
4
16
4
12
4.43
1.78
0.23
7
79
83
24
60
102
140
62
29
10.28
4.8
0.26
8
3
1
1
1
1
1
5
2
4.82
1.63
0.21
9
3
2
1
1
1
3
3
1
4.26
1.65
0.21
10
4
2
1
3
1
1
3
2
4.29
1.66
0.21
11
3
1
1
1
2
5
2
5
4.13
1.63
0.21
12
3
2
0
4
0
0
3
0
3.89
1.59
0.20
13
5
2
1
3
0
2
2
2
4.40
1.73
0.21
14
3
1
1
2
1
1
2
1
4.09
1.61
0.21
15
4
1
1
2
1
7
1
3
4.10
1.64
0.21
16
3
1
2
3
4
6
0
7
4.27
1.78
0.22
17
3
1
1
2
1
2
0
2
4.13
1.62
0.22
18
2
1
0
1
1
2
1
1
4.13
1.69
0.20
19
4
3
1
3
4
8
2
9
4.33
1.69
0.22
20
3
1
1
2
2
2
2
2
3.99
1.6
0.20
21
2
0
0
2
1
2
1
0
4.18
1.65
0.21
61
6-2.45 度左 目 線 時
左瞳孔
右瞳孔
左目頭
右目頭
x
x
x
x
y
y
y
処理時間[sec]
y
Raspberry
Pi
Raspberry
Pi2
NUC
1
1
4
2
4
2
3
1
6
4.30
1.73
0.23
2
3
0
4
5
2
1
1
2
4.25
1.72
0.24
3
4
8
1
5
2
3
3
1
4.33
1.78
0.23
4
-
-
-
-
-
-
-
-
-
-
-
5
2
3
0
2
2
8
3
0
3.99
1.61
0.20
6
2
1
3
5
1
2
3
1
4.37
1.76
0.23
87
17
163
152
7
31
161
10.18
4.78
0.25
7
146
8
1
2
1
2
2
3
4
2
3.92
1.61
0.22
9
2
1
1
0
0
2
3
0
4.23
1.67
0.22
10
81
7
2
2
2
3
2
2
4.15
1.65
0.21
11
3
1
1
2
1
3
2
2
4.09
1.61
0.21
12
-
-
13
100
69
14
77
-
-
95
-
62
-
119
-
60
-
119
-
53
-
-
6.91
1.81
0.21
31
1
1
4
9
4
1
4.14
1.64
0.21
15
4
0
1
2
2
2
1
1
4.10
1.66
0.21
16
2
2
0
3
2
2
2
4
4.05
1.65
0.22
17
18
2
0
0
1
1
1
2
-
-
1
4.09
62
1.66
0.21