修士論文 カメラ感度特性と人の視覚特性の違いを利用した 低視認パタン

NAIST-IS-MT1251113
修士論文
カメラ感度特性と人の視覚特性の違いを利用した
低視認パタン埋め込み手法
山田 與志雄
2014 年 2 月 6 日
奈良先端科学技術大学院大学
情報科学研究科 情報科学専攻
本論文は奈良先端科学技術大学院大学情報科学研究科に
修士 (工学) 授与の要件として提出した修士論文である。
山田 與志雄
審査委員：
加藤 博一 教授
（主指導教員）
萩田 紀博 教授
（副指導教員）
山本 豪志朗 助教
（副指導教員）
武富 貴文 助教
（副指導教員）
カメラ感度特性と人の視覚特性の違いを利用した
低視認パタン埋め込み手法 ∗
山田 與志雄
内容梗概
本論文では, カメラの感度特性と人の視覚特性の違いに着目し, 低視認性を保ち
つつディスプレイ映像中にパタンを埋め込む手法を提案する. 本提案手法を応用す
ることにより, マルチディスプレイ環境において, カメラ付き携帯デバイスを介し
たコンテンツ操作を行うインタラクションの実現を目指す. そのためには対象とな
るディスプレイの特定およびそれに対するカメラの位置姿勢を推定する必要があ
る. 従来方式としては表示されている映像の特徴点を利用したり, 埋め込みマーカ
を利用したりしていたが, 特徴点を有する映像が必須であったり, マーカを知覚し
てしまうなどの問題がある. 一方で, 特定の条件下で動作する, 継時加法混色の原
理を利用した 2 色高速切り替え表示によるパタン埋め込み手法などが提案されて
いる. 本研究では, この原理を応用し, 高速で切り替える映像の中に人には見えに
くく, カメラで取得可能なパタン埋め込み手法と同時に, ディスプレイ表示周波数
とカメラ画像取得周波数に一定の差を設けることで生じるうなりを利用したパタ
ン抽出手法を提案する. 本手法のパタン埋め込みとパタン抽出によって, 従来では
困難であった,60[fps] の一般的なカラーディスプレイに対しても, 非同期でパタン
を抽出することが可能となった. また, 本手法では, パタンが埋め込まれた撮影画
像から, パタンが埋め込まれる前の元の画像を復元することが可能であるため,AR
など, 撮影画像中にパタンが表示されることが好ましくない場合への利用も有効
である可能性を見つけることが出来た.
∗
奈良先端科学技術大学院大学 情報科学研究科 情報科学専攻 修士論文, NAIST-IS-MT1251113,
2014 年 2 月 6 日.
i
キーワード
情報埋め込み, 視覚特性, カメラ感度特性, マルチディスプレイ環境
ii
Embedding Method for Imperceptible Patterns
based on Sensitivity Characteristic Difference
between Human Eyes and Camera∗
Yoshio Yamada
Abstract
In this research, we focus on the mobile interaction technique to control remote
displays in multi-display environment using a smartphone’s camera. In this interaction, the system needs to compute which display and where the user point
through video. As a general solution for this problem is to use visible marker
pattern or image feature in display. But, in this solution, there is a trade-off
between the visibility of contents on display and stability of the system. On the
other hand, there are other embedding techniques for binary pattern that utilize
critical flicker frequency and human visual system. Based on these, we propose
a new pattern embedding technique for mobile interaction which is extracted by
camera and remains imperceptible to the observers. Our technique utilizes the
difference of sensitivity behaviour between human eyes and camera. And, to
extract embedded patterns from display, we capture the display with a 45[fps]
camera. By so doing, we can get embedded pattern as a beat generated because
of the difference of frame rates between camera and display. To demonstrate
the proposed techniques, we have performed embedding and extracting with a
general display, using the method, we have extracted nearly perfect patterns.
∗
Master’s Thesis, Department of Information Science, Graduate School of Information
Science, Nara Institute of Science and Technology, NAIST-IS-MT1251113, February 6, 2014.
iii
Keywords:
Information Embedding, Visual performance,Sensitivily Behaviour of Camera,
Multi-Display Environment
iv
目次
1. はじめに
1
2. 人の目とカメラの感度特性の違いを利用した
パタン埋め込み手法
2.1
2.2
7
関連研究 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7
2.1.1
時間分解能の違いを利用する方法 . . . . . . . . . . . . . .
7
2.1.2
色差の感度の違いを利用する方法 . . . . . . . . . . . . . .
10
本研究の方針 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
12
3. 提案手法
3.1
2 色高速切替表示によるパタン埋め込み . . . . . . . . . . . . . . .
14
パタン埋め込みの流れ . . . . . . . . . . . . . . . . . . . .
14
カメラで観測される”うなり”を利用したパタン抽出 . . . . . . . .
16
3.2.1
カメラのシャッタースピードの決定 . . . . . . . . . . . . .
16
3.2.2
カメラのフレームレートの決定 . . . . . . . . . . . . . . .
19
3.2.3
パタン抽出の流れ . . . . . . . . . . . . . . . . . . . . . . .
21
3.1.1
3.2
14
4. 提案手法の実現性の検証
4.1
22
パタン埋め込み手法の検証 . . . . . . . . . . . . . . . . . . . . . .
22
4.1.1
実験結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . .
25
4.1.2
考察 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
25
4.1.3
パタン抽出手法の実現性の検証 . . . . . . . . . . . . . . .
27
4.1.4
実験結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . .
27
4.1.5
考察 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
35
5. まとめ
38
謝辞
40
参考文献
41
v
付録
43
vi
図目次
1
携帯端末のカメラを介したことなるディスプレイとのインタラク
ションの一例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2
2
関連研究 Sweep and Point & Shoot [8] の一連の処理過程 . . . . .
3
3
Panu らの提案するシステム [9] の外観 . . . . . . . . . . . . . . .
4
4
Herbert らの SURF を用いたシステムにおける処理の流れ [10] . .
5
5
画像特徴量を用いてディスプレイ認識をする方法が適切に機能し
ない状況：(a) 一様な表示画面，(b) 同一の表示画面 . . . . . . . .
6
6
Grundhfer らによるパタン埋め込み手法 [14] . . . . . . . . . . . .
8
7
VRCodes (a) 端末画面上でパタンが表出している様子 (b) 異な
る 2 色で同色 (灰色) をした時のカメラ側での撮影結果 (c)Hough 変
換によりパタンから直線を抽出している様子 . . . . . . . . . . . .
9
8
人とカメラの色差に対する感度特性の違い . . . . . . . . . . . . .
10
9
色差感度の違いを利用した低視認パタン埋め込みによる形状計測
手法 [13] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11
10
ディスプレイの点滅色とカメラで観測される色（同周期の場合場合） 17
11
カメラで撮影された 2 フレーム分の画像 (上段) とそれらの差分画
像（下段）
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
17
12
ディスプレイの点滅色とカメラで観測される色（半周期ずれた場合） 18
13
カメラで撮影された 2 フレーム分の画像 (上段) とそれらの差分画
像（下段）
14
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
18
ディスプレイの点滅色とカメラで観測される色（色の”うなり”が
発生する場合） . . . . . . . . . . . . . . . . . . . . . . . . . . . .
20
15
60/2n {n ∈ N } のフレームレートで撮影した場合 . . . . . . . . . .
21
16
実験に用いた代表 6 色とその RGB 値 . . . . . . . . . . . . . . . .
23
17
ランダムドットマーカの一例
. . . . . . . . . . . . . . . . . . . .
23
18
実験の概観
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
25
19
各条件でパタンを表示した時の |2 Δc | 別の見えた回数 . . . . . . .
26
20
各条件でパタンを表示した時の色別の見えた回数 . . . . . . . . .
26
vii
21
実験の環境
22
パタンを埋め込む画像 (上段) とそれぞれに埋め込むパタン画像 (下
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
段) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
23
28
[1] (a):k フレーム目の画像,(b):k − 1 フレーム目の画像,(c):k − 2 フ
レーム目の画像 . . . . . . . . . . . . . . . . . . . . . . . . . . . .
24
28
29
[2] (a):平均により求めた復元画像,(b):撮影された元画像,(c): (a),(b)
の差分画像
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
30
25
[3] (a):Δ a 画像, (b):Δ b 画像 . . . . . . . . . . . . . . . . . . .
30
26
[4] (a):Δ a,Δ b の強度 (Δ a2 + Δ b2 ),(b):(a) の 2 値化画像 . . . . .
31
27
[1] (a):k フレーム目の画像,(b):k − 1 フレーム目の画像,(c):k − 2 フ
レーム目の画像 . . . . . . . . . . . . . . . . . . . . . . . . . . . .
28
31
[2] (a):平均により求めた復元画像,(b):撮影された元画像,(c): (a),(b)
の差分画像
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
32
29
[3] (a):Δ a 画像, (b):Δ b 画像 . . . . . . . . . . . . . . . . . . .
32
30
[4] (a):Δ a,Δ b の強度 (Δ a2 + Δ b2 ),(b):(a) の 2 値化画像 . . . . .
33
31
[1] (a):k フレーム目の画像,(b):k − 1 フレーム目の画像,(c):k − 2 フ
レーム目の画像 . . . . . . . . . . . . . . . . . . . . . . . . . . . .
32
33
[2] (a):平均により求めた復元画像,(b):撮影された元画像,(c): (a),(b)
の差分画像
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
34
33
[3] (a):Δ a 画像, (b):Δ b 画像 . . . . . . . . . . . . . . . . . . .
34
34
[4] (a):Δ a,Δ b の強度 (Δ a2 + Δ b2 ),(b):(a) の 2 値化画像 . . . . .
35
35
[4] (a):抽出したパタン画像,(b):パタン画像のみを撮影し 2 値化し
た画像,(c):(a),(b) の差分 . . . . . . . . . . . . . . . . . . . . . . .
36
[4] (a):抽出したパタン画像,(b):パタン画像のみを撮影し 2 値化し
た画像,(c):(a),(b) の差分 . . . . . . . . . . . . . . . . . . . . . . .
37
36
36
[4] (a):抽出したパタン画像,(b):パタン画像のみを撮影し 2 値化し
た画像,(c):(a),(b) の差分 . . . . . . . . . . . . . . . . . . . . . . .
viii
37
表目次
1
実験機器の仕様 . . . . . . . . . . . . . . . . . . . . . . . . . . . .
24
2
実験機器の仕様 . . . . . . . . . . . . . . . . . . . . . . . . . . . .
29
3
先行研究と本研究の違い . . . . . . . . . . . . . . . . . . . . . . .
38
ix
1. はじめに
スマートフォンやタブレット, パソコンなどのデバイスの普及に伴い, 日常生活
の中でのメディア利用活動において, これらデバイスは単独で使用されるだけで
なく, 目的や状況に応じて, 複数台が同時並行的に, または連続的に使用されるこ
とが多くなった [1]. 本研究では, このように大小様々なディスプレイを有するデ
バイスが存在し, それらディスプレイの利用自由度が高い環境を「マルチディスプ
レイ環境」と呼ぶ. このマルチディスプレイ環境内では, 各ディスプレイに表示さ
れたコンテンツの操作を行う際, スマートフォンやタブレットならタッチスクリー
ン, パソコンならマウスやキーボードというように, 各ディスプレイ固有のインタ
フェースを用いているのが現状である. また, スマートフォンやタブレットなどの
携帯端末は, カメラや加速度, ジャイロセンサ, タッチスクリーンなどのセンシン
グ機能が搭載され, 本来の通信機器としてだけではなく, 多様なメディア利用活動
を行うためのパーソナルコンピュータとしても広く普及している. このような背
景を受け, 近年, 携帯端末が持つ各種センシング機能を活用し, 携帯端末を, マルチ
ディスプレイ環境内の新しいインタフェースとして利用する試みが多くなされて
いる [2]. この試みが実現することで, マルチディスプレイ環境内のディスプレイ
に表示されたコンテンツの操作を, 各ディスプレイのインタフェースに依存しな
い,1 つのインタフェースで行うことが可能になる. また, これは, マルチディスプ
レイ環境を構成する要素の 1 つである, 携帯端末のみを用いるため, インタフェー
スを構築するための特別なセンサやデバイスが必要ないという利点がある. 携帯
端末をこのようなインタフェースとして利用する際の, マルチディスプレイとの
インタラクション手法は既にいくつかが提案されており, それらは有用性が検証
されている [4]- [7]. この中から, 本研究では, 携帯端末のカメラを利用したインタ
ラクション手法に着目する. このインタラクション手法は, 図 1 のように, 携帯端
末のカメラでディスプレイに表示されているコンテンツを撮影し, 端末上に表示
されたそのコンテンツに対して操作を行うことで, 撮影された側のディスプレイ
のコンテンツにもその操作が反映される, というものである. このため, ディスプ
レイの位置が不確定であるようなマルチディスプレイ環境内でも, カメラで撮影
することが可能であれば, 距離に関係なく手元の携帯端末のディスプレイ上で操
1
図 1 携帯端末のカメラを介したことなるディスプレイとのインタラクションの
一例
作が行える, という利点がある.
このインタラクション手法では, 端末を持ったユーザが, 任意のディスプレイ上
の, 任意の位置をポインティングする際, まず, マルチディスプレイ環境内のどの
ディスプレイ上の, どの箇所をユーザが撮影しているかをシステム側が認識する
必要がある. これを実現するためには, ユーザが持つ携帯端末のカメラの向きを外
部からセンシングし, そこから撮影されているディスプレイと撮影箇所を認識す
るアウトサイド・インの方法と, 携帯端末のカメラ画像からユーザが撮影してい
るディスプレイと撮影箇所を認識するインサイド・アウトの 2 種類の方法が考え
られる. これらのうち, アウトサイド・インの方法では, 携帯端末のセンシングの
ための設備が必要となるため, 本研究ではインサイド・アウトの方法によりこの
インタラクション手法の実現を目指す. イン・サイドアウトの方法では, 携帯端末
のカメラ画像から, 撮影されているディスプレイを認識するために, カメラ側で認
識可能な何らかの情報を, ディスプレイ上に表示しておく必要がある. Ballagas ら
2
図 2 関連研究 Sweep and Point & Shoot [8] の一連の処理過程
は, カメラ付き携帯端末を用いた大型ディスプレイとのインタラクション手法と
して,Point & Shoot [8] を提案した. このインタラクション手法の中で, ディスプ
レイに表示されたオブジェクトのポインティングを行うために 2 次元のモノクロ
マーカを用いている. しかし, 単純にマーカを常時ディスプレイに表示していては,
本来ディスプレイに表示されているコンテンツが阻害されてしまうため,Point &
Shoot ではオブジェクトのポインティングを行うときのみマーカを表示している.
システムは, この時にカメラに写ったマーカからディスプレイ上の撮影位置を認
識している.
一方 Panu ら [9] も, 大型ディスプレイとカメラ付き携帯端末を用いた協調作業
のためのプロトタイプシステムにマーカを用いている. こちらは常時マーカを表
示させる方法をとっているが, 表示するマーカは,Ballagas らが用いているものよ
りも表示面積が小さく, コンテンツが阻害されにくい工夫がされている.
これらのインタラクション手法は, 想定されている環境が厳密にはマルチディ
スプレイ環境ではないが, ここで用いられているポインティング手法は, 本研究で
述べているマルチディスプレイ環境でも機能すると考えられる. しかし, 現実のマ
ルチディスプレイ環境内での使用を考えると, これらの方法ではディスプレイ上
に, コンテンツとは別に, システムが機能するためのマーカを表示する必要が有る
ため, 本来表示されるべきコンテンツへの影響は避けられない. そのため, マーカ
を用いない, 元々ディスプレイ上に表示されているコンテンツを利用する方法も
提案されている.
3
図 3 Panu らの提案するシステム [9] の外観
Herbert ら [10] は画像特徴量である SURF(Speeded Up Robust Features) [12]
を用いており, ディスプレイ上に表示されているコンテンツを 1 つの画像とみな
して, その画像特徴量とカメラ画像から得られる特徴量をマッチングすることで,
システムはユーザがどのディスプレイを撮影しているかを認識する (図 4).
このような画像特徴量を用いた方法は, 携帯端末の処理能力の向上によってよ
り現実的なものとなり, このためのフレームワークも開発される [11] など, 現在最
も実用化が進んでいる手法であると言える. しかし, 画像特徴量を用いるディスプ
レイの認識方法は, ディスプレイの表示画像に大きく依存することが実環境では
問題となりうる.
例えば図 5-a の用に,SURF のような画像特徴量が得られないディスプレイや,
図 5-b のように複数ディスプレイ上に同じ画像が表示されている場合には, システ
ムはユーザが撮影しているディスプレイを 1 つに特定することは出来ず, 撮影箇
所も定まらない.
このように, マルチディスプレイ環境において, カメラの画像情報から, ユーザ
が撮影しているディスプレイを認識するためには, マーカや画像特徴量が用いら
れてきた. しかし, マーカを用いる方法では, 表示されているコンテンツに関係な
4
図 4 Herbert らの SURF を用いたシステムにおける処理の流れ [10]
くユーザの指定した位置の認識が可能であるものの, マーカによって肝心のコン
テンツが阻害されてしまう状況が生じる. 一方, 画像特徴量を用いる方法では, コ
ンテンツの見栄えを阻害することがない反面, 表示されているコンテンツがシス
テムの安定性に大きく影響してしまう. このように, 既存の方法では, コンテンツ
の見栄えとシステムの安定性にはトレードオフの関係があり, また, どちらか一方
を満足するだけでは実環境での使用において問題を抱えていた. そのため, この問
題を解決し, より実環境に則したものにするには, システムが必要とする情報と,
人間が見る情報の住み分けを図る必要がある. また, 前述のとおり, ユーザが携帯
端末のカメラ越しに, マルチディスプレイ環境内の任意のディスプレイ上のコン
テンツを操作するには, 携帯端末のカメラが撮影しているディスプレイおよびディ
スプレイ上の位置を知ることが必要になる. そのため, システムが必要とする情報
としては, 依然, 携帯端末の位置姿勢が推定できる, マーカや画像特徴量のような
幾何学的なパタンが基本的かつ有効であると考えられる.
そこで本研究では, 人間の目とカメラの, 受光器としての特性の違いを利用する
ことで, 人間が見るディスプレイ上のコンテンツと, システムが必要とする携帯端
末の位置姿勢が推定可能となる幾何的なパタンの住み分けを図る.
5
図 5 画像特徴量を用いてディスプレイ認識をする方法が適切に機能しない状況：
(a) 一様な表示画面，(b) 同一の表示画面
具体的に, 本研究では, 人間の目とカメラの, 色に対する感度特性や時間分解能
の違いを利用する. これにより, ディスプレイとカメラ付き携帯端末との位置関係
を求めるための情報を, 人間には識別しにくく, なおかつ携帯端末のカメラでは識
別できるように埋め込むための手法の実現を目指す.
以下,2 章では, 人の目とカメラの感度特性の違いを利用した, パタン埋め込みに
関連する研究を挙げ, 本研究の提案手法の方針について述べる. 3 章では, 本研究
におけるパタン埋め込み手法と, 埋め込まれた情報のカメラでの抽出手法での各
処理のついて具体的に述べる. 続く 4 章では,3 章で述べた提案手法の実現性の検
証実験を行い, 結果を示し考察する. 最後に 5 章で本研究についてのをまとめを
述べる.
6
2. 人の目とカメラの感度特性の違いを利用した
パタン埋め込み手法
本研究では, 現状のマルチディスプレイ環境や, 携帯端末で実現可能である情報
埋め込み手法を目指す. 本章ではまず, 過去に提案されている, 人間の目とカメラ
の感度特性の違いを利用したパタン埋め込み手法について述べる. 次に, 本研究が
想定している実環境に則したいくつかの条件のもとで, それら手法の実現性を考
察し, 本研究のパタン埋め込み手法の位置付けと方針について述べる.
2.1 関連研究
人間の目とカメラとは, レンズを通して受光するというプロセスは根本的に同
じだが, 受光した光の処理に違いがあるため, 輝度や色に対する感度特性の違いが
ある. ここではいくつかの研究の中で用いられている, 人間の目とカメラの感度特
性の違いを利用したパタン埋め込み手法を, 時間分解能の違いを利用する方法, 色
差の感度の違いを利用する方法の 2 つに大別し, それぞれの手法の特徴について
述べる.
2.1.1 時間分解能の違いを利用する方法
人間は, より短い時間の間に異なる視覚刺激を受けると, それらの刺激を区別す
ることができなくなるという特性を持っている. この特性により,2 つの異なる色
を高速に点滅表示すると, それら 2 色の中間色として人間に知覚される. これは,
継時加法混色という混色現象として知られている. この時, 点滅する 2 色が, それ
ぞれ I1 = {r1 , g1 , b1 },I2 = {r2 , g2 , b2 }, 人間に知覚される色を Ihuman = {rh , gh , bh }
とすると, 以下の関係式が成り立つことが知られている.
Ihuman = (I1 + I2 )/2
{rh , gh , bh } = {(r1 + r2 )/2, (g1 + g2 )/2, (b1 + b2 )/2}
7
(1)
図 6 Grundhfer らによるパタン埋め込み手法 [14]
この特性を利用して,Grundhfer ら [14] は, ディスプレイに表示する画像に,2 次
元マーカを並べたパタン状に色差を与え, この画像と対となるような色差を与え
た画像を, 人間の目には区別できないほど高速（120[fps]）で切り替えて表示する
ことで, 表示する画像の質を保ったままパタンを埋め込む手法を提案している.
点滅表示させる 2 枚の画像と, 元画像との関係は, 元画像の任意の画素値を O =
{ro , go , bo } とし, パタンを C : {C = 1 : パタン部分, C = 0 : 非パタン部分 }, 色差
を Δ = { δ r, δ g, δ b} とすると,2 枚の点滅画像の O に対応する画素値をそれぞ
れ Iposi = {rp , gp , bp },Inega = {rn , gn , bn } は, 式 1 の関係から, 下式で表される.
Iposi , Inega

 O, O
=
 O + Δ, O − Δ
(C = 0)
(2)
(C = 1)
この手法では, 画像の表示にプロジェクタを用いており,DLP 素子の切り替え
と, カメラのフレームレートを同期させ, 撮影フレームごとの画像の差分の絶対値
|2 Δ |(= |I − I ′ |) を求めることで, 埋め込まれているパタンを抽出している. その
ため Grundhfer らの手法を, プロジェクタ以外の表示機器への応用を考えた場合
にも, パタン抽出のためには表示機器とカメラの同期が必要となる. 一方,2 色の
8
図 7 VRCodes (a) 端末画面上でパタンが表出している様子 (b) 異なる 2 色で
同色 (灰色) をした時のカメラ側での撮影結果 (c)Hough 変換によりパタンから直
線を抽出している様子
高速切替表示による情報埋め込みを用いた手法で, パタンの抽出にカメラとの同
期を必要としない方法も提案されている. Woo ら [15] は, 多くの携帯端末のカメ
ラに用いられている CMOS イメージセンサの特性を利用することで, ディスプレ
イの点滅とは非同期でパタンを読み取ることのできる,VRCodes を提案している
(図 7).
CMOS イメージセンサで画像を撮影する場合, センサの特性上, 信号の読み出
しは 1 画素毎に行われるので,1 枚の画像でも画素によって値の取得時間が異なる.
このため高速で移動する被写体を撮影すると, 被写体が歪んで撮影される現象が
起きる. これはローリングシャッタ現象として知られており, 短時間での輝度変化
を撮影した場合も同様に, 一枚の画像上にその輝度変化が撮影される現象が起き
る.VRCodes では,Grundhfer らと同様, 式 2 と同じ計算によって, 人間に知覚して
ほしい色から決定した 2 つの色を,120[fps] で表示可能なディスプレイ上で点滅さ
せている. これを,CMOS カメラ付き携帯端末で,15fps という低フレームレートで
撮影すると, ローリングシャッタ現象により点滅している 2 つの色が模様となって
表示される (図 7-(a)). また, 中間色を変えずに, 点滅させる 2 色の組み合わせを変
えることで, 人間に知覚される色を変えることなく, 様々な組み合わせの 2 つの色
をカメラ側で抽出することを可能にしている.VRCodes ではこれにより, 点滅させ
9
図 8 人とカメラの色差に対する感度特性の違い
る 2 色の組み合わせに情報を持たせることで, ディスプレイ上の画像に対して情報
埋め込みを行っている (図 7-(b)). さらに, 図 7-(c) のようなチェックパタンのよう
に, 幾何的な情報を埋め込めば, ディスプレイとカメラの位置関係の推定も可能で
あることを示唆している. これらの時間分解能の違いを利用する方法では,120[fps]
のフレームレートを持つ表示機器で点滅を行っている. しかし, 一般的なディスプ
レイのフレームレートは 60[fps] であり, このような点滅周波数が低いディスプレ
イに対して, 同じ手法で情報を埋め込む場合, 継時加法混色が生じるためには, 点
滅させる 2 色の色差を小さくする必要がある. そのため, 人間に見えない色差で点
滅を行ったとしても, カメラ側で 2 色が識別できなくなる可能性があり, 実環境で
の利用には課題がある.
2.1.2 色差の感度の違いを利用する方法
ある 1 対の色差を人間とカメラが観察した時, カメラ側で観測される色の距離
と, 人間が感じ取る心理的な色の距離は異なる (図 8). 色の組み合わせによっては,
人間にはそれらの色差が識別不可能なほど小さく感じられ, かつカメラ側では識
別可能な色差で観測されるようにすることが可能となる.
10
図 9 色差感度の違いを利用した低視認パタン埋め込みによる形状計測手法 [13]
永井ら [13] はこの人間の目とカメラの, 色差に対する感度特性の違いを利用し,
プロジェクタ型複合現実感において, 投影物の 3 次元形状を推定するためのバー
コードを, カメラ側では識別可能で, かつ人間の目には識別しにくい色差を与えて
投影画像に埋め込む手法を提案している (図 9).
この手法での, より詳細な色の決定方法については,3 節で述べ, ここでは概略の
みを述べる. この手法ではまず, バーコードに与える色差を求めるために, 投影さ
れている色がカメラ側と人間側でそれぞれどのような色として観測されているか
を定量的に求めている. カメラ側で観測される色は, 投影色と観測色とを一対一で
対応付けるためのルックアプテーブルを作成することで定量化を行っている. 一
方, 人間側で観測される色は, 均等色空間である CIE L*a*b*色空間を用い, 投影色
の RGB の値を CIE L*a*b*色空間に変換することで定量化を行っている. この均
等色空間とは, 人間が感じ取る心理的な色の距離が, 空間上で等間隔になるように
モデル化された色空間のことである. この定量化を行ったのち, カメラ側で識別
可能な色差を持った 2 色の組み合わせを全て選び, それらが人間側で観測される
色差を求める. 人間が知覚する色の差は,CIE L*a*b*色空間上でのユークリッド距
離となるので, この距離が最小となるような 2 色の組み合わせが, 人間に見えにく
く, かつカメラでは識別可能な色の組み合わせとしている. この色でパーコードを
色付け, 元の画像に埋め込むことで, 人間には見えにくく, カメラでは識別可能な
11
情報埋め込みを行っている. この手法では, プロジェクタ側の表示色とカメラ側の
撮影色の関係が, 事前に求められるたルックアップテーブルによって既知である
必要があり, また, 撮影するカメラが固定されているなど, マルチディスプレイ環
境内で携帯端末のカメラを用いる事を前提とした, 本研究で実現する手法にその
まま適応することは出来ない.
2.2 本研究の方針
本節では,2.1.1 節,2.1.2 節で概観した従来手法を元に, 本研究の方針を述べる.
時間分解能の違いを利用する方法では, 異なる 2 つの色を高速点滅表示するこ
とで, 継時加法混色によりそれらの中間色として人間に知覚される事を利用して,
情報の埋め込みを行っていた. しかし, 埋め込みまれた情報をカメラ側で抽出する
際,Grundhfer らのようにディスプレイの描画と同期のとれたカメラで撮影するか,
または Woo らのように別の方法で行う必要があった. 携帯端末のカメラは, この
先も高性能化が予想されるため, 撮影能力だけでみれば Grundhfer らが用いてい
た, 高フレームレートで撮影可能なカメラはいずれ携帯端末のカメラでも代替可
能となると考えられる. しかし, ディスプレイとの同期が必要となると, マルチディ
スプレイ環境のような, 複数のディスプレイが存在している環境内で, それぞれの
ディスプレイ同士もフレームレートの同期をとる必要が生じるため, 現実的では
なくなる. そのため, カメラのフレームレートがディスプレイのフレームレートと
非同期での撮影でも, 情報が抽出できなくてはならない. また,Woo らの手法では,
端末上のディスプレイ画像にパタンが表出してしまうことで, 端末上に表示され
るコンテンツが阻害されるという問題があるため, 人間が見ている, 元のディスプ
レイ画像を端末上で表示できる事も必要である. さらに, フレームレートが 60[fps]
である一般的なディスプレイでは, 人間が見るコンテンツを阻害しないようにす
るためには, 点滅させる 2 色の色差が小さくする必要があるため, カメラ側での情
報抽出が難しくなるという問題がある.
一方, 色差の感度の違いを利用する方法では, 人間には差がわかりにくく, かつ
カメラ側では識別可能な色の組み合わせを用いてバーコードを色付けし, 元の画
像に埋め込んでいた. こちらの方法は, 人間の知覚という, 非線型的な領域を含め
12
て考えることで, 人間によって知覚される色差を小さく抑えつつ, カメラ側で観測
される色差を広げることが可能であると考えられる.
そこで本研究では, 時間分解能の違いを利用する方法に人間とカメラの色差の
感度特性の違い利用することで, 一般的な 60[fps] のディスプレイでも, 人間の目に
は見えにくく, かつカメラでは識別可能な色差を持った点滅色を求める手法を提
案する. また, 埋め込む情報については,1 で述べたように, 携帯端末の位置姿勢が
推定できる, マーカや画像特徴量のような幾何学的な情報が好ましい. そのため本
研究では埋め込む情報として, 欠損に対して堅牢であるランダムドットパタン [16]
を用いる. そして, この手法で求めた 2 色で点滅表示されているランダムドットパ
タンを抽出しつつ,Woo らの手法で問題になる, 携帯端末上でのコンテンツの阻害
が起きないような, パタンが埋め込まれる前の画像を復元できるパタン抽出手法
も同時に提案する.
13
3. 提案手法
本章では, 本研究で目指す, マルチディスプレイ環境内でのカメラ付き携帯端末
を用いたインタラクションを実現するため, 人間の目とカメラの, 色差に対する感
度特性の違いを利用したパタン埋め込み手法について述べる. 次に, この手法で埋
め込まれたパタンを抽出するための, ディスプレイとカメラのフレームレートの
違いにより発生する”うなり”を利用した抽出手法について述べる.
3.1 2 色高速切替表示によるパタン埋め込み
2.2 節で述べたように, 一般的な 60[fps] のフレームレートであるディスプレイに
おいて, 人間に見えにくいように 2 色を切り替えて表示するには,2 色の色の差を
小さくすれば良いが, 色差が小さくなりすぎると, カメラ側でパタンが識別できな
くなってしまう. そこで,2.1.2 節で述べた, 人間の目とカメラの感度特性の違いを
応用することで, カメラで識別可能な色差を保ったまま, 人間には見えにくいよう
に点滅させる 2 つの色を選択する. 以下, 本手法のパタン埋め込みの流れについて
述べる.
3.1.1 パタン埋め込みの流れ
本手法でのパタン埋め込みの流れを説明するにあたって, まず, 基本的なアイデ
アとなっている, 永井らのバーコード埋め込み手法について説明する. ただし, 本
手法では永井らが行っているような, ディスプレイ上の表示色とカメラ側での観
測色との定量的な対応はとらない. ここではディスプレイ上の表示色がほぼカメ
ラ側で同じ色として観測できるものと仮定し, この仮定によって生じる問題につ
いては,3.2.3 節の, パタン抽出の流れの中で述べる. まず最初に,RGB で色を表現
することのできる一般的なカラーディスプレイ上の, ある色 C = {rc , gc , bc } に対
して, 点滅を行うことを考える. 点滅させる 2 つの色を決定する際, 点滅中は継時
加法混色により人間に元の色 C として知覚されなくてはならない. ここで,2 つの
点滅色を仮に C1 = {r1 , g1 , b1 },C2 = {r2 , g2 , b2 } とすると, 元の色と 2 つの点滅色
との関係は, 継時加法混色の式 1 より
14
C1 = C + Δc , C2 = C − Δc
(3)
ただし, Δc = { δ r, δ g, δ b}
となる. カメラ側で, このディスプレイ上の色差 2 Δc が観測できる必要がある
ので, カメラで分別できる最小の色の距離を t とすると,2 色間の距離 |2 Δc | は, 以
下の式を満たす必要がある.
√
|2 Δc | = 2 (δ r2 + δ g 2 + δ b2 )≧ t
(4)
C1 ,C2 を C から決定するための色差 Δc の決定には, 式 3, 式 4 の関係を満たし
ていることが条件となるが,RGB 色空間内では, この条件を満たす色の組み合わせ
は元の色 C を中心とした球面上に多数存在する. そのため, この色の組み合わせの
中から, 人間には知覚されにくい色の差を持つものを選択する必要がある. ディ
スプレイ上の 2 色間の距離 |2 Δc | が, 人間にはどのぐらいの色差として認識され
るかを知る為に, これら 2 色を人間の色覚をモデル化した均等色空間である CIE
L*a*b*値に変換し, 距離を計算する. この,RGB 値から CIE L*a*b*値への変換式
については付録に掲載する.
ここで, 先行研究の永井らの手法では,CIE L*a*b*色空間内の 2 色間のユーク
リッド距離が最小となるような色の組み合わせが, 人間には知覚されにくい色の組
み合わせであるとして選択していたが, 永井らの提案する, 求めた 2 色をバーコー
ド状に表示する手法とは条件が違い, 本研究では求めた 2 色でランダムドットマー
カを点滅させるので, 単純にユークリッド距離が最小となるような色の組み合わ
せが最適であると決定することはできない. そのため,L*,a*,b*のどの要素が点滅
時における見えにくさに最も影響があるのかを, 実環境下で, 被験者実験によりで
調べた. 実験とその結果については 4.1 節にて述べる.
15
3.2 カメラで観測される”うなり”を利用したパタン抽出
3.1.1 節で述べた手法で埋め込まれた, ディスプレイに点滅表示されているパタ
ンを, カメラで抽出するための手法について述べる.60[fps] で点滅するパタンを抽
出するためには,Grundhfer らが行っているように, ディスプレイとカメラの同期
をとることができれば確実であるが, 本研究で想定しているマルチディスプレイ
環境での利用には, 同期のコストがかかるため難しい. そのため,Woo らが行った
ような, 別の工夫が必要となる. 本研究では,60[fps] の点滅を, 別のフレームレート
で撮影することで発生する”うなり”を利用する. 現在携帯端末に標準で搭載され
ているカメラでは, シャッタースピードやフレームレートなどの詳細な撮影設定を
ソフトウェア上で変更することは難しい. しかし, これまでの携帯端末のカメラの
高性能化に鑑みて, 将来的にはこれらの設定もソフトウェア上で変更可能で絵あ
ると仮定して, 今回は, シャッタースピードとフレームレートが変更可能なカメラ
を用いることとする. 以下, カメラのシャッタースピードとフレームレートの値の
決定方法について述べ, 本情報抽出手法の詳細について述べる. また,2.2 節で言及
した,Woo らの手法での, 端末上のディスプレイ画像にパタンが表出してしまう問
題について, 本手法における同様の問題と, 解決方法について述べる.
3.2.1 カメラのシャッタースピードの決定
3.1.1 節で述べた手法で点滅するパタンを, 仮に 60[fps](シャッタースピード:1/60[s])
のカメラで撮影するとし, 位相がなく同期がとれた場合の模式図を図 10 に, この条
件で実際に取得された画像とその差分画像を図 11 にそれぞれ示す. この場合, カ
メラ側では図 11 のように毎フレームごとに点滅色が交互に観測されるため,1 フ
レーム間での差分をとることで, 図 11 下段のように埋め込まれたパタンが確認で
き, 抽出が可能であることが分かる.
しかし, 図の 12 のように, ディスプレイのフレームレートとカメラのフレーム
レートが, ちょうど半周期分ずれると, カメラ側ではパタンを観測することはでき
なくなる. この条件下での, 実際のカメラ取得画像とその差分画像は図 13 のよう
になり, パタンは確認できない.
16
図 10 ディスプレイの点滅色とカメラで観測される色（同周期の場合場合）
図 11 カメラで撮影された 2 フレーム分の画像 (上段) とそれらの差分画像（下段）
17
図 12 ディスプレイの点滅色とカメラで観測される色（半周期ずれた場合）
図 13 カメラで撮影された 2 フレーム分の画像 (上段) とそれらの差分画像（下段）
18
そのため, サンプリング定理に則って, カメラのフレームレートをディスプレ
イのフレームレートの 2 倍以上に設定して撮影する方法も考えられるが, その場
合,DLP プロジェクタやプラズマテレビなどの表示機器ではカメラのフレーム間
画像の差分によるパタンの抽出が取得できなくなる. これは, これらの表示機器が,
継時加法混色により画像の色を表現している事が原因として挙げられる. フレー
ムレートが 60[fps] で, 継時加法混色により色を表現しているディスプレイは,1 フ
レームの表示に 1/60[s] かかる. つまり, 人間には分からないが,1 フレームの色を
表現するための色が 1/60[s] の間に切り替わって表示されており, そのため,1/60[s]
以外のシャッタースピードでこのディスプレイを撮影すると, カメラ側では人間に
見えているディスプレイの色とは別の色として観察されてしまい, カメラ撮影画
像のフレーム間での差分からパタンを抽出することが出来なくなる. これらのこ
とから, パタンの抽出を行うカメラのシャッタースピードは 1/60[s] で固定とする.
3.2.2 カメラのフレームレートの決定
前節で述べた理由から, カメラのシャッタースピードは 1/60[s] でなければなら
ないので, カメラのフレームレートは 60[fps] 以下で考える必要がある. 点滅する
パタンを取得するための, カメラのフレームレートの決定にあたり, 本研究では,
ディスプレイとカメラの点滅・撮影周期に差を持たせた時に, 撮影画像に時系列的
に発生する”うなり”を利用する. ”うなり”はわずかに異なる周波数を持つ, 別々の
波を合成すると, それらの周波数の差の周波数を持つ合成波が観測される現象と
して知られているが, ディスプレイ上の点滅をカメラで撮影する場合にも同様の現
象が発生する. ディスプレイ上の点滅パタンを, ディスプレイの点滅周期 (1/60[s])
とは少しずれた周期で撮影すると, カメラ側では, 点滅は図 14 のような色の”うな
り”として観測される.
この”うなり”は, ディスプレイとカメラの点滅・撮影周期の間の位相の有無に
関係なく, 一定周期で観測され. そのため, 複数の撮影画像上に観測される,”うな
り”1 周期分で得られる色を用いて, それぞれの差分を求めれば, ディスプレイとカ
メラの同期を必要とせず,”うなり”の原因となっている点滅パタンを抽出すること
ができる. この時, できるだけ少ない撮影画像で, パタンの抽出が行えることが好
19
図 14 ディスプレイの点滅色とカメラで観測される色（色の”うなり”が発生する
場合）
ましい. そのためには, 撮影画像に現れる”うなり”の周期が, より短くなるように
カメラのフレームレートを設定すればよい.
カメラのフレームレートが x = 60/2n {n = 1, 2, 3...} の場合, 図 15 に示すよう
に, 位相の有無に関係なく, 各フレームには同じ画像が撮影されるため, 撮影画像
上で”うなり”は発生しない.
例えば, カメラのフレームレートが 59[fps] でのディスプレイの撮影では,”うな
り”の周期は 1/(60 − 59) = 1[s] となり,”うなり”からパタンを抽出するためには,1
秒間の撮影,59 フレーム分の画像が必要となる. 今回の場合,”うなり”の周期が最小
となるための, カメラのフレームレートは,”うなり”の周期が 1/(60 − 45) = 1/15[s]
となる,45[ｆｐｓ] となる. 前述のとおり, 取得した”うなり”から元のパタンを抽
出するためには,”うなり”1 周期分の撮影画像が必要である. ここで,1 秒間のカ
メラの画像取得枚数と, その 1 秒間の画像に撮影されている”うなり”の回数の比
は,45:15=3:1 となる. つまり, カメラ画像 3 枚に”うなり”1 周期分撮影される. こ
れらのことから, カメラのフレームレートは 45[fps] とし, パタン抽出には 3 フレー
ム分の画像を用いる. パタン抽出の処理の流れについては, 次節で述べる.
20
図 15 60/2n {n ∈ N } のフレームレートで撮影した場合
3.2.3 パタン抽出の流れ
3.2.2 節や 3.2.1 節で述べたように,60[fps] で点滅するパタンをカメラで抽出には,
カメラのシャッタースピードを 1/60[s] に設定し, フレームレートを 45[fps] で行え
ばよい. 本節では, これらの設定のカメラで, 実際にパタン画像を抽出する処理の
流れについて述べる. ある k フレーム目において, それまでの k − 1, k − 2 フレー
ムからパタン画像を取得する. 点滅している 2 色は, 情報埋め込み手法の特性上,
ディスプレイ上では b*値の差が最大で,L*値,a*値それぞれの差が最小となる. し
かし, 実際はそうではなく, カメラ側で観測される色は, カメラのホワイトバランス
などの影響で, 輝度は保たれつつも色味が変化してしまう. このことから, カメラ
側で観測される点滅色は,CIE L*a*b*空間上の a*b*平面での広がりが大きくなる.
これらの理由から, 撮影画像の画素値を CIE L*a*b*値に変換し, このうち a*,b*の
値のみを用いてパタンの抽出を行う. 今, 実際にパタンが埋め込まれたディスプレ
イを撮影した,3 フレーム分 (k,k − 1,k − 2) の画像が得られているとする. これらの
21
画像から埋め込まれたパタンを抽出するには, まず, 画像の RGB 値を CIE L*a*b*
値に変換し, 変換された a*値,b*値ごとに, 各フレーム間での差の絶対値を足し合
わせる. 各 k,k − 1,k − 2 フレームでの a*値を ak ,ak−1 ,ak−2 ,b*値を bk ,bk−1 ,bk−2 と
すると,a*値,b*値の各フレームの差の絶対値 Δ a,Δ b は次のとおりになる.
Δ a = |ak − ak−1 | + |ak − ak−2 | + |ak−1 − ak−2 |
(5)
Δ b = |bk − bk−1 | + |bk − bk−2 | + |bk−1 − bk−2 |
(6)
そして, 得られた Δ a,Δ b で構成されるベクトルの強度 (Δ a2 + Δ b2 ) を求め,
これを 2 値化することで埋め込まれたパタン画像が得られる. また, ディスプレイ
に 60[fps] で点滅表示されている 2 色の点滅色は, カメラを通すことで,45[fps] にダ
ウンサンプリングされるため, 肉眼でも見えてしまう. だが, 式 3 に示したように,
点滅する 2 色の平均をとることで元の色を得ることができる. そのため, 過去 3 各
フレームの平均画像を取得することで, パタンが埋め込まれていない元の画像を
復元することができる.
4. 提案手法の実現性の検証
これまでに述べた提案手法の実現性を検証するため, パタン埋め込み手法, パタ
ン抽出手法について実験を行った. 以下にそれらの実験内容と結果を示す.
4.1 パタン埋め込み手法の検証
点滅させる 2 色の,L*の差,a*の差,b*の差のうち, どの要素が人間の見えに大き
く影響するか, また, どの程度の色差であるなら, 人間に知覚されにくいのかを調
べ, 点滅色を選択する際の指標を求めるための実験を行った. 実験では, 図 16 のよ
うな 6 色を代表色として選び, 各色に対して,4 段階 (|2 Δc | = {10, 20, 30, 40}) の
RGB 色空間上での色の距離を持った, 図 17 のようなランダムドットマーカを表
示する. このランダムドットマーカは, 点の大きさや個数は変化させずに, 表示画
像ごとに点の配置をランダムにして生成したものを用いた.
22
図 16 実験に用いた代表 6 色とその RGB 値
図 17 ランダムドットマーカの一例
3.1.1 節でも述べたように,RGB 色空間上での距離が同じ色の組み合わせは多数
存在し, その中の一組の 2 色 C1 ,C2 に決定するためには,L*,a*,b*のどの要素の変
化が影響するのかを知る必要が有るため, 以下の 3 種類の条件で色の組み合わせ
23
表 1 実験機器の仕様
処理用 PC
HP Pavilion Elite HPE-360jp Desktop PC
プロセッサ : AMD Phenom II X6 1090T
動作周波数 : 3.20GHz
OS : Windows 7 Enterrise
メモリ : 8.00 GB
ビデオカード : NVIDIA Quadro 600
ディスプレイ
HP LP2475w
※内部ガンマ値は実験環境にて校正済み
を求めたものを比較する. ただし,C1 の CIE L*a*b*値を H1 ,C2 の CIE L*a*b*値
を H2 とし,H1 ,H2 の差を Δh とする.
条件 1 Δh の a*,b*成分の値が最小 (H1 ,H2 の差が L*成分にのみあるもの)
条件 2 Δh の L*,b*成分の値が最小 (H1 ,H2 の差が a*成分にのみあるもの)
条件 3 Δh の L*,a*成分の値が最小 (H1 ,H2 の差が b*成分にのみあるもの)
以上 6 色× 4 段階の色の距離× 3 つの条件の計 72 通りの組み合わせに, マーカ
を表示しないそそのままの画像 6 色を加えた, 併せて 78 通りの組み合わせをラン
ダムに被験者に 2,3 秒提示し,26 回ごとに 1 分ほど休憩をはさみ, 実験を行った. 実
験に用いた機器との仕様を表 1 に, 実験の概観を図 18 に示す. 被験者は 20 代男性
4 人で, 被験者にはディスプレイから 50cm 離れた場所に顎を固定し, ディスプレ
イを注視してもらった. ただし, まばたきや眼球運動については特に制約は設けな
い. この状態でディスプレイ上に表示された画像を見て, 「1. マーカが見える, ま
たは何か点滅が見える」,「2. 何も見えない」の 2 つに分類してもらい,「1. マー
カが見える, または点滅が見える」と判断された色の組み合わせのみを記録した.
24
図 18 実験の概観
4.1.1 実験結果
「1. マーカが見える, または点滅が見える」と判断された組み合わせを, 各条件
ごとに色別, 色の距離別にまとめ, 比較した. 実験の結果を, 図 4.1.2, 図 4.1.2 にそ
れぞれ示す.
4.1.2 考察
図は, 各条件でパタンを点滅表示した時の,「1. マーカが見える, または点滅が見
える」と判断された組み合わせを, 点滅させる色の色差 |2 Δc | の値ごとに表示し
たグラフである. このグラフより,|2 Δc | が大きくなると, 条件に関わらず人間に
見えやすくなり, 同じ色差による点滅でも, 点滅色を選択する条件 1,2,3 によって,
見えにくさに大きく差が出ていることが分かる. 図は, 元画像の色ごとに「1. マー
カが見える, または点滅が見える」と判断された回数を表示したグラフである. こ
25
25
見えた回数 回
]
20
: 条件1
: 条件2
: 条件3
15
10
5
0
10
20
30
40
| Δc|の値
図 19 各条件でパタンを表示した時の |2 Δc | 別の見えた回数
12
: 条件1
: 条件2
: 条件3
: パターンなし
10
見えた回数 回
]
8
6
画像の種類
1 : (200,50,50)
2 : (50,200,50)
3 : (50,50,200)
4 : (100,50,50)
5 : (50,100,50)
6 : (50,50,100)
4
2
0
1
2
3
4
5
6
画像の種類
図 20 各条件でパタンを表示した時の色別の見えた回数
26
のグラフより, 元画像の色によって, 点滅の見えにくさには多少のばらつきはある
ものの, 見えにくさには点滅色を選択する時の条件の方が大きな影響があること
がわかる. また, 条件別にこれら図, 図を見ると, 条件 3, 条件 2, 条件 1 の順番で人
間には見えにくいことがわかる. 条件 1 は, 点滅させる 2 色の差が,L*成分, つまり
輝度方向にのみあるものを選択するという条件であった. 条件 1 が最も見えやす
くなってしまった原因としては, 人間の目が, 輝度変化に対して敏感である [17] こ
とが要因であると考えられる. 実験の結果より, 条件 3 が他の 2 つの条件に比べて
はるかに見えにくいことがわかったため, 今回は条件 3 に則って, 点滅させる 2 色
の選択は,CIE L*a*b*色空間上で L*値の差が最小かつ a*値の差が最小となるよう
な色の組み合わせを点滅色として選択する. また, このときパタンに与える色差は
図の条件 3 の結果から,|2 Δ c|=20 に設定することとした.
4.1.3 パタン抽出手法の実現性の検証
実際にパタンが埋め込まれた画像をディスプレイに表示し, カメラを用いて前節
で述べた手法でパタンの抽出が可能であるかの検証を行った. また同時に, パタン
が埋め込まれる前の画像の復元も行った. 埋め込むパタンの色の差は,4.1 節での
実験結果を元に, 人間の目には十分に見えないという結果が得られた |2 Δc | = 20
を用いた. 実験機器の仕様, 実験の環境, パタンおよびパタンを埋め込む画像を, そ
れぞれ表 2 と図 21, 図 22 に示す.
4.1.4 実験結果
3 種類の画像それぞれについて, 以下の画像を示し, 考察する.
1. 3 フレーム分の撮影画像（k,k − 1,k − 1）
2. 1. の平均により求めた復元画像と元画像, およびこれらの差分画像
3. 式 5, 式 6 で得られる Δ a,Δ b の画像
4. (Δ a2 + Δ b2 ) の画像および (Δ a2 + Δ b2 ) を判別分析法により 2 値化して
得られるパタン画像
27
図 21 実験の環境
図 22 パタンを埋め込む画像 (上段) とそれぞれに埋め込むパタン画像 (下段)
28
表 2 実験機器の仕様
処理用 PC
HP Pavilion Elite HPE-360jp Desktop PC
プロセッサ : AMD Phenom II X6 1090T
動作周波数 : 3.20GHz
OS : Windows 7 Enterrise
メモリ : 8.00 GB
ビデオカード : NVIDIA Quadro 600
ディスプレイ
HP LP2475w
※内部ガンマ値は実験環境にて校正済み
カメラ
PointGray FL3-GE-13S2C-C
図 23 [1] (a):k フレーム目の画像,(b):k − 1 フレーム目の画像,(c):k − 2 フレーム
目の画像
29
図 24 [2] (a):平均により求めた復元画像,(b):撮影された元画像,(c): (a),(b) の差
分画像
図 25 [3] (a):Δ a 画像, (b):Δ b 画像
30
図 26 [4] (a):Δ a,Δ b の強度 (Δ a2 + Δ b2 ),(b):(a) の 2 値化画像
図 27 [1] (a):k フレーム目の画像,(b):k − 1 フレーム目の画像,(c):k − 2 フレーム
目の画像
31
図 28 [2] (a):平均により求めた復元画像,(b):撮影された元画像,(c): (a),(b) の差
分画像
図 29 [3] (a):Δ a 画像, (b):Δ b 画像
32
図 30 [4] (a):Δ a,Δ b の強度 (Δ a2 + Δ b2 ),(b):(a) の 2 値化画像
図 31 [1] (a):k フレーム目の画像,(b):k − 1 フレーム目の画像,(c):k − 2 フレーム
目の画像
33
図 32 [2] (a):平均により求めた復元画像,(b):撮影された元画像,(c): (a),(b) の差
分画像
図 33 [3] (a):Δ a 画像, (b):Δ b 画像
34
図 34 [4] (a):Δ a,Δ b の強度 (Δ a2 + Δ b2 ),(b):(a) の 2 値化画像
4.1.5 考察
復元された元画像についての考察の後, 抽出されたパタン画像について考察す
る. 図 24-図 32 に示すように, カメラにより撮影された, パタンが含まれている画
像から復元した元画像と, パタンが埋め込まれる前の元画像の差分画像をみると,
これら 2 つの画像にはほとんど違いがないことが分かる. このことから, パタンが
埋め込まれている画像からも, これらの平均画像を取得することで, 元画像の復元
が行えていることがわかる. 次に, 抽出されたパタン画像について考察する. 本手
法で埋め込み・抽出した 2 値のパタン画像を, パタン画像のみの撮影から得られ
た 2 値のパタン画像と比較することで, 本手法のパタン抽出が有効であるかを考
察する. 図 35-図 37 に, 本抽出手法で抽出されたパタン画像, パタン画像のみを撮
影し 2 値化した画像, これらの差分画像を示す. なお, 差分画像では, 本手法によっ
て抽出できなかったドットを緑色に着色している.
35
図 35
[4] (a):抽出したパタン画像,(b):パタン画像のみを撮影し 2 値化した画
像,(c):(a),(b) の差分
図 36
[4] (a):抽出したパタン画像,(b):パタン画像のみを撮影し 2 値化した画
像,(c):(a),(b) の差分
36
図 37
[4] (a):抽出したパタン画像,(b):パタン画像のみを撮影し 2 値化した画
像,(c):(a),(b) の差分
図 35-図 37 に示すように, 抽出の過程で, ドットの大きさにが変化パタンのドッ
トの欠損はほぼ無く, 本抽出手法によって, 埋め込まれたパタン画像をほぼ完全に
抽出できることがわかる.
37
5. まとめ
本研究では, マルチでィイスプレイ環境内での, 携帯端末を用いたインタラク
ションにおいて, 任意のディスプレイに対する携帯端末の位置を, システムが認識
するためのパタンを, 人に対しては低視認性を保ちつつ, 逆にカメラでは抽出可能
であるように埋め込むことを目指し, 人の視認特性とカメラ感度特性の違いを利
用した,2 色高速切替表示によるパタン埋め込み手法と, その抽出方法を提案した.
2.1 節で述べた, 先行研究と本手法の違いを, 表 3 にまとめる.
表 3 先行研究と本研究の違い
分類
本手法
Grundhfer ら [14] Woo ら [15] 永井ら [13]
非同期性
◦ × ◦ ◦ 抽出パタンの隠消表示
◦ × ◦ × 機器間の非依存性
◦ × × ×
表示機器への非依存性
◦ × ×
◦ 単一取得画像の利用
× × ◦ ◦ 本手法では, ディスプレイとカメラのフレームレートが異なることでカメラで
観測される”うねり”を利用しているため, ディスプレイとカメラのフレームの同
期を必要とせず, 非同期性が保たれている. また, 他の手法とは異なり, パタンが埋
め込まれた画像からでも, パタンが埋め込まれる前の元画像を復元することがで
きる. このことから, マルチディスプレイ環境内における, 携帯端末を用いたイン
タラクションのように. 撮影画像にパタンが表示されることが好ましくない状況
にも使用できると考えられる. また, パタンの埋め込み手法が, フレームレートが
60[fps] の一般的なカラーディスプレイを想定していたため, この条件を満たす表
示機器であれば, ほぼ全てに対して本手法は有効である. ただし, うねりを利用す
る事の弊害として, 単一取得画像からのパタン抽出は行えないという性質があり,
このことからも分かるように, 本手法は動画像に対するパタン埋め込みには適し
38
ていない. また, 表 3 にあげた全ての手法に対して言えることだが, 埋め込み処理
の性質上,RGB 色空間上での, 領域の外側の色に対しては, 表現できない色が存在
する. 例えば,RGB の値がそれぞれ (255,255,255) のような白色は,RGB 色空間上
で末端に存在しており, どの 2 色を用いても表現することはできないため, これら
は今後の課題である.
39
謝辞
本研究の機会を与えてくださり, またその遂行において貴重な御指導, 御鞭撻を
いただきました, 情報科学研究科 インタラクティブメディア設計学研究室 加藤博
一教授に, 深く感謝の意を表します. 副指導教官として貴重な御助言をいただき
ました, 環境知能学研究室 萩田紀博教授に深く感謝いたします．本研究の初期段
階から本論文を執筆するに至るまで，多岐にわたる御指導，御助言をいただきま
したインタラクティブメディア設計学研究室 山本豪志郎助教に心より御礼申し
上げます．ミーティングや発表練習において数多くの御助言，御検討をいただき
ましたインタラクティブメディア設計学研究室 武富貴文助教に深く感謝いたし
ます．日頃より研究活動を様々な形で御支援，御協力いただきましたインタラク
ティブメディア設計学研究室 上野真紀子秘書に深く感謝いたします．研究活動
や日常生活において多くの御協力をいただきましたインタラクティブメディア設
計学研究室みなさま，そして諸先輩，インターン生の方々に深く感謝いたします．
最後に，大学院での研究活動を遂行するにあたり，多大な御支援をいただきま
した父母に心より御礼申し上げます．
40
参考文献
[1] Google(2012). The New Multi-screen World:Understanding Cross-Platform
Consumer Behavior, http://www.google.com/think/research-studies/thenew-multi-screen-world-study.html
[2] Ballagas,R.,Borchers,J.,Rohs,M.,Sheridan,J.G.(2006). The SmartPhone:A
Ubiquitous Input Device,Ballagas,IEEEPervasiveComputing5,1,70-77
[3] Baldauf,M.,Salo,M.,Suette,S.,Peter,F.(2013). Display Pointing- A Qualitative Study on a Recent Screen Pairing Technique for Smartphones,
HCI20135,1,70-77
[4] Boring,S.,Baur,D.,Butz,A.,Gustafson,S.,Baudisch,P.
Touch
Projector:Mobile Interaction Through Video. CHI’10,pp-2287-2296
[5] Ekaterina,K.,Matthias,R.,Elisabeth,A.(2012).Studying
user-defined
iPad
gestures for interaction in multi-display environment,IUI2012,pp93-96
[6] Robert,H.,Enrico,R.(2008).Touch & Interact: Touch-based Interaction of
Mobile Phones with Displays,MobileHCI2008,pp245-254
[7] Dominik,S.,Julian,S.Enrico,R.,Hans,G.,(2012).A Cross-Device Interaction
Style for Mobiles and Surfaces,DIS2012,pp318-327
[8] Ballagas,R.,Rohs,M.,Sheridan,J.G.(2005).Sweep
and Point&Shoot:Phonecam-Based Interactions for Large Public Displays,
CHI2005, pp1200-1203
[9] Panu,V.,Suresh,C.,Kimmo,R.(2006).Mobile Visual Interaction Enhancing localnd collaboration with visual interactions, MUM2006,
[10] Herbert,L.,Pears,N.,Jackson,D.,andOlivier,P.(2011). Mobile device and intelligent display interaction via scale-invariant image feature matching,
PECSS2011, pp207-214
41
[11] Baldauf,M.Peter,F.Katrin,L.(2012). A scalable framework for markerless
camera-based smartphone interaction with large public displays, PerDis2012
[12] Bay, H., Ess, A., Tuytelaars, T., and Gool, L. V. (2008). Speeded-up robust
features (surf). Computer Vision and Image Understanding, 100(3):346359.
[13] 永井悠文, 向川康博, 大田友一.(2005). パタン埋め込みによる動的シーンへの
適応的投影,PRMU,pp31-36,2005-01-13
[14] Grundhfer,A.,Seeger,M.,Hantsche,F. and Bimber,O.,(2007). Dynamic Adaptation of Projected Imperceptible Codes, ISMAR2007,pp1-10
[15] Woo,G.,Lippman,A.,Raskar,R.,(2012). VRCodes:Unobtrusive and active visual codes for interaction by exploiting rolling shutter, ISMAR2012,pp59-64
[16] Uchiyama,H.,Saito,H.,(2011). Random dot markers, VR2011,pp35-38
[17] リチャード.L. グレゴリー, 訳:近藤倫明, 中溝幸夫, 三浦佳世,(2004). 脳と視覚グレゴリーの視覚心理学-, プレーン出版
42
付録
ここでは PC 内で色を取り扱う際に用いられる RGB と,CIE が定めた RGB と
を区別するため, 前者を ｓ RGB, 後者を CIERGB と表記する.
sRGB 色空間から L ∗ a ∗ b∗ 色空間への変換には, まず,sRGB 色空間を XY Z
色空間へ変換する必要がある. sRGB から XY Z へは線形変換であり, 下式で求
まる.




 R 
 X 




 Y =M G 





Z


B

ただし,M は変換行列である. 本研究では, 白色基準光を D65 として計算してい
るため, 変換行列 M の値は以下の通りになる.


 0.412391 0.357584 0.180481 



M =
 0.212639 0.715169 0.072192 


0.019331 0.119195 0.950532
白色基準光を D50 とし刷る場合の行列 M の値は以下の通りになる.


 0.436041 0.385113 0.143046 


M =
0.716905 0.060610 
 0.222485


0.013920
0.097067 0.713913

次に, 式??の変換によりもとまった XY Z の値から,L∗a∗b∗ の値を求める. XY Z
から L ∗ a ∗ b∗ への変換は下式となる.
llL∗ = 116f (Y /Yn ) − 16
a∗ = 500{f (X/Xn ) − f (Y /Yn )}
b∗ = 200{f (Y /Yn ) − f (Z/Zn )}
ただし 
 t1/3
t > (6/29)3
f (t) = 
{(29/3)3 t + 16}/116 t ≦ (6/29)3
43
Xn,Y n,Zn は白色基準光により値が異なる. D65 では
Xn = 95.047
Yn = 100.000
Zn = 108.830
D50 では
Xn = 96.422
Yn = 100.000
Zn = 82.521
となる.
44