部分画像検索における色相特徴と照明不変特徴 の比較 Comparison of

一般社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,
INFORMATION AND COMMUNICATION ENGINEERS
信学技報
IEICE Technical Report
部分画像検索における色相特徴と照明不変特徴
松本 亘†
の比較
亀山 啓輔‡
†筑波大学大学院システム情報工学研究科 〒305-8577 茨城県つくば市天王台 1-1-1
‡筑波大学大学院システム情報系 〒305-8577 茨城県つくば市天王台 1-1-1
E-mail: †[email protected], ‡[email protected]
あらまし 物体の色情報は，画像マッチングにおいて重要な特徴の一つである．Kobayashi らは，Geusebroek ら
によって提案された照明不変色特徴量を組み合わせた特徴量 を提案し，照明変動時の色の選択性を向上させた．
特徴量 は RGB 空間中の特定の軸回りの角度に相当する特徴である点，色相と類似した性質を持つと考えられる．
本稿では と色相を特徴量として用いた変動照明条件の下の部分画像検索実験を行ったところ， は色相と比べて
照明変動に対する不変性が高く，頑健なマッチングに寄与することが示された．
キーワード 色不変量，部分画像検索，SIFT，色相
Comparison of Hue Feature and Illumination Invariant Color Feature
Partial Image Retrieval
Wataru MATSUMOTO†
in
Keisuke KAMEYAMA‡
†Graduate School of Systems and Information Engineering, University of Tsukuba
‡Faculty of Engineering, Information and Systems, University of Tsukuba
1-1-1 Tennoudai, Tsukuba-shi, Ibaraki, 305-8577 Japan
E-mail: †[email protected],
‡[email protected]
Abstract Object color plays an important role in image matching. Kobayashi et al., proposed the color invariant feature H'
by combining the basic color invariants introduced by Geusebroek et al., and improved the color selectivity under varying
illumination conditions. As H' is an angular measure around an axis in the RGB space, it was considered to have similar
characteristics as the hue. In this work, partial image matching experiments were tried under varying illumination conditions
using H' and hue. The results showed that H' contributes to robust matching due to superior invariance against illumination
changes.
Keyword color invariance, partial image retrieval, SIFT, hue
1. 序 論
な い ．そ こ で ，SIFT を 用 い た マ ッ チ ン グ の 色 選 択 制 を
色情報は物体の特徴を表す重要な要素である． し
向上させるために物体の色を反映した情報を併用する
かし，物体の見かけ上の色は，照明や 物体表面などの
研 究 が 行 わ れ て い る ． Abdel-Hakim ら は ， 色 不 変 量 を
条件によって変化してしまうという問題がある ．影や
用 い た SIFT 記 述 子 と 輝 度 値 を 用 い た SIFT 記 述 子 と の
照明明度などの見かけ上の変化に 対して頑健な特徴量
比 較 を 行 い ，色 不 変 量 の 有 用 性 を 示 し て い る [8]．ま た ，
と し て 色 不 変 量 (Color Invariance)が 提 案 さ れ て い る [1]．
Weijer ら は ，正 規 化 し た RGB や 色 相 な ど の 色 不 変 量 を
色不変特徴量の利用法として，物体のカラー画像の
局所記述子として用いたマッチングを行い，その有用
マッチングが知られている ．画像のマッチングでは，
最初にコーナーやエッジなどの局所特徴点の検出が行
性 を 示 し て い る [9]．
Kobayashi ら は ， Geusebroek ら に よ っ て 提 案 さ れ た
われる．次に検出した 位置近傍の画素値の変化 が特徴
色 不 変 量 H， C を 組 み 合 わ せ た 照 明 不 変 特 徴 量
量として使用される．そして，画像中の各物体の特徴
案し，輝度値と組み合わせて用いることで，変化する
を提
量をもとにした特徴点 の対応が推定され，マッチング
照明変動下での部分画像マッチングの性能 向上に寄与
が行われる ．物体の形状の変化に頑健な局所特徴記述
す る こ と を 示 し た [3]． 特 徴 量
子 と し て Scale-Invariant Feature Transform (SIFT)が 知
軸まわりの 角度に相当する特徴量である点において，
ら れ て い る [5]． し か し ， 一 般 に SIFT は 画 像 の 輝 度 値
色相との類似性が見られるが，画像のマッチングに用
を用いており，色情報を十分に活用しているとは言え
いた場合の 色相との違いは明らかではない．そこで本
は RGB 空 間 中 の あ る
This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere.
Copyright ©2012 by IEICE
稿 で は ，特 徴 量
と 色 相 を 用 い た SIFT に 基 づ く 部 分 画
8
像検索を行い，性能を比較することによって，両者の
性質の違いを検証 する．
2.3. 不 変 量 H，C の性 質
式（ 7），
（ 8）か ら
2. 色 不 変 量
そ れ ぞ れ の 値 が 一 定 と な る RGB
空間上の色は以下の平面上に分布することがわかる．
こ こ で は Geusebroek ら に よ っ て 提 案 さ れ た 色 不 変
量
の 導 出 と 性 質 ，そ し て Kobayashi ら に よ っ て 提 案
された色不変量
(9)
に つ い て 述 べ る [1] [3]．
2.1. 画 像 のモデル化 と不 変 量 H，C
(10 )
これらを等 平面
物体の色を観察する際には，光源・対象物・観察者
の 要 素 が 影 響 を 与 え る ．[1]で は ，反 射 光 の ス ペ ク ト ル
1. 平 面
E のモデルとして以下を用いている．
(1)
はフレネル反射率，
と
のとき ，無 彩色
（ R=G=B） の 軸 を 通 る ．
は光源スペクトル，
は素材の反射率を示す．
3.
と
は同じ不変量値を
とる．
．
ここで，簡単のために 1 次元空間で白色照明を用いた
4.
場合を考える．スペクトルは全波長にわたり一様なの
5. 不 変 量 値 が
で，
180°回 転 す る ． そ れ ゆ え
を
と呼ぶ．各平面
， と も に RGB 空 間 の 原 点 を 通 る ．
2.
は画像中の位置， は波長，
，等 平面
の性質からわかる各不変量の性質は以下となる．
と お く と ， 式 （ 1） は 以 下 と な る ．
から に変化するにつれ、平面は
，
となる．
(2)
6.
，
7.
は
の回転軸はそれぞれ以下となる．
ここで，次の量 は，視点，物体の面の向き，照明方
向，照明明度，フレネル反射率に不変で物体表面の色
にのみよる 量となる．
に わ た り RGB 空 間 上 に 対 応 す る
色が存在するが，
は特定の値域にだけ対応す
る色が存在する．
3
不 変 量 H ，C の 値 域 は
ま た ， 式 （ 2） の も と で 光 沢 の な い 対 象 物 を 考 え る と ，
とみなすことができ，以下が得られる ．
な の で ，こ の ま ま で は 特
徴量の距離評価の際に扱いにくい．そこで，以降では
値域を
の範囲に制限するために
，
(4)
を 不 変 量 値 と し て 用 い る ． 図 1 に RGB 空
次の量 は，視点，物体の面の向き，照明方向，照明
間の原点から距離 r の球面上に存在する色を - 平面
明度に不変な量と なる．
上にプロットしたものを示す．
5
2.4. 色 不 変 量
[3]
図 1 から不変量 H は，等平面
2.2. RGB 成 分 を用 いた不変 量 H，C の推 定 [2]
人間の可視光領域の知覚特性は中心波長
，
上に反対色（赤紫色
と緑色，橙色と青色等）が含まれており，両者を識別
としたガウス関数で近似できること
できない．それゆえ，赤紫色と緑色のエッジ等のよう
が 分 か っ て い る (ガ ウ シ ア ン カ ラ ー モ デ ル )． こ の モ デ
な色特徴を検出できないという問題がある．これに対
ル を 利 用 す る と ，RGB 情 報 と ガ ウ ス ス ペ ク ト ル 窓 を 前
して，H の値を無彩色の軸で分けることによって反対
提としたスペクトル 方向の微分係数
色をそれぞれ別の値に対応させる．無彩色の軸として
の間に以下のような線形変換の関係が成り立つ．
不変量
拡がり
下の不変量
に対応する
を 用 い る こ と で ，以
を得る．
(6)
し た が っ て ，不 変 量
はそれぞれ以下のように計算
される．
7
11
図 1 ： 24 ビ ッ ト の RGB 空 間 に お い て ， 半 径
の 球 面 に 存 在 す る 色 と 特 徴 量 H-C 等 平 面
上に含まれる色の集合．特定の不変量値のときに
図 3： 色 相 環 を 各 不 変 量 に 変 換 し た 画 像 .（ a）
色 相 環 .（ b） 色 相 .（ c） H.（ d）
.
含まれる色の集合を示している．
に お い て 不 変 量 H， C，
を用いることによって評価
を行った結果，H に比べて
のマッチング精度の向上
が 見 ら れ ， そ の 有 用 性 が 示 さ れ た [3]．
図 2 より
は色の変化を表現していることは明らか
で あ る ．色 の 変 化 を 表 現 す る 方 法 と し て 色 相 (Hue)が 知
られている．色相は色を心理学的な観点で定義した属
性のうちの一つであり，人間の感覚に合った色の表現
法としてよく使われている．ここで， 色相は以下のよ
図 2 ： 24 ビ ッ ト の RGB 空 間 に お い て ， 半 径
の球面に存在する色と特徴量
の
うに定義される．
との
13
関係．対応する色の周回性に注意．
図 2 に
の範囲を変化する不変量
の各値に
色相は物体の面の向き ，照明方向，鏡面反射，照明明
度の変化に対して頑健であるが，彩度 が低い場合には
対応する色の集合を示す． H では対応する値が等しか
不 安 定 に な る こ と が 知 ら れ て い る [9]． 図 3 に 色 相 環
った色の組が，
を Hue，
では異なる値に割り振られている ．
図 1 から
で変換した画像を示す． 各不変量は
色の変化に応じて対応する 値が変化することがわかる．
2.5. 周 回 性 を考 慮 した距 離 評 価
特徴量の不連続性
，
と
では含
また， H と
は色相とは中心軸がずれていることが わ
まれている色の集合の要素は類似しているにもかかわ
かる．各々の性質の類似性より，不変量の代わりに色
らず，不変量値
相を用いることで も，不変量
の議論は
は大きく異なる値となっている．こ
にも当てはまる．
周回性を考慮した距離尺度の導入
不 変 量 H，
は，
周回性を持つにもかかわらず，両端の値が不連続であ
るという問題がある．そこで不変量値
，
と類似したマッチング
の結果が得られると考えられる． そこで本稿では，画
像の記述子として
と色相を用いた場合の部分画像マ
ッチングの 性能の評価を行う．
上の２点
の間の角度差を以下のように求める．
(12 )
4. 実 験
色 不 変 量 H，
，色 相 Hue と ， 輝 度 L と そ れ ら の 組
み合わせを 特徴量として用いて，異なる照明条件下で
これは同周回内での左回りの距離と右回りの距離の内，
の対応点推定を行う． また，照明や幾何的に変化を加
近い方の距離を採用することを意味している．
えた問い合わせ画像とデータベース画像を用いた部分
画像検索を 行う．
3. 色 不 変 量
と色相
Koba yashi ら は ， 照 明 変 動 下 に お け る 部 分 画 像 検 索
4.1. 画 像 データ
様々な照明条件や角度で撮影された 小物体の画像
集 Amsterdam Library of Object Images (ALOI)[4]を 元 に
画 像 デ ー タ セ ッ ト を 作 成 す る ． ALOI デ ー タ セ ッ ト は
18
1000 種 類 の 物 体 画 像 で 構 成 さ れ て お り ，物 体 ご と に 視
点，照明角度，照明温度等の変動が組み合わされた画
4.5. 実 験 1：対 応 点 推 定
像 が 含 ま れ て い る ．画 像 デ ー タ は 384×288 ピ ク セ ル の
実験 1 では，不変量 ，
大 き さ で あ り ， 24 ビ ッ ト の RGB 色 情 報 を 持 つ ．
と 色 相 Hue を 用 い た 局 所
記述子による対応点推定の性能の比較を行う．
4.2. 局 所 記 述 子
データセット
局 所 記 述 子 と し て SIFT を 用 い る [5]．SIFT は 画 像 の
ALOI デ ー タ セ ッ ト の 中 か ら 属 性 が
paper の も の 156 種 類 を 用 い る ． 1 つ の 物 体 に 対 し て ，
回転・スケール変化・照明変化等に頑健な特徴点の検
8 種 類 の 照 明 角 度 で 撮 影 さ れ た も の で あ る (図 4)．
出とその特徴量の記述を行う．照明不変な 色特徴を用
手順と評価
特定の照明条件の画像を問い合わせ
い た SIFT と し て Colored SIFT (CSIFT) が 知 ら れ て い る
画 像 と し て ，他 の 7 種 類 の 画 像 と の 対 応 点 推 定 を 行 う ．
[8]．CSIFT で は ，局 所 特 徴 と し て 照 明 変 動 に 頑 健 な 色
閾値
情 報 が 使 わ れ て い る ．本 実 験 で は CSIFT に 習 い ，輝 度
クセルの誤差以内であれば正解と見なす． 評価指標と
画像の代わりに各色不変特徴を画素値として持つ画像
し て 式 （ 18） を 用 い る ．
を用いる．
実 験 1： 結 果
局所特徴の対応付け
表 1：不 変 量 を 用 い た 対 応 点 推 定 の F 値 の 結 果 ．
不変量
を 計 算 す る ．各 記 述
はその特徴点周辺の情報を特徴ベクトルとして表
現している． の記述子
に対応する の記述子
は他の不変量に比べて F 値が高
く ， 色 相 Hue は 最 も 低 い こ と が わ か る ．
問い合わせ画像 ，データベ
からそれぞれ独立に局所記述子集合
，
子
表 1 に ， 使 用 画 像 156 種 類 の 平 均 の
F 値を示す．不変量
4.3. 画 像 のマッチング
ース画像
は 0.5 と 設 定 す る ． 対 応 点 の 座 標 が 半 径 5 ピ
F値
を以
0.38
0.53
0.34
4.6. 実 験 2：部 分 画 像 検 索
下 の よ う に 選 ぶ（ Best-Bin-First ア ル ゴ リ ズ ム [6]に よ る
実験 2 では，部分画像検索において不変量 ，
近 似 最 近 傍 探 索 ）．
と
色 相 Hue を 局 所 記 述 子 と し た 際 の 性 能 の 比 較 を 行 う ．
14
データセット
ALOI デ ー タ セ ッ ト の 属 性 が paper
の も の の 中 か ら 50 種 類 の 物 体 を 用 い る ．デ ー タ セ ッ ト
また，対応の推定を行う際には，ある特徴点に対す
る最近傍点までの距離
と第２近傍までの距離
を評価することで対応判定を行う．閾値を
は異なる条件に焦点を当てた以下の 3 つのセットから
の比
なる．
として
Light Angle (LA)
以下の条件を満たすときに対応とする．
た画像が含まれている．
15
Rotation (R)
領域の対応付け
1 つの物体に対して 8 種類の照明
角 度 （ −60°～ 60°）， 3 種 類 の 撮 影 位 置 で 撮 影 さ れ
対応づけられた組を用いて二つ
1 つの物体に対して 7 種類の回転角度
（ 物 体 に 対 し て 水 平 に −45°～ 45°） で 撮 影 さ れ た
の 画 像 間 の 領 域 の マ ッ チ ン グ を 行 う ．そ の 際 ，RANdom
画像が含まれている．
SAmple Consensus (RANSAC) [7]に よ っ て 、 ホ モ グ ラ フ
Light Color (LC)
ィの推定を行う．推定後の問い合わせ画像とデータベ
温 度（ 2175K～ 2975K）で 撮 影 さ れ た 画 像 が 含 ま れ て
ース画像とのマッチングの良さの指標として， 対応領
いる．
域 内 に お け る 正 規 化 相 互 相 関 (NCC)を 用 い る ．
手順と評価
4.4. 評 価 指 標
1 つの物体に対して 8 種類の照明
データベース画像の一部を切り取っ
た部分画像に 3 種類の変更を加えたものを 問い合わせ
局所記述子の対応点推定の評価には再現率
画 像 と し て 用 い る （ 図 5）．
(Recall)・適 合 率 (Precision)・F 値 (F-measure)を 用 い る ．
問 い 合 わ せ A： 2 倍 に 拡 大 し た も の ．
正 し く 対 応 づ け ら れ た も の (True Positive) の 個 数 を
，
誤 っ て 対 応 づ け ら れ た も の (False Positive)の 個 数 を
，
対 応 づ け ら れ な か っ た も の (False Negative) の 個 数 を
として以下のように計算される．
問 い 合 わ せ B： 45°回 転 さ せ た も の ．
問 い 合 わ せ C： A と 同 じ 部 分 で 照 明 が 暗 い も の ．
図 6 に 実 験 で 用 い た 問 い 合 わ せ A 画 像 を 示 す ．こ れ ら
を 問 い 合 わ せ 画 像 と し て デ ー タ セ ッ ト LA， R， LC に
16
対 し て 部 分 画 像 検 索 を 行 う ． 特 徴 量 は 輝 度 L， 不 変 量
H，
17
， 色 相 Hue と そ れ ら の 組 み 合 わ せ
を用いる．対応判定閾値
，
，
は [0.5,0.8]の 範 囲
で ，5 段 階 で 判 定 す る ．画 像 ご と に 類 似 度 を NCC で 計
算し，最も類似度の高いときの
の値を採用する．
図 4 ： ALOI[4]に 含 ま れ る 異 な る 照 明 条 件 下 で
の同一物体の画像例．
(a)
(b)
図 7：照 明 条 件 の 異 な る 同 一 物 体 (a)を 不 変 量
（ b） と 色 相 Hue（ c） で 変 換 し た 画 像 ．
定であることがわかる．
(c)
(d)
図 5： 実 験 ２ の 問 い 合 わ せ 画 像 例 ．（ a） デ ー タ
ではどの条件でも安定して
高く，色相ではどの条件でも低い ことがわかる ．組み
合わせた場合
で は L の み よ り も 高 く ， L+Hue と
ベ ー ス 画 像 ．（ b） 問 い 合 わ せ A．（ c） 問 い 合 わ せ
比較しても高いことがわかる．いずれのデータセット
B．（ d） 問 い 合 わ せ C．
でも同様の傾向がみられる．
図 9 に各データセットにおける不変量ごとの適合
率，再現率，F 値を示す ．単体では
が最も高く，次
い で L ， そ し て Hue が 最 も 低 い こ と が わ か る ． ま た ，
は L+Hue や L のみ の も の に 比 べ て 高 い こ と が わ
か る ．こ れ よ り ，
は L と Hue と 比 較 し て 照 明 変 化 に
対して安定であることがわかる．
5. 考 察
実験の結果， 不変量
は色相と比較して より照明変
動に頑健であり，部分画像検索におけるマッチングの
精 度 の 向 上 に 寄 与 す る こ と が わ か っ た ．図 7 に 異 な る
照明条件下での同一物体 を不変量
した画像を示す．不変量
図 6： 問 い 合 わ せ A の 画 像 26 枚 ． デ ー タ ベ ー
ス内の画像の部分画像から作成されている．
および色相 で変換
は，照明変動 に対して変化
が 少 な い が ，色 相 は 大 き く 変 化 し て い る こ と が わ か る ．
色相のこのような 照明変動 に対する不安定さが ，マッ
チングの精度を下げている原因の一つとして考えられ
データセット画像に対して
を満たすものを検
る．
索されたと見なす．
検索結果の評価の際には，以下のいずれかを満たす
ものを正しく検索されたと見なす．
6. 結 論
本 稿 で は ， Kobayashi ら に よ っ て 提 案 さ れ た 色 不 変
1. 問 い 合 わ せ 画 像 と 物 体 番 号 が 同 じ も の
特徴量
2. 物 体 番 号 が 異 な っ て い て も ，ロ ゴ な ど の 一 部 分 が
の画像特徴量として用いた場合の性質の違いを明らか
問い合わせ画像と同一であるもの（ただし，色違い
にすることを目的とした．その結果，両特徴量とも
の も の は 不 正 解 と 見 な す ．）
RGB 空 間 中 で 近 い 軸 回 り の 角 度 特 徴 で あ る も の の ，照
実 験 2： 結 果
明変動に対する不変性は
図 8 に各データセットにおける問い
の色相との類似性に着目し，変動照明条件下
の方が高く，マッチングの
合 わ せ 画 像 ご と の 不 変 量 の F 値 を 示 す ．輝 度 L で は 照
頑健性に寄与することを，対応点推定実験と部分画像
明が暗い場合に著しく低く，照明変化に対して不安
検索実験で示した．
図 8： 各 デ ー タ セ ッ ト で の 問 い 合 わ せ 画 像 ご と
図 9：各 デ ー タ セ ッ ト で の 不 変 量 ご と の 適 合 率 ,
の不変量の F 値の結果．
（ a）デ ー タ セ ッ ト LA.（ b）
再 現 率 ,F 値 の 結 果 .（ a）デ ー タ セ ッ ト LA.（ b）デ
デ ー タ セ ッ ト R.（ c） デ ー タ セ ッ ト LC.
ー タ セ ッ ト R.（ c） デ ー タ セ ッ ト LC.
文
献
[1] J.M. Geusebroek, R. van den Boomgaard, A.W.M.
Smelders, and H. Geerts, “Color invariance,” IEEE
Trans. Pattern Anal. Mach. Intel., vol.23, no.12,
pp.1582-1595, 2001.
[2] J.M. Geusebroek, R. van den Boomgaard, and A.W.M.
Smeluders, “Color and scale: The spatial structure of
color images,” ECCV, vol.1, pp.331-341, 2000.
[3] M. Kobayashi, K. Kameyama, “A composite
Illumination Invariant Color Feature and Its
Application to Partial Image Matching,” IEICE Trans.
Inf. & Syst., vol.95, no.10, pp.2522 -2532, 2012.
[4] J.M. Geusebroek, G.J. Burghouts and A.W.M.
Smelders, “The Amsterdam library of object images, ”
Int. J. Comput. Vis., vol.61, no.1, pp.103 -112, 2005.
[5] D.G. Lowe, “Distinctive image features from
scale-invariant keypoints,” Int.J.Compt. Vis., vol.60,
pp.91-110, 2004.
[6] J.S. Beis and D.G. Lowe, “Shape indexing using
approximate
nearest -neighbour
search
in
high-dimensional
spaces,”
Int.J.Compt.
Vis.,
pp.1000-1006, 1997.
[7] M.A. Fischler and R.C. Bolles, “Random sample
consensus: A paradigm for model fitting with
applications to image analysys and automated
cartography,” Commun, ACM, vol.6, pp.381 -395,
1981.
[8] A.E. Abdel -Hakim and A.A.Farag, “CSIFT: A SIF T
descriptor with color invariant characteristics,” Proc.
IEEE CVPR 2006, pp.1978 -1983, 2006.
[9] J. van de Weijer and C. Schmid, “Coloring local
feature extraction,” ECCV, vol.2, pp.334-348, 2006.