モノクロ画像検索のための形状特徴

平成 21 年度
学士学位論文
モノクロ画像検索のための形状特徴
Edge Feature for Monochrome Image Retrieval
1100311
鈴江 直人
指導教員
吉田 真一
2010 年 3 月 1 日
高知工科大学 情報システム工学科
要 旨
モノクロ画像検索のための形状特徴
鈴江 直人
類似画像検索では，形状や色の特徴を基に類似している画像を分類して検索を行う．ユー
ザが画像検索を行う場合，形状に注目して画像がどのような形状であるかを想像して検索を
行っている．そこで，エッジ情報を用いたスケッチ画像検索が提案されている．スケッチ画
像検索では，ユーザがクエリを作成し，それに類似する画像の検索を行う．ユーザによって
作成したクエリが異なるため，同じ画像を検索した場合でも，検索結果が異なるという問
題がある．また，エッジを特徴量として用いた場合に画像全体のエッジの割合を特徴量とす
るとエッジが存在することは分かっても位置関係はわからない．これは，エッジが局所的な
特徴であるためである．また，これはカラー画像を対象とした画像検索である．しかし，カ
ラー画像を形状特徴のみで画像検索を行うと，ユーザは形状特徴だけでなく色特徴も見てし
まい，正確な画像検索の検索性能の検証するのは難しい．そこで，本研究では，局所的な特
徴と大域的な特徴を組み合わせた特徴量を提案し，モノクロ画像検索を行う．局所的な特徴
として画像全体のエッジの抽出を行った後，画像を 3 × 3 に分割し，各領域のエッジの割合
を特徴とする．大域的な特徴として，画像の解像度を 2 × 2 まで落とし，各画像の明るさを
求め，その差分を傾きとし，これを特徴とする．実験環境は，被験者 7 名と 200 枚の画像
を用いて，Sobel 法と Canny 法によりエッジ検出した局所的な特徴量と，提案手法の特徴
量により画像検索を行った結果を比較する．検索精度の性能評価は，検索結果の適合率と再
現率を検索性能とする．被験者実験の結果から提案手法を用いた場合の方が検索精度が向上
することを確認した．
キーワード
モノクロ画像検索，エッジ特徴，分割画像，局所的特徴，大域的特徴
–i–
Abstract
Edge Feature for Monochrome Image Retrieval
Naoto Suzue
Content based image retrieval (CBIR) has been proposed as one of the image
retreival system. The user imagines shape of the image and inquire the image retrieval
system. The sketch image retrieval using edge feature has been proposed. The sketch
image retrieval has a problem that the result of the image retrival is different depending
on the user. Moreover, because the edge is the local feature, edge of the entire image
cannot used for understanding position of edge. Conventional CBIR system are mostly
designed for color image retrival. Then, the user imagines a shape feature and a color
feature. Therefore, verification of retrieval performance of the image retrieval for edge
features is difficult. Then we propose the combination of local features and golbal
features. The local feature is dege of segmented region of image. The global feature is
difference of average brigthness of areas of a image. 200 images and seven testees are
used in the experiment. And, Sobel filter, Canny filter and proposal technique are used
in the experiment. The results of the image retrieval indicate that accuracy of retrieval
of the proposal technique improved more than the experiment
key words
monochrome image retrieval, edge feature, division image, local feature,
global feature
– ii –
目次
第1章
はじめに
1
第2章
エッジ情報による形状特徴の抽出
4
2.1
エッジ抽出 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4
2.2
1 次微分フィルタ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4
第3章
2.2.1
Sobel 法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6
2.2.2
Canny 法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8
モノクロ画像検索に適した特徴量抽出
12
3.1
局所的な特徴抽出
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
12
3.2
大域的な特徴抽出
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13
3.3
特徴量の組み合わせ . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
14
提案手法の検索精度の性能評価
16
4.1
検索精度の性能評価の方法 . . . . . . . . . . . . . . . . . . . . . . . . . .
16
4.2
実験内容 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
16
4.3
検索システム . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
20
4.4
実験結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21
4.5
性能評価による考察 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
24
おわりに
26
第4章
第5章
謝辞
28
参考文献
30
付録 A
分割領域の変化させた場合の適合率と再現率の影響度
– iii –
32
図目次
2.1
横方法の微分と縦方向の平滑化の組み合わせ . . . . . . . . . . . . . . . . .
5
2.2
平滑化フィルタ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5
2.3
Sobel フィルタ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6
2.4
8 方向 Sobel フィルタと傾き d . . . . . . . . . . . . . . . . . . . . . . . .
7
2.5
元画像 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
9
2.6
微分フィルタを用いたエッジ画像 . . . . . . . . . . . . . . . . . . . . . . .
10
2.7
平滑化フィルタを用いた画像 . . . . . . . . . . . . . . . . . . . . . . . . .
10
2.8
Sobel 法を用いたエッジ画像 . . . . . . . . . . . . . . . . . . . . . . . . .
11
2.9
Canny 法を用いたエッジ画像 . . . . . . . . . . . . . . . . . . . . . . . . .
11
3.1
局所的な特徴抽出の流れ . . . . . . . . . . . . . . . . . . . . . . . . . . . .
15
3.2
大域的な特徴抽出の流れ . . . . . . . . . . . . . . . . . . . . . . . . . . . .
15
4.1
適合率と再現率のべん図 . . . . . . . . . . . . . . . . . . . . . . . . . . . .
18
4.2
検索対象画像
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
19
4.3
検索システム
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
20
4.4
適合率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
22
4.5
再現率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
22
4.6
適合率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
23
4.7
再現率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
23
A.1 局所的な特徴のみの平均適合率 . . . . . . . . . . . . . . . . . . . . . . . .
32
A.2 局所的な特徴のみの平均再現率 . . . . . . . . . . . . . . . . . . . . . . . .
33
– iv –
表目次
4.1
各手法の次元数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
17
4.2
被験者が選択した各画像に対しての適合画像数 . . . . . . . . . . . . . . . .
21
4.3
各手法の検索精度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21
–v–
第1章
はじめに
現在，デジタルカメラや携帯電話の高性能化や急激な増加と記憶装置の大容量化に伴い，
誰でも気軽にインターネット上に画像をアップロードできるため，インターネット上にある
画像が急増している．インターネット上のすべての画像の中からユーザの目的の画像を見
つけ出すことが困難である．そのため，画像検索技術の研究が進められている．画像検索
技術には，2 種類の手法があり，キーワードに基づくテキスト画像検索である TBIR (Text
Based Image Retrieval) [1][2][3] と画像特徴に基づく類似画像検索 [4][5][6][7][10][11][12]
である CBIR (Content Based Image Retrieval) がある．TBIR では，データベース内の各
画像に名前や種類といったクエリとなる検索キーワードを画像に付加し，それを基に検索を
行う．しかし，画像を言葉で表現する場合は人間によって個人差がある．そのため，TBIR
ではキーワードを付加した人間と利用者との間でキーワードの相違や検索キーワードの付
加にかかる負担といった問題がある．さらに，言葉では表現しづらい画像を検索することも
難しい．CBIR は，画像特徴である形状特徴や色特徴を基に類似する画像を分類し検索を
行う．それにより，検索キーワードを画像に付加する必要がなくなるため，個人ごとの検索
キーワードの相違がなくなる．また，画像をキーワードで表現する必要がなくなり言葉で表
現しづらい画像を検索することができる．また，CBIR には，2 種類の手法があり，ユーザ
が作成したクエリとデータベース内にある画像の類似度を比較して検索を行う手法と，ユー
ザが直接クエリとなる画像を用意してその画像と類似する画像の検索を行う手法がある．し
かし，これらの手法には問題があり，ユーザがクエリを作成する手法は，ユーザ同士が同じ
画像を検索したい場合，ユーザによって作成されたクエリが異なり検索結果が異なるという
問題がある．ユーザがクエリとなる画像を用意する手法は，ユーザがクエリ画像を持ってい
–1–
なければならない．そのため，クエリ画像を持たない場合は異なる手法で画像を探さなけれ
ばならないい．そこで，ビジュアルキー型画像検索が提案されている [7][10]．ビジュアル
キー画像検索は，画像の分割領域の類似度を基に検索する手法である．テキスト検索では
キーワードをクエリとしていたがビジュアルキー型画像検索では，画像の部分画像をクエリ
として用いる．しかし，分割画像をクエリとして提示した場合，画像の形状が画像全体と異
なり正常に検索することができない [10]．さらに、これらの手法はカラー画像を対象とする
画像検索システムであるため，モノクロ画像を対象とした場合は，検索精度が落ちる．これ
では，画像検索システムとして不十分であるため，モノクロ画像を対象とした画像検索も必
要である. そこで，色特徴を用いずに形状特徴のひとつであるエッジ情報を用いた画像検索
の手法が提案されている [4][12]．しかし，文献 [4] や [12] は，スケッチ画像検索であり，類
似画像検索のユーザがクエリを作成する手法である．それにより，ユーザによって作成され
たクエリ画像が異なり，結果が異なるという問題がある．さらに，画像全体のエッジの割合
を特徴量とすると, エッジが存在することは分かっても位置関係を知ることができない．例
えば，画像の上部分に太陽がある画像と画像の下部分にボールがある画像のエッジ抽出をす
ると，どちらも丸い形状を取る．しかし，形状の位置関係を知ることができないため，2 つ
の画像が同じ画像として認識されてしまう．これは，エッジ特徴は局所的な特徴であるため
と考える．そこで，色特徴以外で画像検索行うには，部分的に画像のエッジ特徴を取り，さ
らに大域的な特徴も組み合わせたものが特徴量として適していると考える．
また，人が画像を判断する場合，画像の色や形状といったものを見て画像の情報を判断し
ている．また，形状は物体が何であるかを表しているため画像の特徴の中で重要だと考え
た．そこで．形状特徴を用いて画像検索を行い，人が画像を判断するときに形状がどの程度
影響を及ぼすが検証する．しかし，カラー画像を対象としてユーザに画像検索を行ってもら
うと，少なからず色特徴の影響を受け，検索精度に影響を及ぼす可能性があるため，カラー
画像ではなくモノクロ画像を使用し，色特徴を使用できない状況を擬似的に作り出す．そし
て，ユーザが画像を判断する場合に形状特徴だけ判断するためにモノクロ画像検索を行う．
そこで，本論文では，1 つ目の特徴として画像全体のエッジの抽出を行った後，画像を
–2–
3 × 3 に分割し，各領域のエッジの割合を用いる．2 つ目の特徴として，画像の解像度を
2 × 2 まで落とし，各画像の明るさを求め，その差分を傾きとして，これを用いる．2 つの
特徴を組み合わせたものを特徴量として提案する．そして，提案手法を用いてモノクロ画像
検索を行い，その結果から検索精度の比較を行う．
本論文は，第 2 章で今回の研究でエッジ抽出を行った各フィルタの説明と検索システムに
ついてを述べる．第 3 章では，提案する手法について述べる．第 4 章では，各フィルタを
用いた特徴量と提案手法の特徴量の検索精度の比較について述べる．最後に第 5 章では，本
研究のまとめと今後の課題や展望について述べる．
–3–
第2章
エッジ情報による形状特徴の抽出
本章では，エッジ抽出に用いる各フィルタの説明と特徴抽出について述べる．
2.1
エッジ抽出
エッジとは，物体の外縁を現す線であり，人が画像の特徴を判断するための重要な要素で
ある．エッジ抽出とは，画像の明るさの変化により物体の輪郭部分の抽出を行うことであ
る．明るさの変化値は，微分演算を利用することで算出することができ，微分には，1 次微
分フィルタ (グラディエント) と 2 次微分フィルタ (ラプラシアン) がある．本研究では検索
精度の比較として，1 次微分フィルタの中で代表的な Sobel フィルタと エッジ抽出に最適
な Canny フィルタを用いる．
2.2
1 次微分フィルタ
微分フィルタでは，画像の濃淡が急激に変化するエッジ部分を検出する．微分フィルタで
は，画像の画素に対して微分を行う．以下に微分の式を示す．
Δ x = f (x + 1, y) − f (x, y)
(2.1)
Δ y = f (x, y + 1) − f (x.y)
(2.2)
示された式の Δ x は横方向の成分，Δ y は縦方向の成分を求めてる．この式は，ある画
素値に対して隣に接している画素値の差分を求めている．差分があればその画素にエッジが
あると検出される．この微分の式を用いてエッジ検出を行った画像を図 2.6 に示す．しかし，
図 2.6 では，特徴となる形状は取れているものの特徴以外のものもノイズとして多く検出さ
–4–
2.2 1 次微分フィルタ
れている．これは，微分フィルタでのエッジ検出は，各画素に対して差分があるどうかで判
断しているため，少しでも画素値が違うければその画素にはエッジがあると判断されてしま
いその結果，形状特徴以外のものまでエッジ検出をしてしまう．
そこで，ノイズを低減しつつエッジ検出を行う方法として 図 2.1 に示す．図 2.1 では，微
分フィルタと平滑化フィルタを組み合わせるといった方法である．平滑化フィルタは，移動
平均フィルタとガウシアンフィルタがある．平滑化フィルタを図 2.2 に示す．平滑化とは，
画素ごとに濃度値の細かい変化を少なくし，滑らかな画像にする処理である．図 2.7 のよう
に平滑化された画像は，画像の濃度値を滑らかにすることができる．よって微分フィルタだ
けでエッジ検出した場合に表示されていた細かい白点を取り除くことができ，それにより画
像のノイズを取り除くことができる．図 2.7 に平滑化フィルタをかけた画像を示す．
図 2.1
横方法の微分と縦方向の平滑化の組み合わせ
図 2.2 平滑化フィルタ
–5–
2.2 1 次微分フィルタ
2.2.1
Sobel 法
Sobel 法は，平滑化の際に中央に重みを付け平均化を行い，微分するフィルタである．微
分と平滑化の組み合わせによる Sobel フィルタを図 2.3 に示す．
図 2.3 Sobel フィルタ
エッジ特徴を抽出するには，図 2.4 の 8 方向 Sobel フィルタ [7] を用いる．Sobel フィル
タは，画像を HSV 色空間に変換し，H チャンネルを除いた S チャンネルと V チャンネル
に対して Sobel フィルタを適用する．S，V に対してフィルタリングをかけた fSd (x, y) と
fId (x, y) を用いてフィルタリング方向 d(d ∈ 0, π/4, π/2, 3π/4, π, 5π/4, 3π/2, 7π/4, 2π) の
形状特徴 ed は次のように求める．W は，画像の横の長さ，H は，縦の長さを表している．
ed =
W −1 H−1
1 ∑ ∑
G(fSd (x, y), rS )|G(fId (x, y), rI )
W H x=0 y=0
{
1 if (a < b)
G(a, b) =
0 otherwise
(2.3)
(2.4)
rS = τS max fS d(x, y)
(2.5)
rI = τI max fS d(x, y)
(2.6)
ここで、
｜は論理和演算で，閾値 τS は 0.35，τI は 0.15 とする．これらを用いて 8 方向の
のエッジ検出を行う．これにより作成したエッジ画像を図 2.8 に示す．
–6–
2.2 1 次微分フィルタ
図 2.4 8 方向 Sobel フィルタと傾き d
–7–
2.2 1 次微分フィルタ
2.2.2
Canny 法
Canny 法 [9] は，ガウシアンフィルタと Sobel フィルタを組み合わせることで細線化さ
れたエッジ検出を行うフィルタを用いる手法である．Canny 法のアルゴリズムは，画像の平
滑化，エッジ強度と方向の算出，画像の細線化，ヒステリシス閾処理の順に処理を行う．各
手順の説明を以下に示す．
• 画像の平滑化
入力画像に対して，ガウシアンフィルタによる画像の平滑化を行い，ノイズの影響を減
らす.
• エッジ強度と方向の算出
Sobel フィルタによって各方向の微分を得た後，各画素における強度と方向を算出する．
• 画像の細線化
ガウシアンフィルタにより太くなったエッジを細くするための細線化処理を行う．エッ
ジの画素値と鉛直方向の隣接画素値を比較し画素値が最大でなければ 0 とする．
• ヒステリシス閾処理
高い値と低い値の 2 種類の閾値の設定を行い，高い閾値はエッジ画素として検出し，低
い閾値はエッジ画素が存在しないとして判定する．高い閾値未満で低い閾値以上の場合
は，近傍にエッジ画素が存在すれば注目画素をエッジ画素として検出し，近傍にエッジ
が存在しなければエッジ画素が存在しないとして判定する．
今回は，低い閾値を 68，高い閾値を 128 として設定する．これにより作成したエッジ画像
を図 2.9 を示す．
–8–
2.2 1 次微分フィルタ
図 2.5 元画像
–9–
2.2 1 次微分フィルタ
図 2.6
図 2.7
微分フィルタを用いたエッジ画像
平滑化フィルタを用いた画像
– 10 –
2.2 1 次微分フィルタ
図 2.8 Sobel 法を用いたエッジ画像
図 2.9 Canny 法を用いたエッジ画像
– 11 –
第3章
モノクロ画像検索に適した特徴量
抽出
本章では，モノクロ画像検索に適している特徴抽出について述べる．局所的な特徴では，
エッジ抽出した画像のエッジの割合を特徴とする．大域的な特徴では，画像の解像度を落と
し各領域の明るさの差分を特徴とする．この 2 つの特徴を組み合わせた特徴と特徴量とし
て提案する．
3.1
局所的な特徴抽出
モノクロ画像では，色情報を含まないためエッジを特徴として用いる．エッジ抽出には，
Canny 法を用いる．しかし，画像全体のエッジでは，形状を取ることはできるが形状の位
置関係がわからない．そこで，本研究では，画像の分割を行い，各領域のエッジの割合を局
所的な特徴として用いる．画像は，3 × 3 に分割を行う．しかし，画像のサイズが異なると，
画像によっては分割したときに画像情報が消えてしまう部分ができてしまうため，分割を行
う前にすべての画像のサイズを幅 300 ピクセル，高さ 300 ピクセルの画像に合わせる．分
割領域のエッジ特徴抽出の流れを図 3.1 に示す．図 3.1 の流れを以下に示す．
– 12 –
3.2 大域的な特徴抽出
1. 画像のサイズの変更を行う．すべての画像の領域を見た場合，領域のサイズが異なる
と，各画像のその領域の特徴の比較が行えない可能性がある．そこで，すべての画像の
サイズを変更しサイズを合わせることでその問題点を改善する．
2. Canny 法によるエッジ検出を行う．図 2.8 と図 2.9 を比べた場合，Sobel 法に比べて
Canny 法の方がノイズが少なくより正確に形状特徴を特徴量として用いることできる．
エッジを抽出した時点で画像は，2 値化される．エッジが検出された部分は画素が白く，
検出されなかった部分では，画素が黒く表示される．
3. 画像を分割を行う．画像全体で特徴量をとってしまうと，形状の位置関係を知ることが
できないという問題点がある．そこで，画像を 3 × 3 に分割し領域ごとで特徴量を取る
ことで形状の位置関係を知ることができる．
4. 各領域で特徴量を取る. 特徴量を取る方法を以下に示す．すべての画素に対して画素値
を調べる．画素値が 0 以外だった画素の数を調べ，それをエッジの総数とする．一つの
領域で取れた特徴量を 1 次元とし 各領域でそれぞれ行う．算出した 9 次元の特徴量を
局所的な特徴量として用いる．
特徴量 =
3.2
検出されたエッジの総数
分割領域の画像のサイズ
(3.1)
大域的な特徴抽出
今までのエッジ特徴は，局所的な特徴であった．しかし，局所的な特徴だけでは，検索精
度に限界がある．そこで，局所的な特徴だけでなく，大域的な特徴も組み合わせることで検
索精度が向上すると考えた．そこで，本研究では，画像の解像度を 2 × 2 まで落とし，各領
域の明るさの差分を大域的な特徴として用いる．画像の各画素に対して明るさの差分を取る
ことでより正確な特徴を抽出することはできるが，それでは次元数が多くなってしまい画像
検索の特徴量として望ましくない．次元数が多くなってしまうと画像を検索するときや分類
するときに計算量が多くなり時間がかかってしまうからである．そこで，解像度を落とすこ
とで画像の大まかな明るさを抽出し次元を削減する．まず，解像度を落とすために領域ごと
– 13 –
3.3 特徴量の組み合わせ
に領域のピクセルの画素値の平均を求める．そして，求めた平均をその領域の画素値とし領
域すべての画素値をその値に変更する．これをすべての領域に対して行い，解像度を 2 × 2
に落とす．そして，各領域の画素値の差分を傾きとして，これを特徴として用いる．本研究
では，モノクロ画像を用いいてるため画像の色が白に近づくほど明るく，色が黒に近づくほ
ど暗いものとする．大域的特徴抽出の流れを図 3.2 を示す．図 3.2 の流れを以下に示す．
1. 画像の解像度を 2 × 2 に落とす．解像度を落とすことでどの領域がどれくらい明るいか
判別することができる．
2. 各領域ごとにその領域と接している領域の差分を求め，それを特徴量とする. 特徴量を
求める式を以下に示す．すべての領域に対して行ってしまうと次元数が増えてしまい画
像検索をするときに検索する時間が増えてしまう．そのため，次元数を減らすために余
分な特徴量を取るのをやめる．今回は，図 3.2 の矢印の向きにしたがって差分を求める．
こうすることで，反対方向の向きの差分を求める必要がなくなる．矢印の反対方向は，
差分を求めても符号が変わるだけで数値は変わらないので意味のないものと考える．
特徴量 = 領域の画素値 − 隣接している領域の画素値
3.3
(3.2)
特徴量の組み合わせ
局所的な特徴の値の範囲は，0∼1 であるのに対して，大域的な特徴量の値の範囲が −255
∼255 値を示すため，値のばらつきが激しい．これで，局所的な特徴と大域的な特徴量を組
み合わせて類似度を測るためユークリッド距離をとった場合，ユークリッド距離は，値が大
きく変化する大域的な特徴が反映されてしまい，局所的な特徴がうまく反映されなかった．
そこで，その問題を解決するために特徴量の正規化を行う．特徴量の正規化を行い，大域的
な特徴量の値の範囲を 0∼1 に変更した値を特徴量とし，局所的な特徴と大域的な特徴を組
み合わせる．
– 14 –
3.3 特徴量の組み合わせ
図 3.1
局所的な特徴抽出の流れ
図 3.2
大域的な特徴抽出の流れ
– 15 –
第4章
提案手法の検索精度の性能評価
本章では，局所的な特徴である Sobel 法と Canny 法による画像全体に対してのエッジの
割合を特徴量とした場合と，提案手法による特徴量でモノクロ画像検索を行い，その結果か
ら各手法の検索精度を比較し，最後に実験結果の考察をしている．
4.1
検索精度の性能評価の方法
本論文の画像検索システムでは，検索キーに用いて，それと類似している画像の検索を行
う．ユーザが画像検索を行う場合，ユーザが必要としている目的の画像がいくつかある．そ
のため，画像検索の結果にユーザが必要としている画像が多く入っているほど検索性能が高
く，ユーザがほしい画像が少ないほど検索性能が低いものとして提案手法の検索精度の性能
評価を行う．
4.2
実験内容
実験では，3 つの手法を用いてモノクロ画像検索を行う．1 つ目の手法は，Sobel 法を用
いてエッジ抽出したエッジの割合を特徴量としたものである．2 つ目の手法は，Canny 法を
用いてエッジ抽出したエッジの割合を特徴量としたものである．3 つ目の手法は，提案手法
であり，局所的な特徴と大域的な特徴を組み合わせたものを特徴量としたものである．この
3 つの手法を比較し，提案手法が 2 つの手法より検索性能が高いことを検証する．各手法の
次元数を表 4.1 に示す．
検索対象は，ArtExplosion 中 10 カテゴリから 20 枚ずつ選択した画像をデータベー
– 16 –
4.2 実験内容
表 4.1 各手法の次元数
手法
次元数
提案手法
15
Sobel 法
8
Canny 法
1
スとした 200 枚の画像とする．データベースの内の画像の画像検索を行い，適合率と再現
率の結果を見て比較を行う．適合率と再現率は，検索した画像の検索結果に表示される画像
の中からユーザが検索した画像と類似していると判断した画像を見てどれくらい画像が合っ
ているを見ている．適合率と再現率が高いと検索結果の中にユーザが選択した類似している
画像が多く入っていることになるため，ユーザの目的の画像を検索できていることになる．
実験では，ArtExplosion 中 10 カテゴリの中から 1 枚の画像を筆者が選択し，図 4.2 の
10 枚の画像を用いる．その選択した画像を検索キーとして，選択した画像と類似している
画像を表示する画像検索を行う．今回は，被験者実験として，被験者には，図 4.2 の各検索
キーとなる画像に似ていると判断した画像を 検索対象のデータベース内の 200 枚の中から
選択してもらい，それを適合画像としている．
今回の実験の被験者として 7 名の人に画像検索を行ってもらい，検索結果に表示される
画像と適合画像を用いて適合率と再現率を算出したものを検索性能として用いる．適合率と
再現率を求める式を以下に示す．適合率と再現率を算出するために用いる検索結果に表示さ
れる画像と適合画像の関係図を図 4.1 に示す．被験者が選択した適合画像を枚数を N とし，
検索結果に表示される画像の枚数を C とし，N と C の両方に含まれている画像を検索され
た適合画像とし，検索された適合画像の枚数を R とする．
適合率 =
R
N
(4.1)
再現率 =
R
C
(4.2)
– 17 –
4.2 実験内容
図 4.1
適合率と再現率のべん図
– 18 –
4.2 実験内容
図 4.2
検索対象画像
– 19 –
4.3 検索システム
4.3
検索システム
検索システムは， データベース内のすべての画像が検索キーとしてユーザに提示する．そ
の中で 1 つの画像を選択してもらい，その画像と類似している画像を表示する．検索システ
ムの流れを図 4.3 に示す．図 4.3 の流れを以下に示す．
1. ユーザは，検索キーの中から 1 つの画像を選択する．
2. 選択された画像は，画像検索システムによりデータベース内にある 200 枚の画像とユー
クリッド距離を測る．
3. ユークリッド距離を測った結果に基づき，200 枚の画像に距離が近かった順にランキン
グをつける．
4. ランキングをつけた 1 位から 20 位までの画像を検索結果として表示する．
図 4.3
検索システム
– 20 –
4.4 実験結果
4.4
実験結果
各被験者に図 4.2 の各画像に対して選択してもらった適合画像数を表 4.2 に示す．各被験
者ごとの検索結果を図 4.4，図 4.5 に，各画像ごとの検索結果を図 4.6，図 4.7 に示す．各
手法の被験者実験の検索精度の結果を表 4.3 を示す．
表 4.2 被験者が選択した各画像に対しての適合画像数
被験者
画像 1
画像 2
画像 3
画像 4
画像 5
画像 6
画像 7
画像 8
画像 9
画像 10
被験者 1
8
9
9
16
10
11
5
7
8
4
被験者 2
15
8
5
7
4
16
4
9
9
6
被験者 3
7
8
9
9
3
16
6
8
11
3
被験者 4
2
2
2
3
2
3
3
3
2
3
被験者 5
9
4
1
2
2
6
4
6
4
3
被験者 6
3
6
3
4
2
7
2
2
1
2
被験者 7
1
7
4
3
3
7
2
2
1
2
表 4.3
各手法の検索精度
手法
平均適合率
平均再現率
提案手法
13 ％
57 ％
Sobel 法
8％
40 ％
Canny 法
10 ％ 44 ％
– 21 –
4.4 実験結果
図 4.4 適合率
図 4.5 再現率
– 22 –
4.4 実験結果
図 4.6 適合率
図 4.7 再現率
– 23 –
4.5 性能評価による考察
4.5
性能評価による考察
3 つの手法により画像検索を行い，比較を行った結果，被験者ごとの検索結果の適合率と
再現率は，提案手法の方が性能が向上している．この結果から，形状特徴によるモノクロ画
像検索を行うのは，大域的特徴と局所的特徴を組み合わせた方がよいことがわかる．また，
Sobel 法と Canny 法の適合率と再現率を比較してみると，すべての被験者が Sobel 法よ
り Canny 法の方が検索精度が高い，または等しいという結果となっている．これは，Sobel
法では，多くのノイズが含まれていたが，Canny 法を用いたことでうまくノイズを除去で
き，それにより，余分なエッジを除去し，形状特徴のみを特徴量として使用できたのではな
いかと考える．これにより，局所的な特徴を用いて特徴量を算出する場合，Sobel 法でなく
Canny 法を用いた方がよいことがわかる．
しかし，再現率が高い数値を示してるのに比べて，適合率は，低い数値を示した．これは，
検索結果に表示する画像が多く，被験者が選択した適合画像の数が少ないため，適合率が低
下したと思われる．表 4.2 を見ると，人によって選択された適合画像数は異なり，10 個選
ぶ被験者もいれば，2 個選ぶ被験者もいる．このように人が感じる画像の類似度は，人に
よってばらつきがある．そこで，検索結果に表示する画像も人によって合わせる必要がある
と考える．よって今後，被験者実験のときに被験者に適合画像を選択してもらうだけでなく，
検索結果に表示させる数も取り，それに合わせて画像を表示させる必要があると考える．ま
た，本研究では，検索画像とデータベース内の画像と特徴量を比較し，ユークリッド距離に
より検索画像に近い画像を 20 枚表示させるようにしていた．それを，ユークリッド距離を
算出するときに閾値を設定し，閾値以下の画像を表示させるようにすることでより正確に適
合率と再現率を測れると考える．
各画像ごとの検索結果の適合率と再現率は，全体的に見て，検索精度は向上している．し
かし，画像 2，画像 7，画像 9 は検索精度が下がっている．これは，エッジ特徴を領域ごと
で取ったことで物体の輪郭の一部分をエッジ特徴として抽出し，本来の形状とは違う形状と
判別されたため，精度が下がったと考える．
– 24 –
4.5 性能評価による考察
また，一部の風景画像を検索した場合に高い精度を示した．これは，風景画像が画像の上
の部分は空，下部分は山といったように領域ごとの明るさの変化がわかりやすく，また，各
領域でエッジの割合がはっきりしていたためだと考える．このことより，提案手法は風景画
像の画像検索に適したものであると考える．
– 25 –
第5章
おわりに
これまでの類似画像検索では，カラー画像を対象としていたため，モノクロ画像検索のす
るには難しかった．そこで，形状特徴のみを用いたスケッチ画像検索が提案されていた．し
かし，スケッチ画像検索も対象としているのがカラー画像であった．カラー画像を検索対象
に用いた場合，画像検索を行うときに人が画像を判断するときに少なからず画像の色特徴が
情報が入ってきてしまう．そのため，形状特徴のみで画像検索を行っているのに色特徴に左
右されてしまい，画像検索の正確な検索性能の検証ができていないと考えた．
そこで，本研究では，モノクロ画像を対象とした画像検索のための特徴量を提案し，モノ
クロ画像検索を行った．本特徴量は，局所的な特徴と大域的な特徴を組み合わせたものであ
る．局所的な特徴は，Canny 法を用いてエッジ検出した画像を 3 × 3 に分割し，各領域の
エッジの割合が特徴であり，大域的な特徴は，画像を 2 × 2 まで解像度を落とし，各画素の
明るさの差分を傾きとした特徴である．提案した特徴量を用いて，モノクロ画像検索を行っ
た結果，適合率 13 ％，再現率 57 ％となり，画像全体でエッジ検出し，エッジの割合を特
徴量と比較した結果，適合率が 3 ％，再現率が 14 ％向上した．実験により，局所的な特
徴と大域的な特徴を組み合わせた特徴量による画像検索の検索精度を確認した．また，一部
の風景画像を検索した場合に高い検索精度を示した．これは，風景画像が画像の上の部分
は空，下部分は山といったように領域ごとの明るさの変化がわかりやすく，また，各領域で
エッジの割合がはっきりしていたためだと考える．これより，提案した特徴量は風景画像の
画像検索に適したものであると考える．
今後の展望として，大域的な特徴量として画像の解像度を 2 × 2 に落とすのではなく，解
像度を 3 × 3 や 4 × 4 などに落として特徴量を取ったものを用いて検索を行い，大域的な特
– 26 –
徴量としてどの程度，解像度を落とせば良いのか検討を行う必要がある．また，局所的な特
徴量として用いたエッジ特徴では，海や花畑のように明るさの変化が激しい画像では，エッ
ジが多く検出され，モノクロ画像検索の検索精度は低いという結果が出た．明るさの変化が
激しい画像に対しては，減色することで検出されるエッジの量を減らした特徴を取った特徴
量を用いて検索を行うことで精度向上が期待できる．また，カラー画像の検索に対して，提
案手法に加えて，色特徴を加えることで画像検索の検索精度の向上が期待できる．
– 27 –
謝辞
本研究にあたり御指導，御協力いただいた皆様に心から感謝いたします．指導教員である
高知工科大学情報システム工学科吉田真一講師には，研究の進め方やプレゼンテーション用
の資料の作成の仕方や発表の仕方を教えていただき大変御世話になりました．また，研究の
話以外にも，PC の知識から高知県伝統のお酒の飲み方まで多くの教えていただきました．
深く感謝いたします．
そして，お忙しい中本研究の副査をうけていただいた高知工科大学情報システム工学科岡
田守教授と高知工科大学情報システム工学科松崎公紀准教授に深く感謝いたします．松崎先
生には，お忙しいにも関わらず梗概の添削をしていただきました．また，卒業研究発表会の
ときには，研究のアドバイスをいただき，大変参考になりました．深く感謝いたします．岡
田先生には，就職活動中に大変御世話になりました．履歴書に書く内容について話し合った
り，面接時の対応の仕方などを教えてもらえました．岡田先生の御蔭で就職先も決まり，大
学卒業後，社会人となれることを深く感謝いたします．
同研究室の森木彰規氏には，研究の中間発表や研究室のイベントで先導してもらいまし
た．感謝いたします．同研究室の大東真氏には，研究の相談に乗ってもらい多くのアドバイ
スをしてもらいました．また，研究以外にも，真剣な話から笑い話までして和やかなムード
を作ってもらいました．感謝いたします．同研究室の立花啓海氏には，本研究で使用した ”
Open CV ”の使い方や画像処理のプログラムの作成を教えてもらいました．また，研究の
始めから終わりまで研究について相談に乗ってもらい多くのアドバイスをもらいました．さ
らに，プログラムのバグ取りを手伝ってもらったり，被験者実験の方法について教えてもら
いました．立花先輩には，自分の過去の研究の体験談を話してもらい研究の終わりの時期や
卒論の書き始めの時期について話してもらい，私がゆっくり研究しているのに対して危機感
を感じさせてくれました．立花先輩がいなかったら画像処理のやり方もわからなかったです
し，研究が終わらなかったような気がします．1 年間，研究関連の面倒を見ていただき大変
– 28 –
謝辞
御世話になりました．深く感謝いたします．同研究室の中谷浩輝氏には，FreeBSD の設定
やコマンドなど PC 関連について教えてもらいました．また，レポートやプレゼンの資料を
添削してもらい表現の仕方や言い表し方について教えてもらいました．感謝いたします．同
研究室の中山達喜氏には，研究の相談に乗ってもらい多くのアドバイスをもらいました．感
謝いたし to ‘!ht’.
ます．同研究室の同学年である赤井宏光氏，越村健氏，富永大輝氏，仲矢浩二氏，原央樹
氏，橋詰翔健氏たちには，研究について話すだけでなく，笑い話をしたり，ゲームなどで遊
んだりして和やかなムードの中研究を進めることができました．感謝いたします．同研究室
の 3 年の方々には，研究室のイベントの企画などをやってもらいました．感謝いたします．
福本研究室の四宮隼人氏と高田研究室の加藤孝氏には，研究が行き詰まったときによく相
談に乗ってもらいました．お互いに励まし合いこの 1 年間を乗り切ってこれたことを深く感
謝いたします．また，2 人には，研究の被験者として実験に付き合っていただき感謝いたし
ます．
高知工科大学情報システム工学科の学生である佐藤功二氏，濱一徳氏，四本和也氏，斧山
青矢氏たちには，研究の被験者として実験に付き合っていただき感謝いたします．
この一年間様々なことがありましたが，ここまで来れたことは皆様のおかげだと思ってお
ります．ほんとうにありがとうございました．心から感謝いたします．
– 29 –
参考文献
[1] 小林 亜樹, 吉田 俊之, 酒井 善則, “キーワードに対応する画像検索アルゴリズムの自動
生成法,” 映像情報メディア学会誌, vol. 54, No. 11, pp. 1631–1638, 2000.
[2] 相良 直樹, 砂山 渡, 谷内田 正彦, “HTML テキストの重要文を用いた画像ラベリング
手法,” 電子情報通信学会論文誌, vol. J87-D-I, no. 2, pp. 145–153, 2004.
[3] 井上 光平, 堀田 正二, 浦浜 喜一, “キーワードと画像の同時ブラウジングによる検索,”
電子情報通信学会論文誌, vol. J82-D-II, no. 11. pp. 2178–2179, 1999. [4] 多々良, 大橋, “Canny エッジ検出による多重解像度エッジ画像を用いたスケッチ画像
検索,” 電気学会論文誌, vol. 127, no. 11, pp. 1880–1887, 2007. [5] 梶間 浩幸，“エッジ抽出による画像検索精度絞込み,” 神奈川大学 工学部 電気電子情報
工学科 平成 20 年度卒業論文 [6] 上田 岳史, “ユーザの画像間の違いの感じ方を利用する類似画像検索システム,” 京都大
学 工学部 情報学科 平成 12 年度特別研究報告書 [7] M. Serata, Y. Hatakeyam, and K. Hirota, “Designing Image Retrieval System with
the Concept of Visual Keys,” J. of Advanced Computational Intelligence and Intelligent Informatics, vol. 10, no. 2, pp. 136–144, 2006．
[8] ディジタル画像処理編集委員会, “ディジタル画像処理,” pp. 105–121, 2004/7/22
[9] J. Canny, “A Computational Approach To Edge Detection.” IEEE Trans. Pattern
Anylysis and Machine Intelligence, vol. 8, no 6, pp. 679–698, 1986.
[10] 立花 啓海, “ビジュアルキー型画像検索のための低次元色特徴の提案とキー提示法の改
良,” 高知工科大学 工学部 情報システム工学科 平成 20 年度卒業論文
[11] 久保 正明, ザヘル アグバリ, 牧之内 顕文, “ウェーブレットと SOM を用いたエッジ特
徴による類似画像検索システムの開発,” 第] 13 回データ工学ワークショップ (DEWS
2002)B1-3, 2002
– 30 –
参考文献
[12] 大橋 剛介, 長島 康剛, 望月 圭太, 下平 美文, “エッジ形状に基づいた手書きスケッチ画
像検索,” 映像情報メディア学会誌, 56, 4, pp. 653–658, 2002.
– 31 –
付録 A
分割領域の変化させた場合の適合率
と再現率の影響度
ここでは，局所的な特徴として Canny 法を用いてエッジ検出した画像を 本来の画像の領
域で特徴量をとったものと 2 × 2 と 3 × 3 と 4 × 4 に分割を行い，各領域ごとで特徴量を
とったもの 4 つの手法の適合率と再現率を比較している．
図 A.1 局所的な特徴のみの平均適合率
– 32 –
図 A.2 局所的な特徴のみの平均再現率
– 33 –