ファジィクラスタリングを用いた 部分領域に基づく画像検索の性能向上

平成 22 年度
修士学位論文
ファジィクラスタリングを用いた
部分領域に基づく画像検索の性能向上
Perfomance Improvement of Region-Based Image
Retrieval using Fuzzy Clustering
1135070
立花 啓海
指導教員
吉田 真一
2011 年 3 月 1 日
高知工科大学大学院 工学研究科 基盤工学専攻
情報システム工学コース
要 旨
ファジィクラスタリングを用いた
部分領域に基づく画像検索の性能向上
立花 啓海
インターネットの高速化やカメラ付き携帯電話の普及で，気軽にウェブ上にデジタルデー
タとして画像をアップロードできるようになり，膨大な量の画像がウェブ上や個人の計算機
の記憶領域に蓄積されている．この膨大な画像データを効率的に検索する技術の重要性は高
まってきている．
画像検索には様々な手法が提案されているが，その多くの手法が，キーワードやキー画像
などのクエリを事前に所持している必要がある．提案手法では，データベース中の画像を基
に検索用のキー画像を作成する．ユーザは，それらの位置を指定し，組み合わせて配置する
ことで要求画像に類似するクエリを作成する．これにより，ユーザの要求する画像に対して
位置的にも類似する画像を絞り込むことを可能にする．これまでの画像検索ではハードクラ
スタリングによりインデクシングを行う手法が多く用いられ，ユーザとシステムの間でセマ
ンティックギャップが発生していた．そこで，ファジィクラスタリングを用いることで曖昧
さを考慮したインデックスを作成し，セマンティックギャップを減少させている．
実験では，データベースに COREL 画像データベース 2000 枚 (20 カテゴリ× 100 枚)
を使用し被験者 16 名により行った．比較対象は，画像管理ソフトである imgSeek の絵を
描くことで画像検索を行うドローサーチと比較し，上位に要求画像が含まれる割合と類似
画像が含まれる割合を比較した．要求する画像に対する適合率は本手法は 25%，imgSeek
は 21%とほぼ同等，類似画像に対する適合率は，本手法 39%，imgSeek が 29%と本手法が
10%高い結果となりユーザが作成したクエリに類似する画像が検索できることを確認した．
キーワード
画像検索，ファジィ C-means，クラスタリング，CBIR， RBIR
–i–
Abstract
Perfomance Improvement of Region-Based Image Retrieval
using Fuzzy Clustering
Hiromi TACHIBANA
A large number of images exists on the web, and many image retrieval researches
have been proposed. Particularly content-based image retrieval is an important research
area, which does not require any keyword or image for search query.
We propose a new method of image retrieval in which the key images for the retrieval
is produced based on the images in the database. A user makes a query by choosing
and locating the key images. This enables more accurate image retrieval compared to
conventional image retrieval such as visual key image retrieval in terms of the position
of sub images.
Conventional systems use clustering algorithms like k-means. However, there is
a semantic gap problem that is caused by the interpretation of users and the system
when key images are chosen. In this study, we attempt to reduce the semantic gap by
a flexible indexing of the location information and the key images, produced by fuzzy
clustering.
Experiments are perfourmed using over 2000 (20 categories × 100 images) images in
COREL image database and by sixteen examinees. The ratio of user’s demand image
in the retrieved images are calculated using both of proposed method and the draw
search tool of imgSeek. The ratios of images similar to user’s demand in the retrieved
images are also calculated. While the relevance ratio to the user’s demand image has
only minor difference, the relevance ratio to a similar image achieved a result that is
10% higher.
key words
Image Retrieval，Fuzzy C-means，Clustering，CBIR，RBIR
– iii –
目次
第1章
序論
1
第2章
関連研究
5
2.1
第3章
画像検索について
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5
2.1.1
Text-Based Image Retrieval (TBIR) . . . . . . . . . . . . . . . .
6
2.1.2
Content-Based Image Retrieval (CBIR) . . . . . . . . . . . . . .
6
2.1.3
Region-Based Image Retrieval (RBIR) . . . . . . . . . . . . . . .
8
画像検索システムの提案
9
3.1
関連する既存研究
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
9
3.2
画像検索システムの特徴 . . . . . . . . . . . . . . . . . . . . . . . . . . .
10
3.3
画像検索の流れ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10
3.4
画像のセグメンテーション . . . . . . . . . . . . . . . . . . . . . . . . . .
11
3.5
特徴抽出 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13
3.6
クラスタリングによるインデクシング . . . . . . . . . . . . . . . . . . . .
15
ファジィ C-means . . . . . . . . . . . . . . . . . . . . . . . . . . .
16
画像検索 類似度の調整 . . . . . . . . . . . . . . . . . . . . . . . . . . .
18
性能評価
21
4.1
実験環境 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21
4.2
実験結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21
考察・今後の課題
25
5.1
画像のセグメンテーション . . . . . . . . . . . . . . . . . . . . . . . . . .
25
5.2
特徴抽出 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
25
5.3
クラスタリング . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
28
5.4
ランキング手法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
28
結論
31
3.6.1
3.7
第4章
第5章
第6章
–v–
目次
謝辞
33
参考文献
35
付録 A
個人ごとの実験結果
41
– vi –
図目次
3.1
画像検索の流れ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11
3.2
ピラミッド分割 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13
3.3
分割の流れ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13
3.4
HSV 色空間 (色相) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
14
3.5
相加平均による特徴 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
15
3.6
ハードクラスタリング . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
16
3.7
ファジィクラスタリング . . . . . . . . . . . . . . . . . . . . . . . . . . . .
17
3.8
どちらにも所属する画像 . . . . . . . . . . . . . . . . . . . . . . . . . . . .
17
3.9
周辺のマス目に対する修正 . . . . . . . . . . . . . . . . . . . . . . . . . .
19
3.10 類似していない部分が含まれる場合の修正 . . . . . . . . . . . . . . . . . .
20
4.1
使用するキー画像 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
22
4.2
検索対象画像
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
22
4.3
要求画像に対する適合率 . . . . . . . . . . . . . . . . . . . . . . . . . . . .
23
4.4
類似画像に対する適合率 . . . . . . . . . . . . . . . . . . . . . . . . . . . .
24
5.1
同じ画像に対するユーザの絵 . . . . . . . . . . . . . . . . . . . . . . . . .
26
5.2
ヒストグラムを用いた場合のキー画像
. . . . . . . . . . . . . . . . . . . .
26
5.3
色とテクスチャを含めた時のキー画像
. . . . . . . . . . . . . . . . . . . .
27
5.4
相加平均特徴
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
27
5.5
ヒストグラム
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
28
5.6
入力画像と検索結果 (類似度を下げる手法無し) . . . . . . . . . . . . . . . .
29
5.7
類似度を下げた結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
30
5.8
夕日の画像に対する検索結果 . . . . . . . . . . . . . . . . . . . . . . . . .
30
5.9
馬の画像に対する検索結果 . . . . . . . . . . . . . . . . . . . . . . . . . .
30
– vii –
表目次
A.1 被験者 A . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
41
A.2 被験者 B . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
41
A.3 被験者 C . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
42
A.4 被験者 D . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
42
A.5 被験者 E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
42
A.6 被験者 F . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
42
A.7 被験者 G . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
43
A.8 被験者 H . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
43
A.9 被験者 I . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
43
A.10 被験者 J . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
43
A.11 被験者 K . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
44
A.12 被験者 L . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
44
A.13 被験者 M . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
44
A.14 被験者 N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
44
A.15 被験者 O . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
45
A.16 被験者 P . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
45
– ix –
第1章
序論
マルチメディア技術の発展に伴い，カメラ付き携帯電話やデジタルカメラが普及し，個
人が大量の画像を保持する機会が増えている．また，インターネットを通じ，これらの画
像をホームページなどの Web サイトにアップロードする事で Web 上に大量の画像が存
在する．これらの大量の画像の中から自分の望む画像を探す技術の一つとして画像検索が
提案されている．画像検索の種類には大きく二つに分けてテキストを基に画像を検索する
Text-based Image Retrieval (TBIR) と画像内容に基づき画像を検索する Content-Based
Image Retrieval (CBIR) がある．
Web 上の画像検索には，一般的に Google Image や Yahoo 画像検索に用いられるキー
ワードによる検索を行う TBIR が最もよく使われている．TBIR は検索に用いるメタデー
タとなるキーワードを登録時，画像に付加する必要があり，画像が増加するにつれ，画像の
登録時にキーワードを人手により付加する方法では限界があった．また，1 枚の画像に対し
て，付加されるキーワードには個人的な主観に影響されるため，客観的な索引付けが求め
られるが，人手による方法ではどうしても人間の主観に依存してしまう問題がある．その
ため，画像への自動索引付けを行う研究が盛んに行われている [1]．特に多いのが，画像が
アップロードされている Web ページに含まれるテキストからの索引付けなどを行う手法で
ある．しかしながら，これらの手法は画像内容に対して適切な索引が付加されているとは限
らない．
近年ではテキストから探したい画像を検索するのではなく，検索したい画像を入力する事
でそれに類似する画像を検索する CBIR が普及し始めた．しかしながら，それらの問題と
して，検索したい画像に類似する画像を所持していなければ，検索ができない問題がある．
–1–
第1章
序論
それらの問題に対してカメラ付き携帯電話では，写真を取るとそれに類似する画像を表示す
る機能の付いた携帯電話がある．また Web 上においてもユーザが絵を書きそれを検索要求
(クエリ) 画像としてシステムに問い合わせを行い，画像を検索する手法など提案されている
[2]．しかしながら，前者では検索したい画像が近くにある場合のみ有効であり，後者は絵心
があるユーザや色を選び細かな線などを書く必要があり，ある程度大きな画面が必要で，携
帯電話のような画面が小さい機器には操作性の面で不向きである．
画像全体から特徴を抽出する CBIR に対して，画像内の部分的な領域に対して特徴を抽
出する手法として Region-Based Image Retrieval(RBIR) がある．ほとんどの CBIR の研
究では，1 枚の画像に対して一つのインデックスを付与する場合が多い．それに比べ RBIR
では，各類似する領域やある物体を対象に領域分割を行い．特徴を抽出する．その領域に対
してインデックスを付与することでその画像に含まれる対象に対するインデックスを 1 枚の
画像で複数所持する事ができる．
本研究では，ユーザに検索したい画像に類似する画像をシステムが提示するキー画像を用
いて作成してもらい，それをクエリとして検索を行うシステムを提案する．システムが提
示するキー画像は，データベースに登録されている画像群から特徴となる画像を提示する．
キー画像は検索におけるインデックスの役割を果たしており，データベース中の画像に対し
て各キー画像がメタデータとして付与されている．
キー画像の生成には，データベース中の画像の領域分割を行う「セグメンテーション」
，領
域分割した画像からその画像に対する特徴を抽出する「特徴抽出」，分割した画像に対して，
抽出した特徴を基に類似する画像の集合に分類する「クラスタリング」により行う．
本手法では，キー画像を組み合わせて選択し，クエリを作成する．作成されたクエリが
データベース中の画像とのマッチングを行うことで類似する画像を表示する．その際，クエ
リ作成に用いられたキー画像には，クラスタリングによりインデクシングが行われている．
多くの手法ではこの時，ハードクラスタリングを用いる場合が多く，クエリのあいまいさが
反映されない．そのため本手法では，ファジィクラスタリングを用いてキー画像にインデク
シングを行う．
–2–
本論文は以下の構成をとる 2 章で関連研究を述べ，3 章では，本研究の提案手法について
既存の手法を含めて述べる．4 章では提案手法の実験による評価を行い，5 章で本システム
の残された課題や問題点について述べ，6 章で本研究をまとめる．
–3–
第2章
関連研究
2.1
画像検索について
インターネットの爆発的普及によって，個人で Web ページを持つことが可能となり，Web
上には様々な情報がある．その中から自分の望む情報をいち早く探す手段として情報検索技
術がある．近年ではデジタルカメラやゲーム、アニメなどの普及や発展と共に，風景画や商
品，アニメ，ゲームなどの画像に対して需要が高まっており，画像検索技術が重用になって
いる．
画像検索には大きく分けて，画像に対してあらかじめ対応付けされたテキストに基づいて
キーワードをクエリとし検索を行う手法 (Text-Based Image Retrieval:TBIR)[3][4][5][6][7]
とクエリとして入力された画像の特徴を用い類似する画像を検索する手法 (Content-Based
Image Retrieval:CBIR)[8][9][10][11][12][13][14][15] がある．
CBIR の特徴抽出方法に領域分割を行い領域毎に特徴を抽出する手法として領域に基づく
画像検索 (Region-Based Image Retrieval:RBIR)[16][17][18][19][20][21][29] がある．近年
の類似画像検索では，RBIR を主に使う事が多くなっているが，ユーザがクエリを用いて行
う検索，スケッチ検索やユーザにカラーパレットを用いてクエリを作成してもらう検索など
は全体的な特徴を用いて行う手法が多い．また，カラーパレットや線を引く動作など大きな
ディスプレイを用いて行わなければならず携帯電話への応用も難しい．その他，顔認識や，
花認識，人物認識など一般物体認識とよばれる特定のデータベースに対して行われる画像検
索がある．これらの検索手法の場合，教師データを用いる「教師あり学習」が行われる．し
かしながら，「教師あり学習」を用いた場合，特定のデータベースにのみ有効であり，教師
–5–
第 2 章 関連研究
に含まれない画像に対しては検索できない．
2.1.1
Text-Based Image Retrieval (TBIR)
テキスト (キーワード) を検索要求 (クエリ) として検索に用いる手法として Text-Based
Image Retrieval (TBIR) が提案されており，よく知られた画像検索に Google 画像検索や
Yahoo!などの検索エンジンがある．これらの検索エンジンでは Web ページや画像を検索す
る際，クエリとなるキーワードを入力し，キーワードに対応するメタデータとしてインデッ
クス (索引) が付加されている画像を表示する仕組みである．
これまでの画像検索では，予め人の手によりメタデータ (インデックス) を付与する方法
が一般的であった [22]．しかしながらこれらの方法では，画像が急増するにつれ労力などの
コストが大幅にかかる．また，インデックスを付与する人の主観に基づくインデクシングが
行われる事で，検索を行うユーザの主観にあったインデックスが付与されているとは限ら
ず，検索できない場合が考えられる．その他，ユーザのインデクシングの手間を減らすた
め，インデクシングを自動化する試みがなされており，ユーザがアップロードした Web 上
の文章中に含まれる単語から，キーワードを推測する手法などの研究が行われている．しか
しながら，これらの手法では，検索したい画像のイメージはあっても，検索するためのキー
ワードが思いつかない場合，画像を入手することができない．
2.1.2
Content-Based Image Retrieval (CBIR)
キーワードを用いず画像特徴量を用いて画像内容に基づいた検索を行う類似検索手法と
して Content-Based Image Retrieval (CBIR) がある．CBIR は，1 枚の画像に対してキー
ワード等の索引を付加する手法ではなく，画像の色，テクスチャ，エッジ等の特徴を数値化
し，数値行列である多次元ベクトルとして表す．特徴を数値化する事で，画像同士の類似性
を測ることができ，類似度計算手法も用途に応じて多数存在する．類似度計算手法によって
は，類似する画像を類似する順番に検索する事を可能としている．しかしながら，CBIR に
–6–
2.1 画像検索について
は次のような欠点がある．
• ユーザが想定する画像に類似する画像を所持していなければ，それに類似する画像を
検索する事ができない．
• ユーザが画像に感じる類似度とシステムが計算し類似する判断した画像との類似度に
違いがある．
類似する画像を所持していなければならない問題に対して，キーワードによる検索を初め
に行い，大まかな類似画像が検索された所で，それらの画像を検索に用いる手法 [23] やユー
ザに特徴となる絵を書いてもらいそれをクエリとして検索する手法 [2] などが用いられてい
る．しかしながら，前者の手法では，TBIR の問題点でもあるキーワードが思いつかない場
合などに対して適切ではない．また，後者のユーザが用いた絵をクエリとして用いる手法で
は，仕様するユーザに絵心が必要であったり，また，色の選択等に大きなスペースが必要と
なり，大きなディスプレイが必要となる．そのため携帯電話などの小型端末に応用する事が
困難となる．
二つ目のユーザが画像に感じる類似度とシステムの類似度との違い (ユーザとシステムと
のセマンティックギャップ) の問題に対しては，ユーザの認識とシステムの計算優先度や手
法などの様々な要因で，セマンティックギャップを起こしていると考えられる．特に人の色
の見え方に関する研究として表色系の研究や検索時のインデックスの付与に関する研究が数
多くされている [9][14][24][25]．これらのセマンティックギャップを解消する研究の多くは，
ユーザの思考のデータを入力する手法「教師あり学習」を用いてセマンティックギャップを
減らしている．しかしながら，「教師あり学習」はその教師に依存するため必ずしも全ての
ユーザに対して有効とは言えずそれらに対応するためには多くの教師データを必要とする．
そのため，教師データを入力する手間がかかる．
–7–
第 2 章 関連研究
2.1.3
Region-Based Image Retrieval (RBIR)
CBIR の手法の一つとして領域に基づく画像検索システム (Region-Based Image Retrieval:RBIR) がある．RBIR は画像の一部を類似する領域や特徴となる領域ごとに分け，
それぞれの領域から特徴を求める．求めた特徴をもとに各領域に対してインデックスを付与
する．RBIR はクラスタリングアルゴリズムを用いられる事が多く，領域分割の際や分割さ
れた領域に対して，インデックスを付与する際にクラスタリングアルゴリズムを用い分類す
る．領域分割するために特徴を用いる場合や特徴を抽出するための領域を分割するなど手法
によってことなる．そのため，RBIR では領域分割法，特徴抽出，クラスタリング法が重要
となっている．
RBIR では，特徴となる領域ごとに画像を分解し，画像の特徴を抽出します。そのため，
画像の全体像を入力する必要が泣く，画像に含まれると思われる領域を入力する事が可能と
なる．よってシステムがデータベース中に含まれる代表的な領域 (空，雲，芝，人などの予
めインデックスが付けられた領域) を提示することにより，検索が行える．しかしながら，
既存の研究では，木の位置や空の色等の情報を考慮している手法は少なく，類似する画像を
表示させる事が困難な場合がある．
–8–
第3章
画像検索システムの提案
3.1
関連する既存研究
CBIR の画像検索システムには，欲しい画像に類似する画像を入力する方法や形を書き入
力するスケッチ検索，カラーパレット等で色を選択し絵を描きそれに類似する画像を検索す
るドローサーチなど様々なものが提案されている [47]．また類似する画像を予め所持してい
なければならない問題に対して，テキストにより検索し，出てきた画像群から欲しいと思う
画像に類似する画像を選び再度検索する手法も提案されている．その他，教師あり学習を用
いて予めタグの付いたキーとなる画像をユーザに提示し，それらを用いてクエリを作成し検
索を行う手法も提案されている．しかしながら，テキストにより検索し検索結果の画像から
再度検索する手法では，TBIR の問題点であるインデックスが付与する人の主観に偏る問題
が改善されていない．その他，絵を描くことで検索する手法では，カラーパレットで細かな
色を選択しなければならず携帯電話等の小型端末には不向きである．また色を選ぶ際の細か
な色の変化により結果画像が大きく変わる．画像は表す内容が多彩なため，その細かな色や
形によってユーザとシステムとの間で解釈のずれ (セマンティックギャップ) が生じる場合
もある．多くの既存研究ではセマンティクギャップの問題に対して，「教師あり学習」を用
いている．しかし，「教師あり学習」を用いる事で，その教師に依存してしまい様々なデー
タベースに対応できない．
–9–
第3章
3.2
画像検索システムの提案
画像検索システムの特徴
提案する画像検索システムでは，RBIR を用い，ユーザにデータベース中に含まれる画像
を検索するための代表的なキー画像を提示する．ユーザはキー画像をドローサーチにおける
カラーパレットと同様に画像を選択，配置する事で，要求する画像に類似する画像 (クエリ
画像) を作成し検索を行う．
提示するキー画像の生成には，「教師あり学習」を用いない事で，データベース中に含ま
れる画像に依存させない．キー画像はデータベース中の画像群それぞれの特徴を基に代表的
な部分画像を選択する．そのため，キー画像のみでデータベース中に含まれる画像をすべて
表現できる．また，データベースに合わせたキー画像を生成する事ができる．検索用クエリ
画像の作成には，要求画像に含まれると考えられる位置に要求する領域に類似する画像を配
置する．そのため，カラーパレットのように複数の色を選択する必要が無く，また小型端末
などに応用する事が可能である．
キー画像を選出する際，部分領域ごとに特徴を抽出し，クラスタリングを用いて分類，代
表のキー画像を選択する．多くの手法では，クラスタリング時，ハードクラスタリングを用
いてクラスタリングを行っている．ハードクラスタリングは，一つの要素に対して一つのイ
ンデックスしか付与できず，様々な見方ができる画像に対して適切なインデックスができる
とは言えない．そのため，ファジィクラスタリングを用いてクラスタリングを行う．ファ
ジィクラスタリングは，各要素が各インデックスにどれぐらいの距離を持っているか (所属
度) の割合を表すことができ，複数の見方ができる画像に対して，柔軟に所属度を決定する
ことができる．よってユーザが見たキー画像のイメージをそのまま検索に反映できる．
3.3
画像検索の流れ
画像検索の流れを図 3.1 に示す，システムはユーザに画像の特徴を示したキー画像を複数
提示し，ユーザがそれらを選択し配置する事でほしい画像に類似するクエリ画像を作成す
る．作成したクエリ画像を用いてシステムに問い合わせを行い．システムが各キー画像と
– 10 –
3.4 画像のセグメンテーション
データベースの画像から類似度を計算し，類似度が高い順番に表示を行う．
図 3.1
3.4
画像検索の流れ
画像のセグメンテーション
画像のセグメンテーションでは，画像のタグ付け (インデクシング) をする対象となる特
徴の範囲を指定する．分割する領域や数により，その画像が示すインデックスやインデック
スの数が決定される．よって指定される範囲は，ユーザが特に注目している領域に対して
インデクシングを行う事が望ましい．画像セグメンテーションの手法には様々なものがあ
り，分割方法によって画像検索の種類が決定すると言える．画像中に含まれる物体を認識
し，インデクシングをする検索は一般物体認識と言われ，物体ごとに領域分割を行う．特定
の画像に対して類似性を測る場合，事前に教師あり学習を用いて物体を学習し背景と物体と
を分割を行う事で精度を高める．学習情報として背景画像と物体を入力する事でセグメン
テーションを行う手法の一つとしてグラフカットを用いた手法がある [26][27][28]．その他，
Bag-of-features[48] が提案されており，事前に学習した対象がどれほど画像内に含まれるか
を特徴とする．物体に対してカラーヒストグラム同様の特徴抽出法を行うため，多くの教師
– 11 –
第3章
画像検索システムの提案
情報があり，さらに位置情報に対しても考慮した場合，有用であると考えられる．
しかしながら大量にある画像の中に必ずしも学習した領域が含まれているとは限らない．
また，一つ一つの画像に対して，背景と物体を入力するのは多くの手間がかかる．そのため，
領域分割において，画像内で色等の特徴が類似する領域を一つにまとめ領域分割する手法
として Blobworld が提案されている [20][29]．その他，注目領域毎に領域分割を行う手法も
提案されている [30]．エッジ抽出等を用いて人が注目する点を抽出する手法に SIFT(Scale
Invariant Feature Transform)[31] が提案されており，特徴点が多く密集する部分に対して
領域分割を行う．
画像検索において検索する対象は一般物体認識と類似画像検索があると考える．一般物体
認識は画像内に含まれる画像に対して意味を理解し，画像を検索するものであり，例えば日
の丸弁当と日本の国旗を別物と考える．類似画像検索では，意味を考慮せず画像自体が色，
形状などが類似しているものをさし，日の丸弁当と国旗を類似するものと考える．一般物体
認識など，対象に必ずしも単語にて意味を付与することができるものに対しては，「教師あ
り学習」などを用いてセグメンテーション，インデクシングを行う手法が良い．しかしなが
ら物体を認識するのではなく，類似する画像の検索を行う類似画像検索の場合，物体を表す
ものが含まれているか等が重要ではなく，画像の配置や雰囲気が似ているかが重要となる．
そのため，画像を物体毎にセグメンテーションするだけではなく，それらの配置を考慮した
データを保持する必要があり，画像を n × n にグリッド分割 (ブロック領域毎に分割) を行
う手法が行われている [32][33][34][35]．その他，1 枚の画像を様々な解像度 (領域) から局所
的，大域的な類似性を測るため，ピラミッド型に領域を分割し特徴を抽出する手法も提案さ
れている [17][35]．本研究では，システムを簡単化するため，グリッド分割を用いる．画像
のサイズには様々な大きさがあるため，原画像を 640 × 640 に拡大縮小を行い，画像同士の
大きさを揃える．次にユーザがクエリ作成しやすい様，中央部を考慮した 5 × 5 に領域分割
を行い，各部分領域を 128 × 128 に分割する．
– 12 –
3.5 特徴抽出
図 3.2
ピラミッド分割
図 3.3
3.5
分割の流れ
特徴抽出
特徴抽出では，画像の特徴を数列 (ベクトル表現) により表す．類似画像検索において特
徴抽出は，色特徴，形状特徴，テクスチャ特徴などの特徴を抽出するのが一般的である．全
体画像を用いる画像検索の場合，SIFT や顔認識，物体認識等の一つの特徴を抽出する．そ
の際，「教師あり学習」や低レベル特徴を複数組み合わせた手法など様々な手法を用いた高
レベル特徴が用いられる．
しかしながら，RBIR における領域分割はセグメンテーション時の分割手法によって部分
領域自体が意味を持ち，「領域全体を特徴として分割された場合」と「ブロック毎にグリッ
ド分割され意味を持たない場合」の 2 種類がある．前者では既に特定の特徴を基に分割され
ている．その領域に対して再度特徴を抽出する事は適切ではない．また，後者の分割された
領域に意味を持たない場合，その領域に対して意味を持たす高レベル特徴を用いることは適
切ではない．よって RBIR の特徴抽出において，高レベル特徴を用いる事は適切ではない．
そのため，画像を表現する値のみを用いて特徴を抽出する低レベル特徴が用いられる場合が
多い．
– 13 –
第3章
画像検索システムの提案
低レベル特徴は色，形状，テクスチャ等の特徴がとられることが多く，色特徴では色の出
現頻度から特徴を取得する色ヒストグラムを用いた研究，出現頻度以外に色の集合のばら
つきも考慮した色コリログラムを用いた研究 [37][38][12][39]，色の平均，分散，歪度を用い
た研究 [40]，テクスチャ特徴や形状特徴では，部分領域に対して Texture neighborhood 法
[41] や 8 方向 Sobel フィルタ [42] などのフィルタを用いてを抽出する研究がある．既存の
研究では，これらの特徴をすべて一つのベクトル空間で表現している．多くの場合，これら
の特徴を一つのベクトル空間で表現し，多次元ベクトルとし距離関数を用いて距離を測る．
しかしながら，多次元化されたベクトル空間内でユークリッド距離などの距離を測る事は各
ベクトルの距離 (特徴同士の違い) が相殺しあい必ずしも良い結果がでるとは限らない [43]．
そこで本研究では，人が最も印象を受けると考えられる色特徴のみを用いて行う．
画像を表す表色系ではよく用いられる色空間に RGB ，L∗ a∗ b∗ ，HSV など様々なものが
ある．これらの色空間は類似画像検索において，これが良いというものは提案されておら
ず，場合に応じて使い分けが行われている．RGB 色空間は，赤，緑，青の光の三原色を表
現しており，3 色を加算する事で，白に近づき数値を減らすことで黒に近づく．L∗ a∗ b∗ は人
が視覚する色に類似するように設計された色空間である．L∗ が明度を表し明るさを表現す
る．a∗ は赤と緑の間，b∗ が黄色と青の間の値をとり，色を表現する．この三次元空間の値
をユーグリット距離などの距離関数を用いて測る事で近似する事ができ，画像間の近さを測
る事ができる [36]．HSV 色空間では，色相 (Hue)，彩度 (sturation)，明度 (value) により
色を表現する．しかしながら，色相の値を数値化した場合，値は 0 から 360 の領域を取る．
値 0 の時点において人の認識する色として赤色であり，また，数値が 360 の時において色
空間上で一周し赤色が認識される．これらをクラスタリング過程において距離関数を用いて
距離を測る場合大きな違いとして現れる．そのため，色空間や距離関数を考慮する必要があ
る．また，色空間 (画像を表現するための取る値) が決定すると，次に特徴を抽出する．
図 3.4
HSV 色空間 (色相)
– 14 –
3.6 クラスタリングによるインデクシング
本研究の特徴抽出過程では，人の視覚に最も近いとされる L∗ a∗ b∗ 表色系を用い，特
徴を抽出する手法は相加平均特徴 (3.1) を用い部分画像から 3 次元色特徴ベクトル ~ck =
a
b
L
∗
{µL
k , µk , µk } を抽出する．ここで，µk は部分画像 k の値 L の平均を示す．そしてこれら
の特徴からユークリッド距離を測る事で画像間の類似度を抽出する．
µ=
図 3.5
3.6
N
1 X
pn
N n=1
(3.1)
相加平均による特徴
クラスタリングによるインデクシング
画像を検索するためには，類似する画像や関連する画像を一つの集合としてまとめ，それ
らにインデックスを付与する必要がある．データクラスタリングは自動インデクシングの手
法としてよく用いられ単にクラスタリング (クラスタ解析) とも呼ばれる．クラスタリング
では，類似している画像を一つのクラスタ (集合) に集め所属している集団に対して同じイ
ンデックスを付与する．クラスタリングには階層的に求める Ward 法や非階層的に求める
k-means 法がある [44]．Ward 法は画像一つを画像の集合 (クラスタ) として開始する．ク
ラスタの中央値 (重心) 同士の距離を計算し，最も類似するクラスタ同士を一つのクラスタ
に結合する．最終的に一つのクラスタになるまで類似する度合いが高いクラスタ同士を結合
していく手法である．k-means 法は，k-平均法や c-means などと呼ばれ，k や c は初期ク
ラスタの数を示す．k-means 法は初めに重心の個数を定め，ランダムに重心の場所 (値) を
とる．次に各画像がどのクラスタの重心にもっとも近いかを計算し，一番近いクラスタに所
属させる．次に重心を再計算し，各画像を新しいクラスタの重心に近いクラスタに所属させ
– 15 –
第3章
画像検索システムの提案
る．これをクラスタに変化がなくなるまで続ける．ward 法とは違い全ての画像間の距離を
計算する必要がなく，計算速度が非常に早い．しかし，初期クラスタ数や重心に依存し結果
が変化する事で有名である．そのため，初期クラスタ数をデータ分布により自動で決定する
x-means 等の手法が提案されている [45]．しかしながらこれらの手法は，ハードクラスタリ
ングと呼ばれ所属するか所属しないかの 0 か 1 の評価しかできず，どちらにも所属すると
考えられる画像に対してどちらか片方にしか所属 (認識) できず，人間が認識する所属度に
対して適切であるとは言えない．そこで，本研究では，あいまいな所属度を表現できるファ
ジィ C-means 法を用いてクラスタリングを行う．
図 3.6
3.6.1
ハードクラスタリング
ファジィ C-means
k-means や ward 法が 0 か１かのクリスプで表現するのに対し，ファジィ C-means は０
から１までの区間の値をとる事を許し，クラスタに所属する度合いを曖昧に表現する事がで
きる．画像によってはどちらに所属するかわからないあるいはどちらにも所属すると考えら
れる画像が存在する．それらの画像に対してどちらか一方だけに所属させるとユーザとシス
テム間に感じ方に大きなセマンティックギャップが生じる．そのため，本研究ではファジィ
C-means を用いて所属度を曖昧に表現する．ファジィ C-means のアルゴリズムを以下に
– 16 –
3.6 クラスタリングによるインデクシング
図 3.7
ファジィクラスタリング
図 3.8
どちらにも所属する画像
示す．
Step1 初期クラスタ数 c を決定する．
Step2 クラスタの重心の値と初期クラスタへの所属度をランダムで決定する．
Step3 所属度 μki から式 (3.2) を用いて重心 μk を求める．
Step4 求めた重心 μk から式 (3.3) を用いて所属度 μki を更新する．
Step5 変化が小さくなるか決められた回数行えば終了する．そうでなければ Step2 に
戻る．
– 17 –
第3章
PN
(μki )m xi
μk = Pi N
i
μki
(μki )m

−1
2
m−1
c X
||xi − μk ||

=
||x
−
μj ||
i
j
画像検索システムの提案
(3.2)
(3.3)
ファジィ C-means では，初期クラスタ数と係数 m を定める必要がある．本研究では，ク
ラスタの重心よりキー画像となる部分画像を選出している．そのため，初期クラスタ数を定
める事によってキー画像の数が決定される．ハードクラスタリングを用い，クラスタリング
を行いキー画像を生成し検索する場合，キー画像が増加していく毎に適合率も増加してい
く．しかし，ある一定の数に到達すると適合率は減少していく傾向にある．それは，キー画
像を増やすことでクエリに対するマッチする画像自体が減少するためである [46]．この研究
では，キー画像の数は 80 の時点でピークを向かえ，その後は適合率が下がる傾向にある．
ファジィクラスタリングにおいても，クラスタ数を増加させる事で，曖昧な位置にある画像
は様々なクラスタに所属する事によって他のクラスタへの所属度の違いがでにくくなる．そ
のため，初期クラスタ数を 80 としている．また，係数 m は円周率としている．また，ユー
ザに提示する各クラスタを代表するキー画像は各クラスタの中央値 (重心) に最も近い画像
をキー画像として提示する．
3.7
画像検索 類似度の調整
ファジィクラスタリングによって，部分画像には各キー画像との 0 から１までの類似度
(クラスタへの所属度) が付与されており，それをインデックスとして検索に用いる．画像を
検索する際，ユーザは提示された 80 枚のキー画像から 5 × 5 のクエリ作成領域に画像を貼
り付ける事によりクエリ画像を作成する．作成されたクエリ画像とデータベース内の画像を
比較し類似度を計算する．この類似度はキー画像 (クラスタ) への各部分画像の所属度とし
ている．
クエリ画像は 5 × 5 のキー画像の集合体であるため，データベース中の画像の各部分領
– 18 –
3.7 画像検索 類似度の調整
域とそれぞれのキー画像の類似度を加算し，合計類似度を最終的に算出する．その値をクエ
リ画像とデータベース中の画像との類似度としている．その際，キー画像が入力されたマス
目とデータベース中の画像の対象部分領域のみに対して類似度を計算すると，正確な位置で
はなかった場合，類似度が低く計算され検索に引っかからないという問題が発生する．そこ
で，閾値 ts を定め入力された位置の類似度が閾値 ts より低い場合，対象のマス目から周囲
のマス目に対して処理を行う．周囲のマス目に入力されたキー画像に最も類似する部分が含
まれている場合，その値を合計類似度に加算する．閾値 ts は 0.3 に設定している．
各領域のキー画像との類似度が計算されると，合計類似度を求めるために加算を行う．こ
の時，全てを加算するのではなく，周囲のマス目の類似度を計算しても高い類似度が見つか
らない画像に対して閾値 td を定め上位に表示しないよう類似度を下げる処理を行う．閾値
td は 0.2 に設定している．
図 3.9
周辺のマス目に対する修正
– 19 –
第3章
図 3.10
画像検索システムの提案
類似していない部分が含まれる場合の修正
– 20 –
第4章
性能評価
本章では，被験者実験による性能評価を行う．比較対象としてオープンソースの画像管理
ソフトである imgSeek を採り上げる．imgSeek は絵を描くことにより類似する画像を検索
する機能 (ドローサーチ) がある．ドローサーチと提案手法とどちらが要求画像が求められ
るか，ユーザが入力したクエリと類似する画像を検索できるかの 2 点で評価する．
4.1
実験環境
画像データベースは COREL 画像データベースの 2000 枚 (20 カテゴリ× 100 枚) により
実験を行う．検索の評価には，検索結果上位 11 枚から何枚，想定する画像があるかと類似
画像があるかを評価してもらい．それぞれの枚数を適合画像数として適合率をはかる．適合
率は，検索結果画像中にいくつ想定する画像あるいは類似する画像などの適合画像が含まれ
ていたかの割合である．実験は被験者 16 名に COREL データベースの 10 カテゴリそれぞ
れから選んだ類似画像 3 枚を数秒間見せ，画像に対するイメージをつかんでもらい，その
後，検索実験を行った．
適合率 =
4.2
検索結果に含まれる適合画像の数
検索結果の数
(4.1)
実験結果
要求画像 (想定する画像) に対する適合率と類似画像に対する適合率をそれぞれ性能評価
した．要求画像に対する適合率は，本手法は 25%，imgSeek は 21%とほぼ同等の結果となっ
– 21 –
第 4 章 性能評価
図 4.1
図 4.2
使用するキー画像
検索対象画像
– 22 –
4.2 実験結果
た．画像 4 と画像 6 は広範囲に類似する領域が広がっており，また，類似するクエリが多く
含まれており，比較的クエリ画像を作りやすく高い適合率を出している．適合度が低い画像
は 1，2，3，5，7 となっており，画像 1 と 7 は色の微妙な変化を認識するのが難しく適合率
が高くない，また imgSeek のカラーパレットによる表現手法が色の変化を表現でき，性能
が少し高い．細かな形状や物体を表現する必要がある 2 と 5 の画像では適合率が低い．画像
3 はユーザが認識する色とシステムが認識する色のセマンティックギャップを起こしている
ものと考えられ，適合画像が上位にでてこない結果となった．誤認識を起こしている色は特
に黄色成分に多く，黄色成分を考慮した表色系を用いる必要がある．
類似画像における適合率は，色のみの特徴を用いていることから誤判断が低く，本手法は
39%，imgSeek は 29%となった．しかし色の敏感な変化や特定の領域の類似度が非常に近
い場合，視覚的に類似しない部分が含まれている場合においても優先的にランクインしてし
まう問題が残っている．
図 4.3
要求画像に対する適合率
– 23 –
第 4 章 性能評価
図 4.4
類似画像に対する適合率
– 24 –
第5章
考察・今後の課題
5.1
画像のセグメンテーション
本研究では，システムの簡単化のため，画像を 5 × 5 にグリッド分割を行っている．しか
しながら，グリッド分割による分割では，対象物の中間で分割した場合，適切な特徴抽出が
行えない．そのため，今後画像ピラミッド方式により局所，大域の両面から分割する手法を
とる必要がある．複数の画像分割手法で画像の特徴を抽出し，利用者の作成したクエリと比
べることでシステムの誤認識も軽減すると考えられる．しかしながら，その場合，キー画像
抽出方法，配置方法，分割数が増えることによる計算量の増加が発生し，これに対処する必
要がある．
また，本システムは，領域分割を行い，特徴を抽出している．しかしながら，必ずしもそ
の順番で行わなければならないものではなく，Blobworld のように特徴を抽出し，その特徴
に合わせて画像を分割する方法も考えられる．この時，分割された部分領域同士は必ずしも
一致した分割領域ではない．以上のことから，画像領域の形状の決定方法や位置情報の取得
方法は今後の重要な課題であると考える．
5.2
特徴抽出
特徴抽出では，表色系と特徴抽出手法が重要になる．表色系の選定過程では，RGB ，
HSV ，L∗ a∗ b∗ ，Y CrCb，XY Z ，L∗ u∗ v ∗ 等の色空間を用いて特徴を抽出した．しかしな
がらどの表色系を用いても大きな変化は無かった．これらの色空間を用いて特徴を抽出した
– 25 –
第5章
考察・今後の課題
際，共通して言えることは，選択されるキー画像に青，赤，緑，白，黒の色が多く抽出され
るということである．これは人間がこれらの色を大雑把に認識しているのに対しシステム内
で微妙な変化を均等にクラスタリングする事で生じる現象と考える．特に茶色や肌色，橙等
の色は色空間内では広い領域をとっておらず，空間内の微妙な変化でも感覚が大きく異なる
色である．これらの色と同様に緑，青，赤等の原色についても茶色，橙等の色と同様の間隔
で色空間を数値表現した場合，青，赤，緑，白，黒等の色は広い空間を占有していることで，
表現するキー画像が多くなる傾向がある．その他にも，図 5.1 の様に，同じ画像を見せても
ユーザのイメージや色に対する印象が異なり，表現する色に変化が生じる場合もあった．今
後はこれらの問題を考えた色空間を生成する必要がある．
図 5.1
図 5.2
同じ画像に対するユーザの絵
ヒストグラムを用いた場合のキー画像
特徴抽出手法による問題点としては，文献 [43] でも述べられていた，ベクトル同士の干渉
が考えられる．また，人は実際に画像を見るときに，着目する部分に対する特徴しかイメー
– 26 –
5.2 特徴抽出
ジとして取得していない．そのため，人が画像全体の形状を特徴を取得しているか，色の類
似性をみているか，物体の意味を考えて選んでいるかなどによって画像の代表となるベクト
ルが異なる．一つの画像に対して多次元ベクトルで表現した際，ユーザが見ているベクトル
空間にのみ重みをのせ画像を検索しなければ選んだキー画像にマッチする画像を検索する事
はできない．そのため，本研究の特徴は 3 次元の色特徴のみを用いて行っているが，今後特
徴量を増やし高性能化をする際，これらの問題を考慮した多次元ベクトル化をする必要が
ある．
図 5.3
色とテクスチャを含めた時のキー画像
図 5.4
相加平均特徴
また，基となる特徴には，色の相加平均特徴のみを用いて行っている．これは，文献 [43]
で述べられている「様々な種類の特徴を，一つのベクトル空間で表すことにより，どの特徴
を見れば良いかがわからなくなる問題」を考慮し，単純化を行っている．図 5.2 ではヒスト
グラムを用いてキー画像を生成した結果である．本研究で用いた色の相加平均と比べ，ヒス
– 27 –
第5章
図 5.5
考察・今後の課題
ヒストグラム
トグラムを用いた場合，キー画像と結果共に大きな変化がないことがわかる．それに比べ相
加平均特徴と画像のテクスチャ特徴を用いて 11 次元の特徴で表現した場合，図 5.3 のよう
に，テクスチャ特徴が加わることでキー画像の色特徴が薄まり多くの色を表現することがで
きなくなっている．また，これらのキー画像を用いて検索した場合，色とテクスチャを考慮
しキー画像を選んだとしても色が反映されていない結果，あるいは，テクスチャが反映され
ない結果がでることを確認している [43]．
5.3
クラスタリング
ファジィクラスタリングの問題点として，クラスタ数の選定があげられる．ファジィクラ
スタリングは要素が全てのクラスタに所属する．そのため，クラスタ数を増やすと，同時に
一つクラスタに対する割合が減る．よってクラスタ数を増やせば増やすほど，極端にクラス
タの中心に近い要素以外はすべて差がなくなる．また，計算量も非常にかかる．x-means と
同様にデータベースの量に対する初期クラスタ数を決定する研究を行う必要がある．
5.4
ランキング手法
本研究では 3 つの異なるランキング手法を試した．１つ目は作成したクエリ画像に対する
類似度 (各キーへの所属度) の高い順番に表示するもの．２つ目はキー画像の配置のずれを
考慮するもの，3 つ目はクエリ画像と類似度が極端に低い画像の類似度を下げるものである．
これら３つの手法のうち，２つ目のキー画像のずれを考慮した場合，ずれた入力を行った
– 28 –
5.4 ランキング手法
場合，修正が行われ類似度が高く判定され上位にくる．しかしながら実際はずれていなくて
も類似度が低く計算され，周囲に類似度が高い場所があった場合，誤認識として上位にくる
事でノイズとなる画像が多く存在する．
３つ目の類似度が極端に少ない場合，類似度を下げる手法では，中間層に表示される画像
に対しては有効であるが，上位に表示される画像は視覚的に類似していなくとも，数値上あ
る程度類似しており目に見えて変化はなかった．今後，これらのランキング手法をさらに洗
練していく必要がある．
図 5.6
入力画像と検索結果 (類似度を下げる手法無し)
– 29 –
第5章
図 5.7
図 5.8
図 5.9
類似度を下げた結果
夕日の画像に対する検索結果
馬の画像に対する検索結果
– 30 –
考察・今後の課題
第6章
結論
本研究では，システムによってキー画像を生成し，それらをユーザが配置して作成した類
似画像をクエリとして画像検索を行う手法を提案した．その際，キー画像に対するユーザの
認識が曖昧であるため，曖昧さを考慮したインデクシングを可能とするファジィクラスタリ
ングを用いた．実験の結果，要求画像に対する適合率はドローサーチとほぼ同等，類似画像
に対する適合率は本手法の方が 10%高くなった．これによりユーザが作成したクエリに類
似する画像が検索できることを確認した．しかしながら現段階では，赤，緑，青，白，黒等
の成分の範囲が広くシステム内で認識され，類似するキー画像が多く代表となる．また，認
識としてユーザとシステム共に，黄色成分が弱く，黄色を含む画像に対して，ユーザとシス
テムとの間でセマンティックギャップが発生している．
今後は表色系やユーザが望んでいる画像を上位に表示するランキングの手法などを高性能
化することが考えられる．
– 31 –
謝辞
本研究を進めるにあたり，御指導をしていただきました高知工科大学 情報システム工学
教室 吉田 真一講師には大変お世話になりました．研究室所属から約 4 年間丁寧かつ熱心
な御指導をしていただき，多くの事を学びました． 研究室配属当時と比べると，まるで別人
の様になりました。深く感謝いたします．
本研究の副査を引き受けていただきました高知工科大学 情報システム工学教室 福本 昌
弘教授と高知工科大学 情報システム工学教室 松崎 公紀准教授に深く感謝いたします．福本
先生には，学部時代から研究に関する意見を貰い，また学部時代の副査も引き受けていただ
きました．松崎先生には，お忙しいにもかかわらず，論文の指導，助言をいただきました．
高知工科大学全ての先生に大変お世話になりました．
本研究を進めるにあたり，東京工業大学 大学院総合理工学研究科 知能システム科学専攻
岡本 一志氏には大変お世話になりました．この研究を始める事ができたのも岡本氏のおか
げです．また，研究を進めるにあたり，アドバイス等もいただき，スムーズに研究を進める
ことができました．深く感謝いたします．
同研究室の皆様にも被験者実験など大変お世話になりました．また，被験者実験に協力し
ていただいた方に深く感謝いたします。酒井研究室，福本研究室の皆様には，イベント等の
行事に参加させていただき楽しい日々を過ごすことができました。感謝いたします．
最後に，生活や学費の面で支えてくれた家族や地域の方々に心から感謝いたします．
– 33 –
参考文献
[1] 田内 学, 井手 一郎, 坂井 修一, 田中 英彦:「ユーザの行動履歴を利用した画像検索エン
ジン」情報処理学会第 65 回全国大会 於 東京工科大学,Vol.3, No.5E-7, pp.53–54, Mar,
(2003).
[2] E. Di Sciascio, G. Mingolla, and M. Mongiello. “Content-based image retrieval
over the web using query by sketch and relevance feedback.”In Huijsmans and
Smeulders,pages 123–130.
[3] 竹内謹治, 黄瀬浩一, 松本啓之亮: “語の共起の統計情報を用いた画像と説明文の対応付
け”, 電子情報通信学会全国大会, D-5-1 (2005).
[4] 相良直樹, 砂山渡, 谷内田正彦：”HTML テキストの重要文を用いた画像ラベリング手
法”，電子情報通信学会論文誌，Vol.J87-D1, No.2，pp.145 – 153 (2004).
[5] E.V. Munson and Y. Tsymbalenko: “To search forimages on the web, lood at
the text, then look at the images”,Proc. First International Workshop on Web
Document Analysismpp.39–42 (2001).
[6] 出原博，藤本典幸，竹野浩，萩原兼一：”WWW 画像検索における画像周辺の HTML
構文構造を考慮した画像説明文の抽出手法”
，電子情報通信学会技術報告，DE2005-136
(2005).
[7] R. K. Srihari: “Automatic indexing and content-based retrieval of captioned images” ,IEEE Computer,28(9):49–56,Sep (1995).
[8] 五 味 愛, 伊 藤 貴 之 “大解像度画像からの類似部分画像の高速抽出∼”ＶＩＥＷＧＬ
Ｅ”の開発∼” 情報処理学会全国大会講演論文集.
[9] 藤 田 雄 大, 野 口 達 也, 石 田 崇, 平 澤 茂 一 “色情報に対する人間の感性を考慮した
類似画像検索” 情報科学技術フォーラム一般講演論文集 6(3):65–66, 2007-08-22
[10] 光川 正弘, 鈴木. 優, 川越 恭二 “画素の情報量を考慮した類似画像検索” DEWS2008
– 35 –
参考文献
E10-1.
[11] 上田 岳史, “ユーザの画像間の違いの感じ方を利用する類似画像検索システム” 京都大
学工学部情報学科 平成 11 年度 特別研究報告書.
[12] 田内 学, “ユーザの検索履歴を利用した画像検索システム” 東京大学大学院情報理工学
系研究科 修士論文 (2003).
[13] 向井 慶和, 吉高淳夫 “局所的・大域的な特徴に基づく建造物の類似画像検索” IPSJ SIG
Technical Report 2004-CVIM-142.
[14] 前田茂則, 椋木雅之, 美濃導彦, 池田克夫 “釈明情報の提示を行う対話型画像検索システ
ム” 情報通信学会論文誌 D-II Vol. J82-DII No.10 pp.1617–1625 1999 年 10 月
[15] Remco C. Veltkamp, Mirela Tanase “Content-Based Image Retrieval Systems:A
Survey” Department of Computing Science, Utrecht University, Technical Report
UU-CS-2000-34, October (2000).
[16] 橋本 昌典 “色彩情報に基づく画像検索システム” 奈良先端科学技術大学院大学 情報
科学研究科 情報処理学専攻 修士論文, NAIST-IS-MT9551086, 1997 年２月 14 日
[17] 多田 昌裕, 加藤 俊一 ”階層的分類を用いた視覚感性のモデル化と類似画像検索への応
用” 情報処理学会シンポジウム論文集 巻:2002 号:19 頁:299–306.
[18] M. Serata, Y. Hatakeyama, and K. Hirota, “Designing Image Retrieval System with
the Concept of Visual Key”J. Advanced Computational Intelligence and Intelligent
Informatices，10(2):136–144 (2006).
[19] I. Bartolini, P. Ciaccia and M. Patella “Query processing issues in region-based image databases”In Knowledge and Information Systems. SpringerLink Online First
version- DOI.
[20] C. Carson, M. Thomas, S. Belongie, J. M. Hellerstein, J. Malik, “Blobworld: a
system for region-based image indexing and retrieval,” Third Int. Conf. on Visual Information Systems, D. P. Huijsmans, A. W.M. Smeulders (eds.), Springer,
Amsterdam, The Netherlands. (1999)
– 36 –
参考文献
[21] Y. Liu, D.S. Zhang, G. Lu, W.-Y. Ma, “Region-based image retrieval
with perceptual colors”,in: Proceedings of Pacific-Rim Multimedia Conference
(PCM).December 2004, pp. 931–938.
[22] 岩崎 雅二郎, ”類似画像検索を実現する距離空間インデックスの実装及び評価” 情報処
理学会論文誌 Vol.40 No.SIG3(TOD1) Feb. (1999).
[23] C. Faloutsos, M. Flickner, W. Niblack, D. Petkovic. W Equitz, and R. Barber:”Efficient and effective querying by image content”,Journal of Intelligent Information SYstems,Vol.3, pp.231–262, July (1994).
[24] 椋木 雅之, 美濃 導彦, 池田 克夫, “対象物スケッチによる風景画像検索とインデックス
の自動生成”, 電子情報通信学会論文誌, Vol.J79 D-II No.6 PP.1025–1033, 1996-6.
[25] 高橋 圭子, 松浦 正樹, 杉山 岳弘, 阿部 圭一 “人間による画像の色分類結果と領域分
割結果に基づいた色空間の比較評価” 情報通信学会論文誌 D-II Vol. J84-D-II No.7
pp.1378–1388 2001 年 7 月.
[26] 石川 博,” グラフカット”, 情報処理学会研究報告, 2007-CVIM-. 158–26, pp. 193-204,
(2007)
[27] 永橋知行, 藤吉弘亘, 金出武雄, “平滑化処理の繰り返しによる画像セグメンテーション
のためのグラフカット” , MIRU2007, pp.241-248,Jul, (2007).
[28] 福田恵太, 滝口哲也, 有木康雄, ”画像セグメンテーションにおけるウェーブレット係数
の局所テクスチャ特徴量を用いたＧｒａｐｈＣｕｔｓ”, 電子情報通信学会技術研究報
告 PRMU2007-138, pp.19–24, 2007-12.
[29] C. Carson, S. Belongie, H. Greenspan and J. Mlik, “Blobworld: Image Segmentation Using Expectation-Maximization and Its Application to Image Querying,”IEEE Trans. Pattern Analysis and Machine Intelligence，24(8):1026–1038
(2002)．
[30] 塩崎 裕介 “部分画像に基づく画像検索のためのデザインルールを考慮した領域抽出”
高知工科大学大学院 工学研究科 基盤工学専攻 情報システム工学コース 平成 20 年度修
– 37 –
参考文献
士学位論文.
[31] Lowe, D.G.: “Object recognition from local scale-invariant features”,Proc. IEEE
International Conference on Computer Vision,pp.1150–1157 (1997).
[32] Minka, T.P. and Picard, R.W.: “Vision Texture for Annotation,ACM/Springer
Journal of Multimedia Systems”,Vol.3, pp.3–14(1995).
[33] 柳井啓司: “一般物体認識の現状と今後”, 情報処理学会研究報告 CVIM, Vol.93,
pp.121-134 (2006)
[34] Qi Tian, Ying Wu, Thomas S. Huang, “Combine User Defined Region-of-Interest
and Spatial Layout for Image Retrieval”,Proceedings of IEEE 2000 International
Conference on Image Processing,pp. 746–749, Vol. 3, (2000).
[35] Town C, Sinclair D, “Language-based querying of image collections on the basis of
an extensible ontology”,IVC(22), No. 3, 1 March 2004, pp. 251–267.
[36] Jain, Anil K. (1989). “Fundamentals of Digital Image Processing”. New Jersey,
United States of America: Prentice Hall, 68, 71, 73. ISBN 0-13-336165-9.
[37] Greg Pass, Ramin Zabih, Justin Miller, “Comparing Images Using Color Cherence vectors”In MULTIMEDIA ’96: Proceedings of the fourth ACM international
conference on Multimediapp. 65–73 (1996).
[38] 井手，浜田，坂井，田中,” ニュース映像における人物の分離による背景の場面推定”電
子情報通信学会論文誌（D-II）
，Vol.J84-D-II, no.8, pp.1856–1863（Aug 2001）
[39] 渡辺 隆志, 長谷山 美紀: ”エッジを考慮した類似画像分類の高精度化に関する検討,” 電
子情報通信学会技術報告, Vol. 106, no. 534, pp. 7–10 (2007).
[40] M.Stricker, and M. Orengo, “Similarity of color images Storage and Retrieval for
Image and Video Databases III, ” Proc. SPIE，Vol.2420，pp. 381–392 (1955).
[41] J. Laaksonen, E. Oja, M. Koskela, and S. Brandt, “Analyzing Low-Level Visual
Features using Content-Based Image Retrieval，”Proc of International Conference
on Neural Information Processing，pp. 1333–1338 (2000).
– 38 –
参考文献
[42] S. Brandt, J. Laaksonen, and E. Oja, “Statistical Shape Features in Content-Based
Image Retrieval,”Proc of International Conference on Pattern Recognition,Vol. 2,
1062–1065 (2000).
[43] 立花 啓海, “ビジュアルキー型画像検索のための低次元色特徴の提案とキー提示法の改
良” 高知工科大学 情報システム工学科 平成 20 年度学士学位論文.
[44] 宮本 定明, “クラスター分析入門 ファジィクラスタリングの理論と応用”, 森下出版株
式会社, (1999).
[45] D. Pelleg, and A.Moore, “X-means:Extending K-means with Efficient Estimation of
the Number of Clusters”Seventeenth International Conference on Machine Learning, Proceedings,pp.727–734 (2000).
[46] M. Serata, Y. Hatakeyama, and K. Hirota, “Designing Image Retrieval System
with the Concept of Visual Keys”Journal of Advanced Computational Intelligence
and Intelligent Informatics,Vol. 10, no. 2, pp. 136–144, (2006).
[47] yahoo!ラボ http://labs.yahoo.co.jp/
[48] G. Csurka, C. R. Dance, L. Fan, J. Willamowski and C. Bray: “Visual categorization with bags of key-points”, ECCV In Workshop on Statistical Learning in
Computer Vision, pp. 1–22 (2004)
– 39 –
付録 A
個人ごとの実験結果
表 A.1
想定画像の数
類似画像の数
被験者 A
画像
1
2
3
4
5
6
7
8
9
10
提案手法
1
2
4
8
2
4
0
5
2
5
ImgSeek
3
0
2
1
1
2
4
9
2
5
提案手法
3
0
8
7
4
2
4
10
10
9
ImgSeek
4
1
1
4
5
5
5
10
6
7
表 A.2
想定画像の数
類似画像の数
被験者 B
画像
1
2
3
4
5
6
7
8
9
10
提案手法
0
0
0
6
0
10
1
8
2
3
ImgSeek
2
0
0
9
0
1
0
5
2
3
提案手法
3
0
6
7
3
3
2
3
7
3
ImgSeek
3
0
1
7
1
3
1
4
2
3
– 41 –
付録 A
表 A.3
想定画像の数
類似画像の数
被験者 C
画像
1
2
3
4
5
6
7
8
9
10
提案手法
3
0
1
11
0
1
1
1
3
11
ImgSeek
1
0
0
3
0
1
2
3
1
6
提案手法
0
1
4
6
5
2
0
4
7
4
ImgSeek
2
0
1
5
0
1
2
5
2
0
表 A.4
想定画像の数
類似画像の数
被験者 D
画像
1
2
3
4
5
6
7
8
9
10
提案手法 4
1
1
1
1
0
2
0
1
1
0
ImgSeek
3
1
3
6
0
3
1
3
2
4
提案手法
10
3
9
8
7
9
2
8
9
9
ImgSeek
3
0
7
5
10
8
1
9
4
10
表 A.5
想定画像の数
類似画像の数
被験者 E
画像
1
2
3
4
5
6
7
8
9
10
提案手法
3
1
4
8
0
4
3
10
5
2
ImgSeek
1
0
3
2
0
0
2
8
3
3
提案手法
6
2
4
9
1
6
3
10
5
7
ImgSeek
2
5
7
4
0
0
3
8
3
5
表 A.6
想定画像の数
類似画像の数
個人ごとの実験結果
被験者 F
画像
1
2
3
4
5
6
7
8
9
10
提案手法
0
0
0
0
0
0
0
3
2
0
ImgSeek
0
0
0
0
0
0
0
3
0
0
提案手法
4
1
0
4
0
1
0
3
2
1
ImgSeek
0
0
1
1
0
1
2
3
0
0
– 42 –
表 A.7
想定画像の数
類似画像の数
被験者 G
画像
1
2
3
4
5
6
7
8
9
10
提案手法
2
0
0
11
0
2
2
6
0
0
ImgSeek
1
1
2
4
0
1
3
9
1
4
提案手法
6
0
0
11
2
4
3
10
3
0
ImgSeek
1
4
5
5
0
3
3
10
1
6
表 A.8
想定画像の数
類似画像の数
被験者 H
画像
1
2
3
4
5
6
7
8
9
10
提案手法
0
2
1
8
0
3
1
10
2
7
ImgSeek
2
0
0
4
0
0
3
7
1
4
提案手法
3
2
1
5
0
3
1
7
2
6
ImgSeek
0
0
0
1
2
2
1
2
2
3
表 A.9
想定画像の数
類似画像の数
被験者 I
画像
1
2
3
4
5
6
7
8
9
10
提案手法
1
0
1
7
0
7
0
3
1
3
ImgSeek
6
0
1
9
0
7
2
4
4
2
提案手法
2
7
10
9
0
8
2
5
3
6
ImgSeek
9
0
4
9
0
9
4
4
6
3
表 A.10
想定画像の数
類似画像の数
被験者 J
画像
1
2
3
4
5
6
7
8
9
10
提案手法
4
0
0
8
0
1
1
1
2
6
ImgSeek
5
0
0
8
0
2
0
3
0
5
提案手法
7
3
1
8
8
3
3
1
8
7
ImgSeek
6
2
5
8
1
3
3
3
1
7
– 43 –
付録 A
表 A.11
想定画像の数
類似画像の数
被験者 K
画像
1
2
3
4
5
6
7
8
9
10
提案手法
0
0
0
7
0
3
0
3
4
4
ImgSeek
6
0
1
4
0
1
1
7
1
1
提案手法
4
2
3
8
4
6
1
3
5
5
ImgSeek
5
2
2
4
1
2
1
7
3
2
表 A.12
想定画像の数
類似画像の数
類似画像の数
1
2
3
4
5
6
7
8
9
10
提案手法
0
0
0
1
2
7
0
2
2
1
ImgSeek
0
0
1
2
1
1
1
1
1
1
提案手法
3
5
1
3
0
1
1
2
1
3
ImgSeek
5
3
3
3
1
1
1
2
2
2
類似画像の数
被験者 M
画像
1
2
3
4
5
6
7
8
9
10
提案手法
2
1
0
11
0
2
1
1
5
1
ImgSeek
3
0
2
3
0
3
3
6
6
6
提案手法
6
3
6
11
2
3
2
1
5
4
ImgSeek
5
2
2
4
3
3
4
6
6
7
表 A.14
想定画像の数
被験者 L
画像
表 A.13
想定画像の数
個人ごとの実験結果
被験者 N
画像
1
2
3
4
5
6
7
8
9
10
提案手法
1
1
0
11
0
4
2
2
5
0
ImgSeek
2
0
4
8
0
1
8
7
1
3
提案手法
4
0
3
7
2
5
1
1
5
0
ImgSeek
1
0
4
3
0
1
4
8
1
2
– 44 –
表 A.15
想定画像の数
類似画像の数
画像
1
2
3
4
5
6
7
8
9
10
提案手法
4
0
0
8
3
3
5
8
9
9
ImgSeek
3
0
1
7
0
0
4
8
3
2
提案手法
4
0
3
9
3
4
7
8
10
10
ImgSeek
3
0
6
7
0
1
4
8
3
4
表 A.16
想定画像の数
類似画像の数
被験者 O
被験者 P
画像
1
2
3
4
5
6
7
8
9
10
提案手法
1
2
2
8
3
7
3
11
4
9
ImgSeek
1
0
1
4
0
3
1
2
4
2
提案手法
2
2
5
8
2
7
2
11
4
10
ImgSeek
2
0
2
10
1
3
2
2
4
2
– 45 –