商標＞調査結果概要（PDF：484KB）

平成２０年度
特許庁検索システム最適化調査報告書
画像イメージ検索技術に関する
次世代検索システム開発に向けた調査
《《商標》調査結果概要
商標》調査結果概要
平成２１年５月
特許庁
※本資料は、平成２０年度実施の「画像イメージ検索技術に関する次世代検索システム開発に向けた調査」
（実施事業者：(株)NTTデータ）の調査結果の概要版である。
本資料の概要
画像イメージ検索技術の調査における検証結果を総括し、その概
要を記載する
【記載概要】
１．画像イメージ検索技術の概要
２．画像イメージ検索の商標審査への適用範囲とその調査
３．実施計画と実績
４．検証内容
４．１ 機械検証
４．２ ユーザ検証
４．３ 外部ユーザ検証
５．今後の課題
６．検証報告の結論
2
１．画像イメージ検索の概要
一般的な画像イメージ検索技術は次の通り
・ 画像全体の類似性に基づき、類似度順に検索結果を出力する
・ 類似画像は、画像の形状の違いの程度により検索可能性が変化する
・ 観念的な類似検索は困難である
以下に、検索可能な画像のイメージを示す
入力画像
（本願）
検索可能
類似度（高）
同一画像
酷似画像
大きさ・色のみの相違
検索不可能
類似度（中）
類似画像
類似度（低）
観念類似画像
3
１．１ 画像イメージ検索の処理概要
画像の特徴量を数値化し、数値群（ベクトル）の類似度を算出し、検索する
検索結果
検索処理：①入力画像の特徴を抽出する
②類似判定
エンジン
順位 類似スコア
入力画像
①特徴抽出
エンジン
検索処理：②特徴ベクトル
の類似度を算出し、類似度
順にソート出力する
検索対象画像（先願）
約３９万画像
１
１００
２
９０
３
７５
４
６５
画像
特徴ベクトル
大きさ、濃淡、形状１、形状２、
画像イメージ
特徴ベクトルＤＢ
画像１
画像２
画像３
画像４
画像５
（100, 50, 30,‥‥）
（150, 100, 100,‥‥）
（ 80, 120, 140,‥‥）
（100, 70, 120,‥‥）
（120, 200, 10,‥‥）
各画像特徴を数値化し、
データベースに格納
事前処理：①バッチ処理で
検索対象画像の特徴ＤＢを構築する
4
１．２ 画像の一部が類似する等の画像検索
審査業務において、画像の一部（要部）が類似している場合や、画像が
回転・反転している場合も、検索する必要がある
本検証では、本願画像の要部を切出したり、回転・反転の編集をすることで、
新たな別画像として検索処理することを前提とする（下図：例１）
検索対象画像の要部切出し等は、本検証では実施対象外としているため、
適切な検索は困難である（下図：例２）
●本願画像（例１）
●入力画像
検索
●検索対象画像（先願）
ABC Project
要部を切出した上で、切出し画像を入力として、検索する
●本願画像（例２）
検索
●検索対象画像（先願）
ABC Project
5
１．２ 画像の一部が類似する等の画像検索
抽出できる要部画像によって、正解画像との類似度が変化する（例１、２）。
そのため、適切な要部抽出ができない場合は、類似度が低下し、上位に検索
ヒットさせることが難しくなる
類似度（高）
同一画像
【例１】
入力画像A
（本願）
入力画像A’
（本願）
【例２】
入力画像B
（本願）
文字付き図形商標
で、文字部分の分
離が困難な場合
酷似画像
大きさ・色のみの相違
類似画像
観念類似画像
正解画像
ABC Project
文字付き図形商標
で、文字部分の分
離が容易な場合
類似度（低）
類似度（中）
要部を切出し
文字付きの全体画像と正解画像の
類似度は「中」で上位ヒットは
難しいことがある
正解画像
切出しが適切にできれば、類似度（高）となり、
上位ヒットの可能性が高くなる
文字付きの全体画像と正解画像の
類似度は「中」
ABC
文字付きの全体画像と正解画像の
Project
正解画像
類似度は「中」で上位ヒットは
難しいことがある
6
２．画像イメージ検索の商標審査への適用範囲とその調査
●適用業務
図形商標の検索業務
●調査の観点
画像イメージ検索技術によってどの程度まで図形商標検索を行うことができるかを
検証する
《観点１》 安全性の有無
漏れなく引例・しおり案件を検索できるかの観点である。検索業務では、観念的
類似の画像まで漏れなく検索できることが前提となる
《観点２》 適用範囲の広さ
画像類似度に基づく検索が、どのような画像に適用可能であるか検証する。
また、適用できる画像の範囲が広い場合には、引例の早期発見が可能となり、
全体の検索業務の効率が向上すると想定される
7
２．画像イメージ検索の商標審査への適用範囲とその調査
適用範囲の観点から、どの程度の画像まで現在の画像イメージ検索で検索
できるかの技術レベルを検証する
想定する技術レベルを下に示す
レベル
１
２
３
４
５
画像イメージ検索の技術レベル（※）
観念類似性のある画像まで検索できるレベル
適用できる画像の
範囲
すべて
観念類似画像は検索できないが、それ以外の画像は、
画像イメージ検索で検索できるレベル
部分一致も含めた同一・酷似の画像は、画像イメージ検
索で検索できるレベル
全体形状が同一・酷似の画像は、画像イメージ検索で
検索できるレベル
広い
画像イメージ検索が適用できる画像はない
なし
狭い
※「検索できる」とは、適切にランキングの上位にヒットできることを示す
8
２．画像イメージ検索の商標審査への適用範囲とその調査
全体画像または、要部切出し後の画像の入力画像と、検索対象画像との類似性と、
画像イメージ検索の技術レベルにおける適用可能範囲を下に示す
技術レベルが高いほど、画像イメージ検索による業務適用範囲が広くなり、業務全体の
効率向上に寄与できる可能性が高くなる
適用可能な画像
技術レベル
類似度（高）
同一画像
類似度（中）
酷似画像
大きさ・色のみの相違
レベル１
類似画像
類似度（低）
観念類似画像
画像イメージ検索で検索可能
レベル２
適切に要部画像の切出しが
対応できた場合
レベル３
適切に要部画像の切出しが
対応できた場合
レベル４
切出し不要の全体画像の場合
画像イメージ検索で検索が困難
レベル５
9
３．実施計画と実績
予定
・スケジュールの予定および実績を示す
実施項目
7月
8月
9月
10月
11月
12月
実績
1月
2月
3月
③
外部ユーザ検証
①実施計画
②要件定義
③環境構築
④検証
▲ ▲ ▲
ワークショップ
（３回実施）
ユーザ検証
①
機械検証
①
分析・チューニング
③
②
①
②
⑤ユーザ評価・分析
⑥調査結果報告
画像検索エンジンのチューニングがより重要であるとの判断から、
検証方針を変更し、ユーザ検証の回数を減らし、機械検証を中心
に実施した
10
４．検証内容
機械検証、ユーザ検証、および、外部ユーザ検証を実施した
●機械検証
正解セットによる定量評価
① ヒット順位等による検索結果の評価
② ①の評価に基づくチューニング
評価・分析とチューニングを繰り返すことにより、
検索精度を向上させる
評価・分析
●ユーザ検証
審査官による評価
チューニング
①審査観点からの検索結果の評価
②ユーザインタフェースの評価
●外部ユーザ検証 ①外部ユーザとしての検索結果の評価
②ユーザインタフェースの評価
外部ユーザによる評価
11
４．１ 機械検証
●正解セットによる検索精度評価
・本願を課題データ、過去の引例案件、しおり案件（※１）を正解とし、これらの
組み合わせを正解セットとた
（※１）サーチレポートにて、しおりを付与された案件
・正解セットの例を下に示す
この例は、１つの入力画像に対して、３つの正解画像がある案件である。
【入力画像】
【正解画像】
《引例正解》
《しおり正解》
12
４．１ 機械検証
・正解セットは、分析のため、画像類似性により案件を４つに分類した
分類と件数を下に示す（入力画像を全体画像とした場合について示す）
【商標の正解セットの内訳】
②画像類似性があり、画像検索技術の
適用が可能な案件（類似度中）
●引例正解
（２０９組）
●しおり正解
（１６８６組）
③画像の一部切出し等の
対応が必要（※）
９５組（４５％）
４３組（２０％）
①同一・酷似画像（類似度高）
２９８組（１７％）
４４組（３％）
１０４５組（６２％）
④画像検索技術での
検索は困難
要部類似の画像
１０８組（５２％）
観念類似の画像
６組（３％）
３４３組（２０％）
（※） 入力画像側の切出しが必要な案件と、正解画像側の切出しが必要な案件を含む。うち、５５％で入力・正解の
両方で切出しが必要である。また、２７％は入力のみ、１７％は正解のみで切出しが必要である。
・画像検索の適用効果が見込まれるものは、引例で４５％、しおりで１７％
・しおりでは、観念類似画像の割合が大きくなっている
・画像の一部切出し等（要部編集）が必要な組は過半数を占める
13
４．１ 機械検証
・「正解セット」を使って、本願を入力としたときに、正解案件が何位にヒットし
たか（※１）や、正解案件のすべてが漏れなく取得できたときの出力順位
（最終正解順位）を評価する
（※１）概ね上位２０位以内にヒットした場合、適切に検索できたと判断する
・次の項目を評価した
（１） 画像類似性別の検索精度
（２） 要部画像切出しの効果
（３） 画像の回転耐性の検証(※２)
（４） 分類指定による検索精度
（4.1.2で説明）
（4.1.3で説明）
（4.1.4で説明）
（4.1.5で説明）
（※２）何度までの回転であれば類似度や順位が低下しないかの検証
・検索結果を分析し、順位の向上等を目指して、検索方式をチューニング
した
14
４．１．１ チューニングの実施内容
初回の機械検証における検索結果について、上位に正解画像が取得できていない
案件を要因を抽出し、画像検索エンジンのチューニング項目を設定した。
主に、「同一・酷似画像」と、「類似画像」への対応項目に分けることができる
主な要因
エンジンのチューニング項目
【１】大きさの違い
・大きさ変動への対応
【２】色や濃淡値の違い
・色・濃淡の変化への対応
【３】画像ノイズ（色ムラ等）の影響
・画像ノイズへの対応
【４】部分的な画像の違い
・部分的に変形がある画像への対応
【５】縦横比の違い
類似画像
への対応
・大局的な類似画像への対応
同一・
酷似画像
への対応
左の入力画像に対する
各要因の正解画像例
・部分的に位置変動がある画像への対応
【６】部分的な画像の有無の違い
・縦横比が違う画像への対応
【７】画像の向きの違い
エンジンのチューニング外で対応
（画像編集機能の利用）
チューニング項目に対応する図形商標の例をＰ．37に示す
15
４．１．１ チューニングの実施内容
チューニングは２回に分けて実施し、効果を検証した
主な要因
エンジンのチューニング項目
【１】大きさの違い
・大きさ変動への対応
【２】色や濃淡値の違い
・色・濃淡の変化への対応
【３】画像ノイズ（色ムラ等）の影響
・画像ノイズへの対応
第１回
チューニング
採用
第２回
チューニング
採用
・大局的な類似画像への対応
【４】部分的な画像の違い
・部分的に変形がある画像への対応
【５】縦横比の違い
・部分的に位置変動がある画像への対応
【６】部分的な画像の有無の違い
・縦横比が違う画像への対応
評価実験で、チュー
ニング効果が十分で
はなく、採用を断念
した項目
【７】画像の向きの違い
エンジンのチューニング外で対応
（画像編集機能の利用）
16
４．１．２ 同一・酷似画像の検索精度
(ウィーン図形分類ありの場合)
チューニング前後の検索精度を示す
同一・酷似画像については、以下の検索精度までに向上できている
●引例正解（４３組）
（最終正解順位：１７６９２位）
●しおり正解（４４組）
改善
（最終正解順位：４１９５位）
（最終正解順位２１９位）
（最終正解順位１４８９６位）
改善
（最終正解順位６４７４位）
９５％
（最終正解順位１１０位）
９１％
検索精度：
２回のチューニングにより、段階的に改善ができ、上位２０位以内に引例、しおり
のそれぞれ９５％、９１％を検索することができた
17
４．１．２ 画像類似性のある案件の検索精度 (ウィーン図形分類ありの場合)
画像類似性のある案件については、以下の検索精度にとどまっている
●しおり正解（298組）
●引例正解（95組）
改善
（最終正解順位：154762
位）
（最終正解順位：154762位）
（最終正解順位：225567
位）
（最終正解順位：225567位）
改善
（最終正解順位：167729
位）
（最終正解順位：167729位）
位）
６２％ （最終正解順位：108641
（最終正解順位：108641位）
（最終正解順位：214912
位）
（最終正解順位：214912位）
３５％
（最終正解順位： 247138位）
247138位）
検索精度：
上位２０位以内に引例、しおりのそれぞれ６２％、３５％を検索することができた
18
４．１．２ 評価セット全体の検索精度
(ウィーン図形分類ありの場合)
評価セット全体（審査対象全体）については、以下の検索精度にとどまっている
●引例正解（209組）
改善
●しおり正解（1686組）
（最終正解順位：262358
位）
（最終正解順位：262358位）
（最終正解順位：259703
位）
（最終正解順位：259703位）
２９％
（最終正解順位：241719
位）
（最終正解順位：241719位）
（最終正解順位：288894
位）
（最終正解順位：288894位）
６％
（最終正解順位：290308
位）
（最終正解順位：290308位）
（最終正解順位： 292101位）
292101位）
検索精度：
上位２０位以内に引例、しおりのそれぞれ２９％、６％を検索することができた
検索精度が上がらない要因については、「５．今後の課題」で説明する
19
４．１．３ 要部切出しによる効果
要部切出しが必要な入力画像について、全体画像（切出し前）と要部画像（切出し後）を入力とし
たときに、正解出願順位を比較し、切出しの効果を確認した
下のグラフは、画像類似性のある要部案件（２８７画像）の、切出し前後の正解出現順位の内訳を
示している
対象：画像類似性のある要部案件（２８７画像） 引例・しおり正解とも含む
要部切出しの効果
最終正解順位
入力画像例
切出し前 6 4 10
切出し後
122
26
77
0%
10%
51
20%
30%
～20
～100
341592位
341592位
119
52
40%
～1000
50%
～10000
59
38
60%
70%
～100000
80%
10 197184位
197184位
90%
100%
100001～
順位はウィーン図形分類ありの場合を示している
切出しにより、適切にヒットできるように改善し、要部切出しの効果が確認できた
20
４．１．４ 画像の回転耐性の検証
どの程度まで、図形が回転しても、出現順位、類似スコアを維持できるか検証する
検証対象は下に示す４画像を選択した。外形の角度変化が影響しないと想定される円形
の画像（対象画像１，２）と、影響が想定される正角形（対象画像３）もしくは横長の画像（対
象画像４）を選定した
以下に示す角度で右回転させ、回転させた画像を入力として、オリジナル画像の順位お
よび類似スコアの変化を評価する
回転角度：
対象画像１
1° 2° 3° 5° 10° 15° 20° 25° 30° 45°
対象画像２
対象画像３
対象画像４
※画像は、実際に検証で使用したものとは異なる。
21
４．１．４ 画像の回転耐性の検証結果
入力画像を回転させたときの順位および類似スコアの変化を下に示す （赤字は順位２０位以内）
画像１
画像２
画像３
画像４
回転
角度
順位
スコア
順位
スコア
順位
スコア
順位
スコア
回転なし
1
100.0
1
100.0
1
100.0
1
100.0
１°
1
99.4
1
98.7
1
98.3
2
99.0
２°
1
99.0
1
97.8
1
95.4
2
97.9
３°
2
98.3
1
96.1
1
92.3
2
96.5
５°
1
97.8
1
90.6
1
81.8
2
88.0
１０°
2
95.2
1
70.1
1
55.3
5
58.7
１５°
4
91.0
1
54.5
21
28.7
31
32.4
２０°
2
86.9
28
45.7
8922
11.8
123
21.1
２５°
2
82.5
621
38.7 136901
0.7
970
11.5
３０°
4
78.1
1938
31.0 119281
1.1
50049
2.1
４５°
67
66.0
10681
21.7 148671
0.7 174339
0.2
円形画像（画像１，２）は１５～３０°
までの耐性があった。
また、四角形の画像（画像３，４）は、
１０°程度まで耐性があった。
円形、四角形で許容できる耐性の限
界は異なるが、１０度程度であれば、
回転した画像を適切に検索できるこ
とが確認でた
順位はウィーン図形分類ありの場合を示している
※画像は、実際に検証で使用したものとは異なる。
22
４．１．５ 分類指定による検索精度
同一・酷似画像の案件、画像類似性のある案件、評価セット全体について、
引例正解、しおり正解の別に、ウイーン図形分類の検索範囲設定した場合と、
しない場合の検索精度を比較する。下のグラフは正解出現順位の内訳を示し
ている
上位ヒット（１００位程度）の案件は、分類指定による順位の変動は小さく、分
類指定しなくても適切に検索が可能である。
●同一・酷似画像の案件
●引例正解（43組）
正解出現順位の内訳（引例正解）
正解出現順位の内訳（しおり正解）
●しおり正解（44組）
分類なし
41
1 10
分類なし
40
3
10
分類あり
41
1 10
分類あり
40
3
10
0%
10%
20%
30%
～20
～100
40%
～1000
50%
～10000
60%
70%
～100000
80%
100001～
90%
100%
0%
20%
～20
40%
～100
～1000
60%
～10000
～100000
80%
100%
100001～
分類あり・なしで、正解出現順位の内訳に変化はない
23
４．１．５ 分類指定による検索精度
●画像類似性のある案件
●引例正解（95組）
正解出現順位の内訳（引例正解）
分類なし
58
分類あり
59
0%
10%
20%
30%
～20
～100
4
13
5
40%
50%
～1000
60%
～10000
8
13
70%
～100000
6
7
80%
6
10
90%
1
●しおり正解（298組）
正解出現順位の内訳（しおり正解）
分類なし
102
分類あり
103
100%
0%
10%
100001～
53
20
55
20%
30%
～20
～100
40%
～1000
24
50%
～10000
74
42
74
40
60%
7
70%
～100000
80%
90%
2
100%
100001～
正解出現順位の内訳に大きな変化はない
●評価セット全体
●引例正解（209組）
正解出現順位の内訳（引例正解）
分類なし
58
分類あり
60
0%
10%
7
8
20%
～20
30%
～100
19
15
18
40%
～1000
33
77
64
20
50%
～10000
60%
39
70%
～100000
80%
100001～
90%
100%
正解出現順位の内訳（しおり正解）
分類なし
105 59 44
分類あり
106 62 64
0%
10%
●しおり正解（1686組）
501
137
840
728
148
20%
30%
～20
～100
40%
～1000
578
50%
～10000
60%
70%
～100000
80%
90%
100%
100001～
順位下位では、内訳に大きな変化があるが、順位上位の変化は小さくなっている
24
４．１．６ 機械検証のまとめ
・ 同一・酷似画像については、引例２１９位、しおり１１０位までに全件をヒットすることが
できている。また、上位２０位以内に、引例で９５％、しおりで９１％を検索することがで
きた（P.17）。
・ 類似画像については、１０万件以上みないと全件をヒットすることができない。また、上
位２０位以内で、引例で６２％、しおりで３５％の検索にとどまった（P.18） 。
・ 評価セット全体については、２４万件以上みないと全件をヒットすることができない。ま
た、上位２０位以内で、引例で２９％、しおりで６％の検索にとどまった（P.19） 。
※評価セット全体には、要部検索が必要な案件や観念類似画像を含む
以上により、現状の画像イメージ検索技術は、「同一・酷似画像」を適切にヒットさせ
ることはできるが、それ以外の「類似画像」については適切にヒットさせることができな
いとの結論が得られた。
よって、現状では、レベル３「部分一致も含めた同一・酷似の画像は、画像イメージ
検索で検索できるレベル」または、レベル４「全体形状が同一・酷似の画像は、画像イ
メージ検索で対応可能」の技術レベルに該当すると考える
25
４．１．６ 機械検証のまとめ（つづき）
なお、類似画像の検索精度が上がらないという課題、要部画像や観念類似画像に
よって評価セット全体の検索精度が上がらない課題と、これらの課題に対する将来的
な対策方法については、Ｐ．３１以降で記述し、これらの課題が解決した場合の想定技
術レベルをＰ．３７にてまとめる。
さらに、以下についての結論を得た。
・ 入力画像の要部切出しによる検索精度の向上を確認することができたが、要部切出し後に
おいても、類似画像については、２０万件までみないと全件をヒットすることができず、上位１
０００位以内で６３％の検索にとどまった（P.20） 。
・ 回転の耐性検証については、１０度程度の回転であれば適切に検索可能であった(P.21,22)。
・ 分類指定については、「同一・酷似画像」や「類似画像」では、分類指定をしない場合でも、分
類指定した場合の検索精度を保つことができている。しかし、「評価セット全体」では、分類指
定すれば、確認すべき画像数を減らすことが可能という結果を得た（P.23,24） 。
したがって、要部の部分一致も含めた同一・酷似の画像は、精度が十分な検索精度
が得られていないことから、現状では、レベル４「全体形状が同一・酷似の画像は、画
像イメージ検索で対応可能」の技術レベルに該当すると考える
26
４．２ ユーザ検証
検証システムを実際に利用してもらうことにより、 ユーザ検証を実施した
（１）機能の操作性・有効性、および、（２）検索結果の業務適用性について、庁内ユーザ
（11名）による評価と、これに基づく新検索システムへの改善要望を以下に示す
（１）機能の操作性・有効性
„ 入力画像編集
【改善要望①】画像編集インタフェースの充実
【改善要望②】反転や回転、部分一致に対応した画像検索エンジンの採用
・多角切出しだけでは切出し画像にノイズが入り検索精度が落ちる（改善要望①）
・自動領域分割の分割単位が細かすぎると業務に適さない。例えば、文字部分は一文字ずつ切出すのではなく、文字列
全体として切り出す方が有効である。 （改善要望①）
・自動領域分割では離れた部分の分割が可能であるが、重なりを有しているものや一部が接しているものを別々に切出
すことが今後の課題である。 （改善要望①）
・どのような類似画像があるか分からない中で、どの画像編集を行えばよいかを容易に想定できないため、画像編集
作業に負担感がある。（改善要望②）
・審査官の判断が必要となる要部切り出し以外の反転等の処理については自動化することで、作業負担を軽減すべき
である。（改善要望②）
27
４．２ ユーザ検証（つづき）
„ 検索結果表示
【改善要望③】検索結果画像同士の類似性を判断したソート表示
・互いに類似する検索結果画像が飛び飛びに表示される（改善要望③）
・上位に人間から見ると非類似と思われる画像が混ざって表示される（改善要望③）
„ グループ化情報
【改善要望④】防護標章による検索結果のグループ化機能、グループ化のオン・オフ指定
・グループ化により類似する案件が集まることは有効だが、スコアによるグループ化により外観上非類似の案件が
グループ化されることがあったため、グループ化の条件を見直す必要がある。（改善要望④）
（２）検索結果の業務適用性
【改善要望⑤】検索漏れのないレベルの画像イメージ検索
・類似すると思われる画像が比較的上位に表示されることもあれば、上位にヒットされないこともあった。（改善要望⑤）
・コンプリートサーチの観点では審査に使うことが難しい。（改善要望⑤）
28
４．３ 外部ユーザ検証
将来的なシステムの外部提供を想定した、外部ユーザ検証を実施した
IPDLによる調査経験のある特許事務所所員（５名）の参加により行った
（１）既存ツールによる先行調査の課題と画像イメージ検索の有効性、および、（２）画像イメージ検索
の改善が必要な項目に関する要望を以下に示す
（１）IPDL等の既存ツールによる先行調査の課題と画像イメージ検索の有効性
【現状課題①】図形商標から想起されるウィーン図形分類の検索条件への選択漏れ
【現状課題②】ウィーン図形分類が理解しにくい
【現状課題③】出願番号順の表示であり対象案件を全て確認する必要がある
・図形商標では検索漏れがないようにIPDLと商用検索サービスを併用し、ダブルチェックしている（現状課題①）
・IPDLで検索する際に、概念的な図形商標には比較的選択しやすいが、幾何学的・抽象的な図形商標の選択に時間
がかかる（現状課題①）
・ウィーン図形分類の選択漏れがないように広い範囲での検索を行っており、確認負担が大きい。（現状課題①、③）
・ウィーン図形分類自体が初心者には難しい（現状課題②）
・ウィーン図形分類の選択負担や、検索結果の出願番号順の確認作業は負担は大きいので、画像検索は有効である。
（現状課題①、②、③）
【有効性①】ウィーン図形分類を想起しにくい幾何学的・抽象的な図形商標の検索に有効
【有効性②】検索結果画像に付与されたウィーン図形分類を検索条件に設定することで、
ウィーン図形分類の選択負担が軽減できる
【有効性③】画像の類似度順の結果表示により、確認負担が軽減できる
29
４．３ 外部ユーザ検証（つづき）
（２）画像イメージ検索技術の改善が必要な項目
„ 入力画像編集
【改善要望①】反転や回転、部分一致に対応した画像検索エンジンの採用
・どのような類似画像があるか分からない中で、どの画像編集を行えばよいかわからない。（改善要望①）
・回転・反転の自動化を期待する。 （改善要望①）
・蓄積された画像の部分を対象とした検索が欲しい。（改善要望①）
„ 検索結果表示
【改善要望②】検索結果とその案件の経過情報のリンク付け機能
【改善要望③】外部ユーザが付与したしおり情報の保存機能
・IPDLの称呼検索のように、検索結果とその案件の経過情報とのリンク付けが欲しい。（改善要望②）
・複数の検索結果を集めて最終的に判断を行うため、外部ユーザにもしおり機能があるとよい。（改善要望③）
„ 検索精度
【改善要望④】検索漏れのないレベルの画像イメージ検索
・案件により類似画像が多数ヒットする場合としない場合があり、業務適用には更なる精度向上が必要。（改善要望④）
30
５． 今後の課題
画像イメージ検索技術の業務適用に向けて、機械検証、ユーザ検証、
外部ユーザ検証であがった課題について記述する
・検索精度が上がらないことに関わる課題 （→ ５．１で説明）
（１）画像の一部（要部）を対象とした検索
（２）類似画像に対する精度向上
（３）観念類似画像への対応
・検索結果表示に関わる課題 （→ ５．２で説明）
（１）検索結果の画像表示順
31
５．１ 検索精度が上がらないことに関わる課題（１）
●画像の一部（要部）を対象とした検索
機械検証結果（P.26） 、ユーザ検証要望①②（P.27）、
外部ユーザ検証要望①（P.30）
入力画像と、検索対象画像のそれぞれにおいて、画像の一部（要部）の検索は業務要
件としても必須の機能と考えられる。
要部画像の抽出および検索対象側の要部画像の蓄積に課題が残る。
課題の解決に向けて、要部の適切かつ効率的な抽出への対策が必要である。
現行の機能では、背景画像部分を除いた要部の切出しが容易にできない場合があり、
要部抽出のための画像編集機能の拡充が必要である。その際、既存の画像処理ツール
との組み合わせ適用が考えられる。
また、自動領域分割技術の切出し範囲の精度向上により、要部抽出の支援を可能とし、
効率的な抽出の効果が期待できる。
ただし、要部切出しの負担低減に向けては、画像検索エンジン側での対応の要望も
あり、課題として残る。
32
５．１ 検索精度が上がらないことに関わる課題（２）
●類似画像に対する精度向上
機械検証結果（P.25） 、ユーザ検証要望⑤（P.28）、
外部ユーザ検証要望④（P.30）
「大局的な類似画像」「部分的な変形」「部分的な位置変動」といった形状の相違がある画
像は、人の目では容易に類似と判断できるが、画像検索技術で類似とするのは難しい場
合がある
これらの画像に対する精度向上に向けて、有効な特徴抽出を検討する必要がある
形状相違案件の検索順位例
形状の相違
チューニング前の
正解出現順位
チューニング後の
正解出現順位
検索対象画像数
大局的な類似画像
６７６０位
１７１７位
１４９８８４件
部分的な変形
４７１７位
７４９位
１６６９０１件
部分的な位置変動
３１５３２位
２２４５８位
１３６６１６件
（チューニング項目）
入力画像
正解画像
※画像は、実際に検証で使用したものとは異なる。
33
５．１ 検索精度が上がらないことに関わる課題（３）
●観念類似画像への対応
機械検証結果（P.25） 、ユーザ検証要望⑤（P.28）
審査業務においては、画像的に似ているものだけでなく、観念的に似ているものも引用と
する可能性がある。このような画像は、画像検索技術ではヒットさせることが困難なため、検
索精度があがっていない
観念的な類似も考慮するためには、現行の分類であるウィーン図形分類を併用する
必要がある（※）
また、将来的には、ウィーン図形分類に変えて、画像に自由なキーワードや説明書きを付
与した上で、概念検索技術を応用することも考えられる
（※）本検証でのウィーン図形分類による範囲指定は、分類のＯＲ条件である。そのため、検索
対象件数の絞り込みが十分できていない（Ｐ．40に検索対象件数の分布を示す）。
実際の業務では、分類の検索式生成により、より限定された絞りこみが可能と考えられる
34
５．２ 検索結果表示に関する課題
ユーザ検証要望③（P.28）
●検索結果の画像表示順
ご評価いただいた検証システムでは、検索結果表示で、類似する画像が必ずし
も連続する順位で表示されない場合がある
【現状の方式】
・現状は、入力画像と、蓄積側の各画像との類似度により、ランキングしている
・複数の特徴に基づいて、総合的な類似度（０～１００点）を付与している
【要因と現象】
・同程度の類似度であっても、別の特徴（※）による類似性の場合もあり、異なる形状の画像が混在して表示さ
れる（※）異なる方向から抽出した形状特徴などがある
・また、表示画像間の類似度が小さい画像であっても、画像の微小な相違により、異なる類似度が付与される
場合があり、離れて表示される
【対策】
・蓄積側の各画像間の類似度を算出し、類似度が近いものをグループ化して表示することで、ある程度、出力
側の類似画像をまとめて表示できる
・ただし、類似度の計算量が、蓄積画像の数に応じて飛躍的に増加するため、あらかじめ計算結果を保持して
おくなどの、実装上の工夫が必要である
35
６． 検証報告の結論
現状ではレベル４の技術レベルに相当する（Ｐ．２６）。
P.32で示した「画像の一部を対象とした検索手法」の課題が解決されることにより、レベ
ル３まで到達が可能と考えられる。
さらに、P.33で示した「類似画像に対するさらなる検索精度の向上」の課題や、P.34で示
した「観念類似画像への対応」の課題が技術進歩により解決されることにより、レベル２
やレベル１の実現も期待できると考えられる。
レベル
１
２
３
４
５
画像イメージ検索の技術レベル
観念類似性のある画像まで検索できるレベル
観念類似画像は検索できないが、それ以外の画像は、画
像イメージ検索で対応可能なレベル
部分一致も含めた同一・酷似の画像は、画像イメージ検索
で対応可能なレベル
全体形状が同一・酷似の画像は、画像イメージ検索で対
応可能なレベル
画像イメージ検索では、安全性と効率性の適用効果は期
待できないレベル
適用できる画像
の範囲
すべて
広い
将来的な
可能性
狭い
現状レベル
なし
36
【参考】チューニング項目の内容
想定する対象画像
入力画像
大局的な類似画像への対応
全体の大まかな形状が似ている図形の類似度を高くする処理。
複数の解像度の画像から特徴を抽出することで、詳細な形状のみではなく
大まかな形状も抽出して、より大局的な形状の一致度を向上させる。
部分的に変形がある画像への対応
図形の部分的な形状の傾き（方向）に多少のずれがあっても、類似度が大
きく下がらないようにする処理。
方向情報をぼかして比較することで、部分的に形状に傾きの違いがあって
も一致させる。
部分的に位置変動がある画像への対応
図形を構成する個別部分の位置関係に多少のずれがあっても、類似度が
大きく下がらないようにする処理。
特徴をより広い範囲から集積する事で、ある程度、線分等の位置がずれて
も影響を緩和する。
縦横比が違う画像への対応
図形が縦や横に伸びたりしていても、元の図形が同じならば類似度を高く
する処理。
各画像を一定の比率に補正して、照合を実施することで縦横比の影響を
緩和する。
37
【参考】 商標（引例正解）における検索精度（再現率）
再現率：上位Ｎ位まで出力したときに、全正解のうち、出力できた正解の割合を示す
100%
同一・酷似画像案件
90%
上位２０位で
９６％取得
80%
画像類似性のある案件
全案件
70%
再現率
60%
上位２０位で
６１％取得
50%
40%
30%
上位２０位で
２９％取得
20%
10%
0%
1
10
２０位
100
1000
10000
正解出現順位のしきい値
100000
1000000
（対数軸）
38
【参考】 商標（しおり正解）における検索精度（再現率）
再現率：上位Ｎ位まで出力したときに、全正解のうち、出力できた正解の割合を示す
100%
同一・酷似画像案件
90%
画像類似性のある案件
上位２０位で
９１％取得
80%
全案件
70%
再現率
60%
50%
40%
上位２０位で
３５％取得
30%
上位２０位で
６％取得
20%
10%
0%
1
10
２０位
100
1000
10000
正解出現順位のしきい値
100000
1000000
（対数軸）
39
【参考】 ウィーン図形分類指定の場合の検索対象案件の分布
ウィーン図形分類により、検索範囲を限定する場合の検索対象案件数の分布を示す
下のグラフは、１００００件刻みとしたときの分布を示している
最低、平均、最高の各件数は、３１７件、１７８５１８件、２９５８６５件となった
平均は、
178518件
14
最大検索対象案件数
は295865件。次に
291711件、291599件
の順に大きい
12
最小検索対象案件数
は317件。次に5534件、
9053件の順に小さい
8
6
4
2
～300000
～290000
～280000
～270000
～260000
～250000
～240000
～230000
～220000
～210000
～200000
～190000
～180000
～170000
～160000
～150000
～140000
～130000
～120000
～110000
～100000
～90000
～80000
～70000
～60000
～50000
～40000
～30000
～20000
0
～10000
入力案件数
10
検索対象案件数
40
【参考】 ウィーン図形分類指定なしの場合の検索対象案件の分布
ウィーン図形分類を指定しない場合の検索対象案件数の分布を示す
下のグラフは、１００００件刻みとしたときの分布を示している
最低、平均、最高の各件数は、２２９９６４件、３４４１８９件、３７７２１１件となった
平均は、
344189件
40
35
25
20
15
10
5
～380000
～370000
～360000
～350000
～340000
～330000
～320000
～310000
～300000
～290000
～280000
～270000
～260000
～250000
～240000
～230000
～220000
0
～210000
入力案件数
30
検索対象案件数
41