電子美術館のための 絵画データベースの意味的構造化と検索

電子美術館のための
絵画データベースの内容による構造化と検索
高知大学理学部数理情報科学科
本田研究室
Ｂ００３Ｇ０４０Ｈ 關岡直城
はじめに
„
背景
近年のインターネットやディジタルアーカイブ技術の発達
電子美術館という概念の誕生
„
電子美術館とは・・・
分散環境における美術品の鑑賞
… ディジタルアーカイブによる収蔵品の保護
… 膨大な量の美術品の展示
…
ユーザのニーズに合った検索機能の必要性
内容による検索（Ｃｏｎｔｅｎｔ Ｂａｓｅｄ Ｉｍａｇｅ Ｒｅｔｒｉｅｖａｌ ： ＣＢＩＲ）
類似検索（色調、タッチ）・スケッチ検索 etc...
„
研究の目的
電子美術館を想定した研究分野には多くの側面があるが、本研究では
内容検索の基礎技術の検討を行う。
① 色彩・テクスチャによる絵画データベースの構造化
② 輪郭によるスケッチからの類似画像検索
各特徴抽出手法の検討を行う
絵画の特徴ベクトルの抽出手法
„
使用した主な特徴抽出法
…
色彩
高次局所自己相関特徴
…
テクスチャ
ブロック画像に対するパワースペクトルのヒストグラム
…
輪郭
ウェーブレット変換によるサブバンド分解
絵画データベースの構造化・検索システムの概略
スケッチ描画
特徴による
クラスタリング
高次局所自己相関特徴
色彩特徴ベクトル
ブロック画像に対する
パワースペクトルのヒストグラム
テクスチャ特徴ベクトル
ウェーブレット変換
輪郭特徴ベクトル
輪郭特徴ベクトル
照合
検索結果
構造化
（自己組織化マップ）
構造化
（自己組織化マップ）
分類結果
分類結果
スケッチ検索
特徴ベクトルの構造化手法
„
自己組織化マップ（SOM）（Kohonen.1995）
特徴ベクトルの構造化手法として、
自己組織化マップによる絵画の分類を行う。
学習ベクトル： x12
１．マップの初期化
mi = random ∈ R p
２．学習ベクトルの提示
x∈Rp
３．勝者ユニットの探索
x − mc = min x − mi
４．勝者ユニットの学習
mc (t + 1) = mc (t ) + α (t )[ x1 (t ) − mc (t )]
５．近傍領域の形成
６．近傍ユニットの学習
mi (t + 1) = mi (t ) + α (t )[ x1 (t ) − mi (t )]
７．２～６を繰り返す
競合層：mi
クラスタリング実験（色彩・テクスチャ）
„
実験内容
絵画３９５枚から抽出された特徴ベクトルをもとに、自己組織化マップを用いて、
ロマン派
現代絵画
ゴシック
ルネッサンス
バロック・ロココ
印象派
新古典主義
絵画の分類を行う。
（１６世紀前半以前）
（１６世紀）
（１６世紀後半～１８世紀後半）
（２０世紀以降）
„
使用したデータ
（１８世紀後半
（１９世紀）
～１９世紀後半）
美術館の公式ホームページで公開されている西洋絵画
…
…
…
…
…
…
„
取得先：ルーブル美術館、大原美術館、村内美術館、etc…
枚数：３９５枚
年代：１２００～２０００年頃
画家の総人数：２２１人
画像フォーマット：ＰＰＭ形式（色彩）、ＰＧＭ形式（テクスチャ）
画像サイズ：９００００ピクセル
学習に用いたパラメーター
競合層（マップ）
５×５（２５種類に分類）
„
分類結果（色彩：特徴マップ）
Clst0に含まれる絵画（寒冷色：青系）
Clst20に含まれる絵画（明るい：白系）
Clst24に含まれる絵画（温暖色：赤系）
特徴マップ（５×５）
Clst4に含まれる絵画（暗い：黒系）
„
分類結果（テクスチャ：特徴マップ）
Clst24に含まれる絵画（荒いタッチ）
Clst0に含まれる絵画（はっきりとしたタッチ）
Clst9に含まれる絵画（線画風のタッチ）
特徴マップ（５×５）
スケッチ検索実験（輪郭）
„
実験内容
スケッチ画を質問画像とし、絵画３９５枚の中から、類似する絵画上位７枚を表示する。
„
検索パラメーター
…
…
…
…
…
画像フォーマット：ＰＧＭ形式
画像サイズ：９００００ピクセル
スケッチ画①：検索しようとする絵画をあらかじめ、知っている状態で描いた場合
スケッチ画②：漠然としたイメージで描いた場合
類似尺度：ユークリッド距離
„
特徴ベクトル
画像データに対して、Haarウェーブレットを適応させ、得られた分解画像の
高周波成分からパワースペクトル画像を生成。
Original image
L
LL
HL
LH
HH
H
L : 低周波成分 H : 高周波成分
LL : 低周波成分 LH : 横方向の高周波成分 HL : 縦方向の高周波成分 HH : 斜め方向の高周波成分
„
問題点
スケッチ画は白黒の２値画像であるため、低周波数成分が強く表れる。
マスキング
検索対象
スケッチ画
„
検索結果（絵画から描いたスケッチ画からの検索）
成功例
失敗例
„
検索結果（イメージで描いたスケッチ画からの検索）
成功例
失敗例
おわりに
„
まとめ
…
…
…
„
絵画データベースの構造化とスケッチからの類似画像検索は、電子美術館
に対して有効であることがわかった。
色彩・テクスチャの構造化手法として、高次局所自己相関特徴・ブロック画像
に対するパワースペクトルのヒストグラムが有効であることがわかった。
スケッチ検索における特徴抽出手法として、ウェーブレットによるサブバンド
分解はある程度有効であることがわかった。ただし、絵画のオブジェクトの構
成によっては全く認識できないものもあるため今後検討が必要である。
今後の課題
絵画からのオブジェクト抽出
… 教師あり学習によるメタデータ（印象語など）との対応付け
… 柔軟なユーザインターフェイスの構築
…
色彩特徴抽出法
„
高次局所自己相関特徴
高次局所自己相関特徴とは画像のある局所領域内における、画素間の輝度値
の相関を特徴化するものである。カラー画像に対する０次の自己相関特徴は、
⎛σ r ⎞
⎜ ⎟
1
σ
=
⎜ g⎟
⎜ ⎟ I×J
⎝σ b ⎠
∑ f (i, j )
{ f (i, j ) = (r (i, j ), g (i, j ), b(i, j )) T | i ∈ I , j ∈ J }
i∈I , j∈J
で定義される。さらに１次の自己相関特徴は以下で定義される。
⎛ σ r σ rg σ rb ⎞
⎜
⎟
1
=
⎜ σ rg σ g σ gb ⎟
⎜
⎟ I×J
⎝ σ rb σ gb σ b ⎠
∑
f ( i , j ) f (i + a i , j + a j ) T
i∈I , j∈J
次数を高々１までとし、局所領域を３×３とした場合の局所パターンは以下の５
つとなり、計３３次元の特徴ベクトルを抽出。
テクスチャ特徴抽出法
„
パワースペクトル
空間周波数成分の強度を表し、以下の式で定義される。
F (u , v) = Re( F (u , v)) 2 + Im(F (u , v)) 2
2
F (u, v) : f ( x, y )の離散フーリエ変換 Re : 実数部　Im : 虚数部
テクスチャパターンのヒストグラム作成
Clst1 Clst2 Clst3 Clst4
Clst5 Clst6 Clst7 Clst8
Clst9 Clst10 Clst11 Clst12
Clst13 Clst14 Clst15 Clst16
特徴マップ
image1
image2
絵画データ
パワースペクトル画像（ブロック画像）
Clst1
Clst4
Clst5
Clst10
Clst11
Clst16
Im a g e1のヒス ト グラ ム
3
ッ
ブ
ロ
ク
数
2
1
0
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
c l st N o .
分類結果
2000
1900
1800
1700
1600
1500
1400
1300
1200
0
5
10
15
20
25
30
クラスタリング結果
色彩（４×４）
色彩（６×６）
テクスチャ（４×４）
テクスチャ（６×６）
2000
現代絵画
印象派
1800
ロマン派
新古典主義
年
1600
代
バロック
ルネッサンス
1400
ゴシック
1200
0
5
10
15
クラスタＮｏ．
20
25
30
2000
現代絵画
1800
印象派
ロマン派
新古典主義
年
1600
代
バロック
ルネッサンス
1400
ゴシック
1200
0
5
10
15
20
色彩によるユニットNo.
25
30