1 - 東京工業大学 山岡研究室

ユーザスケッチと Web 画像データベースを用いたテクスチャ合成に
よるフォトコラージュ生成
Photo collage generation method by texture synthesis using user sketch
and WWW image database
中川 貴史
宮田 高道
酒井 善則
Takashi Nakagawa Takamichi Miyata
Yoshinori Sakai
東京工業大学
Tokyo Institute of Technology
Abstract: We previously proposed a photo collage generation system by combining image retrieval on WWW image
database and user sketch. In our proposed method, the system transform image for fitting the parts of over-partitioned
image to outline of users’ sketch. However, we had not developed a concrete procedure to obtain the pixel values in
his sketch from reference image obtained from WWW image database. In this paper, we assume that users correct the
parts from over-segmented reference image and put them on his sketch by himself. The problem that we need to solve is
estimating pixel values in the sketch from positions, pixel values, and affine parameters of each parts arranged by user. In
this paper, we proposed the simplified method to solve the above problem by non-parametric texture synthesis for only
when the affine parameters of all parts are same.
はじめに
1
従来の画像検索システムでは，ユーザの求める画像が
データベース上に存在しない場合，ユーザは求める画像を
取得することができない．その一方で，Web 画像データ
ベース上には無数の画像が存在するので，これらの画像を
適切に組み合わせることにより，データベースにない新た
なフォトコラージュ画像を生成することができる．これに
より，あらゆるユーザの検索要求にこたえる画像検索シス
テムが実現可能になると考えられる．そこで我々は，Web
画像データベース中の画像を用いて，ユーザがインタラク
ティブにフォトコラージュ画像を生成できるシステムの実
現を目指している．
上述したシステムを実現する手法を，筆者らは文献 [1][2]
において提案した．文献 [2] では，過剰に分割したオブジェ
クトを，ユーザのスケッチの形状に合わせて変換すること
によって，ユーザのイメージ通りの画像を生成することを
目標としている．しかしながら，オブジェクト変換の具体
的な手法については未検討であった．
そこで本稿では，ユーザの描いたスケッチの形状に合わ
せて抽出したオブジェクトを変換することで，ユーザのイ
メージ通りの画像を生成するフォトコラージュ画像生成法
を提案する．
提案手法
2
2.1
概要
本稿で提案するシステムの概要を以下に述べる．
1. ユーザはベースとなる画像に，新たに追加したいオ
ブジェクトのスケッチとキーワードを入力する．
2. システムは，画像データベース中を入力されたキー
ワードによって画像検索し，得られた複数の画像から
ユーザが入力したスケッチと最も整合性が高いオブ
ジェクトを含んだ画像を選択する（文献 [1] の手法を
用いる）．
3. 2. で選択した画像（以下，参照画像）に対して過剰
な領域分割を行い，画像を小領域（以下，パーツ）に
分割する（セグメンテーションフェーズ）．これらの
パーツがユーザに提示される．
4. システムから提示されたパーツの中から，ユーザが
スケッチに該当するものを選び，希望に応じて回転・
拡大した上でスケッチ上の適切な位置に配置する．
5. システムは，ユーザの配置したパーツをもとに，ス
ケッチ上でパーツが配置されていない画素の値を推
定する（トランスフォームフェーズ）．
以下，セグメンテーションフェーズとトランスフォーム
フェーズについて詳しく述べる．
2.2
セグメンテーションフェーズ
セグメンテーションフェーズでは，参照画像から抽出し
たオブジェクトの領域分割処理を行う．本稿では，領域分
割には mean shift[3] を用いた．mean shift では，色や位置
などの距離に bandwidth と呼ばれる探索半径を設けること
によって，領域分割の数が決定する．このフェーズにおい
て，本稿では一定の数以上の領域分割が行われていればよ
いので，どのような参照画像に対しても探索半径を予め小
さく設定しておけばよい．
2.3
トランスフォームフェーズ
トランスフォームフェーズでは，セグメンテーション
フェーズで領域分割したオブジェクトをユーザがスケッチ
に合わせて配置し，形状変換を行う．このフェーズではま
ず，セグメンテーションフェーズによってシステムから提
示された各パーツの中から，ユーザが任意のパーツを選
択する．ユーザは，選択したパーツをスケッチ内に回転や
スケール変化を加えたうえで自由に配置する．このよう
にして配置されたパーツの位置，回転・スケール変化のパ
ラメータ（アフィンパラメータ），画素値を手掛かりとし
て，システムはスケッチの形状に合わせた新しいオブジェ
クト画像を生成する．この手続きを以下ではオブジェクト
変換法とよぶ．
次節において，オブジェクト変換法について解説し，現
在取り組んでいるアプローチについて述べる．
3
提案オブジェクト変換法
本節では，スケッチの形状と配置したパーツを用いた
オブジェクト変換法について述べる．オブジェクト変換と
は，配置されたパーツの位置とアフィンパラメータを手掛
かりとして，スケッチ上の残りの画素値を決定する手法で
ある．本稿では，各パーツはユーザ自身の手で，回転やス
ケール変化を加えたうえで自由な位置に配置されているも
のとする．そのため，パーツごとにアフィンパラメータが
異なる状況で，適切にスケッチ上の残りの画素 (以下，未
定画素）の画素値を埋めていく必要がある．
いま仮に，全パーツのアフィンパラメータが同一である
とすると，この問題はテクスチャ合成 [4] を用いることで
容易に解決できると考えられる．
そこで本節では，まずテクスチャ合成について説明し，
全パーツのアフィンパラメータが同一である場合には，テ
クスチャ合成によってオブジェクト変換を行えることを示
す．さらに，目的とするアフィンパラメータが全パーツで
異なる場合のオブジェクト変換法に関しても，現在検討中
のアプローチについて述べる．
3.1
3.2
実験
前述のテクスチャ合成を用いて，オブジェクト変換を試
みた．その結果を Fig.11 に示す．Fig.1 において，(a) が参
照画像としてユーザが用意した画像，(b) がユーザーが描
いたスケッチ，(c) がスケッチに対して配置したパーツ，(d)
がこれらの画像を用いて文献 [4] のテクスチャ合成を適用
した結果である．各パーツのアフィンパラメータが同一で
ある状況においては，テクスチャ合成を用いてオブジェク
トの変換が可能であることが確認できた．
3.3
アフィンパラメータへの対応
パーツごとにアフィンパラメータが異なる場合のオブ
ジェクト変換法を検討する．文献 [4] の手法では，1 つの
参照画像中から未定画素を検出する．本研究では，各パー
ツのアフィンパラメータに対応した参照画像を用意し，そ
の画像中を探索することを考えた．これにより，パーツご
とにアフィンパラメータが異なる場合でもオブジェクトの
変換が可能になると考えられる．その一例として，以下の
ようなアルゴリズムが考えられる．
1 The author are permitted to publish and modify of the photograph (Fig.1)
released under the Creative Commons. Fig.1 is created by filipe ferreira.
(b) Sketch image
(c) Parts arranged after skech
(d) Result image
Figure 1: Result of non-parametric texture synthesis proposed
by [4].
1. 各パーツ p1 , p2 , . . . , pn のアフィンパラメータを用い
て，参照画像を変形した画像 s1 , s2 , . . . , sn を生成する．
2. パーツ pi (i ∈ {1, 2, . . . , n}) の周囲 1 ピクセルに存在す
る未定画素に対して，参照画像 si を用いてテクスチャ
合成を行う．
テクスチャ合成
テクスチャ合成（Texture Synthesis）とは，サンプル画
像を入力として，その特徴をとらえつつ，継ぎ目のないサ
イズ変更を可能にする技術である．
文献 [4] は，未定画素の隣接領域に類似した領域をサン
プル画像中から探索する．この際，隣接領域との誤差が最
小となるサンプル画像中の領域の中心画素を，未定画素に
入る画素値とする．この操作を繰り返して未定画素の画素
値を求めることにより，テクスチャ合成を行う．
(a) Sample image
3. 2. を全てのパーツに対して行う．
4. 2.3. を繰り返し，すべての未定画素が埋まるまで続け
る．このとき，各パーツの中間に位置する未定画素に
ついては，それぞれのパーツに対してテクスチャ合成
を行って得た画素値の平均値をとることとする．
4
おわりに
本稿では，ユーザのスケッチの形状をもとに，テクス
チャ合成の手法を用いてオブジェクトを変換することで，
ユーザの所望の形状に画像を変形する手法を提案した．今
後の課題として，提案手法を用いた画像の生成や，参照画
像を複数用いた場合におけるオブジェクト変換法の検討が
挙げられる．
参考文献
[1] 宮田高道，稲積泰宏，酒井善則: “ユーザのスケッチと Web 画像デー
タベースを用いたフォトコラージュ画像生成法” 電子情報通信学会
論文誌 D , vol. J90–D, no. 7, pp. 1709–1711, 2007.
[2] 中川貴史, 宮田高道, 酒井善則: “ユーザスケッチに基づく輪郭特徴を用
いたフォトコラージュ生成法,” Proceedings of IMPS2008, pp. 27–28,
2008.
[3] D. Comaniciu, P. Meer: “Mean shift: A robust approach toward feature
space analysis” IEEE Trans. Pattern Anal. Machine Intell, 24, pp. 603–
619, 2002.
[4] A. A. Efros, T. K. Leung: “Texture Synthesis by Non-Parametric Sampling,” Proceedings of the International Conference on Computer Vision,
Vol.2, p.1033, 1999.
東京工業大学 大学院理工学研究科 集積システム専攻
〒152–8552 目黒区大岡山 2-12-1
Phone: 03-5734-3761, Fax: 03-5734-3763
E-mail: [email protected]