視覚特性を考慮した装飾的フォトモザイク

情報処理学会論文誌
Vol. 49
No. 7
2703–2711 (July 2008)
視覚特性を考慮した装飾的フォトモザイク
小島
加 寿 代†1
高
橋
成
雄†2
岡
田
真
人†2
1. は じ め に
フォトモザイクとは，小さい写真を集めて全体として異なる絵を作成する絵画表現であ
り，芸術作品や広告などの比較的大きな絵の表現手法として広く用いられている．この画
法の起源は 16 世紀の画家 Arcimboldo が果物などを組み合わせて描いた肖像画にたどるこ
フォトモザイクは絵画表現の 1 つであり，入力参照画像をグリッド状の領域に分割
し，その色分布を模倣するように各分割領域を小画像で置き換えることで実現される．
しかし，そのようなグリッド状の領域分割は，参照画像における特徴の配置を考慮に
いれていないために，結果としてフォトモザイクの視覚的な分かりやすさを損なうこ
とが多い．本論文では，参照画像において目立つ特徴を十分尊重することで，フォト
モザイク表現の視覚的な分かりやすさを高める手法を提案する．本提案手法による新
しいフォトモザイク表現は，参照画像の大局的な色のグラデーションや局所的なエッ
ジなどの特徴に沿うように，装飾的に小さい四辺形領域を隙間なく敷き詰めて，参照
画像の領域分割を変更することで実現される．また，各四辺形領域を小画像に置き換
える際にも，入力画像の視覚的な注目度に基づいた高度な小画像選択手法を実現する．
この手法により得られるフォトモザイクは，参照画像の色分布を視覚的により忠実に
復元するとともに，選択される小画像そのものの質も最大限保つことができる．
とができ，現在では Silvers ら1) の画集に代表されるように，ソフトウェアを用いて精巧な
フォトモザイクが簡単に生成できるようになってきている．図 1 は，そのいくつかの例を
示している．フォトモザイクは，近くで見る際は各小画像が見え，遠くから見た場合は小画
像で構成された全体画像が見える．このような視距離によって解釈が異なるフォトモザイク
の仕組みは，人の視覚システムにおける多重スケール処理を利用しており，これによりフォ
トモザイクの質は，小画像の並びが全体画像の低周波・高周波特徴をいかに忠実に再現でき
るかに大きく依存することになる．
しかしながら既存のフォトモザイク生成手法は，小画像の並びがグリッド状に限定されて
いるため，全体画像内のオブジェクトの境界線やグラデーションなどの特徴がぼやけ，全体
画像のオリジナルの色合いを視覚的に忠実に表現できないという問題点が存在する．本論
2703
Decorative Photomosaics
Respecting Human Visual Perception
文では，この問題を人の視覚特性を考慮に入れて解決するフォトモザイク生成手法を新た
Kazuyo Kojima,†1 Shigeo Takahashi†2
and Masato Okada†2
力画像の大局的な色グラデーションから醸し出される勾配線や等高線に沿って，四辺形領域
A photomosaic is an artistic representation of an image, which is achieved by
partitioning the reference image into a rectangular grid of sections and replacing each section with a small photograph simulating its local color distribution.
However, the grid type of partitioning usually reduces the visual clarity of the
photomosaic because it does not account for the arrangement of the underlying
features in the input image. In this paper, we enhance the photomosaics by
fully respecting the associated perceptual saliency of the image. This is accomplished by decoratively placing seamlessly connected quadrilaterals so that
they can be aligned with both the global color gradation and local image edges,
together with the sophisticated assignment of small photographs based on the
metric of image saliency. This modification allows us to significantly improve
the decorative coloring of the final photomosaics while maximally preserving
the original quality of the selected small photographs.
によって，従来法に比べ入力全体画像の特徴を忠実に保持し，適切な誇張表現を施すことで
に提案する．本手法の貢献は，(1) 入力全体画像の特徴に沿った四辺形領域分割の導入と，
(2) 全体画像の視覚的な注目度を反映した小画像の選択の 2 つにまとめられる．(1) は，入
を隙間なく敷き詰めることで，画像のグラデーションによる大局的な特徴を表現するととも
に，画像エッジなど局所的な特徴をも考慮にいれた画像の領域分割を実現する．さらに (2)
視覚的に高い色再現性を実現でき，結果として一般的にフォトモザイクにより鈍る入力画像
の色のダイナミックレンジを効果的に復元することができる．
†1 日本 SGI 株式会社
SGI Japan, Ltd.
†2 東京大学
The University of Tokyo
c 2008 Information Processing Society of Japan
2704
視覚特性を考慮した装飾的フォトモザイク
い．本手法では，全体画像に四辺形領域を隙間なく敷き詰めることで，画像上に存在する色
グラデーションを尊重した，モザイク領域分割を実現していく．
3. 画像特徴に沿った四辺形分割
1 章で述べたとおり，提案手法はまず最初の段階として，入力画像のグラデーションから
醸し出される勾配線や等高線に沿って四辺形領域を敷き詰めることで，領域分割からグラ
図 1 一般的なグリッド状領域分割によるフォトモザイクの例
Fig. 1 Examples of conventional grid-type photomosaics.
デーションそのものを感じることができるようにする．このため，隣接する四辺形領域間に
隙間や重なりが生じないように領域分割することは視覚的に重要な意味を持ち，本研究の解
決すべき技術要件の 1 つでもある．本手法における，入力画像の四辺形領域分割は，以下の
手順によって構成される（図 2）．
2. 関 連 研 究
(1)
全体画像の輝度値に関するスペクトル解析
コンピュータグラフィックスにおけるフォトモザイク生成は，ハーフトーン技術を応用す
(2)
大局的特徴に基づく四辺形分割の生成
ることによって Finkelstein ら2) が初めて提案した．この手法は近年 Klein ら3) によりビデ
(3)
四辺形分割の位相的・幾何的平滑化
オモザイク手法に拡張され，小さなビデオクリップを組み合わせて全体として異なるビデオ
(4)
エッジ入力にともなう四辺形分割の変更
クリップを生成することに成功している．これらに共通することとして，小画像の並びが全
以下，各手順に関して説明していく．
体画像の特徴とは無関係に，グリッド状に配置されている点がある．本論文では，全体画像
3.1 入力画像の輝度値に関するスペクトル解析
の分割を画像特徴に沿うかたちで行うことで，より全体画像の視覚的な色分布を忠実に復元
まず，最初の手順として，入力全体画像（図 2 (a)）の大局的な画像輝度値の特徴をとら
するフォトモザイクを生成していく．
える．この特徴をとらえる際，本手法では以下の要求を満たす必要がある．
一方，画像の特徴に沿った分割を与える手法は，ノンフォトリアリスティックレンダリン
(1)
画像の大まかな特徴の低周波成分を抽出する．
グにおけるタイルモザイクとして，研究が行われている．Miyata ら4) は，有限要素法のた
(2)
後述の手順の便のため，画素輝度値の極大・極小点の画像領域内における等方的な分
めの領域分割手法を応用して，歩道領域に正方形の石を敷き詰める手法を提案している．ま
布を構成する．
た，Kim ら5) は，全体画像の内部に任意形状の小画像を埋め込む Jigsaw image mosaic を
本手法では，入力画像の RGB から，人が知覚する明るさの刺激に対応する CIE XYZ 色
提案した．これらの手法は，入力全体画像が自然画像とは異なり領域ごとに単一色が割り当
空間の Y の値を計算することで，1 度グレースケール画像に変換する．そして，Laplacian
てられているものが対象であり，さらに隣接タイル領域に隙間や重なりが許されている．
固有成分10) を計算することで，上記の要求を満たす大局的な画像特徴を抽出する．その後，
このような画像特徴に基づいた分割を与える手法は，色のグラデーションを含む自然画像
入力画像に各画素を頂点とした三角形分割を与えることで，画像領域の輝度値を線形補間す
などにも適用するため，さまざまな拡張が施されてきている．たとえば，Hausner 6) によ
る曲面を構成し，各頂点 i に対して以下の式を計算することで，この三角形分割の Laplacian
るユーザが入力したエッジを考慮にいれた正方形領域分割，Elber ら
7)
による輝度値に関す
行列 L を求める．
る等高線に基づく正方形領域分割，Dobashi ら8) による入力画像との色の差を考慮したボ
ロノイ領域分割，Brooks
9)
による例示ベースの領域生成法を用いた画像領域分割手法が提
案されている．しかし，これらの手法もタイルが正方形ではない，あるいは隣接タイル間
に隙間があるなど，全体画像の色グラデーションに沿ったタイル領域配置が実現できていな
情報処理学会論文誌
Vol. 49
No. 7
2703–2711 (July 2008)
Lij =
⎧ ⎪
w
⎨
k ik
i=j
⎪
⎩
−wij
辺 i–j が存在する
0
それ以外
(1)
c 2008 Information Processing Society of Japan
2705
視覚特性を考慮した装飾的フォトモザイク
(1)
=⇒
(2)
=⇒
(a)
(b)
(3)
=⇒
(c)
(4)
=⇒
(d)
(e)
図 2 四辺形分割の手順：(a) 入力画像，(b) 低周波成分を表す Laplacian 固有成分，(c) 大局的特徴からの四辺形
分割，(d) 位相・幾何平滑化後の分割，(e) 局所的特徴も反映した四辺形分割
Fig. 2 Steps of the image partitioning stage: (a) an input image, (b) low-frequency Laplacian eigenvectors, (c) a quadrilateral partition only from global image features, (d) a topologically and
geometrically smoothed partition and (e) a final partition also respecting local image features.
ここで，wij は重み係数として
wij =
cot αij
辺 i–j が画像境界上にある
1
(cot αij
2
+ cot βij )
(a)
(b)
図 3 Surface network の性質：(a) 鞍点から延びる 2 つの尾根線と谷線，(b) Surface network から得られる
四辺形領域分割
Fig. 3 Properties of a surface network: (a) two ridge lines and two ravine lines emanating from a
pass and (b) a quadrilateral partition induced from the surface network.
(2)
それ以外
これらを解消するため，まず頂点の接続性に関する位相的平滑化を施すことで，次数が 4
と定義され，αij と βij は，辺 i–j を含む 2 つの三角形において，i–j と対角をなす角の大き
でない頂点を減らす．これは，たとえば次数が 4 より少ない頂点と 4 より多い頂点に接続
さを表している．この Laplacian 行列の固有値を昇順に並べた場合，その最初の数個の固有
する辺を移動するなど調整することで実現できる13) ．そのあと，四辺形分割の Laplacian
値に対応する固有ベクトルが，適切な画像低周波成分の候補となる．図 2 (b) は，Laplacian
平滑化によって，各頂点をその接続頂点がなす多角形の重心に移動させることで，各四辺形
固有成分に対応する低周波成分画像の例を表している．
の幾何的な歪みを軽減する（図 2 (d)）．図 5 に，各平滑化の過程を示す．
3.2 大局的特徴に基づく四辺形分割の生成
3.4 エッジ入力にともなう四辺形分割の変更
次に，前節で得られた低周波成分画像を大局的特徴ととらえ，その輝度値が表す関数の臨
最後に今まで得られた四辺形分割に，オブジェクトの境界線（画像エッジ）などの局所的な
界点を特徴点，それらを結んだ尾根線・谷線を特徴線として抽出し，それらを頂点と辺とし
特徴に沿うよう変更を加える14) ．図 6 にその手順の概要を示す．まず四辺形分割（図 6 (a)）に
て持つグラフを構築する
11)
．このグラフは Surface network
12)
と呼ばれ，図 3 (a) に示さ
双対変換を施す（図 6 (b)）．次に双対グラフ上に境界線などのエッジを付加する（図 6 (c)）．
れるとおり，鞍点の周辺には極大点と極小点が交互に 2 つずつ接続するため，全体としては
これを含めたうえでもう 1 度双対変換を施すことで，エッジに沿った四辺形分割を得る
図 3 (b) のように，すべての分割された領域が極大点，極小点，2 つの鞍点を頂点とする四
（図 6 (d)）．最後に四辺形の辺がエッジに沿うよう細分割を行う（図 6 (e)）．そして，最終
辺形で構成されるという特徴がある．ここでは，これらを用いて大局的特徴に基づく四辺
的に新しく挿入したエッジに沿う点や辺などを，位置の変わらない幾何制約として用いなが
形分割とする．画像適用例を図 2 (c) に示す．また，図 4 に，画像から臨界点，尾根線・谷
ら全体を平滑化することで，全体として分割領域それぞれが正方形に近く均等な大きさを持
線，そして最終的に Surface network を抽出した例を示す．
つように制御しながら，保持すべき画像特徴近辺ではその大きさが適応的に変化するような
3.3 四辺形の平滑化
分割を得ることができる．図 2 (e) に，その結果を示す．
前節で得られた四辺形分割には，以下の歪みが残る．
• 次数が 4 でない頂点による位相的な歪み
• 長さが周辺に対して不均等な辺による幾何的な歪み
情報処理学会論文誌
Vol. 49
No. 7
2703–2711 (July 2008)
c 2008 Information Processing Society of Japan
2706
視覚特性を考慮した装飾的フォトモザイク
4. 小画像割当て
本章では，今まで得られた全体画像の各四辺形領域に対し，与えられた小画像データベー
スから，いかに適切な小画像を選択するかについて述べる．小画像の選択には，全体画像の
色合いを最も適切に復元できるものを探し出す必要がある．この選択処理は，以下の手順か
(a)
(b)
らなる．
(c)
図 4 四辺形分割生成過程：(a) 臨界点抽出（極大（赤），極小（青），鞍点（緑）），(b) 尾根線（黄）
・谷線（紫）抽
出，(c) Surface network
Fig. 4 Process for generating a surface network: (a) critical points including maxima (in red), minima (in blue) and saddles (in green), (b) ridge lines (in yellow) and ravine lines (in purple)
and (c) the corresponding surface network.
(1)
Saliency map を用いた誇張参照画像の生成
(2)
各四辺形領域への小画像割当て
(3)
各小画像の色変換
以下，各手順の詳細を述べる．
4.1 Saliency map を用いた誇張参照画像生成
一般的にフォトモザイクでは，各四辺形領域をその平均色に近い小画像によって置き換え
るため，全体として入力モチーフの局所的な特徴がぼけてしまう．そこで，本手法ではその
ような特徴のぼけを軽減することができるように，あらかじめ参照画像に誇張処理を施す新
たな手順を加える．この手順において，人の視覚注意を引き付ける度合いを表す Saliency
map 15) を用いることで，より重要な特徴に関しては色のぼけが生じないような誇張処理を
(a)
(b)
施していく．具体的には，まず入力画像（図 7 (a)）から視覚注意の大きさの度合いを輝度値
(c)
図 5 四辺形の平滑化の過程：(a) 平滑化前，(b) 位相的平滑化後，(c) さらに幾何的平滑化後
Fig. 5 Process for smoothing the quadrilateral partition: (a) without smoothing，(b) with
topological smoothing and (c) with geometrical smoothing also.
で表す Saliency map（図 7 (c)）を計算し，さらにそれに微分オペレータとして Laplacian
フィルタを適用して，注目度の高い特徴周辺を強調するための Emphasis map（図 7 (d)）
を生成する．そして，この Emphasis map の輝度値に基づき，入力画像の明度に変更を加
えることで，注目度の高さに応じて色の変化を強調した，最終的な誇張参照画像（図 7 (b)）
を得る16) .
4.2 各四辺形領域への小画像割当て
次に，与えられた小画像のデータベースから，四辺形領域内における参照画像の色分布を
最もよく模倣する小画像を選択していく．ここで参照画像としては，上記のように注目度
(a)
(b)
(c)
(d)
(e)
図 6 局所エッジの付加の手順：(a) 最初の四辺形分割の状態，(b) その双対変換，(c) 局所エッジにより変更され
た状態，(d) 変更された四辺形分割，(e) 最後の細分割を行った四面体分割
Fig. 6 Steps for introducing local image features: (a) an original quadrilateral partition, (b) its dual
network, (c) the modified network with a local image edge, (d) its corresponding quadrilateral
version and (e) the final subdivided partition.
の高い領域を誇張処理を施した参照画像を用いることに注意する．初めに，図 8 のように
四辺形領域と小画像をそれぞれグリッド状のサンプリングを行う．特に，小画像においては
Haar ウェーブレットによる多重解像度表現を用いて，適切な解像度のサンプリングを準備
する．次に，小画像頂点と四辺形領域頂点の位置関係が一致した状態で，それぞれ対応する
サンプル点において，四辺形領域と小画像の色差の二乗を求め，その総和を四辺形領域と小
画像の距離とする．この際本手法では，小画像の回転による違和感を軽減するため，四辺形
情報処理学会論文誌
Vol. 49
No. 7
2703–2711 (July 2008)
c 2008 Information Processing Society of Japan
2707
視覚特性を考慮した装飾的フォトモザイク
低 ←→ 高
(a)
(b)
(c)
図 9 色変換の模式図：(a) 移動，(b) 縮小
Fig. 9 Color histogram transformation: (a) shifting and (b) scaling operations.
(d)
図 7 誇張参照画像生成：(a) 入力画像，(b) 得られた誇張参照画像，(c) Saliency map，(d) Emphasis map
Fig. 7 Saliency-guided image enhancement: (a) an original toy-duck image, (b) its enhanced image,
(c) its saliency map and (d) its emphasis map.
低 ←→ 高
4.3 各小画像の色変換
前節で得られた小画像を四辺形領域の色分布により近づけるため，最後に小画像に色変換
を施す．本手法では，Finkelstein らの手法2) で用いられている，YIQ 色空間の各チャネルに
おける色ヒストグラム分布の移動と縮小を用いて，参照画像四辺形領域と小画像の平均色が
一致するような色変換を行う．まず初めに，小画像ヒストグラムを，その平均値が四辺形領
．その後，移動操作において小画
域ヒストグラムの平均値に一致するまで移動する（図 9 (a)）
像ヒストグラムの最小値がヒストグラムのとりうる範囲を超えた場合，平均値を中心に，小
画像ヒストグラム全体を縮小することで，ヒストグラムを適正な範囲におさめる（図 9 (b)）．
色変換を行うことで，若干小画像の色分布がつぶれてしまうという問題がある一方，隣り
合う小画像どうしの色のコヒーレンスが保たれるため，全体として全体画像の色合いをより
良く表現することができる．
5. 結
果
5.1 結 果 画 像
結果を以下に示す．実験は，Intel Pentium M，Linux OS，1.86 GHz，メモリ 2 GB の
図 8 四辺形領域と小画像におけるグリッドサンプリング
Fig. 8 Grid sampling of a quadrilateral region and a small photograph.
Laptop PC で行った．全体画像の解像度は 512 × 512，小画像データベースは 128 × 128
の画像 9,000 枚を用いた．この条件下で四辺形分割には 122 秒を要し，さらに小画像割当
てには 1 秒に 25 枚以上を処理することができている．
領域の 4 つの向きのうち，小画像の上向きと全体のフォトモザイク画像の上向きが最も一
図 10 は，おもちゃのあひるの画像（図 10 (a)）を用いて，グリッド分割した従来法
致するよう，小画像をはめ込んでいることに注意する．最後に，この距離が最小となる小画
（図 10 (b)）と，本手法（図 10 (c)）を比較した例である．従来法では，あひるの輪郭に
像を四辺形領域に割り当てる画像として選択する．ここで，色差を求める際には人が知覚す
沿わない分割のため，不自然なジャギーが現れているのに対し，本手法ではこれらの画像の
る色の違いの度合いを最もよく表す L*a*b*色空間における距離を用いている．
特徴に沿って鮮明に輪郭が表現されている．図 11 は，果物の写真（図 11 (a)）からフォト
モザイクを生成した例で，従来法の結果（図 11 (b)）よりも，本手法の結果（図 11 (c)）の方
情報処理学会論文誌
Vol. 49
No. 7
2703–2711 (July 2008)
c 2008 Information Processing Society of Japan
2708
視覚特性を考慮した装飾的フォトモザイク
(a)
(b)
(c)
図 10 おもちゃのアヒル：(a) 入力画像，(b) グリッド分割によるフォトモザイク（小画像数 784 枚），(c) 本手法
によるフォトモザイク（小画像数 767 枚）
Fig. 10 A toy-duck: (a) an input image, (b) a grid-type photomosaic with 784 photographs and
(c) a photomosaic by our method with 767 photographs.
(a)
(b)
(c)
(a)
(b)
(c)
図 12
浮世絵：(a) 入力画像，(b) グリッド分割によるフォトモザイク（小画像数 1,521 枚），(c) 本手法による
フォトモザイク（小画像数 1,474 枚）
Fig. 12 An ukiyoe image: (a) an input image, (b) a grid-type photomosaic with 1,521 photographs
and (c) a photomosaic by our method with 1,474 photographs.
(a)
(b)
(c)
図 11 果物：(a) 入力画像，(b) グリッド分割によるフォトモザイク（小画像数 961 枚），(c) 本手法によるフォト
モザイク（小画像数 918 枚）
Fig. 11 Fruits: (a) an input image, (b) a grid-type photomosaic with 961 photographs and (c) a
photomosaic by our method with 918 photographs.
図 13 Lena: (a) 入力画像，(b) グリッド分割によるフォトモザイク（小画像数 2,704 枚），(c) 本手法によるフォ
トモザイク（小画像数 2,671 枚）
Fig. 13 The Lena image: (a) an input image, (b) a grid-type photomosaic with 2,704 photographs
and (c) a photomosaic by out method with 2,671 photographs.
が，果物の輪郭形状や断面の模様の再現性が高くなっている．また，浮世絵の例（図 12 (a)）
郭線やグラデーションが複雑な例として，有名な Lena 画像（図 13 (a)）を取り上げる．
では波の領域内部の色合いに沿った分割がなされているため，従来法（図 12 (b)）と比較
これらの画像の従来法の結果（図 13 (b)）においても，グリッド分割のため全体画像の境
して本手法（図 12 (c)）は画像の色変化が滑らかに表現できていることが分かる．また輪
界線や色合いがぼけているのに対し，本手法の結果（図 13 (c)）は，帽子や顔の輪郭部分
情報処理学会論文誌
Vol. 49
No. 7
2703–2711 (July 2008)
c 2008 Information Processing Society of Japan
2709
視覚特性を考慮した装飾的フォトモザイク
が，その特徴に沿った分割によってより忠実に表現されている．また，顔の鼻筋や帽子の明
は，提案法により生成される「あひる」「果物」の例が，他に比較しても構成する小画像の
るい部分が，色調誇張によって視覚的にぼやけることなく鮮明に表現されていることが分
大きさ・形・向きのばらつきが大きいことが原因と考えられる．具体的には，「あひる」の
かる．
腹部分は，小画像の形・向きのばらつきによって，また「果物」の画像左下の紫の花や右上
5.2 アンケートによる評価
のトマトのへたは，主に小画像の大きさのばらつきによって，元画像には存在しない質感が
本手法を定量的に評価するため WEB を介した簡易アンケートを作成し，画像生成に従
表現されていることが視覚的な違和感を生じさせている．また，一方の画像サイズのみが極
事した経験のある被験者 40 名に参加の協力を得た．アンケートは 6 種類の入力モチーフ画
端に異なる結果が生じることは，これらの視覚的な違和感がある特定の周波数帯に限定的に
像に対し，従来法によるグリッド状のフォトモザイク画像と提案法で生成されるフォトモザ
現れることを示唆している．
イク画像を，左右にランダムに並べて提示して比較してもらった．その際，(1) 境界線の鮮
明さ，(2) 色合い（グラデーション）の滑らかさ，(3) 元画像との類似度，について評価し
てもらい，従来法を優れているとした場合を −1，提案法を優れているとした場合を 1，優
6. お わ り に
本論文は，視覚特性を考慮にいれたフォトモザイクを実現した．まず，全体画像の特徴に
劣がつけ難い場合を 0 とし，その合計値をそのモチーフ画像における全体の評価値とした．
沿った四辺形分割を導入し，さらに視覚的な注目度を考慮した小画像選択を行うことで，従
また，それぞれのフォトモザイク画像は，小（解像度 128 × 128）と大（解像度 256 × 256）
来法より画像特徴を視覚的に保持したフォトモザイク画を実現した．
の 2 種類の大きさのものを別個に提示して，その違いも見た．図 14 は，アンケートの結果
を示したものである．
これは，従来のフォトモザイクでもあてはまるが，対象モチーフ画像としてはある程度高
周波成分が少ないものが，より適している．本手法は，大局的な特徴と局所的な特徴が複雑
図 14 に示されるとおり，境界線・色合いの比較ではすべての種類，大きさの画像で正の
に入り組んでいる場合にも比較的頑健に動作するが，物体の輪郭線などの局所的な特徴が
値となり，総じて本手法の優位性が示されている．一方類似性については図 10 の「あひる」
複雑すぎる場合，その部分の四辺形分割が周辺と比較して過度に小さくなり，かえって視覚
（画像サイズ小），図 11 の「果物」（画像サイズ大）で負の値をとる例があった．この結果
的な違和感が生じる場合がある．しかしながら，我々の実験では，このような違和感は目と
フォトモザイク画像までの距離がある一定の範囲で起こり，全体的には提案手法は既存手法
よりも入力モチーフを忠実に表現するフォトモザイク画像を生成できることが確認できた．
また，視覚注意の度合いを表す Saliency map を今回は小画像選択のみに用いたが，領域
分割へのさらなる適用も検討すべき課題である．加えて，最終的に生成されるフォトモザイ
クの質は小画像データベースにも大きく依存するため，データベースに応じて適応的に領域
分割や小画像選択を行う枠組みの探求も興味深い将来課題の 1 つとなる．本手法で得られ
る四辺形分割は，画像上に敷き詰められた 2 次元の局所座標系と考えることができる．この
枠組みをもとに，四辺形以外の恣意的な形状への領域分割や，さらにボリュームデータなど
の 1 次元高次の 3 次元データへの適用なども，重要な将来課題である．
謝辞 本論文の執筆にあたり，アンケートにご協力いただいた被験者のみなさまに感謝い
たします．また，本論文の内容に関し助言をいただきました，東京大学の西田友是氏，東北
大学流体科学研究所の藤代一成，増田尚則両氏に感謝いたします．本研究の一部は，文部科
図 14 アンケート評価結果
Fig. 14 Results of evaluation.
情報処理学会論文誌
Vol. 49
No. 7
2703–2711 (July 2008)
学省科学研究費補助金若手研究（B）（課題番号 17700092），日本学術振興会科学研究費補
助金基盤研究（B）（課題番号 20300033），およびカシオ科学振興財団の助成による．
c 2008 Information Processing Society of Japan
2710
視覚特性を考慮した装飾的フォトモザイク
参
考 文
献
1) Silvers, R. and Hawley, M.: Photomosaics, Henry Holt and Co., Inc. (1997).
2) Finkelstein, A. and Range, M.: Image Mosaics, Proc. 7th International Conference
on Electronic Publishing (EP ’98 ), pp.11–22 (1998).
3) Klein, A.W., Grant, T., Finkelstein, A. and Cohen, M.F.: Video mosaics, Proc. 2nd
International Symp. Non-Photorealistic Animation and Rendering (NPAR ’02 ),
pp.21–28, 155 (2002).
4) Miyata, K., Itoh, T. and Shimada, K.: A Method for Generating Pavement Textures Using the Square Packing Technique, The Visual Computer, Vol.17, No.8,
pp.475–490 (2001).
5) Kim, J. and Pellacini, F.: Jigsaw Image Mosaics, ACM Trans. Graphics, Vol.21,
No.3, pp.657–664 (2002).
6) Hausner, A.: Simulating Decorative Mosaics, Proc. ACM Siggraph 2001, pp.573–
580 (2001).
7) Elber, G. and Wolberg, G.: Rendering Traditional Mosaics, The Visual Computer,
Vol.19, No.1, pp.67–78 (2003).
8) Dobashi, Y., Haga, T., Johan, H. and Nishita, T.: A Method for Creaging Mosaic Images Using Voronoi Diagrams, Proc. Eurographics 2002 Short Presentations,
pp.341–348 (2002).
9) Brooks, S.: Image-Based Stained Glass, IEEE Trans. Visualization and Computer
Graphics, Vol.12, No.6, pp.1547–1558 (2006).
10) Dong, S., Bremer, P.T., Garland, M., Pascucci, V. and Hart, J.C.: Spectral Surface
Quadrangulation, ACM Trans. Graphics, Vol.25, No.3, pp.1057–1066 (2006).
11) Takahashi, S., et al.: Algorithms for Extracting Correct Critical Points and Constructing Topological Graphs from Discrete Geographical Elevation Data, Computer Graphics Forum, Vol.14, No.3, pp.181–192 (1995).
12) Pfaltz, J.L.: Surface Networks, Geographical Analysis, Vol.8, No.1, pp.77–93
(1976).
13) Cannon, S.A., Muthukrishnan, S.N. and Phillips, R.K.: Topological Improvement
Procedures for Quadrilateral Finite Element Meshes, Engineering with Computers,
Vol.14, pp.168–177 (1998).
14) Kojima, K., Takahashi, S. and Nishita, T.: Creating Quadrilateral Mosaics from
Image Topographic Features, Proc. 3rd Symp. Applied Perception in Graphics and
Visualization (APGV2006 ), p.144 (2006). (poster paper).
15) Itti, L., Koch, C. and Niebur, E.: A Model of Saliency-Based Visual Attention
for Rapid Scene Analysis, IEEE Trans. Pattern Analysis and Machine Intelligence,
Vol.20, No.11, pp.1254–1259 (1998).
情報処理学会論文誌
Vol. 49
No. 7
2703–2711 (July 2008)
16) Kim, Y. and Varshney, A.: Saliency-Guided Enhancement for Volume Visualization, IEEE Trans. Visualization and Computer Graphics, Vol.12, No.5, pp.925–932
(2006).
(平成 19 年 8 月 31 日受付)
(平成 20 年 4 月 8 日採録)
小島加寿代（正会員）
平成 17 年東京大学工学部計数工学科卒業．平成 19 年同大学大学院情報
理工学系研究科コンピュータ科学専攻修士課程修了，修士（情報理工学）．
同年日本 SGI 所属，商談支援システムの開発に従事．画像電子学会より，
平成 18 年度ビジュアルコンピューティング研究奨励賞（ポスターの部），
平成 19 年度ビジュアルコンピューティング研究奨励賞（オーラルの部）
を受賞．画像電子学会会員．
高橋 成雄（正会員）
平成 9 年東京大学大学院理学系研究科情報科学専攻博士課程修了，博士
（理学）．群馬大学工学部助手．同大学総合情報処理センター助教授，東京
大学大学院総合文化研究科助教授を経て，平成 17 年より東京大学大学院
新領域創成科学研究科複雑理工学専攻助教授（平成 19 年より准教授）．コ
ンピュータビジュアリゼーション，視覚応用モデリング，幾何形状モデリ
ング，地理情報システム等に興味を持つ．Elsevier Most Cited Paper Award for Graphical
Models 2004–2006，平成 18 年度情報処理学会論文賞受賞．電子情報通信学会和文論文誌
（A）編集委員，IEEE CS，ACM，Eurographics，可視化情報学会，日本視覚学会各会員．
c 2008 Information Processing Society of Japan
2711
視覚特性を考慮した装飾的フォトモザイク
岡田 真人
昭和 62 年大阪大学大学院理学研究科物理学専攻博士前期課程修了．同
年三菱電機（株）入社．平成 3 年大阪大学基礎工学部助手．平成 8 年科学
技術振興財団川人学習動態脳プロジェクト研究員．平成 13 年理化学研究
所脳科学研究センター脳数理研究チーム副チームリーダー．平成 14 年科
学技術振興財団さきがけ「協調と制御」領域研究者（兼務）．平成 16 年東
京大学大学院新領域創成科学研究科複雑理工学専攻教授．博士（理学）．物性物理，統計力
学，半導体，神経回路モデル，計算論的神経科学，統計的学習理論，画像処理，通信工学，
情報理論の研究・開発に従事．平成 6 年度，8 年度神経回路学会研究賞，平成 9 年度計測自
動制御学会生体・生理工学部会研究奨励賞，第 17 回 AVIRG（視聴覚情報研究会）賞ほか
受賞．Society for Neuroscience，電子情報通信学会，計測自動制御学会，日本神経回路学
会，日本神経科学会，日本物理学会各会員．
情報処理学会論文誌
Vol. 49
No. 7
2703–2711 (July 2008)
c 2008 Information Processing Society of Japan