Mosaicing を用いた画像合成

Mosaicing を用いた画像合成
澤見研究室
I03I035
大橋
圭吾
I03I114
森下
祐太朗
1.はじめに
近年，デジタルカメラやカメラ付き携帯電話な
2.2 Video Mosaicing
Video Mosaicing の具体例として，手持ちのカ
どの普及により，写真を撮る機会が増えている．
それにより画像処理ソフトを利用した加工や合
メラなどで撮影した動画像から，高解像度画像を
成なども手軽にできるようになってきた．その中
生成する手法が挙げられる．現在では，Video
に，景色や建物等を対象として，複数の視点で撮
Mosaicing によって動画像を解析することによっ
影した画像から 1 枚のパノラマ画像を作成する技
てイメージスキャナと同様の高解像な画像スキ
術の一つとして，Image Mosaicing が挙げられる．
ャンを手軽に実現することが可能となっている．
我々は，その Image Mosaicing という分野につい
て注目し研究したのでその結果を報告する．
3.処理過程
画像を合成する過程を以下に示す．
2.Mosaicing の種類
画像
Mosaicing という分野の中で画像を取り扱う方
画像を RGB 値に変換
法の中には，大きく分けて二つ，Image Mosaicing
RGB 変換
と Video Mosaicing がある．
判定処理
Image Mosaicing
→
重なり部の判定
静止画を扱う
画像合成
Video Mosaicing
→
合成処理
図 1 画像合成の実験過程
動画を扱う
この中の，RGB 値変換，重なり部の判定，合成
2.1 Image Mosaicing
処理についてそれぞれ 4 章，5 章，6 章で示す．
Image Mosaicing とは複数枚の静止画を貼り
合わせて，1 枚の大きな画像を合成する技術のこ
それ以外の，パノラマ画像変換，平滑化処理につ
いてもそれぞれ，7 章，8 章で示す．
とである．古くから航空写真や衛星写真などの合
成に用いられてきた．最近では臨場感の高い仮想
現実環境を構築する目的などにも利用されてい
4.RGB 値変換
る．最近の画像処理の分野の中には，動画から静
ビットマップ形式の画像 1 ピクセルから RGB
止画を生成するという Image Mosaicing も存在
値を求める．RGB 値を求める処理は以下のよう
する．本研究では，この Image Mosaicing をとり
になる．ただし，1 ピクセル分のデータを含む 4
上げている．
バイト変数を col としている．
C4-5
R = (col Mod 65536) / 256
G = col / 65536
さらに，この処理を複数枚の画像に適用してパノ
(式 1)
ラマ画像を得る．
B = (col Mod 65536) Mod 256
7.パノラマ画像変換
5.重なり部の判定
学内の適当な地点を選び，その場所で回転軸を
我々が研究した Image Mosaicing では，画像合
ほぼ垂直に固定して全周を 16 枚の写真で撮影し
成する為に，基準画像(図 2)と別視点画像(図 3)の
た．その 16 枚の画像をパノラマ画像に変換する．
左から右までの列ごとの分散を求めていく．そし
16 枚の画像を 2 枚ずつ合成処理していき合成さ
て，その中の分散が最も大きな列を重なり部とし
れた画像も 2 枚ずつ処理して最終的に 1 枚の画像
て画像の重なり部を判定する．
になるまで処理をする．
以下に基準画像(図 2)，別視点画像(図 3)を示す．
以下に 1 回目に合成する画像(図 5，図 6)，合成
画像 2(図 7)を示す．
図 2 基準画像
図 5 合成前 1
図 6 合成前 2
図 3 別視点画像
6.合成処理
重なり部の判定をして基準画像(図 2)の後に別
視点画像(図 3)を貼り付けていく．
図 7 合成画像 2
以下に合成画像 1(図 4)を示す．
8.平滑化（平均化）
ここで言う平滑化とは，写真を撮影した時間な
どのズレによるつなぎ目が生じた場合に，それを
滑らかにする処理のことを言う．
合成処理した画像には合成した際に生じる境
図 4 合成画像 1(赤枠内部は重なり部)
界線が現れる． 図 5，図 6 の合成される部分の前
C4-6
後の RGB 値を平均して図 5 の画像全体に掛けて
プログラムを使用した場合の合成画像にも明
るさや高さの違いによるつなぎ目が生じている．
いき平滑化処理をしていく．
以下に平滑化処理された画像(図 8)を示す．
ただし，手動で貼り合わせた場合の画像との視覚
的な違いはあまり見られない．つまりこれは，貼
り合わせたポイントと比較的近い位置で合成が
できているということを示している．上記で示し
た RGB 値変換，重なり部の判定，合成処理など
といったこれらの処理がうまくかみ合っている
図 8 平滑化処理された画像
からであると考えられる．
9.パノラマ画像の比較
それぞれ違う手法で合成した画像を元画像が 8
枚の場合と 16 枚の場合で比較する．
以下にそれぞれの手法で合成した画像を示す．
図 13 平滑化処理された合成画像（8 枚の場合）
図 9 手動で貼り合わせた画像（8 枚の場合）
図 14 平滑化処理された合成画像（16 枚の場合）
プログラムを使用し平滑化処理を組み込んだ
場合の合成画像（図 9，図 10，図 11，図 12）で
見られるような，つなぎ目が滑らかになり，きれ
いな画像になっていることがわかる．これは 8 の
図 10 手動で貼り合わせた画像（16 枚の場合）
平滑化のところでも説明したが，RGB 値を平均
これらの合成画像には，どちらの場合について
して平滑化処理を行ったためである．
も貼り付けた部分に背景の明るさの違いや，高さ
の違いによるつなぎ目が生じている．
結果的に，平滑化処理を行うことで視覚的には
つなぎ目が消えたように見えるが，実際にはつな
ぎ目は生じている．手動で張り合わせた場合の合
成画像（図 9，図 10）とプログラムを使用した場
合の合成画像（図 11，図 12）のそれぞれを比較
した場合に視覚的な大きな違いは見られなかっ
た．しかし，平滑化処理した場合の合成画像（図
図 11 プログラムを使用した画像（8 枚の場合）
13，図 14）には違いが見られる．それは，合成
された画像の画質の違いである．平滑化処理を行
っていくに従い，合成した画像が多いほうが画素
値が不適正に変化してしまい，画質が劣化した部
分が現れてしまった．それにより，合成された画
図 12 プログラムを使用した画像（16 枚の場合）
像に画質の違いが生じられたと考えられる．
C4-7
その結果，目に見える大きな違いは合成部分のつ
10.まとめ
なぎ目であることが分かった．平滑化処理を取り
今回の研究では，Image Mosaicing という概念
の中で上記の手順で画像を合成し，手動で貼り合
入れることでこのつなぎ目を目立たなくするこ
とに成功した．
わせた場合の合成画像，プログラムを使用した場
今後の課題として，アフィン変換を用いること
合の合成画像，プログラムを使用しさらに平滑化
による，上下と斜めを含んだ場合の画像の合成，
処理を組み込んだ合成画像をそれぞれ比較した．
そしてその画像の画質評価などが挙げられる．
図 15 手動で貼り合わせた合成画像
図 16 プログラムを用いて合成した合成画像
図 17 合成画像に平滑化処理を組み込んで生成した合成画像
参考文献
[4] ノート用 wiki-平均化フィルタ
[1]Image Mosaicing
http://pub.cozmixng.org/~hiki/note/?%CA%
http://www.ozawa.ics.keio.ac.jp/Saito/classes/
[5]フィルタ処理
kadai2005/image_mosaicing.html
[2]カメラ外部パラメータ推定による平面を対象
http://www.gifu-nct.ac.jp/elec/yamada/iwata/f
ilter/
とした超解像ビデオモザイキング
http://yokoya.naist.jp/paper/datas/770/sice20
04.pdf
[3]synthereal.com-VFX/CGI Studioイメージモザイキング：動画からの静止画生成
http://www.synthereal.com/jp/imageMosaicin
g.html
C4-8