博士論文審査結果報告書

早稲田大学大学院情報生産システム研究科
博士論文審査結果報告書
論
文
題
目
Study on Image Matching and
Its Applications
申
請
者
TIAN，Li
情報生産システム工学専攻
イメージメディア研究
2009 年
1
2
月
近年，セキュリティ，ロボット産業などの発展に伴い，画像処理技術の需
要が高まってきている．画像マッチングは，画像処理およびコンピュータビ
ジョン分野において基礎的な課題であり，ここ数十年にわたって，指紋や顔
などによる生体認証，画像検索，ビデオ監視など数多くの応用研究がなされ
ている．画像マッチングは，対象となる部分画像と参照画像との位置合わせ
を行う場合，異なる照明条件で，異なるセンサで，異なるカメラの角度で撮
った２枚の画像を照合したりする場合に利用されることが多く，一般に次の
２種類に分けられる．一つ目は，２枚の画像上の対象物を幾何変換により照
合 す る も の で あ り ，最 適 な 幾 何 変 換 パ ラ メ ー タ を 求 め る 問 題 で あ る ．こ れ は ，
画像の重ね合わせと呼ばれるものである．二つ目は，画像の不変特徴を利用
して２枚の部分画像が同じ物体あるいは同じ場面であるかどうかを認識する
ものである．前者の主要な要素として，類似度尺度，幾何変換パラメータ空
間の最適探索戦略などがあり，後者の主要な要素としては不変領域検出器，
局所記述子などがある．本研究では，画像マッチングの様々な応用分野にお
いて効率的かつロバストな要素技術について述べている．
画像マッチングの基本的な要件は，リアルタイム性とロバスト性への対応
である．ここで，後者は異なる条件下で撮られた画像や幾何変換された画像
に対処できることを意味している．本論文では，画像マッチングの主要な要
素 技 術 で あ る 点 パ タ ー ン マ ッ チ ン グ (Point Pattern Matching, PPM)に お け
る 新 た な 類 似 度 尺 度 に つ い て 述 べ ， 次 に よ り 一 般 的 な 問 題 へ の PPM の 適 用 に
ついて議論を拡張し，データ表現の異なる画像の重ね合わせ，類似画像検索
におけるマッチングの要素技術を検討している．本研究は画像マッチングの
応用における効率的かつロバストなアルゴリズムを提案している点で，画像
処理とコンピュータビジョンの分野におけるその意義は高く，画像マッチン
グ研究の新たな展開を示すものと言える．以下，各章ごとにその概要を示し
評価を与える．
第 1 章 「 Introduction」 で は ， 画 像 マ ッ チ ン グ の 主 要 な 要 素 技 術 に つ い て
概 説 し ，P P M ，デ ー タ 表 現 の 異 な る 画 像 の 重 ね 合 わ せ ，類 似 画 像 検 索 に お け る
従来手法の問題点とその対策を明らかにしている．
第 2 章「 S i m i l a r i t y M e a s u r e f o r P o i n t P a t t e r n M a t c h i n g 」で は ，P P M の
た め の 高 速 か つ 高 精 度 な 類 似 度 尺 度 で あ る ヒ ル ベ ル ト 走 査 距 離 （ Hilbert
S c a n n i n g D i s t a n c e , H S D ）を 提 案 し て い る ．こ れ は 従 来 手 法 で あ る ハ ウ ス ド
ルフ距離などの２次元の類似度尺度と異なり，ヒルベルト走査を利用して２
次元の画像平面を１次元直線上に変換し，その１次元直線上で距離を計算す
るものである．本論文では，ヒルベルト走査で１次元に変換すると，２次元
空間上の近傍性が１次元直線上で他の走査法に比べてより保持されるため，
２次元空間での類似度尺度は１次元直線上での類似度尺度で近似できること
を 示 し て い る ．実 験 に よ り ，HSD は ，ハ ウ ス ド ル フ 距 離 と 比 べ ，計 算 量 を 大
幅 に 削 減 で き ，約 1 0 倍 の 高 速 計 算 が 可 能 な こ と を 確 認 し て い る ．ま た ，H S D
2
に 窓 関 数 を 導 入 す る こ と に よ り ，１ 次 元 直 線 に 変 換 す る 際 に ア ウ ト ラ イ ヤ（ 孤
立 点 の よ う な ノ イ ズ ）の 影 響 を 尐 な く 抑 え る こ と で き る こ と を 確 認 し て い る ．
本 研 究 は ， ヒ ル ベ ル ト 走 査 の 特 徴 を 生 か し た HSD の 着 想 に よ り ， PPM の た
めの類似度尺度としてリアルタイム計算を可能にし，アウトライヤの影響を
抑制できることが評価できる．
第 3 章「 S e a r c h S t r a t e g y f o r P o i n t P a t t e r n M a t c h i n g 」で は ，画 像 上 の 対
象物に回転，拡大縮小，平行移動などの幾何変換が施されている場合の画像
マ ッ チ ン グ に お い て ，P P M の た め の 幾 何 変 換 パ ラ メ ー タ 空 間 の ２ 段 階 最 適 探
索戦略を提案している．具体的には，楕円フィッティングによる粗探索と多
次元ヒルベルト走査を利用する詳細探索の組み合わせにより，効率的にパラ
メータを推定する．前者では，点集合を楕円でフィティングし，点集合と楕
円間の累積距離の重み付け２次誤差を最小化することにより粗く幾何変換パ
ラメータを推定する．後者では，多次元ヒルベルト走査を利用して，多次元
幾何変換パラメータ空間を１次元直線上に変換し，１次元直線上で独自の探
索戦略をとることにより最適な幾何変換パラメータを求めるものである．実
験では，人工的に作成した点集合データと指紋特徴点データを使用し，提案
した最適探索戦略が，全探索と比べ，同じ結果を得るのに，その探索範囲を
10%以 下 に 削 減 で き る こ と を 確 認 し て い る ． 粗 探 索 お よ び 詳 細 探 索 に よ り 幾
何変換パラメータの探索範囲を大幅に縮め，リアルタイム計算を可能にして
いることが評価できる．
第 4 章 「 Similarity Measure for Multimodal Image Alignment 」 で は ，
リモートセンシング画像と地図のような異なるデータ表現で生成された場合
の位置合わせに対する類似度尺度を提案している．一般に，リモートセンシ
ング画像と地図は，異なる撮影条件や異なるセンサから得られた画像群を指
すマルチモーダル画像として捉えられるが，画素データとベクトルデータと
いうように表現上には大きな違いがある．本研究では，リモートセンシング
画像と地図のエッジに基づく符号を生成し，符号の相互情報量を位置合わせ
のための類似度尺度として計算する．具体的には，例えばエッジの強度を４
レ ベ ル に 分 け ， ま た エ ッ ジ の 方 向 を 6 方 向 に 分 け る と 24 種 類 の 符 号 を 生 成
することができる．本手法は，リモートセンシング画像と地図をブロック分
割した後，各ブロックを符号で置き換えた符号系列で表現し，それぞれの符
号系列の相互情報量を新たな類似度尺度として用いるものである．この類似
度尺度は，エッジに基づくため，リモートセンシング画像と地図の輝度差異
に影響されない．実験では，数種類のマルチモーダル画像を用い，エッジ符
号の相互情報量による類似度尺度が画像と地図の位置合わせに有効であり，
リアルタイム計算が可能なことを確認している．本手法は，輝度情報を中心
と し た 従 来 手 法 と 比 べ て ， マ ッ チ ン グ の 適 合 度 を 約 20%~30%向 上 で き る こ
とを示しており，マルチモーダル画像において新たな類似度尺度を考案した
ことが評価できる．
3
第 5 章 「 Invariant Region Detector for Image Retrieval 」 で は ， 画 像 検
索に用いられる不変領域検出器のフレームワークを提案している．画像は，
カメラの視点変化，ぼけ，回転，あるいは撮影環境の明度変化，画像圧縮な
どによって様々に変化する．本研究は，このような変化に対応できる類似物
の画像検索を実現しようとするものである．このフレームワークは，画像か
ら基準となるシード点を抽出し，シード点から輝度差に基づく不変領域を抽
出し，さらに不規則な領域に楕円フィッティングを適用して画像の類似性を
求めるものである．オックスフォード大学において公開されている評価用デ
ー タ ベ ー ス を 用 い て 不 変 領 域 抽 出 を 行 っ た 結 果 ，視 点 変 化 ，ぼ け ，明 度 変 化 ，
圧縮，回転などの多様な画像変換に対応でき，ロバストであることを確認し
ている．特に提案したフレームワークは，視点変化，ぼけ，明度変化の場合
に ，従 来 の 検 出 器 M S E R よ り 優 れ て い る こ と を 確 認 し て い る ．カ ル フ ォ ル ニ
ア工科大学において公開されている評価用データベースを用いて画像検索を
行った結果，類似画像検索におけるマッチングにかかった時間が不変領域抽
出を含めて 1 秒以下であり，従来のマッチング手法と比べ，約同じ再現率で
5%~10% の 適 合 率 の 向 上 を 確 認 し て い る ． 提 案 し た フ レ ー ム ワ ー ク は ， 類 似
画像検索においてリアルタイム計算が可能な新たなマッチング技術を考案し
たことが評価できる．
第 6 章 「 Conclusion」 で は ， 本 論 文 を ま と め ， 各 応 用 分 野 に お い て ， 実 際
の画像マッチングシステムとして実装するための今後の課題が挙げられてい
る ．本 論 文 で は P P M ， マ ル チ モ ー ダ ル 画 像 の 重 ね 合 わ せ ，類 似 画 像 検 索 に お
けるマッチング技術の検討を中心に述べられているが，他の応用分野への適
用についても言及している．
以 上 要 す る に 本 論 文 は P P M ，デ ー タ 表 現 の 異 な る 画 像 の 重 ね 合 わ せ ，類 似
画 像 検 索 に お け る 効 率 的 か つ ロ バ ス ト な 画 像 マ ッ チ ン グ を 目 的 と し ，P P M の
た め の 類 似 度 尺 度 ， PPM の た め の 幾 何 変 換 パ ラ メ ー タ 空 間 の 最 適 探 索 戦 略 ，
データ表現の異なる画像と地図の位置合わせのための類似度尺度，類似画像
検索のための不変領域抽出を検討し，従来法に対するリアルタイム性，ロバ
スト性を示したもので，画像工学上価値ある業績と言える．よって本論文は
博士（工学）の学位論文に値するものと認める．
2009 年
主査
1 月
27 日
早稲田大学
教授
博 士 （ 工 学 ）（ 九 州 工 業 大 学 ） 鎌 田
清一郎
早稲田大学
教授
工学博士（九州大学）
平澤
宏太郎
早稲田大学
准教授
工学博士（東京大学）
西村
敏博
九州大学
教授
博 士 （ 工 学 ）（ 九 州 大 学 ）
内田
誠一
4