3次元画像の高画質化・高機能化に向けた解

審 査 の 結 果 の 要 旨
氏
名
中島 諒
本論文は「3次元画像の高画質化・高機能化に向けた解像度変換処理の研究」と題し，自由視点画像合
成およびステレオ画像処理の高画質化・高機能化を目的とした解像度変換処理について論じたものであ
り，全体で7章からなる．具体的には，高画質化として超解像を用いた自由視点画像合成（以下では超解
像自由視点画像合成と呼ぶ），高機能化としてステレオ画像のリターゲティングの問題を取り上げてい
る．
第1章は「序論」であり，解像度変換処理の概要，および3次元画像処理への応用の有用性について論
じ，本論文の背景と目的を明らかにしている．
第2章は「研究の背景」であり，解像度変換処理を，画像の縦横比を保ったまま解像度を向上する処理
である超解像と，画像の主な内容を保ったまま縦横比を変化させる処理であるリターゲティングに分類
した上で，それぞれについての研究動向を概観し，本論文の位置づけを明らかにしている．
第3章は「超解像自由視点画像合成に適した多視点カメラ配置」と題し，再構成型超解像，すなわち複
数の画像の情報を統合することによる高解像度化処理を用いた自由視点画像合成において，多視点カメ
ラの配置と合成される画像の品質の関係を定量化する理論を提案している．提案理論では，再構成型超
解像を周波数領域で定式化している．このとき，カメラ配置の影響を表す行列が係数行列の一部として
現れ，その行列の条件数によって合成品質を評価している．提案理論により，カメラを規則的な正方格
子状に並べた場合に周期的に品質が低下する奥行きが現れることや，カメラ配置に正方格子からランダ
ムなずれを加えることでこの画質低下を回避できることが示されている．これらの結果は実際の画像を
用いた超解像自由視点画像合成の実験結果とよく一致するものである．
第4章は「学習型超解像を組み合わせた高品質な超解像自由視点画像合成」と題し，超解像自由視点画
像合成に対して再構成型超解像と学習型超解像，すなわち多数の自然画像から学習された特徴を再現す
ることによる高解像度化処理と組み合わせることを提案している．超解像自由視点画像合成に対する既
存手法の多くは再構成型超解像のみを用いているが，与えられる画像に情報が不足している場合には合
成品質が低下する．提案手法では，この情報不足を学習型超解像によって補うことにより，高品質な画
像を合成することを可能としている．学習型超解像の手法としてSparse Codingによる超解像，および
Anchored Neighborhood Regressionによる超解像の2つを用いており，どちらの手法を再構成型超解像に
組み合わせた場合においても合成品質が向上することが示されている．
第5章は「25 眼カメラアレイからの実時間超解像自由視点画像合成」と題し，多視点カメラによって
取得された多視点画像から，リアルタイムで超解像自由視点画像合成を行うシステムの構築について述
べている．特に，超解像自由視点画像合成にはシーンの奥行きを高精度に推定する必要があるため，奥
行き評価関数の改良について論じられている．提案する奥行き評価関数では，画素の色の一致度と，カ
メラのペア間で正しく対応している数を評価することにより，物体の境界などのオクルージョンが避け
られない領域での推定精度の向上を図っている．また，GPU上での並列実装により，1フレームあたり40
ミリ秒程度での合成が可能となり，リアルタイムでのインタラクションに十分な性能が得られている．
第6章は「Shift-map を用いたステレオ画像リターゲティング」と題し，主な内容を変えずに縦横比を
任意に変更するリターゲティング処理をステレオ画像に適用する手法を提案している．通常の二次元画
像のリターゲティングでは，画素ごとの顕著度と画像の平滑性という二つの制約を考慮した縦横比の変
換を行うが，ステレオ画像のリターゲティングではこれらの制約に加えてシーンの3次元構造を保持する
という新たな制約が必要となる．提案手法ではシーンの3次元構造を保持するための制約をステレオ対応
制約として定式化し，shift-mapと呼ばれるリターゲティング手法に導入している．また，筆者の共同研
究の成果でもあるstereo seam carvingと提案手法の比較を行い，得られる画像の品質や実行時間の観点
からそれぞれの手法の特性を明らかにしている．
第7章は「結論」であり，本論文の主たる貢献をまとめ，今後の課題と展望について述べている．
以上を要するに，本論文は，超解像自由視点画像合成やステレオ画像リターゲティングといった問題
を通じて解像度変換処理を応用した3次元画像処理の高画質化・高機能化を検討したものであって，信号
処理・コンピュータビジョンなど，電子情報学の各分野の今後の進展に寄与するところが少なくない．
よって本論文は博士（情報理工学）の学位請求論文として合格と認められる．