スポーツ自由視点映像の 生成技術

スポーツ自由視点映像の
生成技術
株式会社KDDI研究所／三功浩嗣、内藤　整
本稿では、サッカー等のスポーツ中継を対象とした自由視点映像を生成する目的から、放送等
で用いられるパン・チルト・ズームカメラを対象に動的キャリブレーション、オブジェクト抽出、
オブジェクト追跡に基づく合成手法を提案する。
1
とした背景差分法が適用できない点である。
はじめに　また、ビルボード方式に基づく自由視点映像の
合成では、オブジェクトごとのテクスチャ抽出に
近年、視聴者が任意に選択する視点に合わせて
ついて、ユーザが指定する仮想視点の最寄りの撮
3 次元の空間を表示することが可能な自由視点映
影カメラで取得されるテクスチャをマッピングす
像の合成技術が注目されている
。特に、サッカー
る処理を基本とするため、各カメラ映像のフレー
のような屋外大空間で撮影される映像を対象とし
ムごとに各オブジェクトのテクスチャ領域を正確
た合成方式として、簡単化 3 次元モデルを用いる手
に抽出する必要がある。しかしながら、サッカー
法が提案されている 3 、4）。これらの手法では、3 次
等のスポーツ競技を対象とした場合、カメラ映像
元空間中の各オブジェクトをビルボードと呼ばれる
中で複数のオブジェクトが重なりあうオクルージョ
1 枚の長方形ポリゴンで近似し、ユーザが選択する
ンという現象が頻繁に発生するため、オブジェク
1 、2）
視点位置に応じて、多視点画像から獲得したテクス
トごとのテクスチャを切り分けて正確に抽出する
チャ情報を適切にマッピングすることで、計算コス
ことはきわめて難しい。特に、手前のオブジェク
トを抑えた合成を実現している。フィールド平面上
トに遮られる奥のオブジェクトのテクスチャに欠
に存在する各選手の 3 次元世界座標に関しては、
損が生じることを避けられないため、当該オブ
フィールド平面上 2 次元世界座標として扱うことが
ジェクトのフィールド上 2 次元世界座標を適切に
可能であり、各カメラで取得されるテクスチャ領域
推定することができず、結果として合成精度が著
の足下点を平面射影行列により投影することで算
しく低下する課題があった。
出可能であるため、カメラの強校正は不要である。
筆者らは、これまでの研究において、非固定カ
一方で、テレビ放送をはじめとした実際のス
メラ映像への対応を目的に、カメラ映像のフレー
ポーツ映像への適用を考えた場合、中継現場で配
ムごとに射影行列を推定し、同行列を用いてオブ
置されるカメラが固定されていないということが
ジェクト領域を抽出する手法を提案してきた 5）。
大きな課題として挙げられる。固定カメラではな
しかしながら、オクルージョン領域に含まれるオ
く非固定カメラを用いる場合に特有の課題は大き
ブジェクトのテクスチャ、およびフィールド平面
く 2 つ存在する。1 つは、カメラパラメータ（射影
上の 2 次元世界座標を正しく取得できないため、
行列）
がフレームごとに変化する点であり、もう一
自由視点映像の合成画質が劣化するという課題が
方は、人物等の前景オブジェクト
（以下、オブジェ
あった。そこで本稿では、既提案手法 5）を拡張す
クト）抽出時に、背景領域が既知であることを前提
ることで、カメラパラメータ推定、およびオブジェ
72 ︱March 2014
eizojoho industrial