CGによるインテグラル立体映像の生成技術

研 究 所 の 動 き
CGによるインテグラル立体映像の生成技術
当所では，将来の放送サービスに向けて，特殊なメガネをかけずに，見る位置に応じた自然な立体映像を楽しむ
ことができるインテグラル（IP：IntegralPhotography）立体テレビの研究開発を進めている。
■IP立体テレビの特性評価に向けて
IP立体テレビでは，撮影および表示において多数の微小なレンズが並んだレンズアレーを用いる。撮影では，被
写体からさまざまな方向に進む光の強さや色情報を微小画像（要素画像）として記録する。表示では，要素画像か
らレンズアレーを使って被写体からの光を再現し，被写体の立体像（IP立体映像）を再生する（１図）。IP立体映像
の品質を決める特性には解像度や再生可能な奥行き範囲などがあり，これらは撮像・表示素子やレンズアレーの構
造・寸法などのパラメーターによって決まる。IP立体テレビの特性を評価するには，さまざまなパラメーター値にお
けるIP立体映像が必要になるが，パラメーター値ごとに実機を製作して特性を評価することは容易ではない。そこで，
理想的な要素画像を生成する手法をCG（ComputerGraphics）で構築した。
■CGソフトウエアを用いた仮想IPカメラの開発
今回，放送現場のCG映像制作で広く利用されている3DCGソフトウエアに追加する形で，要素画像群を生成す
る仮想IPカメラの機能を開発した。２図に，一般の仮想カメラで取得される画像と，仮想IPカメラで取得される画像
の違いを示す。仮想IPカメラの特性を決める種々のパラメーター値（撮像素子の画素間隔，レンズの焦点距離，レ
ンズ間隔，レンズ数など）は，3DCGソフトウエアの画面において容易に設定できる。また，3DCGソフトウエアへ
の機能追加という形で開発したことにより，従来のCG映像制作と同様の手順で，ガラスの透明感や金属の光沢感
なども含めて，実写に近いIP立体映像が再現可能な要素画像群を生成できるようになった。
今後は，CGによる高品質な要素画像群を用いてIP立体テレビの特性を評価し，高品質なIP立体テレビの実現を目
指して，研究開発を進めていく。
微小画像（要素画像）
撮影
表示
要素画像
表示素子
撮影
被写体
観察
IP立体映像
撮影用レンズアレー
表示用レンズアレー
１図　IP立体テレビの撮影および表示
3DCGソフトウエア内の仮想３次元空間
一般の仮想カメラ
仮想IPカメラ
出力画像
出力画像
（要素画像群）
２図　一般の仮想カメラと今回開発した仮想IPカメラで取得される画像の違い
NHK技研 R&D ■ No.157 2016.5
45
変換ブロックサイズの拡張による
符号化効率改善の検討
ハイビジョンを超える4K（水平3,840×垂直2,160画素）や8K（水平7,680×垂直4,320画素）といったスーパー
ハイビジョンの実用放送が，2018年にBS（Broadcasting Satellite：放送衛星）を用いて開始される予定である。
最近では，家庭用テレビにとどまらず，スマートフォン等でもハイビジョンを超える高画質な映像表示が可能となっ
ており，これらの映像フォーマットの普及が見込まれている。今後は，ネットワーク配信や地上放送サービスなどで
もスーパーハイビジョンの利用が想定されるが，これらの伝送路ではBSに比べてデータ伝送容量が少ないため，映
像をより効率的に圧縮する技術が求められている。
映像信号の圧縮では，入力映像をフレーム単位でブロックに分割し，ブロックごとにさまざまな画像処理を行うこ
とで圧縮を実現する。複雑な映像の領域は圧縮が難しく，変化の少ない平坦な映像の領域は圧縮が容易であり，
領域ごとに符号化の難易度が異なるため，入力映像に応じた適切なサイズでブロックに分割することが必要である。
一方で，大きなブロックの符号化処理においては，一度に多くのデータを処理する必要があるため，リアルタイム性
が求められる放送用途では，処理できるブロックサイズに上限がある。現在の符号化方式では，最大でも32×32
画素のサイズに制限して変換処理と圧縮処理を行っている。
当所では，変換処理におけるブロックサイズを，これまでと同程度の処理量で64×64画素に拡張する手法を開
発した。本手法は，64×64画素のブロックを，加算と減算のみで構成される軽量な前処理により，４つの性質の
異なる32×32画素のブロックに変換し，
それぞれに独立した変換処理を適用する（１図）。前処理後の４つのブロッ
クの並列処理が可能で，従来の処理と同程度の時間で４倍の領域を処理できるため，リアルタイム性が求められる
放送用途に適している。この手法により，従来の符号化方式に対して符号化効率を最大７％改善できることを確認
した。今後も，他の信号処理の改善と組み合わせて，より圧縮効果の高い符号化方式の研究・開発を進めていく。
現在の方式
32×32
変換処理
圧縮処理へ
ブロック化
符号化対象ブロック
32×32
開発した方式
変換処理1
64×64
変換処理2
圧縮処理へ
ブロック化
前処理
符号化対象ブロック
変換処理3
変換処理4
軽量・並列処理可能
１図　変換処理の比較
46
NHK技研 R&D ■ No.157 2016.5