Comments
Description
Transcript
超解像復元型映像符号化システム
02 超解像復元型映像符号化システム 三須俊枝 松尾康孝 岩村俊輔 境田慎一 UHDTV Video Coding System with SuperResolution Image Reconstruction Toshie MISU, Yasutaka MATSUO, Shunsuke IWAMURA and Shinichi SAKAIDA 要 約 ABSTRACT 8Kスーパーハイビジョンなどの超高精細映像の超高圧縮 We propose a novel video coding paradigm 伝送を実現すべく，従来型の映像符号化技術（コア符 “reconstructive video coding” that incorporates 号化）と超解像技術を組み合わせた超解像復元型映像 super-resolution image reconstruction techniques 符号化システムを開発した。 本システムの送信側では， コア符号化の前に映像の解像度等を削減する。解像度 削減とコア符号化という異なる機軸で圧縮を分担するこ ひずみ input video frames are down-sampled before being encoded by the conventional encoder. By sharing the extreme compression ratio between the down- とで，ブロック歪などの目障りな劣化を低減する。 一方， sampler and the encoder, offensive deteriorations 受信側では，コア復号の後に超解像技術を用いて，ぼや such as blocking artifacts can be suppressed. On the けなく元の解像度に復元する。さらに，送信側において 原画を参照しつつ超解像復元を試行し，最適な復元方 decoder side, the decoded video frames are superresolved to the original resolution by supplementing finer textures lost in the down-sampling process. The 法を特定して，これを補助情報として圧縮・伝送すること system also optimizes the way for super-resolving で，受信側の超解像復元を制御する。以上の各機能の a decoded frame by referring to the original frame 連携により，従来型の符号化装置や伝送路を活用しつ on the encoder side. In the report, we first discuss つ，超高精細映像の効率的な伝送が可能となる。本稿 では，超解像復元型映像符号化システムの構成と応用 30 with an existing video codec. In the paradigm, the the mechanism and the positive/negative effects of our proposal from a theoretical aspect. In the latter part, several examples of real-time hardware について述べるとともに，ハードウエア実装によるリアル implementations are described in chronological タイム処理について事例を紹介する。 order. NHK技研 R&D/No.155/2016.1 削減映像 コア符号化 映像情報 コア復号 復元処理 出力映像 入力映像 削減処理 ローカル復号映像 最適化 復元処理 制御 最適な復元法を通知 補助情報符号化 補助情報 補助情報復号 送信側 受信側 １図 超解像復元型映像符号化システムの基本構成 １．はじめに ２．システムの概要 フルスペックの8Kスーパーハイビジョン（以下，8K） 超解像復元型映像符号化システムの基本構成を１図に の映像パラメーターは，画素数が7,680×4,320，フレー 示す。本システムでは，従来型の映像符号化および復号 ム周波数が120Hz（順次走査） ，量子化ビット数が12ビッ （以下，コア符号化およびコア復号と呼ぶ）を中心として， トであり，ベースバンドにおけるビットレートは72 ～ コア符号化の前に削減処理，コア復号の後に復元処理を 144Gbpsに達する。一方，衛星や地上の放送波，ケー 設けている。 ブルテレビなどで映像伝送・配信を行う場合には30 ～ 削減処理は，比較的単純な処理により解像度等を削減 100Mbps程度の伝送速度が想定され，これらの伝送路 する。解像度等が減った分，コア符号化における圧縮率 で8Kの映像信号を送るためには，1/1,000 ～ 1/5,000と が緩和され，ブロック歪等の非線形的な符号化劣化が抑 いう極めて高い圧縮率での映像符号化が必要となる。 制される。一方，復元処理では，コア復号部からの復号 1/1,000前後の圧縮率においては，2013年に標準規格化 映像をディスプレーの解像度に合わせて高解像化する。 されたMPEG-H HEVC（High Efficiency Video Coding） この復元処理において，映像を単純に拡大するだけでは /H.265方式によりある程度の画質が得られると考えられ ぼやけが生じるが，超解像復元技術を用いることにより， るが，より高い圧縮率においては，動き補償予測と離散 精細感のある画像復元を実現している。 コサイン変換を基礎とする従来型の符号化方式に特有の さらに，送信側から補助情報を送って最適な復元法を ブロック状の歪 が顕著となり，8Kとしての品質が大き 通知し，受信側の復元処理を制御する仕組みを導入し く損なわれる可能性がある。 た。これは，送信側で受信側と同様の復元処理を試行し， ひずみ 当所では，既存の映像符号化方式や伝送手段を活用し 復元結果が原画像を最も近似するように復元処理のパラ つつ，超高精細映像の超高圧縮伝送を可能にする新たな メーターを調整して，その調整値を受信側の復元処理に 映像符号化伝送技術として，超解像復元型映像符号化 通知する仕組みである。 システムを提案してきた 。この符号化システムの特徴 １） は，既存の映像符号化方式には一切手を加えず，超解像 技術＊１ を応用した処理系を外付けすることで，伝送可 ３．理論的検証 能な映像フォーマットを拡張できることである。本稿で コア符号化では予測，直交変換，量子化などの複雑な は，超解像復元型映像符号化システムについて，初期の 過程を経て1/100超の大きな情報削減がなされるのに対 理論的な検証から，ハードウエアによるリアルタイム処 理の実現に至るまでの開発の経緯を紹介する。 ＊１ エッジや細かい模様を補って解像度を向上させる技術。 NHK技研 R&D/No.155/2016.1 31 １表 削減処理と復元処理における変換手法 名称 空間解像度 ① 空間復元型 フレームレート ビット深度 色空間（原色数） ○ 1/4 ～ 1/16 ② 時間復元型 ○ 1/2 ③ 階調復元型 ④ 時空間復元型 ○ ⑤ 空間階調復元型 ○ ○ 1/1.25 ～ 1/1.5 ○ 1/5 ～ 1/6 ○ ⑥ 色時間復元型 1/8 ○ ○ HL1 入力画像 LH1 ウェーブレット分解 LL2 HL2 HH1 ウェーブレット合成 LL1 LL1 LH2 HH2 典型的な削減比率 1/2 LL0 復元画像 高域生成部 HL 生成部 LH 生成部 HH 生成部 補助情報 ２図 ウェーブレット超解像に基づく復元処理 し，削減処理においては，画素を一定間隔で間引くなど Dynamic Range）映像のような階調ヒストグラム＊２ に の比較的単純な処理によって1/2 ～ 1/16程度の情報削減 大きな偏りが想定される場合に対応することを念頭に設 を行う。コア符号化で生じる劣化は非線形的で目障りな 計を行った。 ものになるが，削減処理により生じる劣化はぼやけなど １表の④～⑥では，複数の変換軸を組み合わせて変 数学的にも視覚的にも素直な特性となる。目障りな劣化 換軸間の相関を利用し，一層の高効率化を図った。④ をいかに復元しやすい素直な劣化に置き換えるかが，本 時空間復元型では，空間復元型の複数フレーム超解像 システムの有効性を引き出す鍵となる。 技術＊３ と時間復元型のフレーム内挿技術の類似性に着 ３． １ 削減処理と復元処理の手法 目して，両者を統合した復元法を構築し，演算量の観 削減処理および復元処理については，空間解像度の変 点，および画素の間引きを時間軸と空間軸でバランスよ 換だけでなく，種々の手法が考えられる。当所では１表 く分担するという観点から効率化を図った。⑤空間階調 に示すような変換手法を検証してきた。１表は，各変換 復元型は，フィードフォワード型＊４の階調削減制御と， 手法の処理対象となる映像パラメーターと，各変換手法 フィードバック型＊５ の空間解像度復元制御を組み合わ によるデータ量の削減比率を示している。 せ，より高度な最適化制御を行う手法である。⑥色時間 １表の①空間復元型は，画素を一定間隔で間引くなど 復元型は，２フレームずつ同一位置の画素値を束ねた６ の方法で空間解像度を変換する手法であり，超高精細映 次元（３色×２時点）の数値列に対して主成分分析＊６ 像を超高圧縮したときのブロック歪を軽減することを目 を施し，上位３主成分のみで画素値を再表現することで 的として設計した。②時間復元型は，所定の比率でコ 50%の情報削減を行う手法である２）。フェードイン／ア マ（フレーム）を間引く手法であり，高フレームレー ト（HFR：High Frame Rate）映像用のリアルタイム エンコーダーの実現が困難であることを想定したもので ある。③階調復元型は，階調表現のための1画素あたり のビット数を削減する手法であり，12ビット深度が扱え ない既存の符号化方式において12ビットの映像伝送を可 能とすることと，高ダイナミックレンジ（HDR：High 32 NHK技研 R&D/No.155/2016.1 ＊２ どの階調がどれだけ頻繁に現れるかを集計した統計データ。 ＊３ 撮影時刻の異なる複数のフレームを，被写体位置を合わせつつ重ね合わ せることで，細かい模様を復元する技術。 ＊４ 後段の挙動を予見して先行的に補正をかけておく制御手法。 ＊５ 自身が行った補正の結果をチェックして適宜補正量を修正する制御手 法。 ＊６ 多変量解析手法の一種であり，最も分析に効く変数の組み合わせ方を求 めるのに役立つ。 報告 PSNR-Y （dB） A 27 26 25 24 23 22 21 20 19 10 15 20 25 30 B 35 02 C 40 ビットレート （Mbps） (a) テスト映像 （4K解像度） (b) レート歪特性 (c) 従来型映像符号化 （AVC/H.264） (d) 超解像復元型映像符号化 ３図 空間復元型符号化の効果 ウトや照明変動時のように色・時間に相互の相関が生じ 超解像画像LL0を得る。高域生成部はディジタルフィル る状況において有効な手法である。 ターにより構成可能で，その係数を制御することによっ ３． ２節および３． ３節では，最も基本的な構成である て復元画像の解像感を変えることができる。 ①空間復元型を例として，これまでの理論的検証につい ３図は本方式による符号化の実験結果である。コア てまとめる（④時空間復元型および⑤空間階調復元型に 符号化にはMPEG-4 AVC/H.264を用い，高域生成部に ついては，４章でリアルタイム処理装置の開発事例を示 設定するフィルター係数を補助情報として伝送する構 す）。 成とした。３図（a）の映像を符号化した際のレート ３． ２ 有効性の検証 歪曲線＊10を３図（b）に示す。３図（b）のPSNR-Yは， 最も基本的な構成として，当所では2009年度に，空 輝度信号のピーク信号対雑音比（Peak Signal-to-Noise 間解像度の削減／復元を行う①空間復元型の検証を開 Ratio）を表す。３図（b）の曲線Aは提案手法（補助情 始した。3,840×2,160画素（以下，4K） ，フレーム周波 報による制御あり） ，Bは提案手法（補助情報による制 数60Hzの映像を，総画素数で1/4に削減してから伝送す 御なし，フィルター係数固定） ，Cは4K映像をMPEG-4 ることを想定し，画質や符号化ゲイン AVC/H.264により直接符号化した場合である。提案手 ＊７ の評価を行っ 法により，顕著な画質改善が得られていることが分かる。 た 。 ３） による低 ３図（c）および（d）は，ほぼ同一のビットレートに 域成分（LL成分）を用い，水平・垂直ともに1/2に解像 おける画質の比較である。超解像復元型映像符号化の方 度を削減した。 が透明感と精細感のある結果が得られている。なお（d） 削減処理には２次元ウェーブレット分解 ＊８ 一方，復元処理には２図に示すウェーブレット超解像 方式を用いた。まず，入力画像（LL1成分）に対して２ 次元ウェーブレット分解を施す。得られた高域の３成分 HL2, LH2, HH2を高域生成部に入力し，２×２倍に高解 像化したHL1, LH1, HH1 成分を生成する。入力画像LL1と 生成したHL1, LH1, HH1 成分をウェーブレット合成＊９し， ＊７「符号化ゲイン」は符号化効率の改善量， 「符号化効率」は圧縮率と画質 の総合評点を表す。 ＊８ さざ波状の基底関数を用いて，信号を低域成分と高域成分に分解する演 算処理。 ＊９ 低域成分と高域成分を合成して，元の信号波形を合成する演算処理。 ＊10横軸にビットレート，縦軸に画質をとった曲線で，曲線が左上にあるほ ど符号化効率が良い。 NHK技研 R&D/No.155/2016.1 33 (a) 複雑度に基づく標本化格子 (b) 不均一標本化の結果 ４図 不均一標本化 2011年度 2012年度 ウェーブレット合成 ② ウェーブレット超解像 LL1 ウェーブレット分解 フィルター係数列 フィルター係数列 フィルター係数列 フィルター係数列 畳み込み フィルター 畳み込み フィルター 畳み込み フィルター 畳み込み フィルター 畳み込み フィルター 畳み込み LH1 フィルター 畳み込み フィルター 畳み込み フィルター 畳み込み フィルター 畳み込み HH1 フィルター 畳み込み フィルター 切替 オフセット HL1 畳み込み フィルター 多重化 畳み込み 畳み込み フィルター 高域生成 ③ 空間削減 ① 畳み込み フィルター 畳み込み フィルター 2013年度 画素間引き 時空間解像度変換 空間削減 時空間ハイブリッド 超解像 ウェーブレット 超解像 ④ 時空間ハイブリッド超解像 複数フレーム 超解像 時間削減 同期 最適化・制御 適応フレーム 内外挿 MUX ５図 リアルタイム超解像復元型符号化装置の開発 は，後述する不均一標本化による（1/4）× （1/4）倍の削 本化格子を変形させた例である１）。再標本化の結果，空 減処理と逐次モンテカルロ超解像による４×４倍の復元 の領域が圧縮される一方，細かい模様のあるコンクリー 処理を用いた場合の結果である。 ト部分が拡大されている。間引きフィルターについては， ３． ３ 削減処理・復元処理のバリエーション あえて折り返し歪４）を付加することや標本点位置をずら 空間復元型の削減処理においては，間引きフィルター す５）ことにより改善効果が期待できる。これらにより細 （エッジのガタつきを抑える低域通過型フィルター）の かい模様を保存した縮小変換が可能となる反面，コア符 適用後，再標本化を行う。再標本化は，水平・垂直方向 号化において動き補償予測が当たりにくくなるなど，エ に一定間隔で間引く均一標本化のほかに，不均一に標本 ントロピー（統計的な不規則性）の増大が課題となった。 化してもかまわない。４図は，絵柄の複雑度に応じて標 一方，均一標本化を行った場合は，縮小映像もそのま 34 NHK技研 R&D/No.155/2016.1 報告 畳み込み 02 加算 フィルター係数列♯１ 出力候補画像 フィルター係数列♯２ 入力画像 フィルター係数列♯N 切替マップ ６図 畳み込みフィルター部の構成 補助情報（16モード） 適応フレーム内外挿 2K/60P 重畳 前方 内挿 後方 外挿 前方 外挿 多重化 ウェーブレット超解像 後方 内挿 4K/60P 4K/120P 動き補償 遅延 重畳 動き補償 動き補償 動き補償 複数フレーム超解像 補助情報（16モード） ７図 時空間ハイブリッド超解像の実装 ま観視可能となる。ディスプレーの解像度に応じたス 超解像（複数の異なる超解像手法を組み合わせた超解像 ケーラブルな（拡張性のある）映像提供の観点から，以 手法）を採用し，2011年度にリアルタイム処理装置の開 降の開発では， 均一標本化による単純な縮小を採用した。 発に着手した。本開発においては確実性とコストに配慮 復元処理には，前記のウェーブレット超解像方式に加 し，５図に示すように，基本回路から高度な機能へと積 えて，逐次モンテカルロ法 ＊11 による超解像方式 ６） を独 自に開発した。本方式では，高解像映像から低解像映像 への劣化過程の逆問題 み上げるボトムアップ型のアプローチを用いた。 ４．１ 畳み込みフィルター部の試作（2011年度） として超解像を捉える。具体 初年度においては，まず以後の開発装置において多 的には，複数の超解像候補（復元映像の候補）を確率的 用が想定される畳み込みフィルター部（５図①）を試 に生成し，それらを低解像化してみた結果が複数フレー 作した。フィルター係数は複数の組をプリセット可能 ムにわたる観測事実（入力された低解像映像）に矛盾し で，画素の位置ごとに切替マップで指示値を与えること ないかを検証し，矛盾しない候補のみを残すようフィル により，使用するフィルターを切り替えることができ ター処理することで確からしい候補を絞り込む。強力な る（６図）。本回路はFPGA（Field-Programmable Gate 逆問題解法である逐次モンテカルロ法により，面積16倍 Array）を搭載した画像処理PCI（Peripheral Component の超解像も可能であるが，回路実装が大規模となるのが Interconnect）Expressカードに実装し，4K/60P（4K， 課題である。 フレーム周波数60Hz，順次走査） ，ビット深度10ビット ＊12 の映像に対する17×17タップ畳み込み演算（画素位置ご ４．ハードウエアによるリアルタイム処理 削減処理には均一標本化による縮小処理を，復元処理 にはウェーブレット超解像をベースとするハイブリッド とに64種類のフィルター係数から選択可）をリアルタイ ＊11物事の挙動や状態を確率密度関数で表現し，乱数を用いた離散的な近似 によって確率・統計的に解を求める状態推定手法。 ＊12出力から入力を推定する問題。 NHK技研 R&D/No.155/2016.1 35 ８図 リアルタイム空間階調変換装置 ムで実現した。 の結果，送信側での削減処理とローカル復元処理に基 ４． ２ 空間復元型符号化の実装（2012年度） づく最適化処理が実現した。本装置とMPEG-H HEVC/ ５図②に示すように，畳み込みフィルター（５×５ H.265によるコア符号化を組み合わせたシステムにより， タップ）を各色につき13個ずつ並・直列接続することで， 4K/120P映像のリアルタイム符号化を実証した。 ウェーブレット超解像装置を構成した 。畳み込みフィ ４．４ 空間階調復元型符号化の実装（2014年度） ７） ルター２段でウェーブレット分解， 続く１段で高域生成， 最適化処理を高度化するとともに，12ビット深度の映 最終の１段でウェーブレット合成を行うことにより，２ 像にも対応した装置（８図）を開発し，空間階調復元型 図と等価な復元処理を実現している。併せて，畳み込み 符号化システムを構成した（９図）９）。本システムでは， フィルター（17×17タップ）と画素間引きを組み合わせ 削減処理に対するフィードフォワード制御，最適化処理 た空間削減処理装置（５図③）も構成した。②と③の処 への視覚特性の反映，および非線形トーンマッピング（階 理は，それぞれ１枚のPCI Expressカードに実装した。 調削減・復元処理）を新たに導入した。 2013年のNHK技研公開では，開発したウェーブレッ 非線形トーンマッピングは，入力映像において出現頻 ト超解像装置と空間削減処理装置をコア符号化AVC/ 度の高い画素値付近を相対的に細かく再量子化する機能 H.264と組み合わせ，4K映像のリアルタイム伝送を実演 である。トーンマッピング関数は，削減処理時に入力映 した。なお，この時点では，後述の最適化処理と補助情 像の階調ヒストグラムに基づいて自動生成される。超解 報伝送は未実装である。 像処理の最適化が送信側で復元処理を模擬するフィード ４． ３ 時空間復元型符号化の実装（2013年度） バック型の制御であるのに対し，非線形トーンマッピン 超解像性能の向上とフレーム補間機能の追加のため に，ウェーブレット超解像，複数フレーム超解像，お グは入力映像に基づくフィードフォワード型の制御と なっている。 を組み合わせた時空間ハイ 超解像復元処理は，各色４種類のウェーブレット超解 ブリッド超解像（５図④）を開発し，７図のように回 像を並列に実行し，それらの中で最適なものをブロック 路化した８）。ウェーブレット超解像により2K/60Pから 単位で切り替えるよう構成した（９図） 。これ以前のシ 4K/60Pに変換した映像を５フレーム分バッファーに蓄 ステムにおいては，復元結果と原画像との誤差が小さく え，これらを相互に位置合わせして重ね合わせることで， なるよう最適化を行っていたが，ウェーブレット超解像 高域の復元，歪の低減，およびフレーム内挿を実現して は高域情報を人工的に生成するため，誤差最小の画像 いる。重ね合わせるフレームの組み合わせは，ブロック が必ずしも視覚的に精細に感じるとは限らない。そこ ごとに16通りの組み合わせ（モード）から選択可能であ で，今回のシステムでは誤差のほかに，構造類似性指 る。これにより，被写体同士の遮蔽を考慮した復元処理 10）＊14 標（SSIM：Structural Similarity） や全変動（TV： よび適応フレーム内外挿 ＊13 が可能となった。 さらに本開発においては，2012年度に開発したものと 同様の空間削減処理に加え，時間方向のフレーム間引 きを行う時間削減処理を同一装置内に組み込んだ。そ 36 NHK技研 R&D/No.155/2016.1 ＊13他のフレーム列から適宜内挿または外挿的に動き補償することで中割り のフレームを生成する独自手法。 ＊14部分画像の画素値の平均値や分散・共分散値により定義される画質評価 指標で，見た目のパターンの類似性を測ることができる。 報告 空間階調変換装置（送信） 02 空間階調変換装置（受信） 超解像復元 2 4K 12ビット映像 超解像復元 1 選択切替 逆トーンマップ コア復号 コア符号化 階調削減 トーンマップ 解像度削減 4K 12ビット映像 超解像復元 0 超解像復元 3 制御 超解像復元 0 超解像復元 3 補助情報復号 超解像復元 2 補助情報符号化 逆トーンマップ 最適化 超解像復元 1 ９図 空間階調復元型符号化システム 復号映像 低解像映像出力 コア符号化 受信側 同期させたい ハッシュ演算 ハッシュ演算 遅延 補償 ハッシュ照合 補助情報 最適化 多重分離 多重化 解像度復元 映像情報 ハッシュ値 ローカル復号映像 送信側 解像度削減 低解像映像入力 コア復号 解像度復元 遅延 補償 高解像映像入力 制御 高解像映像出力 10 図 ハッシュ同期方式 Total Variation）ノルム＊15の近似値11） が評価可能な最 る既存装置にはタイムスタンプを破棄してしまうものも 適化規範を新たに導入した。SSIMは視覚特性に近いと 多い。そこで，コア符号化のローカル復号映像の各フレー され，近年注目を集めている。また，TVノルムはウェー ムから画像特徴量（ハッシュ値＊16）を計算し，補助情 ブレット超解像が失敗したときに顕著となるリンギング 報とともに伝送するハッシュ同期方式を開発した（10 を検出するのに有効である。 図）。受信側においても復号映像の各フレームのハッシュ ４． ５ 補助情報の同期と圧縮 値を計算し，これと符合するハッシュ値を有する補助情 超解像復元型映像符号化においては，映像情報に加え 報を抽出することで，映像情報と補助情報の同期が確立 て補助情報も伝送するため， 両情報の同期が必須となる。 映像情報と補助情報の双方にタイムスタンプを付加する 手法が平易であるが，コア符号化や映像情報伝送に用い ＊15信号波形の上下動の総量を測る指標。 ＊16大きなデータを少ないビット数に要約した数値で，元データ同士が等し ければハッシュ値同士も一致する。 NHK技研 R&D/No.155/2016.1 37 される。本方式は，映像情報側に一切同期情報を付加し 率改善に関する理論的検証からリアルタイム処理の実現 ないことが特徴である 。 に至るまでの開発の経緯について紹介した。 ８） さらに，補助情報の伝送帯域を節約するために，前フ 現在，より視覚特性に整合した最適化を実現するため レームから現フレームへの最適モードの変化分をエント に，最適化規範の設計・調整を行っている。また，演算 ロピー符号化 処理能力の強化も進めており，8K解像度対応の処理装 ＊17 する圧縮手法を導入した。これにより， 補助情報を60%程度にまで圧縮することが可能となっ 置を完成させて8Kリアルタイム超高圧縮伝送実験に供 た 。 する予定である。 ９） なお，本研究の一部は，総務省の委託研究「超高精細 ５．まとめ 度地上・衛星放送の周波数有効利用技術の研究開発」を 受託して実施した。 超高精細映像の超高圧縮伝送を実現するために，既存 の映像符号化装置に超解像技術を外付けする超解像復元 型映像符号化システムを開発した。本稿では，符号化効 38 NHK技研 R&D/No.155/2016.1 ＊17シンボルの出現頻度を考慮して効率的な （短い） 符号割り当てを行う手法。 報告 参考文献 02 １） T. Misu, Y. Matsuo, S. Sakaida, Y. Shishikui and E. Nakasu：“Novel Video Coding Paradigm with Reduction/Restoration Processes， ”Proc. 28th Picture Coding Symposium (PCS 2010)，S2-2，pp.466469（2010） ２） 岩村，松尾，三須，境田： “色・時間相関を考慮したフレーム時間分割による映像符号化の検討， ”2012年画 像符号化シンポジウム・映像メディア処理シンポジウム（PCSJ/IMPS 2012） ，P4-04，pp.51-52（2012） ３） Y. Matsuo, T. Misu, S. Sakaida and Y. Shishikui：“Video Coding with Wavelet Image Size Reduction and Wavelet Super Resolution Reconstruction，”Proc. 18th IEEE International Conference on Image Processing (ICIP 2011)，MP.PG.6，pp.1181-1184（2011） ４） 三須，松尾，境田，鹿喰： “画像復元型符号化における折り返し歪の適応付加， ”FIT 2011，No.3，I-028， pp.343-348（2011） ５） T. Misu, Y. Matsuo, S. Sakaida and Y. Shishikui： “Motion-Adaptive Sub-Nyquist Sampling Technique for Multi-Frame Super-Resolution， ”Proc. 29th Picture Coding Symposium (PCS 2012)，P3b-1，pp.321-324 （2012） ６） T. Misu, Y. Matsuo, S. Sakaida and Y. Shishikui：“Novel Framework for Single/Multi-Frame SuperResolution using Sequential Monte Carlo Method， ”Proc. ACM International Conference on Multimedia 2010 (MM '10)，pp.771-774（2010） ７） T. Misu, Y. Matsuo, S. Iwamura and S. Sakaida： “Real-Time Implementation of UHDTV Video Coding System with Super-Resolution Techniques， ”Proc. 30th Picture Coding Symposium (PCS 2013)，pp.181184（2013） ８） T. Misu, Y. Matsuo, S. Iwamura and S. Sakaida： “Real-Time Video Coding System for Up to 4K 120P Videos with Spatio-Temporal Format Conversion，”Proc. IEEE International Conference on Consumer Electronics 2015 (ICCE 2015)，pp.58-61（2015） ９） 三須，松尾，岩村，境田： “超解像復元技術を用いる4K 12ビット実時間映像符号化システム， ”FIT 2015， No.3，I-036，pp.291-294（2015） 10） Z. Wang, A.C. Bovic, H.R. Sheikh and E.P. Simoncelli： “Image Quality Assessment：From Error Visibility to Structural Similarity， ”IEEE Transactions on Image Processing，Vol.13，No.4，pp.600-612（2004） 11） 河村，石井，渡辺： “全変動最小化の高速計算手法， ”信学論D，Vol.J93-D，No.3，pp.326-335（2010） み す とし え まつ お やす たか 三須 俊枝 松尾 康孝 1999年入局。同年から放送技術研究所におい て，映像符号化，映像信号処理の研究・開発に 従事。現在，放送技術研究所テレビ方式研究部 主任研究員。博士（工学） 。 2001年入局。大阪放送局を経て，2004年から 放送技術研究所において，映像の方式変換，符 号化，超解像処理の研究に従事。現在，放送技 術研究所テレビ方式研究部に所属。博士 （工学） 。 いわ むら しゅん すけ 岩村 俊 輔 2010年入局。放送技術局を経て，2011年から 放送技術研究所において，映像符号化，映像信 号処理の研究・開発に従事。現在，放送技術研 究所テレビ方式研究部に所属。博士（工学） 。 さかい だ しん いち 境田 慎一 1991年入局。同年から放送技術研究所におい て，映像符号化，画像処理の研究に従事。現在， 放送技術研究所テレビ方式研究部上級研究員。 博士（工学） 。 NHK技研 R&D/No.155/2016.1 39