次世代映像符号化規格HEVCの標準化動向

グローバルスタンダード最前線
次世代映像符号化規格HEVCの標準化動向
ま つ お
しょうへい た か む ら
せ い し
松尾 翔平 /高村 誠之
NTTメディアインテリジェンス研究所
映像符号化規格H.264/MPEG-4
で幅広く利用されています．MPEG-2
（ High Efficiency Video Coding）
AVCが2003年に規格化されて10年が
によって効率的に映像を圧縮できるよ
の本格的な標準化作業が始まりまし
経過しました．近年爆発的に増加し
うになり，映像サービスが世に普及し，
た．まず指定条件（ビットレート・遅
ている高解像映像，例えば8Kと呼ば
映像符号化規格の重要性も認知され
延等）を満たす新しい符号化方式提案
れるスーパーハイビジョン（SHV）
るようになりました．MPEG-2の標準
を世界に募集する文書CfP（Call for
映像などを，より高品質に圧縮する
化完了後，MPEG-2の約２倍の符号
Proposal）が発行されて（1），２月の
ための映像符号化規格が世界的に望
化効率を実現する新しい規格として，
締切までに27件の提案があり，３月
まれています．そういった要望によ
H.264/MPEG-4 AVC（H.264/AVC）
にこれらの復号映像の主観画質が集中
り，国際標準化機関ITU-Tおよび
の標準化が進められ，2003年に標準
的に定量評価されました（2）．2010年
ISO/IECが共同で次世代映像符号化
化が完了しました．その後，より多彩
４月にJCT-VCの第１回会合がドレス
規格HEVC（High Efficiency Video
な入力映像フォーマットに対応し，圧
デンで開催され，上記評価結果が上位
Coding）の標準化を進めています．
縮効率を高めたHigh Profileを含む
の提案に含まれるアルゴリズムを参考
現在，その基本規格が完成しており，
拡張規格H.264/AVC FRExtが2007
に，暫定的なHEVC参照ソフトウェア
拡張規格の標準化が進行している状
年に標準化されました．H.264/AVC
TMuC（ Test Model under Con-
況です．ここでは，HEVC標準化の
は産業界に高い注目を集め，Blu-ray
sideration）が策定されました．以後
状況説明と簡単な技術解説を行い
Disc，ワンセグ放送やHDTV（High
改良を重ね，同年10月に正式な参照
ます．
Definition）放送，デジタルカメラ・
ソ フ ト ウ ェ ア で あ る HEVC Test
ハンディカムをはじめとした映像撮影
Model 1（HM1）が策定され，３∼
機器，TV会議，映像アップロードサ
４カ月に一度開催されるJCT-VC会合
イトといった映像にかかわる各種アプ
を通し，継続的に技術的ブラッシュ
映像符号化規格の重要性
映像符号化規格の
重要性
リケーションに採用され，通信・放
アップが施されました．具体的には，
情報量が大きいメディアで，効率的に圧
送・蓄積の分野で広く受け入れられ，
特定の領域に含まれる符号化提案方式
縮する方法が必要不可欠です．これまで
映像サービスを支える基盤技術の１つ
を集めて審議するコア実験と呼ばれる
に， ITU-T（ International Telecom-
となっています．
グループが組織され，各提案方式を複
映像は，マルチメディアの中でも一番
munication Union - Telecommunication Standardization Sector）およ
びISO/IEC（ International Organization for Standardization/Interna-
数の指標，すなわち①符号化効率改善
次世代映像符号化規格の
次世代映像符号化規格の標準化動向
標準化動向
■HEVC基本規格の動向
率を示す指標BD-rate，②符号化・
復号処理時間，③ハードウェア化を意
識したメモリバンド幅，④ソフトウェ
tional Electrotechnical Commis-
ITU-Tの映像符号化検討グループ
アのソースコードの改変量などを多角
sion）の２つの標準化団体が共同で
VCEG（ Video Coding Experts
的・総合的に判断し，提案方式が取
映像符号化の国際規格を標準化して
Group），およびISO/IECの同グルー
捨選択されました．コア実験は会合ご
きました．その中でも，もっとも著名
プMPEG（Moving Picture Experts
とに新規設立，継続，廃止を繰り返
で普及している規格はMPEG-2と呼ば
Group）の共同作業チームJCT-VC
し，数多くの提案から選抜された技術
れる規格です．1995年に標準化が完
（ Joint Collaborative Team on
が残り，HEVCの性能が向上しまし
了し，DVDやハードディスクレコーダ，
Video Coding）が2010年１月に発
た．HEVC標準化の流れと各会合の
デジタル放送といったさまざまな分野
足し，次世代映像符号化規格HEVC
トピックを表１に示します．
54
NTT技術ジャーナル 2013.12
表１ HEVC標準化スケジュールとJCT-VC会合
回
年 月
開催地
トピック
参加者数
寄書概数
１
2010年４月
ドレスデン（ドイツ）
TMuC策定
188
40
２
2010年７月
ジュネーブ（スイス）
−
221
120
３
2010年10月
広州（中国）
244
300
HM1策定
４
2011年１月
テグ（韓国）
HM2策定
248
400
５
2011年３月
ジュネーブ（スイス）
HM3策定
226
500
６
2011年７月
トリノ（イタリア）
HM4策定
254
700
７
2011年11∼12月
ジュネーブ（スイス）
HM5策定
284
1000
８
2012年２月
サンノゼ（アメリカ）
HM6策定，CD発行
255
700
９
2012年４∼５月
ジュネーブ（スイス）
HM7策定
241
550
10
2012年７月
ストックホルム（スウェーデン）
HM8策定，DIS発行
214
550
11
2012年10月
上海（中国）
HM9策定
235
350
12
2013年１月
ジュネーブ（スイス）
HM10策定，FDIS/PDAM発行
262
450
13
2013年４月
インチョン （韓国）
HM11策定，IS発行
183
450
14
2013年７月
ウィーン（オーストリア）
HM12策定，DAM発行
161
350
2011年11∼12月のジュネーブ会合で，
取り扱う必要があるため，それらの
段階のステップがあり，それぞれ委員
会合参加者数および標準化寄書数は
色フォーマットとビット深度に対応
会 原 案 （ CD: Committee Draft），
それぞれ極大となっています．一会合
するための拡張規格の標準化が進め
国際規格原案（DIS: Draft Interna-
にて1000件を超える寄書が出そろうの
られています． 拡 張 規 格 の場 合 ，
tional Standard），最終国際規格原
は稀であり，HEVC標準化の規模・
C D ，DIS，FDISに対応する段階と
案（FDIS: Final Draft of Interna-
アクティビティの高さを如実に物語っ
して， それぞれ国 際 規 格 修 正 草 案
tional Standard）の順です．HEVC
ているといえます．
標準化の場合，2012年２月のサンノ
■HEVC拡張規格の動向
標準化の制定手順として，大きく３
（PDAM: Proposed Draft Amendm e n t ）， 国 際 規 格 修 正 案 （ D A M :
ゼ会合にてCDが発行され，技術的な
前述にてHEVC基本規格の動向説
Draft Amendment）
，最終国際規格修
仕様の大部分が決定しました．続いて
明をしましたが，HEVC基本規格は入
正案（FDAM: Final Draft Amend-
＊
2012年７月のストックホルム会合では
力映像の色フォーマット が４：２：
ment）と呼ばれる段階があります．表
DISが発行され，細かい部分の仕様ま
０と呼ばれるフォーマットに限定され
１に示すとおり，基本規格の半年遅れ
でほぼ完成しました．2 0 1 3 年１月の
ていて，４：２：２および４：４：４
のスケジュールで標準化が進められて
ジュネーブ会合にてFDISが発行され，
といった色フォーマットに対応してい
います．2013年７月のウィーン会合に
微細なバグフィックスを含めて最終的
ません．また，１画素を表現するビッ
て，拡張規格のDAMが発行されて，
なH E V C 基 本 規 格 が完 成 しました．
ト深度についても，HEVC基本規格は
FDISは各国の投票を通して承認を受
８ビットと10ビットに対応しています
け， 2 0 1 3 年 ４ 月 には国 際 規 格
が，それ以上のビット深度は想定して
（International Standard）として発
いません．特にプロフェッショナル向
行されました．表１から読み取れるよ
けの映像再生・録画機器，および医
うに，CDにて技術的な仕様の大部分
療用映像機器に関しては，HEVC基
が確定するため，その直前の第７回
本規格にないフォーマットの映像を
＊ 色フォーマット：映像は輝度信号成分と色差信
号成分に分けることができ，その輝度信号のサ
イズがm×n（mは水平方向の画素数，nは垂直方
向の画素数）とした場合，色差信号のサイズが
m/2×n/2のように，色差信号の水平，および垂
直方向をそれぞれ半分に間引いているフォーマ
ットを「４：２：０」とし，m/2×nのように色
差信号の水平方向のみを半分に間引いている
フォーマットを「４：２：２」，m×nで間引か
ないフォーマットを「４：４：４」と呼びます．
NTT技術ジャーナル 2013.12
55
グローバルスタンダード最前線
2014年１月の第16回サンノゼ会合に
示されるように，左に位置するブロッ
を行って大幅に情報量を削減できま
て，FDAMが発行される見込みです．
クはすでに復号側で有しているので，
すので，符号化の根幹技術の１つと
左のブロックの画素の値をコピーして
なっています．
HEVCの技術解説
HEVCの技術解説
■映像符号化の基本的枠組み
予測信号とし，その値と原信号の差分
予測を行った後の予測残差信号は，
をとって符号化を実施します．図１の
「直交変換」が施されて，さらに圧縮
イントラ・インター予測が上述の処理
されやすい信号へと変換されます．図
H.264/AVCおよびHEVCなどの映
像符号化の基本的な処理の流れを図１
に示します．入力映像はn × n画素の
正方ブロックに分割されて，そのブ
入力
（原信号）
−
予測残差
信号
変換
エントロピー
符号化
量子化
ビット
ストリーム
ロック単位で符号化が実行されます．
図１の入力はそのブロックであり，予
逆量子化
測と直交変換といった処理を通して，
０と１の二値信号列であるビットスト
リームへ符号化されます．
逆変換
予測信号
予測残差信号
符号化の根幹技術「予測」とは，
＋
例えば図２に示すように時刻tのフレー
ムを符号化する場合，過去の時刻t −1
のフレームに同じような絵柄があった
復号信号
雑音除去
フィルタ
イントラ・インター
予測
場合，その絵柄の情報（予測信号）
フレーム
メモリ
図１ 映像符号化の基本的な処理の流れ
を用いて原信号との差分情報（予測残
差信号）のみを伝送します．このよう
に，すでに復号側で有している情報を
用いて効率的に情報を圧縮する概念を
イントラ予測（画面内予測）
予測と呼びます．図２の人がいるブ
ロックは t − 1 からt において左に１ブ
時刻t−1
ロック分動いています．画面間で物体
が移動している場合は，動きベクトル
という移動量を復号側に伝送すること
インター予測（画面間予測）
で，予測する場所を指定します．雲の
人が左に1ブロック移動
ように移動せず同位置に物体が存在す
＝動きベクトル（移動量）
る場合は動きベクトルは伝送する必要
はありません．以上のように画面をま
時刻t
たいで予測を行うことをインター予測
（画面間予測）と呼びます．これに対
し，１つの画面内部で予測を行うこと
をイントラ予測（画面内予測）と呼び
ます．例えば，図２の雲を囲む赤枠で
56
NTT技術ジャーナル 2013.12
図２ 予測の概念図
３に示すように周波数領域と呼ばれる
ましたが，HEVCでは符号化ユニット
別の信号形態に変換して，絵の基本的
（CU: Coding Unit）と呼ばれる最大
な構造を表現する低周波成分を保存
で64 × 64画素単位のブロックで符号
インター予測では，予測信号をより
し，細かいテクスチャを表現する高周
化されます．CUは四分木構造で分割
高精度に生成するための仕組みが導入
波成分を落として，効率的な圧縮が実
され，末端のCUは予測の単位である
されています．整数画素の移動で表現
現されます．
予測ユニット（PU: Predict Unit），
できない動きを有する物体の信号をつ
■HEVCの新しい特徴
直交変換の単位である変換ユニット
くり上げる処理を補間と呼びますが，
像を効果的に圧縮できるようになりま
した（表２①∼⑤，図４）．
（TU: Transform Unit）に独立に分
その補間用のフィルタのタップ長を長
な る 点 を 表 ２ に ま と め ま す （ 3 ）．
割 される． H . 2 6 4 / A V C になかった
くして，より正確に表現する方法（表
H.264/AVCではマクロブロックと呼
32 × 32変換や64 × 64予測などの大き
２⑥）や，動きベクトルそのものの予
ばれる16 × 16画素単位で符号化され
な単位で処理でき，特に高解像度の映
測方法（表２⑦）を改善することによ
H E V C が従 来 のH . 2 6 4 / A V C と異
り，性能が向上しています．イントラ
予測では，予測の方向を大幅に増やす
低周波成分に集中
方法とブロックの大きさや方向に応じ
て適応的にコピー元の画素をなめらか
にするフィルタをかける方法（表２⑧
により，性能向上を図っています．
1 2 3
4 5 6
7 8
y2
y5
y8
y2
y5
y8
1 2 3
4 5 6
7 8
画素領域（予測残差信号）
周波数領域
図３ 直交変換の概念図
情報を二値符号にするエントロピー
符 号 化 では， C A B A C （ C o n t e x t based
Adaptive
Binary
Arith-
metic Coding）と呼ばれる算術符号
に統一された（表２⑨）ほか，入力映
像のビット深度を左ビットシフトによ
表２ H.264/AVCとHEVCの符号化技術比較
H.264/AVC
り高め，この値を符号化ループ内や直
HEVC
8×8∼64×64，木構造
交変換処理内で用いることで，イント
①
●符号化単位（CU）
16×16のみ
②
●予測単位（PU）
４×４∼16×16（矩形含，7種） ４×４∼64×64（矩形含，28種）
③
●変換単位（TU）
４×４または８×８
４×４，８×８，16×16，32×32
④
●変換単位木構造
なし
あり
⑤
●変換の種類
DCT
DCT，DST（４×４イントラのみ）
，
変換Skip
と呼び，インター予測の場合は図２の
ラ予測，インター予測，直交変換にお
ける丸め誤差の発生を低減し，符号化
効率を高めています（表２⑩）．
予測信号の元となる信号を参照信号
⑥
●小数画素精度用補間フィルタ ２または６-tap
４または７または８-tap
時刻t − 1のフレーム，イントラ予測の
⑦
●動きベクトル予測
空間メディアン予測
時空間メディアン含む改良版
場合は時刻tの雲を囲む赤枠拡大図の
⑧
●イントラ予測
４または９種類
35種類，適応的参照画素平滑化あり
最左列の画素集合が該当しますが，そ
⑨
●エントロピー符号化
CABACまたはCAVLC
CABAC
れらは復号された信号であるため，ブ
⑩
●ビット深度拡張
なし
内部ビット深度拡張（＋2 bits）
⑪
●ブロックノイズ除去フィルタ
あり
あり（並列処理可能な簡略化版）
⑫
●符号化雑音除去フィルタ
なし
あり（SAO）
⑬
●並列処理機構
Slice
Slice，WPP，Tile
ロックノイズと呼ばれる歪みが重畳さ
れます．HEVCでは，その歪みを取り
除くフィルタが改善されました（表２
⑪）
．さらにH.264/AVCにはなかった
NTT技術ジャーナル 2013.12
57
グローバルスタンダード最前線
ですが，同一主観画質の下でHEVC
はH.264/AVCの約２倍の符号化効率
を達成されたことが確認されています．
ブロック
PU
今後の展開
今後の展開
CU
CU
ここでは，次世代映像符号化規格
HEVCの標準化動向説明と簡単な技
CU
CU
術解説を行いました．HEVC標準化
CU
TU
CU
は2014年１月に拡張規格が完了し，
TU
TU
その半年後にはHEVCスケーラブル拡
TU
張規格の標準化も完了する見込みで
CU CU
CU CU
TU TU
TU TU
す．さらに，三次元映像用の拡張規格
も標準化が現在活発に進められており，
図４ HEVCの柔軟な処理構造
社会からも需要の高い技術の標準化で
あり，今後もさらなる発展が期待され
ています．
表３ H.264/AVCに対するHEVCのBD-rate
Y
U
V
YUV
イントラ予測設定
−23.0%
−22.0%
−22.0%
−23.0%
インター予測設定（蓄積用）
−33.5%
−34.1%
−35.0%
−33.8%
インター予測設定（低遅延通
信用）
−36.4%
−34.3%
−35.4%
−36.3%
・H.264/AVCの参照ソフトウェアJM18.4
・HEVCの参照ソフトウェアHM10.0の性能比較した結果を示しています （例えば，−23%はHEVCがH.264/AVCに対して
23%符号化効率を改善しています）．
参照信号を原信号に近づける新しい
験条件は標準化の共通条件を用いて
フィルタが導入されて，伝送すべき予
おり，2560 ×1600の高解像画像から
測残差信号成分を低減して符号化効
416 × 240の低解像度画像までの合計
率が大きく向上しました（表２⑫）．
20種類の画像を用いた場合のBD-rate
また，近年のマルチコア化環境にも対
の平均値を算出した結果です．Yが輝
応すべく，分割損をなるべく抑えて効
度信号，U/Vが色差信号，YUVがそ
率的に並列処理する仕組み（表２⑬）
れらの重み付平均を示しています．イ
も導入されました．
ントラ予測設定では約23％の改善，イ
■符号化性能比較
ンター予測設定（蓄積用と低遅延通
JCT-VC会合で用いられている標準
信用）では約35％程度の改善が達成
化 テスト画 像 に対 して， H E V C と
されています．客観画質でみると約２
（4）,（5）
H.264/AVCの参照ソフトウェア
（6）
の性能比較を表３に示します
58
．実
NTT技術ジャーナル 2013.12
倍の符号化効率，すなわちBD-rate比
での約50％改善は到達していない状況
■参考文献
（1） ITU-T VCEG and ISO/IEC JTC１：“Joint
Call for Proposals on Video Compression
Technology,”ITU-T SG16/Q6 document
VCEG-AM91 and ISO/IEC MPEG document，
Nilll3，Jan. 2010.
（2） V.Baroncini，J.-R.Ohm，and G.J.Sullivan：
“Report of Subjective Test Results of Responses
to the Joint Call for Proposals (CfP) on Video
Coding Technology for High Efficiency Video
Coding (HEVC),”ITU-T SG16 WP3 Q6 and
ISO/IEC JTC1/SC29/WG11，JCTVC-A204，
Apr. 2010.
（3） G.J. Sullivan, J.-R.Ohm， W.-J.Han， and
T.Wiegand：“Overview of the High Efficiency
Video Coding (HEVC) Standard，” IEEE
Trans．CSVT，Vol. 22，No. 12，Dec．2012.
（4） https://hevc.hhi.fraunhofer.de/trac/hevc/
browser/tags
（5） http://iphome.hhi.de/suehring/tml/
（6） B. Li, G.J.Sullivan，and J.Xu：“Comparison
of Compression of HEVC Draft 10 with AVC
High Profile，”13th JCTVC meeting，JCTVCM0329，Incheon，Korea，Apr. 2013.