Comments
Description
Transcript
ネットワーク配信映像の視聴品質推定技術
ユーザ視聴品質 通信ネットワーク利用放送技術 映像品質推定技術 MPEG-2ストリーム 特 集 ネットワーク配信映像の視聴品質推定技術 はざま ネットワーク配信映像においてユーザの体感する視聴品質レベルでサービ しんいち わたなべ 間 伸一 /渡部 ス品質劣化を回避するためには，アプリケーションレイヤでの対処が必要と かたやま なります．本稿では，MPEG-2 TS（Transport Stream）を対象として通信ネッ 片山 頼明 まさる 優 よりあき トワーク利用放送におけるユーザ体感レベルの視聴品質推定技術と大規模配 NT Tコミュニケーションズ 信時の利用方法を紹介します． 映像サービス品質の保証 現在，世の中で提供されているブ ロードバンド環境（IP網）を利用した エンドユーザ環境（端末性能，アクセ ③ コマ飛び ス回 線 ） によって， またアプリケー ④ 乱れ ションと映像符号化特性によって個々 ⑤ 映像レートの低減 に異なる状態として現れます． ⑥ 映像＋音声が音声だけ 映像配信サービスはほとんどがベスト 映像の劣化状態を次に示します． エフォートサービスであり，ユーザの視 ① 映像の停止 聴品質が保証されているサービスは皆 ② ブロック歪 映像品質の評価 ユーザ視聴時における映像品質を保 無といえます．しかし，今後は高画質 で安定した高品質の映像配信サービ 表１ アプリケーションレベルの制御 スが要求されてくると考えられます． またサービスが普及してくると大規模 動的な映像レート変更：帯域変動に合わせて映像レートを変更 階層符号化：混み合ってきたら，基本符号だけで再生 ! サービスレベルの変更 重要フレームの優先転送 配信に対応するさまざまな課題が出て コンテンツ内容や状況に応じた優先フレーム転送 くると考えられます． 通信ネットワーク利用放送での映像 配信サービスにおいて，エンドユーザ の体感する視聴品質の劣化は，配信 " サービス変更 輻輳時には，映像＋音声を音声だけとする # 動的転送レート変更 映像レートは変えず転送速度を変える．送れるときに大量に送る $ エラー訂正 FEC（Forward Error Correction）方式など % アドミッション制御（受付け制御） 新規受付の拒否など サービスシステム，配信ネットワーク， 表２ ネットワークレベルの制御 ＜ステップ１＞ 品質劣化の“予兆”検出 視聴品質に基づいた負荷分散 ! サーバ負荷分散 （サイト内，サイト間） Proxy対応 " サーバ切替 # 他経路への負荷分散 ＜ステップ２＞ $ 経路切替 品質劣化の原因・個所の特定 ＜ステップ３＞ 図１ 品質劣化の回避 品質劣化事前回避のための迂回制御など − 非優先フローのレートだけ低下し，すべてが劣化することを防止 % 優先制御（パケット廃 棄，遅延時間の両方） 品質劣化の事前回避制御 − & 帯域確保 ' トラヒックシェーピング ( 網内セッション保持制御 サービスグレードを複数設定し，グレードごとにCDN （Contents Delivery Network）を構築 RSVP（Resource reSerVation Protocol）など − 主に障害対策 NTT技術ジャーナル 2005.7 59 通信ネットワーク利用放送技術 ビットストリーム 0 1 1 0 1 0 0 1 1 0 1 シーケンス S H GOP S H GOP I B B P ピクチャ GOP B P B B 0 1 0 0 0 0 1 0 1 1 0 1 … S H GOP B P S H … B … B GOP S H GOP P … スライス１ スライス２ スライスｎ スライス MB MB MB MB MB MB MB MB MB MB マクロブロック Y1 Y2 Y3 Y4 ブロック Cb Cr マクロブロックは輝度（Y）と色差（Cb ，Cr）のブロック SH：Sequence Header GOP：Group Of Pictures I：I ピクチャ（Intra picture) P：Pピクチャ（Predictive picture） B：Bピクチャ（Bi-directional predictive picture） MB：Macro Block 8 ライン B スライスは１つのピクチャを帯状に 断片化したもので，最大長は画面の幅 8 画素 (a) MPEG ビットストリームのデータ構造 エラー発生 Iピクチャ ビットストリーム Bピクチャ Bピクチャ Pピクチャ 0 1 1 0 1 0 0 1 1 0 1 エラー発生個所 … Bピクチャ Bピクチャ … 0 1 0 0 0 0 1 0 1 1 0 1 エラーの内容（影響時間） シーケンス GOP 複数GOPの欠損（１秒∼） GOPの欠損（500 ms） Iピクチャ GOPの欠損（500 ms） Pピクチャ Pピクチャおよび前後のピクチャ欠損（167 ms∼467 ms） Bピクチャ Bピクチャの欠損（33 ms ∼66 ms） スライス スライスの欠損（帯状ノイズ）（33 ms） マクロブロック ブロック スライスの一部欠損（帯状ノイズ）（33 ms） スライスの一部欠損（帯状ノイズ）（33 ms） … 影響 大 小 ※1：30フレーム/秒，GOP=IBBPBBPBBPBBPBBとした場合 (b) 符号化方式と品質劣化事象 図２ 符号化方式の特性 証するサービスを実現するには，何ら の体感する映像品質の評価は「主観評 分野のハイレート映像に関する取り組 かの方法で品質劣化を回避する必要が 価」といい，主観評価実験により人の みはまだ行われていないのが現状です． あります（図１，表１，２）．そのた 実視聴で測定されていますが，この手 客観評価を行う場合，例えばパケット めにはユーザの視聴体感品質を客観的 間は膨大で，リアルタイムに評価され ロス率が高いから単純に視聴品質が悪 に測定する必要があります．映像品質 るものではないため，システム化するに いということにはなりません．冒頭述 評価手法として，原画像と評価画像 は何らかの客観的指標による品質測定 べたさまざまな環境要因と符号化方式 を比較して品質を測定する技術の取り 技術の確立が望まれています． の特性を考慮する必要があります．符 組みは進んでいますが，原画像を参照 しかし，映像品質客観評価法の標 号化方式の特性としてMPEGビットス できないユーザ端末において，映像品 準 化 機 関 （ VQEG: Video Quality トリームのデータ構造上のエラー発生 質を測定することは困難です．ユーザ Experts Group）においても，通信 個所による映像品質への影響度合を 60 NTT技術ジャーナル 2005.7 特 集 図２(a)，(b)に示します．また映像とし システムを組み立てる必要があります． アルゴリズムの概念を図 ５ に示しま てデコードされた結果発生するエラー 提案方式では映像再生前に，MPEG-2 す．本方式の特徴は原画像との比較を 事象と主観品質の一例を図３に示し の部分デコードを行い，部分デコード 行わず，MPEG-2 TSビットストリー ます．客観品質評価手法が確立する 時のエラー情報から再生時の映像品 ムの解析結果から映像品質を推定す と，映像品質管理が容易になり，製品 質を推定します（図４）．この部分デ ることにあります〔NR（Non Refer- 開発も進展し，映像配信サービスの品 コードは完全デコードの約20∼30％の ence）法〕 ． 質保証が可能となります． 時間で済むため，本方式が確立する と，非常に軽いソフトウェアを実装し 符号化方式の特性と品質評価 配信方式の特性と品質評価 てリアルタイム品質評価を行えるよう 受信端末と配信サーバ間で再送や帯 ユーザが実際に体感する品質は，符 になります．現在，プロトタイプを開 域変更などのストリーミング制御機能 号化方式にも依存しているため，符号 発し，品質推定アルゴリズムの改良に が存在しないMPEG-2において，UDP 化方式の特性に合わせて，品質評価 取り組んでいます．本方式の基本的な （User Datagram Protocol）を用い てストリーミング配 信 を行 う場 合 ， ネットワークの輻輳でフレームが廃棄 エラーなし されると，欠落した情報がそのまま 主観品質 ユーザの視聴品質に影響を及ぼします． ５ しかし，前述のとおり，廃棄されたフ 劣化が分からない コマ落ち（1コマ） レーム情報によってその影響度は大き ４ 劣化が分かるが 気にならない く異なります． そこで，廃棄されたフレーム情報を 頻繁なブロックノイズ 解析して，I，P，Bのどのピクチャが欠 ２ 落したかを把握し，劣化継続時間を計 劣化が邪魔になる 算することで，品質推定を行う方式を 図３ エラー事象と主観評価 提案しています． エラーあり 再生映像 元映像 デコード装置 エンコード装置 デコード装置の前で処理することにより， デコード装置の改造が不要 視聴品質測定装置 視聴品質測定アルゴリズム 部分デコード処理によって，高速動作 とソフトウェアでの実装が可能 部分デコード １ ネットワーク ０ １ ビットストリーム エラータイプＡ 重み=１ エラータイプＢ 重み=２ エラータイプＣ 重み=３ ・パケットロス ・パケット遅延 推定視聴品質 エラータイプによる重み付けによって， 視聴品質推定の精度向上が可能 図４ 映像ビットストリームからの品質推定 NTT技術ジャーナル 2005.7 61 通信ネットワーク利用放送技術 図６はUDPレイヤ情報からユーザの 視聴品質を推定する概念を示してお り，廃棄されるUDPフレーム１∼５の I B B P B B … 内容によって推定される劣化継続時間 B B P B B I から品質推定を行います． エラー発生フレーム ユーザ環境と品質評価 部分デコード情報 TCP（Transmission Control Pro推定品質評価値 tocol）を用いてストリーミング配信を 行う場合，ネットワークの輻輳でフ 推定値算出式 エラーコンディション値 図５ 映像ビットストリームを用いた品質推定アルゴリズムの概念 レームが廃棄されても，TCPの再送機 能で復元されるため，ストリーミング データは廃棄されません（図７） ． RTP Seq=5 TS TS TS TS TS TS TS TS TS TS TS TS TS UDP RTP Seq=4 TS TS TS TS TS TS TS UDP RTP Seq=3 TS TS TS TS TS TS TS UDP RTP Seq=2 TS TS TS TS TS TS TS UDP RTP Seq=1 TS は，ネットワークの輻輳等で揺らぎが UDP ユーザの視聴品質が劣化する要因 発生し，再生端末でのデコードにデー PES PES PES タが間に合わなくなり，音声や映像の 一時停止やコマ飛び状態が発生する ES ことにあります．したがって，TCPフ Iピクチャ Bピクチャ Bピクチャ Pピクチャ Bピクチャ Bピクチャ Pピクチャ ロー制御と再生端末の再生用バッファ を考慮して，図７に示すようなデコー ダに渡る前の「バッファ時間（W(t)）」 を計算し，推定した再生用バッファの 枯渇状態から品質推定を行う方式を １ ２ ３ ４ ５ Ｉ Ｂ Ｂ，Ｐ Ｂ Ｂ，Ｐ 500 ms 66 ms 467 ms 66 ms 367 ms 当該パケット欠落時の劣化継続時間 提案しています． RTP：Real-time Transport Protocol Seq：Sequence PES：Packetized Elementary Stream 図６ UDPレイヤ情報を用いた品質推定 大規模配信時の映像サービス品質 管理 前述の品質評価手法は，ユーザ端 末ごと，もしくは配信フローごとに品 質情報の収集・推定を行い，ユーザの 体感する視聴品質を把握するものです． 配信サーバから の映像パケット 再生用 バッファ デコーダ 画面表示 一方，数千万規模の大規模な配信 サービスを行う場合，配信サービスシ プレーヤ バッファ時間（W(t)） 再生端末内 ステム系全体として効果的に品質管理 を行う必要があるため，次の方式を提 案し，検証を行っています． ① 前述の品質評価手法を用いて ユーザごとの視聴品質状態を収集 する． 62 NTT技術ジャーナル 2005.7 ・再生用バッファ内に映像パケットが残っていれば再生を継続 ・TCP では再送機能によりパケット廃棄が品質劣化に直接つながらない W（t）：再生用バッファ内に残っている映像パケットによる バッファ時間 図７ TCPレイヤ情報を用いた品質推定 特 集 将来像 故障対処 リアルタイムQoS管理 超高精細映像対応のQoS管理を実現 ・SLA対応 ・エンコーダでQoS情報登録 コンテンツＡ コンテンツＢ 品質情報 （統計） 大規模ユーザQoS管理を実現 ・視聴品質情報の統計情報で品質推定 ・ネットワーク情報含む総合情報で故障個所特定 ・モジュール構成による効率的な設備 視聴品質 測定装置 配信 サーバＡ 端末ごとの品質測定（詳細）を実現 ・デコーダ標準で品質推定機能を搭載 ・多様な配信方式に対応 ・劣化ピクチャ，ポジションを特定 →文字情報等の部分劣化抑止にも応用 配信 サーバＢ 配信 サーバＣ 配信 サーバＤ エリアＡ 品質情報 QoS：Quality of Service SLA：Service Level Agreement ユーザ端末 ユーザ端末 ユーザ端末 ユーザ端末 ：良好 ：劣化予兆 ：劣化 図８ 大規模配信時の視聴品質管理 ② 劣化・劣化予兆・良好の３値 で視聴品質状態を管理する． ③ 故障個所を推定するための情報 （ユーザ・エリア・コンテンツ・配 信サーバ）を収集する． 応のリアルタイムQoS管理まで可能に なると考えられます． 今後の予定 本稿で説明した技術開発は，現在， 品質情報の収集を階層化して 情報通信研究機構（NICT）の委託 行い，品質しきい値を用いた品質 研究「通信ネットワーク利用放送技術 情報の統計処理により視聴品質 に関する研究開発（平成15年度拡充 状態を把握する． 課題）」課題ア「ユーザ視聴品質検出 ④ ⑤ 品質情報メッセージの共通化に より，配信プロトコル等に非依存 とする． この方式を用いることで，数千万規 技術」の中で取り組んでいます． 本年秋には視聴品質劣化検出から 故障対処までの一連のフローについて 委託研究グループと共同で総合実験を 模の映像配信サービスにおいて，ユー 行う予定です． ザごとの視聴品質情報から映像配信シ ■参考文献 ステム系としての視聴品質管理を効果 (1) 井芹・掛札・田丸・岩崎・間・片山：“デコ ード前ビットストリームを用いた映像品質自 動測定アルゴリズム，”2004IE． (2) 間・渡部・柳本・片山：“UDPレイヤによる MPEG-2ストリーミング視聴品質の推定方 法，”2005信学ソ大，B-11-5，2005． 的に行うことが可能となります．将来 的には，図８に示すように端末ごとに 詳細な品質測定が可能となり，大規模 映像配信環境での故障個所特定のた めのQoS管理および超高精細映像対 （左から）渡部 間 優/ 片山 頼明/ 伸一 IPネットワーク上の映像品質管理技術は 映像符号化技術の応用とともにブレークス ルーを起こす予感がします．皆様も注目し てください． ◆問い合わせ先 NTTコミュニケーションズ システムエンジニアリング部 TEL 03-6800-4605 FAX 03-3519-9083 E-mail [email protected] NTT技術ジャーナル 2005.7 63