マルチビュービデオのネットワーク伝送に関する一検討 A

社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,
INFORMATION AND COMMUNICATION ENGINEERS
信学技報
TECHNICAL REPORT OF IEICE.
マルチビュービデオのネットワーク伝送に関する一検討
藤橋
卓也†
潘
子圓††
渡辺
尚††
† 静岡大学大学院情報学研究科 〒 432–8011 静岡県浜松市中区城北 3–5–1
†† 静岡大学創造科学技術大学院 〒 432–8011 静岡県浜松市中区城北 3–5–1
E-mail: †{fujihashi,pan}@aurum.cs.inf.shizuoka.ac.jp, ††[email protected]
あらまし 近年，マルチビュービデオ (MVV) のトラフィック削減のため，MVC や UDMVT が提案されている．し
かし，遅延やパケット損失に考慮した MVV の無線化に向けた議論は十分に行われていない．本論文は MVV の無線
化に向けて，その問題点を述べ，関連研究の調査から，有線区間と無線区間で MVV の符号化方式を切り替える 2 ス
テップエンコーディングを提案する．最後に，性能評価によって MVV の無線化を考察する．
キーワード
マルチビュービデオ， 無線ネットワーク， フレームワーク， 2 ステップエンコーディング方式
A Discussion on Multi-view Video over Wireless Networks
Takuya FUJIHASHI† , Ziyuan PAN†† , and Takashi WATANABE††
† Graduate School of Informatics, Shizuoka University 3–5–1 Johoku, Naka-ku, Hamamatsu-shi, Shizuoka,
432–8011 Japan
†† Graduate School of Science and Technology, Shizuoka University 3–5–1 Johoku, Naka-ku,
Hamamatsu-shi, Shizuoka, 432–8011 Japan
E-mail: †{fujihashi,pan}@aurum.cs.inf.shizuoka.ac.jp, ††[email protected]
Abstract Several techniques have been proposed such as MVC and UDMVT for transmission of multi-view videos
which requires more bandwidth than conventional multimedia. However, there is no sufficient discussion on the
streaming over wireless networks, where the latency and packet loss increase due to varying conditions. This paper
discusses the multi-view video streaming on wireless networks. Furthermore, a framework with two-step encoding
to reduce the latency and packet loss is proposed. We evaluate MVC and UDMVT for the secondary encoder.
(This technical report is not under review.)
Key words Multi-view Video, Wireless Network, Framework, Two-step Encoding
1. は じ め に
近年，カメラの小型化や低価格化によって，異なる位置に置
かれた複数のビデオカメラを用いて，１つのシーンを表現する
マルチビュービデオ (MVV) が注目されている．MVV の応用
として，自由視点テレビ（FTV）[1]，遠隔手術システムなどが
期待されている．しかし，MVV は複数の映像から構成される
ため，単一の映像よりも数倍のトラフィックを持っている．
MVV のトラフィック削減方式として，MVC (Multi-view
Video Coding) [2] や UDMVT (User Dependent Multi-view
Video Transmission) [3] が提案されている．MVV は現在は有
線で伝送されていることを前提としているが，今後は機器設定
の容易化や，モバイル技術利用の促進などから無線での伝送
も重要になると予想される．無線ネットワークでは通信環境が
時間的に変化するため，有線ネットワークに比べてネットワー
ク遅延の増大やパケット損失が発生する問題に対処する必要が
ある．
本論文では，MVV ストリーミングの効率化に向けて，無線
を含むネットワークにおける MVV 伝送の問題点について議
論する．その後，ネットワーク遅延やパケット損失を削減する
ために，有線区間と無線区間が混在する環境において，区間に
応じて符号化方式を切り替える 2 ステップエンコーディングを
提案する．性能評価ではセカンダリエンコーダにおいて，どの
符号化技術を使用すべきかに焦点を当て，ネットワークシミュ
レータ Qualnet によって評価し，その結果を基に考察する．
2. 関 連 研 究
2. 1 MVC
H.264/MPEG-4 AVC で標準化されている MVC [2] は，ビ
ュー間の類似情報を取り除くことで，トラフィックの削減を達
成する [4]．しかし，MVC は全てのビューのフレームを伝送す
—1—
る必要があるため，高い送信トラフィックを持つ．
MVC
2. 2 UDMVT
UDMVT [3] は，ユーザの動きに従って必要なフレームのみ
を伝送するトラフィック削減方式である．UDMVT では，ユー
ザは周期的にサーバに対してフィードバックを送信する．サー
バはフィードバックを基にユーザに必要となるフレームを予測
)
c
e
s
(
35
1.2
30
延
遅
均
平
20
15
0.4
10
0.2
5
0
0
0
図2
招く．また，無線ネットワークは通信環境が時間的に変化し，
ネットワーク遅延やパケットロスに影響が及ぶ．その結果，フ
レームのエラー伝播によって MVV のユーザビリティが低下す
る可能性がある．
また，使用する符号化方式に応じて，トラフィックやサーバ
とユーザ端末に必要な計算量に違いが生じる．MVC は全ての
ビューを伝送するため，トラフィックは高いが，マルチキャス
トによって同時配信が可能となる．しかし，デコード時に多
くの計算を必要とするため，ユーザ端末に大きな負荷がかか
る．UDMVT はフレームの範囲を予測してエンコードするた
め，サーバにかかる負荷が大きくなる．一方で，必要なフレー
ムのみを伝送するため，トラフィックが少なく済み，デコード
するフレーム数も少なくなり，負荷も減少する．
フレーム番号
0
化方式の利点を考慮したフレームワークとして２ステップエン
コーディング方式を提案する (図 1)．この方式はプライマリエ
ンコーダ （以降 PE），セカンダリエンコーダ (以降 SE），ユー
ザ端末 （以降 CT）で構成されており，PE から各 SE は有線
ネットワークで接続され，SE から CT は無線ネットワークで
接続されているものと仮定する．
２ステップエンコーディングでは，まず MVV を PE で MVC
によってエンコードし，全てのビューのフレームを各 SE に対
してマルチキャスト伝送する．SE では，PE から受信したフ
レームを一旦デコードして画像に戻した後，UDMVT によっ
て再エンコードし，それぞれの CT に向けてフレームをユニ
Touch Panel
UDMVT
Position
Switching
Speed
Secondary
Encoder
2000
フレーム番号
3000
(b)
SE から CT までの平均ネットワーク遅延．
MVV が視聴でき，周期的に SE に対してフィードバックを送
信して，MVV を継続して再生する．
この方式によって，無線区間の帯域幅を圧迫せず，CT にかか
る負荷を削減することができ，ユーザに対して効率的な MVV
ストリーミングを実現できる．
5. 性 能 評 価
本評価では，SE から CT への MVV 伝送に焦点を絞り，ネッ
トワーク遅延を評価する．MVV には MERL [5] によって提
供されたビュー数 8 の ballroom を使用する．エンコードには
JMVC [6] を利用し，フレームレートは 25fps とする．UDMVT
において，k の値は 5, 8, 15 を使用する．また，ネットワーク遅
延を得るために Qualnet [7] を使用し，データレートは 11Mbps
(802.11b) とする．
図 2 には，3000 フレームを伝送する間の各方式の SE から
(sec) であり，UDMVT は k=5 の時，27.1 (ms)， k=8 の時，
本章では，MVV ストリーミングの効率化のために，各符号
feedback
1000
CT への平均遅延を示す．図 2 から MVC の平均遅延は 1.31
4. 2 ステップエンコーディング
UDMVT
Secondary Encoder
MVC
Decoder
Images
UDMVT Encoder
図 1 2 ステップエンコーディング方式
Display
Images
UDMVT Decoder
Client Terminal
feedback
MVC
Encoder
3000
(a) MVC 及び UDMVT． (b) UDMVT の詳細
MVV は複数の映像から構成されるため，単一の映像と比べ
Primary Encoder
2000
キャスト送信する．CT は受信フレームをデコードすることで
てトラフィックが増加し，無線ネットワークの帯域幅の圧迫を
MVC
1000
(a)
Secondary
Encoder
UDMVT(k=15)
延
遅
均
平
0.6
クの削減を実現している．
3. 無線を含むネットワークにおける
MVV 伝送の問題点
UDMVT(k=8)
s) 25
m
(
1
0.8
し，そのフレームのみを伝送することによって送信トラフィッ
Primary
Encoder
UDMVT(k=5)
UDMVT(k=5)
1.4
21.9 (ms)，k=15 の時，5.2 (ms) となる．特に，MVC は全て
のビューを伝送するため，無線区間の帯域幅を圧迫し，遅延が
大きく増加する．この結果から，無線区間における MVV 伝送
には UDMVT が適していると言える．
6. 結
び
本論文では，MVV ストリーミングの効率化に向けて，通信
区間に応じて符号化方式を切り替える 2 ステップエンコーディ
ングを示した．今後の課題として，1 ステップエンコーディン
グとの比較によって，本方式の有効性について議論する．
文
献
[1] M. Tanimoto, ”Overview of Free Viewpoint Television,” Signal Processing: Image Communication, vol. 21, no. 6, pp.
454-461, July 2006.
[2] K. Mueller, P. Merkle, H. Schwarz, T. Hinz, A. Smolic, T.
Oelbaum, and T. Wiegand, ”Multi-view video coding based
on H.264/AVC using hierarchical B-frames,” Picture Coding Symposium 2006, 2006.
[3] Ziyuan Pan, Yoshihisa Ikuta, Masaki Bandai, Takashi
Watanabe ”User Dependent Scheme for Multi-view Video
Transmission”, IEEE International Conference on Communications, June 2011.
[4] A. Kaup and U. Fecker, ”Analysis of multireference block
matching for multi-view video coding,” Proc. 7th Workshop
Digital Broadcasting, Erlangen, Germany, pp. 33-39, Sep.
2006.
[5] ISO/IEC JTC1/SC29/WG11, ”Multiview Video Test Sequences from MERL”, Doc.M12077, Busan.Korea , April
2005.
[6] Joint Video Team of ITU-T VCEG and ISO/IEC MPEG.
JMVC (Joint Multiview Video Coding) software, June 2008.
[7] Qualnet Network Simulator, http://www.scalable-networks.com.
—2—