Comments
Description
Transcript
1.3MB - 高知工科大学
平成 25 年度 学士学位論文 多重 VWS 環境におけるネットワーク 帯域適応割り振りに関する研究 A Study of adaptive assignment of video transfer paths for plural communicators of VWS system 1140315 柏木 恵 指導教員 島村和典 2014 年 2 月 28 日 高知工科大学 情報学群 要 旨 多重 VWS 環境におけるネットワーク 帯域適応割り振りに関する研究 柏木 恵 現在, 遠隔地間のコミュニケーションツールとしてテレビ電話やビデオチャットなどのサー ビスが普及している. これらのサービスはカメラを固定して通信を行うため, 対面・対話の ようなノンバーバル情報を十分に取得できない. このような問題を解決するため, Virtual Window System が提案されている. Virtual Window System は, 離れた空間同士を仮想窓 によって常時接続するシステムである. Virtual Window System は, 通信者の立ち位置に応 じて仮想窓に表示される景観画像が変化するという特徴を持つ. HDTV 放送のような高画質通信での Virtual Window System を通信者が手軽に利用す ることができるようクラウド型 Virtual Window System が提案されている. クラウド型 Virtual Window System は, Virtual Window System で行う映像処理の機能をクラウド へ置き, 受信者の処理負荷を最小限にする. しかし, Virtual Window System は高画質な 映像データを多く利用するため通信者の持つネットワーク帯域を著しく圧迫する. 従来の Virtual Window System は, 一対一の通信が想定されている. そのため, 複数人と通信をす る際の帯域圧迫について考慮されていなかった. 本稿では, 通信者の位置情報や, ネットワーク帯域の状況から仮想窓に映し出す映像品質 を制御し, 各仮想窓に割り当てる帯域を算出する. これによって複数人との通信でも快適に Virtual Window System を利用できるシステムを提案した. 通信者の位置情報から, その位 置に最適な映像品質を仮想窓に映し出す. しかし, エンコード可能な解像度には限度がある. よって, 通信者の位置と最適な映像品質を基に仮想窓に映し出す映像品質の定量化を行った. –i– 解像度と距離情報を通信者のネットワーク帯域に反映させることで各仮想窓に割り当てる帯 域を算出することが可能になった. キーワード Virtual Window System，クラウドコンピューティング，帯域分割 – ii – Abstract A Study of adaptive assignment of video transfer paths for plural communicators of VWS system Megumi Kashiwagi In these days, the video phone and the video chat become popular communication systems between remote places. These systems are difficult for the users to obtain the nonverbal information such as actual meeting and interviewing. To solve the problem, Virtual Window System has been proposed. Virtual Window System is the system which connects the space of communicators’ through a virtually window display. Virtual Window System has the feature that the scene image can be shifted according to the communicator’s position. Virtual Window System in Cloud architecture had been proposed that the communicator’s can easily use the Virtual Window System of high quality communication such as HDTV broadcasting. Place cloud functions of image processing performed by the Virtual Window System, cloud type Virtual Window System is to minimize the processing load of the receiver’s. However, Virtual Window System is compress significantly the network bandwidth since use a lot of high-quality video data. The Virtual Window System conventional, one-on-one communication is assumed. Therefore it has not been considered for band assignment when communicating with multiple people. In this paper a Virtual Window System available comfortable with plural persons is proposed. This system could control the video quality that reflects the position information of the communicator’s and the situation of the network bandwidth. The – iii – proposed system is designed to project an optimal video onto the virtual window from the position information of the communicator. However, there is a limit to the resolution which can be encoded. Therefore, this proposed system quantified the video quality arrangement which divide the bandwidths for the virtual windows as the best video qualities according to the individual location of the communicating parties. By reflecting the communicator distances, it could assign the suitabbe bandwidths allocated to each virtual window. key words Virtual Window System，Cloud Computing，Band Separate – iv – 目次 第1章 研究背景と目的 1 1.1 緒言 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 研究背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2.1 ノンバーバル情報の概要 . . . . . . . . . . . . . . . . . . . . . . . 2 1.2.2 通信者一人に対するネットワーク帯域幅 . . . . . . . . . . . . . . . 3 1.3 Virtual Window System の概要 . . . . . . . . . . . . . . . . . . . . . . 4 1.4 Virtual Window System の基本構成 . . . . . . . . . . . . . . . . . . . . 5 1.5 Virtual Window System の問題点 . . . . . . . . . . . . . . . . . . . . . 6 1.6 研究目的 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 1.7 本論文の構成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 Virtual Window System に使用する技術要素 8 2.1 Virtual Window System を構成する基本技術要素 . . . . . . . . . . . . . 8 2.2 クラウドコンピューティングの概要 . . . . . . . . . . . . . . . . . . . . . 8 2.3 Augmented Reality の概要 . . . . . . . . . . . . . . . . . . . . . . . . . 9 AR マーカの概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 第2章 2.3.1 2.4 位置同定法の概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 2.5 クラウド型 Virtual Window System の構成 . . . . . . . . . . . . . . . . 13 2.6 第3章 3.1 2.5.1 Virtual Window Local System . . . . . . . . . . . . . . . . . . . 13 2.5.2 従来のクラウド型 Virtual Window System . . . . . . . . . . . . . 14 結言 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 提案するクラウド型 Virtual Window System の構成 16 緒言 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 –v– 目次 新たに導入するクラウド型 VWS 機能 . . . . . . . . . . . . . . . . . . . . 16 3.2.1 帯域測定システム . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 3.2.2 マルチビットレートエンコーダ . . . . . . . . . . . . . . . . . . . . 17 3.2.3 ストリーミングサーバ . . . . . . . . . . . . . . . . . . . . . . . . . 17 3.2.4 割り当て帯域計算システム . . . . . . . . . . . . . . . . . . . . . . 17 クラウド型 Virtual Window System の階層化 . . . . . . . . . . . . . . . 18 提案システムの処理の流れ . . . . . . . . . . . . . . . . . . . . . . 19 結言 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 割り当て帯域計算 22 4.1 緒言 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 4.2 画素認識の限界 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 4.3 画素認識限界曲線の量子化 . . . . . . . . . . . . . . . . . . . . . . . . . . 23 4.3.1 アスペクト比対応解像度における量子化 . . . . . . . . . . . . . . . 23 4.3.2 パーソナルスペースに基づいた量子化 . . . . . . . . . . . . . . . . 24 3.2 3.3 3.3.1 3.4 第4章 4.4 割り当て帯域計算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 4.4.1 解像度別ビットレート . . . . . . . . . . . . . . . . . . . . . . . . . 26 4.4.2 割り当て帯域計算式 . . . . . . . . . . . . . . . . . . . . . . . . . . 27 計算方法の評価 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 提案システムの考察 31 5.1 緒言 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 5.2 提案システムの比較 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 5.3 考察 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 5.4 結言 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 まとめ 34 4.5 第5章 第6章 – vi – 目次 6.1 まとめ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 6.2 今後の課題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 6.2.1 上り帯域の制御 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 6.2.2 システムの実装 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 謝辞 36 参考文献 37 – vii – 図目次 1.1 遠隔地間の空間接続例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.2 通信者の立ち位置による景観画像の変化 . . . . . . . . . . . . . . . . . . . 6 2.1 AR マーカ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2.2 AR マーカの数値化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 2.3 (r, θ, φ) 座標と距離 L . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 2.4 従来のクラウド型 VWS の構成 . . . . . . . . . . . . . . . . . . . . . . . . 14 3.1 クラウド処理の階層化の構成 . . . . . . . . . . . . . . . . . . . . . . . . . 18 3.2 クラウド型 VWS の通信開始時の処理フロー . . . . . . . . . . . . . . . . . 19 3.3 表示出力映像作成の処理フロー . . . . . . . . . . . . . . . . . . . . . . . . 20 3.4 帯域適応関連の処理フロー . . . . . . . . . . . . . . . . . . . . . . . . . . 21 4.1 画素認識限界曲線 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 4.2 スペクト比対応解像度による量子化 . . . . . . . . . . . . . . . . . . . . . . 24 4.3 パーソナルスペースに基づいた量子化 25 . . . . . . . . . . . . . . . . . . . . – viii – 表目次 1.1 コミュニケーションにおけるノンバーバル情報 . . . . . . . . . . . . . . . . 3 2.1 AR の利用方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 4.1 パーソナルスペースの分類 . . . . . . . . . . . . . . . . . . . . . . . . . . 25 4.2 BPP 表 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 4.3 解像度別映像のビットレート . . . . . . . . . . . . . . . . . . . . . . . . . 27 4.4 X に割り当てる数値 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 4.5 X に割り当てる数値 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 4.6 開発環境 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 5.1 量子化方法の比較 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 – ix – 第1章 研究背景と目的 1.1 緒言 本章では, 本研究の背景と目的, 及び先行研究である Virtual Window System とその基 本構成, 本論文の構成について述べる. 1.2 研究背景 現在, テレビ電話やビデオチャットなどの遠隔地間コミュニケーションツールに通信者か らの視覚情報や AR(Augmented Reality) マーカを加えた VWS(Virtual Window System) が提案されている. VWS は, 隣接窓を模したディスプレイで通信者同士の空間を仮想的に 繋げる [3]. VWS では, 従来のテレビ電話やビデオチャットと比較して扱えるノンバーバル 情報量において優れている. しかし, VWS では 1 対 1 の通信に複数の高画質な映像情報を 扱うため, ネットワーク帯域の圧迫が著しい. そのため, 複数人に対して VWS 通信を行う と, 帯域不足により快適なリアルタイム通信ができない. 本研究では, この帯域不足に着目した. まずノンバーバル情報と, 通信者一人に必要とする ネットワーク帯域について述べる. –1– 1.2 研究背景 1.2.1 ノンバーバル情報の概要 コミュニケーションは, 大きく分けて言葉によるバーバル情報と, 言葉によらないノンバー バル情報の 2 つによって構成される. ノンバーバル情報の具体例として声や表情, 身体的動 作, 服装などが挙げられる. これらの情報はどちらもコミュニケーションを行う上で必要と されるものである. 特にノンバーバル情報はコミュニケーションにおいて占める割合が高い. バードウィステル氏によると 65∼70%[1], メラビアン氏においては 93%[2] がコミュニケー ションにおけるノンバーバル情報の割合であると報告されている. コミュニケーションにお けるノンバーバル情報を表 1.1 に示す. ノンバーバル情報は大きく分けて擬似言語, 身体動 作, 場の 3 つに分けられる. 擬似言語は音声を示す. 音声の高さ, 速さ, 大きさ等で感情や状 態を表現する. 対して身体動作, 場は非音声である. 身体動作は動きで, 場は空間的距離や見 た目から感情, 意思を表現する. VWS では, 場に分類されるノンバーバル情報に着目し, テ レビ電話やビデオチャットでは取得できない対人距離, 空間を表現する. –2– 1.2 研究背景 表 1.1 コミュニケーションにおけるノンバーバル情報 分類 擬似言語 身体動作 例 機能 音律情報, 音質 感性伝達情報 (情感表示) ピッチ構造 (ピッチ, 高さ) 調整子 時間構造 (スピード, 合間) 受託, 納得, 疑問, 驚き 振れ幅構造 (強さ) 拒否, スピーチの継続 イアコン 可聴化 表情 (顔色) 表情, 例表示, 情感表示 視線, まばたき, 瞳孔 調整子, 感応子 うなずき サイン, 指示, 例示, 操作 身振り, 手振り 感情表示, 調整, 関心 姿勢 (構え) 引き込み現象 関係の成立 対人距離, 空間, 接触 場 対人関係 諸関係 その他 (身体的特徴, 生理現象, 衣服, 装飾品など) 1.2.2 通信者一人に対するネットワーク帯域幅 Virtual Window System は隣接窓を模しており, できるだけ高画質な映像での通信が求 められる. ここでは HDTV 画質の映像で VWS を利用する場合での必要帯域を求める. HDTV 画質のミュージックビデオ並みの映像を H.264 コーデックを利用して作成した場 合, 映像ビットレートは 11,000Kbps である. さらに, より安定したリアルタイム通信を行う ためには映像ビットレートの 1.5 倍の上りの帯域が必要とされている. よって, 1 台のカメラ –3– 1.3 Virtual Window System の概要 につき必要な帯域は 16,500Kbps である. しかし, Virtual Window System では通信相手一 人に対して 3 台のカメラを利用する. そのため, 上り回線に必要な帯域は 49,500Kbps であ る. さらに相手側の映像を受信するための下り回線 11,000Kbps が必要である. したがって, 1 対 1 の Virtual Window System における通信に必要なネットワーク帯域は 60,500Kbps である. このことから, Virtual Window System には膨大なネットワーク帯域が必要である ことがわかる. 1.3 Virtual Window System の概要 現在遠隔地間コミュニケーションツールの一つとして, Virtual Window System( 以下 VWS ) が提案されている. これは, 遠隔地間の空間同士を, 仮想的な窓で接続する. これに より, あたかも隣り合った空間であるかのようにコミュニケーションを行うことができるシ ステムである. 遠隔地間の空間接続例を図 1.1 に示す. 相手空間を表示するディスプレイは, 実世界の窓を模したディスプレイを用いており, 通 信者の立ち位置によってディスプレイに表示される相手空間の景観画像が変化する特徴を持 1 の地点に近づ つ. この通信者の立ち位置による景観画像の変化を図 1.2 に示す. 通信者が⃝ 2 の地点に近づく くほど, 相手空間をより広角な視野を模した景観画像で表示し, 通信者が⃝ 3 ⃝ 4 の地点に通信者が近づいていくと, 通信 ほど挟角な視野の景観画像を表示する. また⃝, 者の位置から対角方向を見たような相手空間の景観画像が表示される. この特徴から, 相手空間の景観が固定されず, 通信者が望む景観を得ることができる. ま た, VWS は個人同士の接続ではなく, 空間同士を接続するシステムである. そのため, 従来 のテレビ電話やビデオチャットの必要な時にだけ接続するのではなく, 接続を切断しない限 り常時接続する映像通信システムである. –4– 1.4 Virtual Window System の基本構成 図 1.1 1.4 遠隔地間の空間接続例 Virtual Window System の基本構成 VWS を構成する機能は大きく分けて通信者の位置同定, 通信者の位置に対応した相手空 間の景観画像の生成, 景観画像の表示の 3 つが挙げられる. これらの機能からなる VWS の 動作の流れは, まず通信者の位置同定を行う. 位置同定によって得られた通信者の位置座標 を基に, 景観画像を生成する. 景観画像の生成が終了すると, 生成された画像を仮想窓に表示 する. VWS についての通信者の位置同定と景観画像生成について先行研究が行われている [5][4]. –5– 1.5 Virtual Window System の問題点 図 1.2 1.5 通信者の立ち位置による景観画像の変化 Virtual Window System の問題点 VWS には, 撮影映像のエンコードや, 撮影映像からの位置同定と言ったローカルに配置さ れるとアプライアンス側の負荷が増すシステム群が存在している. これらの VWS 通信に おける映像処理システム群を, クラウド上に配置することでローカルの処理負荷を軽減する クラウド型 Virtual Window System が提案されている [6]. クラウド型 Virtual Window System は、VW コントローラが中心となり VWS 映像を作成する. しかし, 従来のクラウ ド型 Virtual Window System では VW コントローラの負荷について考えられていないた め, 処理速度と VW コントローラの負荷に問題があった. –6– 1.6 研究目的 1.6 研究目的 従来の VWS では 1 対 1 の通信を想定していた. しかし, 今後複数人を対象にした VWS 通信が行われることが予想される. 従来の VWS では, 複数人との通信における帯域圧迫に ついて考慮されていなかった. 複数人と快適に VWS 通信が可能になるよう通信者の位置情 報に応じた帯域の分割を行う. これにより, VWS 通信をリアルタイムで快適に行うことを 目的とする. 1.7 本論文の構成 本論文は, 本章を含めた 6 章で構成する. 本章では, 本研究の背景と目的, Virtual Window System の問題点について述べた. 以降第 2 章では Virtual Window System に使用する技 術要素について述べる. 第 3 章ではクラウド型 Virtual Window System の階層化と新たに 導入する SaaS 群について述べる. 第 4 章では, 画素認識限界曲線を用いた割り当て帯域計 算について述べる. 第 5 章では, 提案システムの比較と考察を行う. 第 6 章では, 本研究のま とめを述べ, 今後の課題について述べる. –7– 第2章 Virtual Window System に使用 する技術要素 2.1 Virtual Window System を構成する基本技術要素 VWS では, ローカルでの処理負荷を軽減するため, クラウド型 VWS が提案されている. クラウドコンピューティングである Software as a Service 群と連携して VWS 通信を行 う. また, Augmented Reality を利用することで, 通信者の属性情報や映像中に存在する物 体について通信相手に明示する [7]. 本章では, クラウドコンピューティングや Augmented Reality の概要とクラウド型 Virtual Window System の構成について述べる. 2.2 クラウドコンピューティングの概要 クラウドコンピューティングとは. インターネット上に拡散したコンピューティングリ ソースを使用し, エンドユーザに情報サービスやアプリケーションサービスを提供する概念 のことである. ハードウェアリソース, ソフトウェアリソース, データリソースがインター ネット上のどこにあるか, またその内部構造を意識せずに利用できる環境, またはその提供 スタイルをクラウドコンピューティングと言う. クラウドコンピューティングから提供されるサービスは, SaaS (Software as a Service), PaaS (Platform as a Service) , IaaS (Infrastructure as a Service) の 3 形態がある. SaaS はソフトウェアを提供する. PaaS はプラットフォーム一式を提供する. IaaS はサーバやス –8– 2.3 Augmented Reality の概要 トレージ, OS, ミドルウェアなどのインフラをインターネット上のサービスとして遠隔から 提供する. 提案システムでは, SaaS を利用して VWS を構成する. VWS には撮影映像のエンコー ドや, 撮影映像からの顔検出といったローカルに配置するとアプライアンス側の負荷が増す システム群が存在する. そのため, これらのシステム処理をインターネット上で行うため, SaaS を利用する. 2.3 Augmented Reality の概要 Augmented Reality (以下 AR) は, 人が知覚する情報に, デジタル合成などによって作ら れた情報を付加し, 人間の現実認識を拡張する技術である. AR を使用することで. 情報付加以外にも位置情報に基づいたコンテンツの閲覧や, 他 ユーザとの情報共有が可能になる. AR の利用方法を表 2.1 に示す. AR マーカと呼ばれる 識別子をリーダで読み取り, カメラが映す景観画像上に情報を付加表示させる技術をマーカ 型 AR という. また, AR マーカを必要としないマーカレス型 AR や, ユーザの位置情報を 取得し AR を利用するロケーションベース AR も実用化が進んでいる. 提案システムでは, マーカ型 AR を用いて, 映像上の通信者や物体の属性情報を表示する. AR 技術を用いる理 由として AR が扱えるデータ形式の多さが挙げられる. –9– 2.3 Augmented Reality の概要 表 2.1 AR の利用方法 方式 特徴 実例 ビジョンベース AR マーカと呼ばれる AR カタログ AR 付加情報の位置情報を示す （IKEA の例： キーを利用し, AR マーカの 家具のオブジェクト情報を パターンに応じたデータや 付加した AR マーカを, 画像を画面上に表示させる 家具を配置したい場所に ことができる. 置き読み取る. マーカ型 それによって実物を置かず とも実際に家具を配置した 景観が見られる. ） マーカレス型 AR マーカのように決 SmartAR : められたフォーマットに従う 物体自体を高速で認識し, 必要はなく, ロゴや画像を カメラの動きに付加情報を AR マーカの代わりに 追従させ, 現実の 3D 空間 利用可能である. また, 特定の 上に広がりを持って表示 画像をマーカとして使用する できる. のではなく, 画像の特徴点を 抽出し, その特徴に応じて 3D 空間のマッピングを行う. その間に画像を合成する. ロケーションベース AR GPS や電子コンパスを利用し, セカイカメラ : ユーザの向いている方向を カメラを向けた景観上に 取得すると, 位置情報に エアタグと呼ばれる付 応じたデータや画像を 加情報を重ねて表示する. 画面上に表示する. エアタグはユーザが 自由に付加できる. – 10 – 2.3 Augmented Reality の概要 2.3.1 AR マーカの概要 マーカ型 AR では AR マーカと呼ばれる識別子を認識することで情報付加を実現する. 代 表的な AR マーカは正方形で基本的に黒い外枠で囲われた領域にパターンを描いて出来てい る. 外枠で AR マーカの検出を行い, パターン描画領域内のパターンに応じてマーカを判別 する. AR マーカを図 2.1 に示す. 図 2.1 AR マーカ AR マーカの制約を以下に示す. 1. 基本は正方形である. 2. 外枠とパターンから構成される. 図 2.1 に示すように外枠と白領域の割合が 1:2:1 にな る. ただし, 外枠は変更可能である. 外枠と白領域との割合は 3:14:3 が限界となる. 3. パターンには点対象・線対象を避け, 細い線を使用しない. AR マーカの数値化を図 2.2 に示す. AR マーカ全体から白領域を検出する. 検出した白 領域を分割し, 解像度を基に数値化する. AR マーカから作成されたデータファイルは数値 化することでパターンファイルとしてデータ化され, 1 分割につき 1 数値が割り当てられる. – 11 – 2.4 位置同定法の概要 数値の幅は 0∼255 である. パターンファイルは縦横の分割数である解像度を基にデータ化 する. 図 2.2 の場合, 解像度は 4×4 であるため, 全体を 16 分割して数値化する. 解像度は変 更可能であり, 解像度を上げることで細かいパターンであっても認識率は十分なものになる. しかし, 解像度が上がると負荷が高くなる. 図 2.2 AR マーカの数値化 2.4 位置同定法の概要 通信者の位置情報は先行研究である位置同定法 [5] を使用して求める. 位置同定法により 算出された (r, θ, φ) 値により, 仮想窓から通信者までの距離 L が求められる. (r, θ, φ) 座標と距離 L を図 2.3 に示す. カメラと通信者の顔の距離を r, xz 平面上に投影した距離 r と z 軸がなす角をθ, yz 平面上に投影した距離 r と z 軸がなす角をφ, 通信者の位置の z 軸 成分の値を L としている. 先行研究で提案されている通信者の位置同定法は, カメラより取 得した画像から肌色領域を抽出し, 目と顔のパターンマッチングにより三次元位置を求める. – 12 – 2.5 クラウド型 Virtual Window System の構成 図 2.3 2.5 (r, θ, φ) 座標と距離 L クラウド型 Virtual Window System の構成 クラウド型 VWS では, VWS で行っていた機能のほとんどをクラウド上に置く [6]. これ によりローカルでの処理負荷を最小限にすることを目的としている. そこで, VWS で必要 とされる映像通信と顔認識の機能をクラウド上に配置する. また, ローカルに設置する必要 最小限の機能を持ったシステムを Virtual Window Local System と呼ぶ. 提案システムでは, 従来の Virtual Window Local System に, 通信者の所持するネット ワーク帯域の測定システム, マルチビットレートエンコーダ, 視線検出システムを追加す る. また, Virtual Window Local System に帯域測定器を導入する. 以下ではまず Virtual Window Local System について説明した後に従来のクラウド型 VWS について説明する. 2.5.1 Virtual Window Local System Virtual Window Local System (以下 VWLS) は, クラウド型 VWS においてローカル で処理しなければならない処理を実行するローカルに置かれたシステムである. VWLS は, VWS の起動, 接続されたカメラの識別及び起動, 撮影映像をネットワーク上の VW コント ローラへ送信, 受信映像のデコードである. また, VWLS とクラウド型 VWS 間のネット – 13 – 2.5 クラウド型 Virtual Window System の構成 ワーク帯域を passive 方式で測定するため, 帯域測定システムを導入する. 2.5.2 従来のクラウド型 Virtual Window System 従来のクラウド型 VWS の構成を図 2.4 に示す. クラウド型 VWS は, VWS 全体をまと める VW コントラーラを中心に構成される. VW コントローラはクラウド型 VWS の各シ ステム (以下 映像処理システム群) に対して適切な情報を送信, また, 映像処理システム群か ら送られてくる処理結果を適切に使用することを目的とする. クラウド型 VWS を総括する VW コントローラの負荷を軽減するため, クラウド型 VWS の分散処理システムが提案され ている [10]. 図 2.4 従来のクラウド型 VWS の構成 VW コントローラは, 通信開始時に通信者双方のユーザ ID を取得する. さらに AR マー カ走査システムで検出されたパターンファイルと通信相手のユーザ ID を基にユーザ情報 DB に格納されているアノテーションを選択する. また, Imitation AR(以下 IAR) マーカが 生成された場合は VW コントローラが IAR マーカとアノテーション, ユーザ ID を結びつ けてユーザ情報 DB に保存する. VW コントローラは表示出力映像中に複製元の AR マー カを認識すると IAR マーカを非表示にする. この IAR マーカは通信終了時まで保存され, – 14 – 2.6 結言 通信終了時に破棄される. 映像通信システムは, VW コントローラから通信映像を受け取り, 映像のエンコードを行 う. 顔認識システムには NeoFace を使用する. NeoFace は NEC の提供する顔認識クラウド サービスである. VWS では, 顔認識による通信者の位置同定を行うために顔認識を行う. 合 成処理システムでは, 表示選択された映像にアノテーションを合成し, 合成映像を VW コン トローラに送信する. 2.6 結言 本章では, VWS を構成する技術要素である, クラウドコンピューティングと AR, 従来の クラウド型 VWS について解説した. また, 従来のクラウド型 VWS は, VW コントローラ が中心となり全てのシステムの動作を管理している. よって, VW コントローラの負荷分散 を行う必要があることを示した. – 15 – 第3章 提案するクラウド型 Virtual Window System の構成 3.1 緒言 本章では, 帯域分割を行うために必要な新たに導入する SaaS について説明する. また、ク ラウド型 VWS における VW コントローラの負荷分散, 処理の高速化をするため, クラウド 型 VWS の階層化を行う. また、階層化を行った際の処理の流れについて説明する. 3.2 新たに導入するクラウド型 VWS 機能 提案するクラウド型 VWS では, 従来のクラウド型 VWS のシステム群に帯域測定システ ム, マルチビットレートエンコーダ, ストリーミングサーバ, 割り当て帯域計算システムを加 える. これらのシステムで, 通信者の位置情報を基にした映像ビットレートの変換を行う. 以下では追加した各システムについて説明した後に, クラウド型 VWS の階層化について 説明する. 3.2.1 帯域測定システム 帯域測定システムは, 通信者の持つネットワーク帯域の測定を行う. 測定は YAMAHA の 帯域検出機能の passive 方式で行う. YAMAHA の passive 方式は, 環境依存が無く, 拠点間 の帯域を定期的に測定することが可能である. 動的な映像ビットレートを変動させる基準の – 16 – 3.2 新たに導入するクラウド型 VWS 機能 一つとして通信者のネットワーク帯域を調べる必要がある. 提案システム中では, VWLS と帯域測定システム間の帯域の測定を行う. 帯域の測定結果 を割り当て計算システムへ送信する. 3.2.2 マルチビットレートエンコーダ マルチビットレートエンコーダでは, VW コントローラから送信された高画質映像のリア ルタイムなエンコーディングを行う. 従来では, 映像通信システムでリアルタイムエンコー ディングを行っていた. しかし, 提案システムでは, 各仮想窓に割り当てる帯域に応じて映像 品質を低遅延で変動させる必要がある. よって, マルチビットレートエンコーダを用いるこ とで, 一度のエンコーディングで複数の品質の映像データを作成する. 提案システム中では, VWLS から送信されてくるカメラの撮影映像を VW コントローラ によってマルチビットレートエンコーダへ受け渡す. マルチビットレートエンコーダが受け 取った映像を複数のレベルでエンコードする. エンコードされた各レベルの映像はストリー ミングサーバに送信される. 3.2.3 ストリーミングサーバ ストリーミングサーバとして NEC の StreamingPro を使用する. ストリーミングサーバ の役割は, マルチビットレートエンコーダから送られる映像データの管理である. 提案システム中では, 割り当て帯域計算システムにより算出された通信相手ごとに割り当 てる帯域幅から, 配信する映像を選択する. 選択された映像は, 映像処理システム群によりア ノテーションが合成され, VW コントローラを介して配信される. 3.2.4 割り当て帯域計算システム 割り当て帯域計算システムでは, 各通信相手に割り当てる帯域の計算を行う. 仮想窓が複 数存在する場合に, 通信相手毎に優先順位をつける. VWS は空間同士を接続するシステム – 17 – 3.3 クラウド型 Virtual Window System の階層化 である. よって, 通信者が直接操作すること無く通信者の意思に沿った動作を動的に行うこ とが望ましい. そこで, 映像の品質を変動させるため, どの通信相手にどの程度の帯域を割り 当てるかを計算する必要がある. 算出された帯域に納まるビットレート値を持つ映像を通信 者に送信する. 提案システム中では, 帯域測定システム, 顔認識システムにより測定された通信者の持つ ネットワーク帯域, 通信者の位置情報を基に各仮想窓に割り当てるネットワーク帯域を算出 する. 3.3 クラウド型 Virtual Window System の階層化 従来のクラウド型 VWS における処理は, VW コントローラを毎回介する必要があり, VW コントローラでの処理負荷が大きくなるため, 快適なリアルタイム通信が困難である. さらに, 提案システムでは映像処理におけるシステム数が従来のシステムに比べて多くなっ た. そのためリアルタイム通信に支障を出さないため, クラウド型 VWS の階層化を行い, VW コントローラの負荷軽減, 処理の高速化を行う. クラウド処理の階層化の構成を図 3.1 に示す. 以下では階層化した提案システムにおける処理の流れを説明する. 図 3.1 クラウド処理の階層化の構成 – 18 – 3.3 クラウド型 Virtual Window System の階層化 3.3.1 提案システムの処理の流れ 帯域適応と連携したクラウド型 VWS の通信開始時の処理フローを図 3.2, 表示出力映像 作成の処理フローを図 3.3, 帯域適応関連の処理フローを図 3.4 に示す. 図 3.2 内の細い線 は制御処理, 太い線は映像処理を示す. 離れた空間 A と空間 B があり, それぞれの空間には 通信者 A, 通信者 B がいるものとする. また, それぞれの空間の仮想窓となるディスプレイ をディスプレイ A, ディスプレイ B とし, 使用している VWLS を VWLS-A, VWLS-B と する. 通信開始時の処理フローについて説明する. 図 3.2 は通信開始から通信者 A のディスプレ イに通信者 B の空間映像が表示されるまでの処理を表す. 通信者 A はユーザ ID, パターン ファイル, アノテーションをユーザ情報データベースに登録している. 通信者 A がディスプ レイ A とディスプレイ B を接続する時, VWLS-A を起動し, VW コントローラにディスプ レイ B との接続を求める. VW コントローラはユーザ情報データベースに通信者 B のユー ザ ID を求める. これにより接続先が確定する. 接続先が確定したらストリーミングサーバ にある通信者 B の空間映像を取得し, ディスプレイに表示する. 図 3.2 クラウド型 VWS の通信開始時の処理フロー – 19 – 3.3 クラウド型 Virtual Window System の階層化 次に表示出力映像作成の処理フローについて説明する. 図 3.3 は通信者 A, B の空間がす でに接続され, ディスプレイに空間映像が表示されている状態である. この状態から通信者 A の位置情報を基に表示出力する映像を選択し, アノテーションを通信者 B の空間映像に合 成したものが通信者 A のディスプレイ上に表示するまでの処理を表す. まず, VW コント ローラに送られた空間 A の映像から通信者 A の顔検出を行い, 通信者 A の位置情報を取得 する. この時, 通信者の位置情報の取得は顔認識による位置同定法で行う. 取得した位置情報 から, 表示出力する通信者 B の空間映像をストリーミングサーバから選択する. 次に選択さ れた映像で AR 走査を行い, ユーザ情報データベースでアノテーションを取得する. 表示出 力する空間 B の映像とアノテーションの合成を行い, 通信者 A のディスプレイに表示する. 図 3.3 表示出力映像作成の処理フロー 最後に帯域適応関連の処理フローについて説明する. 図 3.4 は通信者 A の位置情報から通 信者 B の空間映像に対して, 割り当てる帯域を計算する. その結果から取得する通信者 B の 空間映像の映像レベルを選択し, 通信者 A のディスプレイに表示するまでの処理を表す. ま ず VW コントローラに送られる通信者 A の空間映像から通信者 A の顔検出を行い, 位置情 報を取得する. 取得した位置情報から割り当て帯域計算システムを用いてディスプレイに映 し出す映像品質の決定, 各ディスプレイに割り当てる帯域を算出する. 算出された割り当て – 20 – 3.4 結言 帯域を VW コントローラに送信し, 割り当て帯域に適した品質の映像をストリーミングサー バから取得する. 取得した映像を通信者 A のディスプレイに表示する. 図 3.4 帯域適応関連の処理フロー クラウド型 VWS を階層化することにより, 従来のクラウド型 VWS では VWS 映像作成 に最大 19-hops 必要であったが, 最大 10-hops で作成可能になる. VW コントローラへのア クセス回数も 8 回必要であったが 4 回まで軽減可能である. 従って、クラウド型 VWS を階 層化することにより, クラウド型 VWS における処理の高速化, VW コントローラの負荷軽 減が可能である. 3.4 結言 本章では, 新たに導入するクラウド型 VWS の機能と階層化を提案し, 階層化した際の処 理の流れについて解説した. クラウド型 VWS には, 帯域測定システム, マルチビットエン コーダ, ストリーミングサーバ, 割り当て帯域計算システムを新たに導入する. また, クラウ ド型 VWS を階層化することでクラウド型 VWS の処理の高速化, VW コントローラの負荷 軽減を行った. – 21 – 第4章 割り当て帯域計算 4.1 緒言 本章では, 画素認識限界曲線を量子化し, 各仮想窓に割り当てる帯域の計算方法について 説明する. 4.2 画素認識の限界 人間が画素を認識できる距離には限界がある [8]. 画素を認識できる限界の距離以上離れ て映像を観ることで映像を綺麗に観ることが可能である. この, 画素を認識できる限界の距 離を映像に対する最適限界距離とする. 最適限界距離は, ディスプレイに映し出す映像の解 像度に影響される. 通信者の視力が 1.0 の時, 最適限界距離を d, 仮想窓のサイズ (インチ) を S, 仮想窓の縦の画素数を y とすると, 最適距離は式 4.1 で求められる. 12.453 はインチ単位 をミリ単位に変換するための係数である. 180 × 60 π × S × 12.453 d= y (4.1) 式１によって求められる画素認識限界曲線を図 4.1 に示す. 縦軸が映像の画素数, 横軸が 通信者と仮想窓との距離である. データラベルは, 各映像の解像度を表す. この時, サイズが 16 インチの 16:9 のワイド版のディスプレイを利用するものとする. また, 位置同定法を用 いて正確な距離を測ることができる範囲は 60∼200(cm) であることから, 画素認識限界曲線 は 60∼200(cm) の範囲で表現した. – 22 – 4.3 画素認識限界曲線の量子化 図 4.1 画素認識限界曲線 画素認識限界曲線から, 各映像画素値に応じた通信者の最適距離が求められる. 4.3 画素認識限界曲線の量子化 通信者の位置に適した, 仮想窓に映し出す映像の解像度は画素認識限界曲線から求めるこ とが可能である. しかし, 全ての位置に応じた解像度の映像にエンコードすることは難しい. よって, エンコードを行うことが可能な位置で画素認識限界曲線を量子化する必要がある. 以下では, アスペクト比が 16:9 の規格が存在する解像度における量子化方法と, パーソナル スペースに基づいた量子化方法について検討する. 4.3.1 アスペクト比対応解像度における量子化 位置同定を正確に行う 60∼200cm 区間において, 画素認識限界曲線の量子化を行う. ア スペクト比 16:9 に対応する解像度の内 1920×1080, 1440×1080, 1366×768, 1280×720, 1136×640, 720×480, 640×360 の 7 パターンを利用する. 各解像度から最適距離を求め, 画 素認識限界曲線を量子化する. アスペクト比対応解像度による量子化を図 4.2 に示す. – 23 – 4.3 画素認識限界曲線の量子化 図 4.2 スペクト比対応解像度による量子化 量子化により, 距離に応じた映像の選択が可能になる. 距離 60∼70cm に属する人に 対しては解像度 1980×1080 の映像, 71∼80cm には 1440×1080 の映像, 81∼90cm には 1366×768 の映像, 91∼110cm には 1280×720 の映像, 111∼140cm には 1136×640 の映像, 141∼200cm には 960×540 の映像, 201cm 以上には 640×360 の映像が選択される. エンコード可能な解像度で量子化することで, 画素認識限界曲線に近い形で量子化するこ とが可能である. 4.3.2 パーソナルスペースに基づいた量子化 人は興味のある人物, もしくは物体に対して近づく特徴を持つ. そこで, パーソナルスペー スを利用して距離を分割し, 量子化する. ノンバーバル行動の一つであるパーソナルスペー スは, 人間関係において重要な役割を果たすと考えられている. パーソナルスペースとは, コ ミュニケーションを取る相手との物理的な距離を指す. アメリカの文化人類学者エドワー ド・ホール氏によると, パーソナルスペースは大きく 4 つのゾーンに分割される [9]. それを さらに, 近接相と遠方相の 2 つに分類する. パーソナルスペースの分類を表 4.1 に示す. – 24 – 4.3 画素認識限界曲線の量子化 表 4.1 パーソナルスペースの分類 ゾーン 密接距離 個体距離 社会距離 公共距離 2 相分類 距離 (cm) 近接相 0∼15 遠方相 15∼45 近接相 45∼75 遠方相 75∼120 近接相 120∼200 遠方相 200∼350 近接相 350∼700 遠方相 700∼ 密接距離はごく親しい人に許される空間, 個体距離は相手の表情が読み取れる空間, 社会 距離は相手に手は届きづらいが容易に会話が出来る空間, 公共距離は, 複数の相手が見渡せ る空間である. VWS では, エンコードする解像度には限界がある. 各ゾーンで, エンコード規格の存在す る解像度で量子化を行う. パーソナルスペースに基づいた量子化を図 4.3 に示す. 図 4.3 パーソナルスペースに基づいた量子化 – 25 – 4.4 割り当て帯域計算 量子化により, 距離 60∼90cm を密接距離として 1980×1080 の映像, 91∼140cm を個体距 離として 1280×720 の映像, 141∼200cm を社会距離として 960×540 の映像, 201cm 以上は 公共距離として 640×360 の映像を選択する. 4.4 割り当て帯域計算 仮想窓から通信者の距離を測定することでどの解像度を映し出すべきかを決める. 決定し た映像を通信者の仮想窓に映し出すために, 通信者のネットワーク帯域を分割する必要があ る. そこで, 各量子化方法とも各解像度の映像を再生するのに必要な帯域が全体の帯域の何 割に当たるのかを計算した. 以下ではまず, 各解像度の映像に割り当てるビットレートにつ いて述べたあと, 通信者のネットワーク帯域に合わせた割り当て帯域の計算方法について説 明する. 4.4.1 解像度別ビットレート 各解像度に割り当てるビットレートは Bit Per Pixel(以下 BPP) を用いて決定する. 映像 の縦と横の画素数と 1 秒あたりのフレーム数に BPP を掛けることでどのくらいのビット レートが必要になるかが求められる. BPP 表を表 4.2 に示す. 表 4.2 BPP 表 品質 動作 高 中 低 高度 0.175 0.125 0.100 中度 0.150 0.100 0.075 程度 0.125 0.075 0.050 動作は映像全体の動きを指す. 高度がスポーツまたはミュージックビデオ程度の動きレベ ル, 中度が映画程度の動きレベル, 低度がニュースや演説などのナレータの動きレベルであ – 26 – 4.4 割り当て帯域計算 る. VWS では仮想窓であるため, できるだけ高画質かつ, 激しい動きにも対応できることが 望ましい. よって, 品質は高, 動作が高度の BPP 値 0.175 を利用して各解像度に割り当てる ビットレートを求める. BPP 値 0.175 を利用して求めた解像度別映像のビットレートを表 4.3 に示す. VWS では, 各解像度において表 4.3 に示すビットレートの映像を扱うことを前 提とする. 表 4.3 4.4.2 解像度別映像のビットレート 解像度 1980×1080 1440×1080 1336×768 1280×720 ビットレート 11000Kbps 8200Kbps 5500Kbps 4900Kbps 1136×640 960×540 640×360 3900Kbps 2800Kbps 1300Kbps 割り当て帯域計算式 仮想窓に映し出す映像のビットレートが全体の映像ビットレートのうち, 何割に当たるか を求める. アスペクト比対応解像度における量子化の場合, 分割された距離を変数 D1∼D7 で表す. 距離 60∼70 を D1, 71∼80 を D2, 81∼90 を D3, 91∼110 を D4, 110∼140 を D5, 141∼200 を D6, 201 以上を D7 と表し人数を数える. また, 通信者の持つネットワーク帯 域を Y とし, D1∼D7 の各距離に属す通信者をもつ仮想窓に割り当てる帯域 TD1 ∼TD7 を 式 4.2 で求める. ここでは, TD1 に割り当てる帯域を求める. X は TD1 ∼TD7 のどれについ て求めるかによって異なる変数である. X に割り当てる数値を表 4.4 に示す. Z は式 4.3 に 示す. TD1 = Y × – 27 – X Z (4.2) 4.4 割り当て帯域計算 Z = 11000D1 + 8200D2 + 5500D3 (4.3) + 4900D4 + 3900D5 + 2800D6 + 1300D7 表 4.4 X X に割り当てる数値 TD1 TD2 TD3 TD4 TD5 TD6 TD7 11000 8200 5500 4900 3900 2800 1300 次に, パーソナルスペースに基づいた量子化を行った場合の帯域分割について説明する. 計算方法はアスペクト比対応解像度における量子化の場合と同様である. ただし, 分割され る距離, 距離に対応する解像度が異なる. 分割された距離に属する人数を変数 B1∼B4 で表 す. 距離 60∼90 に属する人数を B1, 91∼140 を B2, 141∼200 を B3, 201 以上を B4 と表す. 各距離に属する通信者をもつ仮想窓に割り当てる帯域 TB1 ∼TB4 を式 4.4 で求める. ここで は TB1 について求める. X はアスペクト比対応解像度における量子化の場合と同様にどの 仮想窓に映し出す映像を対象とするかによって異なる変数である. X に割り当てる数値表を 表 4.5 に示す. TB1 = Y × X 11000B1 + 4900B2 + 1300B4 表 4.5 X (4.4) X に割り当てる数値 TB1 TB2 TB3 TB4 11000 4900 2800 1300 式 4.2，式 4.4，によって求められた帯域を各仮想窓に映し出す映像に反映させることで, 複数人とでも快適に VWS 通信を行うことが可能である. – 28 – 4.5 計算方法の評価 4.5 計算方法の評価 従来のコミュニケーションツールは, 映像に対する処理や制御をほとんど行わない. その ため, 景観画像を高速に相手空間に提供することが可能である. しかし提案システムは, 通信 者のネットワーク帯域の状況や, 仮想窓からの距離情報を基に相手空間に提供する映像を変 換して送信する. そのため, 実時間での景観提供を通信者に提供するためには, 高速な処理が 要求される. 本研究では, 割り当て帯域計算の処理時間を計測することで計算方法の評価を行う. 割り 当て帯域計算処理を 100 回行い, その平均値を評価に用いる. 今回の実験環境で使用した実 験端末の仕様および開発環境を表 4.6 に示す. 表 4.6 開発環境 使用言語 開発ツール Eclipse プログラミング言語 Java 実験 PC の仕様 OS Windows 7 Enterprise CPU Intel(R) Core(TM)2 Quad CPU Q9550 @ 2.83GHz 2.83GHz メモリ 4.00GB 今回実験した帯域計算処理における平均処理時間は 365ms であった. 顔認識による通信者 の位置同定に必要な処理時間が 43.5ms, アノテーションの合成に 20ms 必要であるため, 通 信者に合わせた VWS 映像を作成するまでに 423.5ms 必要である. 従って, 解像度を変更す る必要がある距離を通信者が移動した場合, 最適な映像を仮想窓に映し出すまでに 423.5ms 遅延が発生する. しかし, リアルタイムの相互コミュニケーションを行う場合に支障をきた さない遅延許容時間は 200ms とされている. そのため, 本研究における割り当て帯域計算処 理時間は VWS に適しているとはいえない. – 29 – 4.5 計算方法の評価 通常映像通信における遅延時間は 300∼500ms とされている. 相互コミュニケーション ではなく, Web サービスとして遠隔地の監視を行うシステムとしての導入を考えた場合, 423.5ms の遅延時間でも十分適応させることが可能である. しかし, VWS は仮想窓と定義している. そのため, リアルタイム性を追求し, 通信者にシ ステムを利用していることを感じさせない速度を実現可能な計算方法, システムを提案しな ければならない. – 30 – 第5章 提案システムの考察 5.1 緒言 本章では, 第 4 章で提案した各量子化方法について比較を行い, アスペクト比対応解像度 における量子化方法とパーソナルスペースに基づいた量子化方法のどちらが VWS に適して いるかについて考察を行う. 5.2 提案システムの比較 4 章で提案したアスペクト比対応解像度における量子化と, パーソナルスペースに基づい た量子化の 2 つの量子化方法について比較を行う. 比較条件は以下の通りである. • 平均解像度変換距離 • エンコード数 • 画素認識限界曲線との最大帯域差 平均解像度変換距離は, 仮想窓に映し出す映像の解像度を変換するまでの平均距離である. 平均解像度変換距離が短いと, 通信者の動きに細かく反応し, 解像度を変換する必要がある ため VW コントローラの負荷が高くなる. そのため, 平均解像度変換距離は長いほど良い. エンコード数は, 量子化により求められた VWS で扱う映像の解像度の種類を示す. マルチ ビットレートエンコーダは, 扱う映像が少ないほど負荷が少なくなる. 最大帯域差は, 量子化 により定量化された各解像度における帯域と, 画素認識限界曲線で求められる各距離に最適 な解像度における帯域の最大差を示す. 通信者の帯域を分割するにあたり, 帯域差は小さい – 31 – 5.3 考察 ほど無駄の無い分割を行うことが可能である. 量子化方法の比較を表 5.1 に示す. 表 5.1 量子化方法の比較 アスペクト比対応解像度に パーソナルスペースに おける量子化 基づいた量子化 平均解像度変更距離 15cm 43cm エンコード数 7 4 最大帯域差 1500Kbps 4100Kbps 表 5.1 から, アスペクト比対応解像度における量子化方法はパーソナルスペースに基づい た量子化方法と比べて, VW コントローラの負荷が高く, マルチビットレートエンコーダの 処理負荷が高い事がわかる. 対して, パーソナルスペースに基づいた量子化方法はアスペク ト比対応解像度における量子化方法と比べて, より画素認識限界曲線に近い形の解像度を通 信者に提供することが可能だと言える. 5.3 考察 提案システムを利用するにあたり, 最も重視されるのがネットワーク帯域である. クラウ ド環境を利用することで, VW コントローラ, マルチビットエンコーダの処理負荷は分散す ることが可能である. しかし, VWS 通信は高画質映像を多く利用するため, 通信者の限られ たネットワーク帯域をより有効に利用する必要がある. 画素認識限界曲線から, 通信者の位 置に応じて最適な解像度が決まる. そのため量子化は, 画素認識限界曲線により近い形で行 うことが望ましい. 提案する量子化方法では, アスペクト比対応解像度における量子化方法が画素認識限界曲 線により近い形で帯域を分割することが可能である. 画素認識限界曲線に近づけることで, ストリーミングサーバの負荷を軽減することが可能である. – 32 – 5.4 結言 距離 120 の位置に居る通信者 20 人が同時にストリーミングサーバにアクセスする場合を を想定した時のストリーミングサーバに必要な帯域は式 5.1 で求められる. 必要な帯域 = 映像ビットレート × 20 (5.1) 式 5.1 を用いて各量子化方法において必要な帯域はそれぞれ, アスペクト比対応解像度にお ける量子化が 78000Kbps, パーソナルスペースに基づいた量子化が 98000Kbps であった. 同じ距離に対して映像を送信するのに 20000Kbps の差が生じる. 以上のことから, 割り当て帯域計算においてはアスペクト比対応解像度における量子化が 適している. 5.4 結言 本章では, 第 4 章で提案した各量子化方法について比較を行い, どちらが VWS に適して いるかについて考察を行い, アスペクト比対応解像度における量子化が VWS に適している ことを示した. – 33 – 第6章 まとめ 6.1 まとめ 本研究では, クラウド型 Virtual Window System の追加機能として, 通信者の位置情報 に応じて仮想窓に割り当てる帯域を計算し, 映し出す映像の解像度を変化させる割り当て帯 域計算システムを提案した. また, このシステムを追加するために必要とされる帯域測定シ ステム, マルチビットレートエンコーダ, ストリーミングサーバを導入した. これらの機能を 追加することによって, クラウド型 VWS における処理を高速化しなければ, 快適なリアル タイム通信に支障をきたす. そこで, クラウド型 VWS の階層化を行った. 従来では VWS 映像作成に最大 19-hops 必要であったが, 階層化を行うことで 10-hops で VWS 映像の作成 が可能になった. 本研究では, 画素認識限界曲線を利用して通信者の位置に最適な映像解像度を導出した. しかし, システムとして利用するには画素認識限界曲線を量子化する必要があった. アスペ クト比対応解像度における量子化方法と, パーソナルスペースに基づいた量子化方法の 2 つ の量子化方法を比較し, VWS に適した量子化方法について検討した. 検討の結果, アスペ クト比対応解像度における量子化であれば最大帯域差が 1500Kbps, パーソナルスペースに 基づいた量子化方法での最大帯域差が 4100Kbps であった. このことから, 限られたネット ワーク帯域で通信を行う VWS では, 画素認識限界曲線により近い解像度の映像を提供する, アスペクト比対応解像度における量子化方法が適していることを示した. 画素認識限界曲線により近い形で量子化を行えることがわかった. 量子化方法から各仮想 窓に割り当てる帯域を計算することで, 通信者の位置に最適な映像を限られたネットワーク – 34 – 6.2 今後の課題 帯域で送信することが可能になる. このことから, 複数人との VWS 通信を快適に行うこと が可能であることを示した. 6.2 今後の課題 本研究における今後の課題を以下に述べる. 6.2.1 上り帯域の制御 VWS 利用する通信者は送信者であり受信者である. そのため, 映像データは常に送信し ている状態で, 相手空間映像を受信する. 提案システムでは, クラウド型 VWS で複数の解像 度の映像にエンコードを行う. 最高画質で 1980×1080 の映像を利用するには, エンコーダに 同様か, それ以上の解像度の映像を送信する必要がある. さらに, 滞り無くリアルタイムにク ラウド型 VWS に映像を送るには解像度の 1.5 倍の帯域が上り帯域に必要となる. 本提案シ ステムの場合, 下り帯域における帯域の分割を行うことで受信映像解像度を変化させている が, 場合によっては十分な帯域が確保できず, 最適な解像度の映像が配信できない可能性が ある. よって, 受信側の通信者の位置情報を基に送信者側から解像度の変化についても検討 する必要がある. 6.2.2 システムの実装 本研究では, 帯域計算システムと連携したクラウド型 VWS の構成について述べた. しか し, 映像処理, 帯域制御を行うのに必要な SaaS 群を提案しただけであり, 実装は行っていな い. これらの SaaS 群を実装することによって生じる障害や構成上の詳細について検討する 必要がある. また, それによって帯域分割への影響についても検討しなければならない. – 35 – 謝辞 本研究を進めるにあたり, 多くの御指導, 御鞭撻をいただきました情報学群島村和典教授 に心より感謝の意を表すと共に感謝致します. 研究だけでなく, 私生活としても社会人とし てのマナーや人生観についても御助言をいただきました. いただいた一つ一つの言葉を大切 にして生活して参ります. また, 副査をお引き受けいただきました情報学群高田喜朗准教授 と妻鳥貴彦准教授に心より感謝いたします. 同じ HCI グループである修士 1 年の辻際宗和氏には, 研究についてのアドバイスや激励, さらには美味な京菓子をいただき, 努力を続けることが出来ました. 心より感謝致します. 研究の進行状況に関して暖かく見守ってくださった修士 2 年の山下寛晃氏, 和田倫弥氏に深 く感謝いたします. 研究室配属から卒業に至るまで共に高めあった赤澤将太氏, 栗原慎也氏, 品川滉樹氏, 竹本 万里雄氏, 西元優介氏, 野島舞氏に感謝致します. 私が研究で迷走していた際には数多くのア ドバイスをいただき, また研究活動以外にも共によく学び, よく遊ばせていただきました. こ のメンバーと同じ研究室に所属し, 過ごした時間は私にとって望外の幸せでした. 竹本氏の ストレス解消道具にされたこと, 栗原氏の必死に周りを笑わせようとする努力, 忘れません. 研究室に花を咲かせてくださった野島氏, 学部 3 年の仙波紗和氏, 中島春菜氏には毎日癒 やしをいただいていました. 研究活動中, 自身の研究や就職活動に忙しい中お相手してくだ さった事を感謝致します. そして, これまでの私の学生生活を経済面で支えてくださった両親に心より感謝致します. 最後に, 公私共に未熟な私を支えてくださった島村研究室のメンバー全員と OB の皆様に 感謝の意を持って謝辞とさせていただきます. – 36 – 参考文献 [1] Ray L. Birdwhistell, Kinesics and Context : Essays on Body Motion Communication, Univ. Of Pennsylvania Press Philadelphia, 1970, p.157-158. [2] Albert Mehrabian, “ Nonverbal Communication ”, 2007, p.182 [3] 西崎新悟, 島村和典, “ IP 通信環境における遠隔空間の仮想窓接続方式に関する研究 ”, 平成 18 年度高知工科大学学士学位論文, 2006, p.. [4] 西崎新悟, 島村和典, “ 仮想窓メタファーに基づく空間相互接続システムの研究 ”, 平成 20 年度高知工科大学修士学位論文, 2008, p.. [5] 岩城和徳, 島村和典, “ パターンマッチングと肌色領域の抽出の手法を用いた Virtual Window System における通信者の位置同定法 ”, 平成 20 年度高知工科大学学士学位 論文, 2008, p.11-20. [6] 野崎翔太, 島村和典, “ クラウド型 Virtual Window System の処理系構成に関する検 討 ”, 平成 22 年度高知工科大学学士学位論文, 2011, p.21-23. [7] 辻際宗和, 島村和典, “ AR による VWS 通信者等の属性表示に関する研究, 平成 24 年 度高知工科大学学士学位論文, 2013, p.. [8] “ 目のお話 ”, http://www.nidek.co.jp/eyestory/eye_5.html, 2013 年 1 月 14 日 アクセス [9] エドワード・ホール, “ 隠れた次元 ”, 日高敏隆・佐藤信行共訳, みすず書房, 1970 年 [10] 柏木恵, 島村和典, “クラウド型 Virtual Window System における分散処理システムに 関する一検討”, 平成 25 年度電気関係学会四国支部大会公演論文集, 2013, p.189. – 37 –