Comments
Description
Transcript
広帯域ネットワークにおける 広域分散型ストレージ実証 - JGN-X
TBWG-19-02 広帯域ネットワークにおける 広域分散型ストレージ実証実験とその利活用 広島大学情報メディア教育研究センター 近堂 徹 [email protected] 第19回テストベッドネットワーク推進WG会合 1 アジェンダ １ 広域分散ストレージ実証実験プロジェクト - distcloud プロジェクト - 2 広域ライブマイグレーションにおける 経路最適化 3 耐災害性・耐故障性検証プラットフォーム の研究開発 第19回テストベッドネットワーク推進WG会合 2 背景 l クラウドにおける”ポータビリティ” ü SLAに応じたパブリック間の使い分け ü オンプレミス, プライベート, パブリックの システム間のスムーズな移行 public public private 単一クラウド hybrid private ハイブリッドクラウド 第19回テストベッドネットワーク推進WG会合 インタークラウド （広域分散クラウド） 3 広域分散クラウド環境における技術的課題 l ストレージ可用性 ü 複数拠点が連携・協調できるストレージ空間 ü 読み書きトランザクションの効率化 l ネットワーク透過性 ü 計算資源(VM)に対する流動性の提供 ü 障害の分離 l 連携に対する柔軟性 ü ハイパーバイザ、ミドルウェアに非依存な連携管理 ü モニタリング技術 ü 自律分散的な動的再構成 第19回テストベッドネットワーク推進WG会合 4 distcloudプロジェクト ITRC地域間インタークラウド分科会（RICC）のワーキンググループの一つ 広域分散ストレージ環境を構築し実証実験 【実証実験の目的】 札幌 金沢 分散ストレージの有効性について検証・評価を実施 地理上の遠隔地にある複数拠点を利用 広域ネットワークにSINET4を利用 広島 スケールアウト型の分散ストレージを利用 論理的に単一のストレージ空間を構築し 分散ストレージに「EXAGE / Storage」を使用 参加組織（五十音順） 接続N/W 状態 大阪大学 サイバーメディアセンター JGN-X 未接続 金沢大学 総合メディア基盤センター SINET4 AS x3, HS x1, CS x8 九州工業大学 ネットワークデザイン研究センター SINET4 未接続 九州大学 情報基盤研究開発センター JGN-X 未接続 京都大学 学術情報メディアセンター SINET4 AS x1, HS x1, CS x4 高知工科大学 地域連携機構 JGN-X 未接続 国立情報学研究所 アーキテクチャ科学研究系 SINET4 HS x1, CS x4 情報通信研究機構 StarBED JGN-X 未接続 奈良先端大 情報科学研究科 JGN-X 未接続 広島大学 情報メディア教育研究センター SINET4 AS x1, HS x1, CS x8 北陸先端大 情報社会基盤研究センター JGN-X 未接続 北海道大学 情報基盤センター SINET4 未接続 各⼤大学コンピュータ環境 (アカデミッククラウド) の相互接続、相互連携 東京 大阪 参加組織は順調に増えている が機器設置・接続が進展して いない状況 JGN-Xに関しては拠点間の パス構築は完了 H26年度はSINET4・JGN-X の相互接続を推進中 5 ※赤字は設置完了組織 システムアーキテクチャ Application Network over Internet or others App. Network Process Space Storage Space Univ.-B Univ.-A High Speed Network with SINET4 & JGN-X Univ.-Z Storage Network 第19回テストベッドネットワーク推進WG会合 6 分散ストレージ：EXAGEの概要 検索索などの機能も、必要に応じて、多数のサーバに分散して処理理を実⾏行行 分散・並列列処理理により、⼤大規模・⾼高性能なアプリケーションを実現可能に！ フロントエンド（Access Server） →トラヒックに応じて台数を増強可能 分散処理理要求 処理理A 分散処理理結果 データベース要求 DB処理理結果 ファイル要求 ファイル バックエンド(Core Server) →機能・容量量に応じてスケーラブルに追加可能 処理理B 理理1 DB 処 2 DB処理理 DB 処 理理3 ブロック-2 ブロッ ク-3 分散コンピューティング技術の応用で、並列処理を実現 性能はもちろん、対障害性や拡張性に優れた仕組み 7 ※株式会社インテックの資料より抜粋 広域分散環境への拡張 ファイル = ブロックの列 (1)新規ブロックに一意な IDを割当 … (2)ローカルで2つ以上の複製を 作成、ユーザにACKを返す 書き込みの際にデータの冗長化を確保 しつつ、応答性能の劣化を最小限に抑える ローカルの判断はサブネット情報を利用 (3-a)ACK送信後直後、リモートサイト にも複製を作成 (3-b)ローカルの2つの複製 のうち、1つを削除 高速ネットワーク 大学-A (自組織) 大学-B 大学-C 大学-D 第19回テストベッドネットワーク推進WG会合 大学-E 8 長距離ライブマイグレーション実験の構成 マイグレーション セグメント KU-KVM01 VM Router ストレージ ストレージ セグメント1 セグメント2 VM Image 金沢大学 金沢大学内のVMM間で マイグレーションを実施 VM Image KU-KVM02 拠点間移動 金沢大学から広島大学の VMMへマイグレーション を実施 移動の前後でディスクの 性能計測を実施 NFSサーバ VM 拠点内移動 拠点内移動 アクセスサーバ VM Image 広域分散 ストレージ 拠点間移動 遅延時間： 約18msec HU-KVM01 移動時の処理負荷 VM アクセスサーバ 広島大学 VM Image ローカルストレージ上のVM （増分コピーを利用） VM Image ローカルNFSストレージ上のVM VM Image 外部サーバからのHTTP によるファイルダウンロ ードを実施 広域分散ストレージ上のVM 9 SC(SuperComputing)13でのライブデモ 24,000kmを超える広域ストレージ 金沢, NII ← RTT 220ms → 広島大学 三拠点で分散ストレージを構築 金沢⇔広島 でライブマイグレーション 検証内容 国際回線を利用したマイグレーション I/O性能の評価 DRの検証（広島拠点をサイトダウン） 有用性について実証 10 JGN-Xの国際回線を利用 VM VM EXAGE NFS 10Gbps Los Angeles 1Gbps 224ms 11 構築中のSINET=JGN-X接続トポロジ 北海道大 京都大 九州大 10.0.0.0/24 10.0.11.0/24 10.0.8.0/24 広島大① 10.1.1.0/24 10.0.1.0/24 4086 4083 九州大学 京都大学 4080 2054 1052 北海道大学 千葉DC 広島大学 金沢大③ 金沢大① 情報学研究所 10.0.3.0/24 10.0.2.0/24 金沢大② 10.0.14.0/24 金沢大学 広域分散ストレージ検証（EXAGE Seg.） SINETルータ 10.0.0.0/16 JGN-X仮想ルータ 10.1.0.0/16 1/4 2/3 奈良先端大 3/4 SINET4＝JGN-X接続点（堂島DC） 近畿-1 2965 SINET4＝JGN-X接続点（大手町DC） JGN-X プロジェクト番号： JGNX-A13003 中国-2 0/2 北陸-2 1/4 2959 2959 6/0 九州-3 四国-2 0/26 2961 近畿-2 2957 2958 1/4 広島大② 高知工科大 NICT北陸 九州工業大 10.1.2.0/24 10.1.5.0/24 10.1.7.0/24 10.1.9.0/24 大阪大 北陸先端大 10.1.4.0/24 10.1.10.0/24 利用中パス 構築中パス EXAGE/Storageバックエンドネットワーク 12 アジェンダ １ 広域分散ストレージ実証実験プロジェクト - distcloud プロジェクト - 2 広域ライブマイグレーションにおける 経路最適化 3 耐災害性・耐故障性検証プラットフォーム の研究開発 第19回テストベッドネットワーク推進WG会合 13 サイト間マイグレーションにおける経路最適化 拠点毎の独立性を 維持しながら、経路 最適化が必要 ライブマイグレーション後も 外部から、継続してアクセス できる仕組みが必要 Internet VM VM migration VM 広域分散ストレージ 広島 大阪 金沢 14 サービスと通信の種類 深刻 切断時間ひとつにとってもサービスによって求められる 品質が異なる 遠隔端末 (ssh, etc) ファイル転送 (FTP, etc) 音声通話 (実装依存) ダイナミックストリーミング 再接続可 ウェブ (HTTP) アプリケーションや用途に応じた 手法を適切に選択すべき！ メール (SMTP) セッション切断による影響の程度 15 経路最適化手法の比較 Layer 手法 概要 経路制御 ・ マイグレーションをトリガに経路広告を動的に 切り替え サイト単位での経路制御が可能 VM単位での柔軟な制御が困難 経路操作が必要になる L2延伸 ・ 従来のL2技術を活用 ・ VPLS, IEEE802.1ad PB(Q-in-Q), IEEE802.1ah(Mac-in-Mac) 安定性、オペレーションコストに優れる 拠点数に対するスケーラビリティ (追加コスト、 ブロードキャストドメイン等） L2 over L3 ・ エンドホスト間でIPトンネリング ・ VXLAN, OTV, NVGRE 既存L3技術で実現可能 トンネリングオーバーヘッド IPマルチキャストが必須 SDN ・データのフォワーディングをソフトウェアで制御 ・ OpenFlow プログラマブル制御 機器追加、運用コスト高 ID/Locator分離 ・ノードのIDとルーティング用のLocator を分離 ・ LISP 拠点数に対するスケーラビリティ ノード単位の制御 機器追加 マッピング情報管理、即時性に影響 IPモビリティ技術 ・ IP層での移動透過性 ・ MAT, NEMO, MIP(Kagemusha) 拠点数に対するスケーラビリティ IP層での処理負荷(機能を外部で実現する手 法も存在） L4 mSCTP / MultipathTCP ・ トランスポートのマルチパス機能を利用 L2 / L3には関与しない トランスポートに改変が必要 L7 DDNS + Reverse NAT ・ Dynamic DNSによる動的な切り替え ・ VMにはプライベートアドレスを付与して、拠点 毎のゲートウェイでReverse NATを適用 L2 / L3には関与しない IPアドレスは変更 セッションは切断される + L3 第19回テストベッドネットワーク推進WG会合 特徴（利点・欠点） 16 Global Live Migration with IP mobility Site A VM Site B Global Live Migration HoA HoA MoAa Hypervisor MoAb MoAa Mobile Address IPモビリティ（MAT）と複数 インタフェースによる経路最適化 と途絶時間の削減手法[1] VM単位での移動が可能 VMにモビリティ アーキテクチャを導入することで、VMが 自律的に移動が可能。VMはホームアドレ ス (HoA) とモバイルアドレス(MoA)の2つ のアドレスを持つ (assigned by the each site) IMS Internet CN (w/ MAT) [1] H.Watanabe, etl.al, “A Performance Improvement Method for the Global Live Migration of Virtual Machine with IP Mobility”, Proc. the 5th International Conference on Mobile Computing and Ubiquitous Networking 2010, pp.194-199, 2010 最適化されたスムーズハンドオフ 複数の仮 想インタフェースを利用することで、マイ グレーション前に事前に移行先のネット ワーク情報を設定し、IPモビリティ処理に よる途絶時間を削減 17 JGN-Xを利用した広域展開 IPモビリティ機能を活用した 仮想マシンの広域ライブマイグレーション 広島大学・広島市立大学・ネットワンシステムズ・ディアイティ・マイクロリサーチ デモンストレーション概要 プライマリ拠点 バックアップ拠点 仮想デスクトップ （MAT対応） ハイパーバイザ ハイパーバイザ WANの経路最適化を 実現しながら拠点間を ライブマイグレーション 管理・制御 デモ会場 IPモビリティ機能により 継続的な接続を実現 クライアント端末 （MAT対応） VDIの拠点間マイグレーション 広島大← JGN-X/SINET→ 広島市立大 SINETとJGN-X間をマイグレーション VDIの継続利用を検証 ライブデモ（ひろしまIT総合展2013） 映像を受信しながらマイグレーション セッション途絶のない移動をデモ 制御端末 仮想デスクトップ（VDI）の拠点間マイグレーション 主な特徴 ! ネットワーク側に特別な機能を必要としない ! 最適ルーティングでエンドホスト間の通信が可能 ! 柔軟かつスケーラブルな仮想マシンの再配置が可能 地理的に分散する サーバ間で仮想マシンが シームレスに移動可能！ 利活用例 ! 災害回避を目的とした仮想サーバの 長距離ライブマイグレーション ! ネットワーク品質を考慮した仮想サーバ の最適再配置 24500083, 24300027, 23300026 18 アジェンダ １ 広域分散ストレージ実証実験プロジェクト - distcloud プロジェクト - 2 広域ライブマイグレーションにおける 経路最適化 3 耐災害性・耐故障性検証プラットフォーム の研究開発 第19回テストベッドネットワーク推進WG会合 19 背景 l distcloud環境の耐障害性の実評価を目的として ü 実稼働ネットワークでの障害発生手法が必要 ü 災害状態をシミュレートする仕組みが必要 l ネットワーク防災訓練[2] ü ネットワークが持つ潜在的な問題点を発見可能 ü 手動だと実現できる障害が単一で起こしやすいものに ü 障害時のシステムログ収集が膨大で十分な検証が困難 求められる機能 多発的なネットワーク障害を生成する仕組み 災害による影響を自動的に収集し評価する仕組み [2]菊池豊他，地域IXで恣意的に障害を発生させることによる耐障害性の検証，第4回地域間インタークラウドワークショップ 20 耐災害性・耐障害性検証プラットフォーム l 災害・障害をシミュレート ü シナリオに沿った故障を生成し状態を観測 ü 災害や障害に強い分散システム構築に貢献 l 検証プラットフォームへの要件 ü 災害時の災害シナリオからネットワーク障害を生成 ü 実ネットワークにおける災害のシミュレートを実現 ü 障害状態解除により正常状態への回復を容易に実施 ü 障害発生前後におけるネットワーク状態の自動収集 障害発生をSDN技術により実現 - 作るSDNから壊すためのSDN 第19回テストベッドネットワーク推進WG会合 21 開発全体のイメージ OnePKベースのSDNを利用 自動生成 多発的な障害の注入 第19回テストベッドネットワーク推進WG会合 22 開発予定の機能 l 発災時における災害シナリオの記述手法定義 ü 形式的な記述ができる言語を定義・開発 ü 既存言語の拡張 or 新規開発 l 災害シナリオを基にした障害構成の自動生成 ü 災害シナリオからネットワーク障害を生成 ü 災害シナリオとネットワーク障害の関連性を定義 l 障害構成の実ネットワークへの注入と解除 ü OnePKを利用した実ネットワークへの注入/解除機能 l ネットワークエンティティ状態の自動収集 ü 評価するシステムの耐災害性評価の実施 第19回テストベッドネットワーク推進WG会合 23 構築中の検証ネットワーク l JGN-Xを活用した広域検証ネットワーク ü OnePK対応ASRにて構成 ü 検証アプリケーションとして広域分散ストレージを利用 システムの課題を洗い出しフィードバックする 制御アプリ（構築予定） onePKによる 制御と情報収集 ⾼高知⼯工科⼤大 奈奈良良先端⼤大 岡⼭山AP 広島AP L3の経路制御 BGP, OSPF L2の冗長化制御 STP, LAG 等 レガシーなプロトコルを利用 して構築 名古屋AP ⼤大阪AP 広島⼤大 ⼤大⼿手町AP ⾦金金沢⼤大 ⼤大阪⼤大 ASR 24 災害シナリオとネットワーク障害例 l 拠点間（広島AP-大阪AP）回線の切断 ü 迂回経路への切り替えによる一時的な通信断の発生 広島大ー大阪大通信が岡山AP経由に ü 迂回経路における輻輳発生によるパケットロスの増加 岡山AP-大阪AP間のトラフィック増による輻輳発生 ü 経路変更による遅延時間の変化 広島大ー大阪大パスの遅延時間の増加 ⾼高知⼯工科⼤大 災害シナリオから発生する ネットワーク障害を定義し 順次・多発的に発生させる ネットワーク状態は自動的に 収集されシステム評価に利用 奈奈良良先端⼤大 迂回経路 岡⼭山AP 広島AP 輻輳 ⼤大阪AP 広島⼤大 名古屋AP ⼤大⼿手町AP ⾦金金沢⼤大 ⼤大阪⼤大 25 まとめ 広域分散ストレージ実証実験プロジェクト Nation Wide・World Wideの広域分散ストレージ バックエンドに超高速ネットワークを利用 JGN-X, SINET4を利用した広域展開 広域ライブマイグレーションにおける経路最適化 ライブマイグレーションにおけるL2制約を撤廃 各レイヤでの実現手法を比較評価 耐災害性・耐故障性検証プラットフォームの研究開発 多発的なネットワーク障害を生成・影響を自動的に収集し評価 SDN技術で実現 - 作るSDNから壊すためのSDNへ JGN-X網を活用した実証プラットフォームを展開 第19回テストベッドネットワーク推進WG会合 26