高可用性情報ストレージのためのネットワーク基盤技術

第35回インターネット技術第163委員会研究会
高可用性情報ストレージのための
ネットワーク基盤技術
2014年06月18日
東北大学 サイバーサイエンスセンター
和泉 諭 菅沼 拓夫
目次
1.
2.
3.
4.
5.
はじめに (プロジェクト全体概要)
スマートルーティングの提案
設計・実装
実験・評価
おわりに
1
1. はじめに
背景と目的
文科省 次世代IT基盤構築のための研究開発事業「高機能高可用性
情報ストレージ基盤技術の開発」
①
高可用性耐災害性の高いストレージ基盤技術の確立
東日本大震災で緊急性・機微性の高い住基情報や医療情報が喪失
中小サーバを中心に情報ストレージシステムの耐災害性の不備が露呈
拠点内に閉じた従来型RAID技術の限界
広域通信障害によりクラウドサービスも利用不可
目標： 半数の機器損壊と広域通信途絶下でも被災直後から必要な情報に
アクセスできる
②
輻輳回避と緊急バックアップのためにデータ転送時間を短縮
データ転送レートの向上
→ 被災後も残存機器だけで最低限の転送性能を確保
平時にはビッグデータ等大容量情報対応の高速転送化
ICT基盤を支える情報ストレージの高機能・高速化
目標： ネットワーク上のストレージ間で短時間に大容量情報を授受
2
1. はじめに
研究開発内容
1.
2.
3.
高可用性の耐災害性強化ストレージシステムの開発（日立製作所・東北大）
① ファイル分散冗長化の高可用性に関する理論検討
 拠点リスク評価（リスクアウェア複製）と情報再配置（マルチルートリストア）
方式によるストレージの高可用化技術開発
転送時間短縮による輻輳回避のためのストレージ高速化技術（東北大）
② HDD内及びHDD並列化によるストレージ機器の高速データ転送
③ ストレージ間通信経路を回線状況に応じて柔軟に制御可能なルーティング技
術(スマートルーティング)
④ 高機能化=高可用ストレージを複雑な業務に活用するためのソフトウェア
技術を開発
実証試験
投薬情報システムを用いた高可用
高可用性
耐災害性
性ストレージ実証実験 （日立
リスクアウェア
ソリューションズ東日本・東北大）
マルチルートリストア
 学内ネットワークとクラウドを
高速データ転送
ベースにした実証試験
スマートルーティング
高速転送ストレージ
プログラミングフレームワーク
災害時
高機能化
平時
3
1. はじめに
研究開発の定量目標
①
高可用性・耐災害性の高いストレージ基盤技術の確立
目標： 50%の機器喪失下でも被災直後に90%の情報にアクセス可
100万人のアクセスのうち90万人はデータを取得可能
②
輻輳回避と緊急バックアップのためにデータ転送時間を短縮
目標： 既存技術レベルの5倍
平時の4-5倍のトラフィック輻輳に対応
③
投薬情報システム（電子お薬手帳）を例にした実用性の高い実証試験の実施
目標： 実ネットワーク上で100万人都市を想定した実証試験
仙台市規模の都市において有効なシステム開発
4
1. はじめに
対災害性ストレージ
目的 大規模災害の被災地での情報サービスが可能なストレージシステムの実現
提案 1. リスクアウェア複製
 同時被災リスクが低いと判断された近隣拠点のストレージにデータを複製
 地理的条件などをもとに同時被災リスクの定量化
2. マルチルートリストア
 各拠点の被災・障害状況に応じて，残存拠点ストレージから
応急代替拠点へリストア
 地域ネットワークがダウン，もしくは地域ネットワークに接続していない
拠点の場合、近隣の複製先拠点へ出向いて業務を再開
成果 開発したシミュレータにより拠点数1,000で，可用性90%の達成を確認
5
1. はじめに
高機能プログラミングフレームワーク
目的 モバイル系からクラウド基盤系までの情報を系統的にアクセス可能な
プログラム機能を開発し、ビッグデータ等の利活用に供する情報基盤の構築
提案 高機能プログラミングフレームワーク
 高可用ストレージを活用するために以下を柔軟かつ安全に使える
プログラミング環境の実現
 業務で広く使用されている関係データベース
 クラウドストレージで主流のキーバリューストア
 次世代高信頼プログラミング言語SML#とシームレスに結合
⇒ 高信頼かつ高機能なプログラミング環境を提供
成果


キーバリューストアのためのデータモデルと型理論の開発
キーバリューストア機能のコンパイル方式の開発
6
1. はじめに
投薬情報システムを用いた高可用ストレージ実証実験
背景


目的


成果


東日本大震災で医療情報や住民情報などの重要データが喪失
災害時に個人の投薬情報を保持していることは重要
高機能高可用性情報ストレージ基盤上に投薬情報システム
（電子お薬手帳）を開発
システムを用いた実証実験を通してストレージ基盤技術を評価
 仙台市ユーザの利用と大規模災害を想定したストレージ基盤の可用性
 プログラミングフレームワークの機能性（セキュリティ，生産性）
投薬情報システムの開発とストレージ基盤との接続
小規模（5～10）ユーザによる実証実験により想定被災状況下で保存
データを参照できることを確認
電子お薬手帳アプリ
可用性可視化ツール
7
1. はじめに
高速ストレージ間通信方式
目的 ストレージ間の通信を効率化・高速化することで、ストレージ
の機能性、可用性の向上に寄与する、ネットワーク基盤技術
の研究開発
提案 回線のトラフィック状況や優先度に応じて，高速に転送できる
経路に高速かつ動的に切り替える「スマートルーティング」
成果  スマートルーティングの基本設計
経路探索アルゴリズムと経路選択アルゴリズムの設計と実装
 OpenFlowを用いたシミュレーション環境の構築
 初期シミュレーションによる効果の確認

8
2. スマートルーティングの提案
スマートルーティングの基本概念
 これまで静的・固定的に割り当ててきたストレージ間通信経路を，回線のトラフィック
状況や優先度に応じて，高速に転送できる経路に高速かつ動的に切り替える
SW
【従来】
SW
データ1
ストレージサーバ
(複製元)
SW
SW
SW
SW
データ1
SW
SW
複数の経路に
並行して流す
ストレージサーバ
ボトルネックを回避する迂回経路を選ぶ
SW
【提案】
ボトルネック回避のための経
路変更に時間がかかる
SW
トラフィックが多く
ボトルネックになるSW
ストレージサーバ
(複製元)
データ1
ストレージ
サーバ (複製先)
SW
ボトルネック
になるSW
データ1
ストレージ
サーバ (複製先)
経路の変更を高速に
行うアルゴリズム
SW
ストレージサーバ
9
2. スマートルーティングの提案 (Cont.)
スマートルーティングに基づく高速ファイル転送
複数サーバへ
の並列転送
凡例：
スイッチ
ストレージサーバ
n
4
3
経路多重化
ファイル
経路多重化
インターネット
2
経路多重化
1
ネットワークの状態に応じて
転送要求ごとに高速に経路を設定
1
2
3
4
10
3. 設計・実装
スマートルーティングの基本設計

スマートルーティングの基本動作手順と設計アプローチ
#
ステップ
課題
アプローチ
1
データ分割複製先の決定， 効果的なデータ分割， ・冗長データ分割
復元元の決定
複製先選択，復元元 ・リスクを考慮した複製先選択
(Replication destination /
選択
・メタデータサーバとの協調動作
Restore source Selection)
2
データ転送経路の決定
(Routing decision)
実時間での経路選択
と決定
・集中制御による経路利用状況の把握
・計算量を削減した経路探索アルゴリズム
・経路多重化
3
経路設定
(Route setting)
経路設定、コンバー
ジェンス時間の短縮
・Software Defined Network (SDN)を利用し
た短時間での効率的な経路設定
4
ファイル転送
(File transfer)
転送時の急激なネッ
トワーク状況変化へ
の対応
・SDNを利用した状況変化への動的即時対
応
5
転送終了処理
(Post processing)
・メタデータサーバとの協調動作
11
3. 設計・実装
経路探索アルゴリズムと経路選択アルゴリズム

データ転送経路の決定


経路探索アルゴリズム


文献[1]を基にアルゴリズムを設計
送信元（Source）から送信先（Destination）への多重経路表を計算する
経路選択アルゴリズム

多重経路に対して効果的にデータを送信するために，適切な経路の選択
やデータの分配・振分を行う
3
1
7
5
2
6
3
Destination
4
2
1
2
3
4
1
4
Source
[1] 越智大介，北形元，菅沼拓夫，木下哲男，白鳥則郎 ``動的最適化多重経路通信機構による適応的ルーティングの提案,''
インターネットコンファレンス2000論文集, pp.85-94, 2000.
12
3. 設計・実装
経路探索アルゴリズムの設計


経路探索アルゴリズム
 送信元（Source）から送信先（Destination）へ通信を行うために各ノードが
持つ多重経路表を計算
 袋小路やループを排除して，利用可能な経路を抽出
パラメータ
 親ノード（探索するノード） : P
 祖先ノード（探索が終了したノード） : A = {A1, A2, …, An}
 子ノード（親ノードに隣接するノード）: C = {C1, C2, …, Cn}
 標準経路（ノードxから送信先へ最短ホップ数で到達する次段ノード） : Path(x)
3
7
5
袋小路
2
1
6
4
袋小路とループの例
3
ループ
2
1
7
5
6
4
送信先が7の場合の標準経路
13
3. 設計・実装
経路探索アルゴリズムの設計 (Cont.)

フローチャート
開始
P = 送信先
yes
no
Cに要素
がある
yes
no
Cの各要素に対してAを
送信し、経路選択
アルゴリズムの実行を依頼
PをAに追加
除外条件の適用
i. CからAの要素を除外
ii. Path(Cx)がPである場合，
CxをCから除外
親ノードに完了を伝達
終了
14
3. 設計・実装
経路探索アルゴリズムの設計 (Cont.)
1.
2.
3.
4.
5.
P（親ノード）が送信先か判定
 送信先である場合はPに完了を伝達して終了
A（祖先ノード）にPを追加
C（子ノード）に対して以下の除外条件を適用
i. CからA（祖先ノード）の要素を除外
ii. Path(Cx)がPである場合，CxをCから除外
Cに子ノードの要素が残っていない場合，Pに完了を伝達して終了
Cに子ノードの要素が残っている場合，Cの各要素に対して，経路選択
アルゴリズムを再帰的に実行
3
Destination
7
5
2
Source
1 ①
6
②
4
③
① ノード1の経路表の算出
1. P = 1, A = {}, C = {2}
2. P = 1, A = {1}, C = {2}
5. ノード2に対して経路選択アルゴリズムを実行
② ノード2の経路表の算出
1. P = 2, A = {1}, C = {1, 3, 4, 5}
2. P = 2, A = {1, 2}, C = {1, 3, 4, 5}
3-i. P = 2, A = {1, 2}, C = {3, 4, 5}
3-ii. P = 2, A = {1, 2}, C = {4, 5}
5. ノード4, 5に対して経路選択アルゴリズムを実行
③ ノード4の経路表の算出．．．
15
3. 設計・実装
経路選択アルゴリズムの設計

経路選択アルゴリズム


ネットワークの利用状況や災害のリスク予測値などに基づいて，各ノード
の次段経路を求める
例：ネットワークの利用状況に基づいた経路選択

次段経路の利用率 P(Ri) = D(Ri) / D
D(Ri) : Destinationにおける各送信経路の単位時間当たりのデータ到達量
 D
: Destinationにおける単位時間当たりの総データ到達量

3
R1=0.75
5
2
Source
1
Destination
7
6
R2=0.25
4
ノード2の経路選択の例
16
4. 実験・評価
実験概要

設計したアルゴリズムに関する実験
 実験目的
 経路多重化によるネットワークの転送高速化を確認

実験環境
 OS: Ubuntu 13.10
 OpenFlow Controller: OpenDaylight Base Edition 1.0
 実験用仮想ネットワーク環境: Mininet 2.1.0
 トラフィック送信・スループット計測: iperf
17
4. 実験・評価
仮想ネットワーク環境

Mininetにより構築
h1～h4 : ホスト
s1～s5 : スイッチ
Controller
h1
h2
100[Mbps]
1000[Mbps]
1000[Mbps]
100[Mbps]
1000[Mbps]
100[Mbps]
1000[Mbps]
h3
100[Mbps]
100[Mbps]
h4
100[Mbps]
18
4. 実験・評価
実験内容
1. h1からh2 に 50 [Mbps]のトラフィック（2フロー）をUDPで80秒間
送信（宛先ポート番号は2000番と3000番を指定）
2. 15秒後にh3からh4に50 [Mbps] のトラフィックをUDPで45秒間送信
Controller
#2000
#3000
50M
50M
50M
19
4. 実験・評価
実験内容 (Cont.)
3. h3からh4のトラフィックが送信後，2000番ポート宛のトラフィック
（h1からh2）に対してスマートルーティングのアルゴリズムを適用
4. h3からh4のトラフィックが停止した後，経路を基に戻す
Controller
50M
50M
#2000
#3000
50M
50M
50M
20
4. 実験・評価
実験結果
経路多重化により，スループットの向上を確認した
 本シミュレーション実験においては約2倍のネットワークの転送
高速化を実現できた

経路切替なし
経路切替あり（多重経路利用）
スループット
向上
経路切替
(多重経路利用)
21
5. おわりに
内容
1.
2.
3.
高可用性の耐災害性強化ストレージシステムの開発
転送時間短縮による輻輳回避のためのストレージ高速化技術
投薬情報システムを用いた高可用性ストレージ実証実験
提案 回線のトラフィック状況や優先度に応じて，高速に転送できる経路に高速
かつ動的に切り替える「スマートルーティング」
成果




スマートルーティングの基本設計
経路探索アルゴリズムと経路選択アルゴリズムの設計と実装
OpenFlowを用いたシミュレーション環境の構築
シミュレーション実験により、約2倍のネットワークの転送高速化を確認
今後の予定


経路探索アルゴリズム・経路選択アルゴリズムの拡張
 他のパラメータの導入（リスク値，利用頻度，etc.）
実ネットワーク環境を用いた実証実験
22