スライド 1 - RED HAT OPENEYE

2
Red Hat Storage Server 2.0
～大量データ保存に最適な
ソフトウェアストレージ・ソリューション〜
レッドハット株式会社
Senior Solution Architect
and Cloud Evangelist
Etsuji Nakai / 中井悦司
v1.0 2012/10/23
Red Hat Storage Server 2.0
Contents




Red Hat Storage Server 2.0の概要
アーキテクチャ
Public Cloud (AWS)での構成パターン
参考資料
3
Red Hat Storage Server 2.0
Red Hat Storage Server 2.0の概要
4
Red Hat Storage Server 2.0
Red Hat Storage Server 2.0の特徴
 コモディティ・ハードウェア（x86サーバ）を利用して、　スケールアウト型の大容量ストレージ環境を構築するソフトウェア
– Nativeクライアント（FUSEマウント）/ NFSv3 により標準的なファイル　システムとしてアクセスが可能
– REST APIでオブジェクトストレージとしても利用可能
– サポート上限として、最大64ノード、8PBのボリュームを構成可能
– クラスタ間での非同期データコピー（GeoReplication）が可能
 オンプレミス、およびパブリッククラウドで利用可能
– 「Red Hat Storage Server 2.0 For On-premise」
• OS (RHEL6)、分散ファイルシステム機能（GlusterFS）、管理ツールなどを　パッケージングしたソフトウェア・アプライアンスとして提供
– 「Red Hat Storage Server 2.0 For Public Cloud」
• Amazon EC2で利用可能なAMI（マシンイメージ）として提供
5
Red Hat Storage Server 2.0
GlusterFSとRed Hat Storage Serverの関係
 GlusterFSは、コミュニティメンバによるオープンソースプロジェクトとして新機能の　開発を継続
GlusterFS Advisory Board Member (as of 2012/04)
Richard Wareing, Storage Engineer, Facebook
Jeff Darcy, Filesystem Engineer, Red Hat; Founder, HekaFS Project
AB Periasamy, Co-Founder, GlusterFS project
Ewan Mellor, Xen Engineer, Citrix; Core contributor, OpenStack project
David Nalley, CloudStack Community Manager, Citrix; Member, Fedora Advisory Board
Louis Zuckerman, Sr. System Administrator, Picture Marketing
Joe Julian, Sr. System Administrator, Ed Wyse Beauty Products
Greg DeKoenigsberg, Community VP, Eucalyptus; co-founder, Fedora project
John Mark Walker, Gluster.org Community Guy (Chair)
 Red Hat Storage Serverは、Red Hat独自の品質テストを行った安定バージョンのGlusterFS
を同梱したソフトウェア・アプライアンスとして商用サポートを提供
新機能の開発
商用サポート
とメンテナンス
GlusterFS
Red Hat
Storage Server
6
Red Hat Storage Server 2.0
Red Hat Storage Server 2.0のアーキテクチャ
7
Red Hat Storage Server 2.0
システム構成イメージ
 ストレージノードは、最小構成4ノードから必要に応じて追加可能
・・・
クライアントノード 群
10GbE / 1GbE接続
10GbEスイッチ x 2
10GbE接続
ストレージノード x 4
8
Red Hat Storage Server 2.0
スループットのリニアなスケールアウト特性
 シーケンシャルリードに対するパフォーマンス測定結果の例
総転送速度 MB/s
１ノード当たり転送速度 MB/s
– ストレージノード1台あたりの転送速度がほぼ一定で、ストレージノードを　追加した分だけ、総転送速度がリニアに向上していることが読み取れます。
ストレージノード数
Native Client (replica 1)
Native Client (replica 2)
NFS Client (replica 1)
NFS Client (replica 2)
ストレージノード数
（出典）http://rhsummit.files.wordpress.com/2012/03/england-rhs-performance.pdf
9
Red Hat Storage Server 2.0
アーキテクチャ
10
Red Hat Storage Server 2.0
メタデータノードを持たない分散アーキテクチャ
 分散ストレージを構成する各ノードの通常のファイルシステムを　バックエンドデバイスとして使用します。
 ファイル名のハッシュ値から、DHT（Distributed Hash Table）を参照して、　保存するノードを決定します。
– DHTはクライアント上に動的に構成されるため、専用のメタデータサーバは不要
クライアントマシン
実際には各ノードのファイルシステムに
分散して保存されている
クライアントからは
1つのファイルシステムに見える
file01, file02, file03
ボリューム
ストレージノード
・・・
file01
file02
file03
11
Red Hat Storage Server 2.0
ノード / ブリック / ボリュームの階層構造
オンラインでボリューム
の拡張、縮小が可能
ノード1
ノード2
ノード3
/data/brick01
/data/brick01
/data/brick01
/data/brick02
/data/brick02
/data/brick02
ファイルシステム /data
ブリック
（単なるディレクトリ）
・・・
・・・
・・・
1つのボリュームは、各ノードが提供する
「ブリック」の集合として作られる
ボリューム vol01
 １つのノードが複数のブリックを提供することも可能です。
 ノードごとに提供するブリック数、ディレクトリ名などを揃える必要はありません。
 ボリュームサイズを拡大／縮小する際は、ボリュームに対するブリックの追加／削除を行います。
12
Red Hat Storage Server 2.0
ボリューム単位でアクセスパターンに
応じた最適な構成を選択可能
ボリュームの構成例
node01
node02
node03
node04
ストレージノード
/brick01
/brick01
/brick01
/brick01
ファイル単位で各ブリックに分散保存
（1つのファイルは1つのブリックに存在）
/brick02
1つのファイルを各ブリックに分散保存
ストライピング
/brick02
/brick02
/brick02
レプリケーション
/brick03
/brick03
レプリケーション
/brick03
/brick03
node01-node02、node03-node04で
それぞれレプリケーション
ストライピング
レプリケーション
/brick04
/brick04
レプリケーション
/brick04
/brick04
レプリケーションとストライピングの
組み合わせ
13
Red Hat Storage Server 2.0
トランスレータ・モジュールについて
 複数の「トランスレータ・モジュール」が連携してアクセス処理を行います。
– クライアント側で動くモジュールとサーバ側で動くモジュールがあります。
 それぞれのモジュールは異なる役割を持っています。
– 各モジュールは共有ライブラリとして提供されます。
– 独自のモジュールを作成して、プラグインすることも可能です。
[root@rhs20-01 ~]# ls -l /usr/lib64/glusterfs/3.3.0.2rhs/xlator/
total 48
DHT、レプリカなどの機能
drwxr-xr-x 2 root root 4096 Jun 16 15:25 cluster
drwxr-xr-x 2 root root 4096 Jun 16 15:25 debug
drwxr-xr-x 2 root root 4096 Jun 16 15:25 encryption
Quota、ファイルロックなどの機能
drwxr-xr-x 2 root root 4096 Jun 16 15:25 features
drwxr-xr-x 2 root root 4096 Jun 16 15:25 mgmt
drwxr-xr-x 2 root root 4096 Jun 16 15:25 mount
drwxr-xr-x 2 root root 4096 Jun 16 15:25 nfs
drwxr-xr-x 2 root root 4096 Jun 16 15:25 performance
キャッシュ、先読みなどの機能
drwxr-xr-x 2 root root 4096 Jun 16 15:25 protocol
drwxr-xr-x 2 root root 4096 Jun 16 15:25 storage
物理ディスクアクセスなどの機能
drwxr-xr-x 2 root root 4096 Jun 16 15:25 system
drwxr-xr-x 3 root root 4096 Jun 16 15:25 testing
14
Red Hat Storage Server 2.0
トランスレータ・モジュールの組み合わせ例
io-stats
統計情報の記録
md-cache
メタデータのキャッシング
quick-read
io-cache
データのキャッシング
read-ahead
write-behind
dht
クライアント
モジュール(*1)
replicate-1
サーバ
モジュール(*2)
DHTの処理
replicate-2
レプリケーション
client-1
client-2
client-3
client-4
server
server
server
server
brick
brick
brick
brick
marker
marker
marker
marker
index
index
index
index
io-threads
io-threads
io-threads
io-threads
I/Oスレッドの起動
locks
locks
locks
locks
ファイルロック処理
access-control
access-control
access-control
access-control
posix
posix
posix
posix
ブリック
ブリック
ブリック
ブリック
サーバとの通信
クライアントとの通信
ACL管理
ブリックへの物理アクセス
(*1) /var/lib/glusterd/vols/<Vol>/<Vol>-fuse.volで定義 (*2) /var/lib/glusterd/vols/<Vol>/<Vol>.<Node>.<Brick>.volで定義
15
Red Hat Storage Server 2.0
今後の機能拡張予定
 仮想マシンのディスクイメージ保存領域としての利用
– Red Hat Enterprise Virtualization 3.1以降で対応予定
– VMware vSphere、OpenStackなどへの対応は計画中
 マルチマスタレプリケーション
– クラスタ間で双方向の非同期レプリケーションに対応予定
 マルチテナント対応
– ユーザ認証、暗号化などにより、複数ユーザで安全にボリュームを共有
 TechPreview機能の正式サポート
– Hadoop API (HDFSの代替としての利用）
– InfiniBand（TCP over IB、およびRDMA）対応
– GUI管理コンソールの使用
 その他
– NFSv4対応
– スナップショット、データ圧縮、重複排除機能などの追加
※ これらはあくまで現時点での計画であり、必ず対応することをお約束するものではありません。
16
Red Hat Storage Server 2.0
Public Cloud (AWS)での
構成パターン
17
Red Hat Storage Server 2.0
AWSにおけるRHS2.0の利用方法
インターネット上
のクライアント
EC2インスタンス
Native Clinet
REST
EC2インスタンス
NFS
RHS2.0クラスタ
AMI (Amazon Machine Image)
インスタンス起動
・・・
サブスクリプション購入ユーザに
RHS2.0導入済みのAMIを提供
EBS (Elastic Block Store)
18
Red Hat Storage Server 2.0
Availability Zone間でのレプリケーション構成
RHS2.0クラスタ
Tokyo Region / Availability Zone A
Tokyo Region / Availability Zone B
・・・
・・・
レプリケーション
特定のAvailability Zoneが
停止してもRHS2.0は可動を継続
19
Red Hat Storage Server 2.0
GeoReplicationによる遠隔地データ保存
 WAN回線を用いて、遠隔地のRed Hat Storage Serverに向けた
非同期レプリケーション（GeoReplication）が可能
– シングルマスタ/マルチスレーブのレプリケーションが可能ですので、AWSを含めた複数のロ
ケーションへのGeoReplicationを構成できます。
AWS
GeoReplication
gsyncd
Red Hat Storage Server (スレーブ)
gsyncd
Red Hat Storage Server (マスタ)
iDC
gsyncd
Red Hat Storage Server (スレーブ)
20
Red Hat Storage Server 2.0
参考資料
21
Red Hat Storage Server 2.0
参考資料
 製品マニュアル
– http://docs.redhat.com/docs/ja-JP/Red_Hat_Storage/index.html
 Knowledge Base
– https://access.redhat.com/knowledge/products/red-hat-storage-server
 サポートHW構成
– https://access.redhat.com/knowledge/articles/66206
 推奨用途と非推奨用途
– https://access.redhat.com/knowledge/articles/88723
 GlusterFS技術情報（コミュニティ版GlusterFSに関する技術情報）
– https://sites.google.com/site/glusterfstech/
22