IBM テクノロジーが拓く 異次元のビッグデータ

IBM テクノロジーが拓く
異次元のビッグデータ
日本アイ・ビー・エム株式会社
Why POWER8? ビッグデータに効くパフォーマンス
コア数
•12 processor cores per socket (50% more than before) that deliver better per core performance
•
What this means - Enjoy better Hadoop performance, and more throughput per scale out data node.
キャッシュ
•At 100MB, 3X the on-chip cache as POWER7 – plus 128MB of new off-chip cache as well
•
What this means - Memory-intensive applications (for example HBase) will perform better as memory latency is reduced.
スレッド数
SMT8 – 8 dynamic threads per core, supporting SMT1, 2, 4, & 8 modes dynamically across
•What this means – Administrators / developers can select the SMT mode based on workload.
•
High SMT modes are best for maximizing system throughput for MapReduce style workloads.
バンド幅
•2.3X our prior gen to memory, and 2.4X our prior gen to I/O.
•
What this means - Data-hungry applications (like many MapReduce tasks) will respond twice as fast and scale more efficiently.
ネイティブPCIe
•Integrating PCIe Gen 3 into the processor boosts performance by eliminating logic overhead.
What this means -
•
I/O intensive data applications will run faster due to high bandwidth, low latency communications.
Avoid Map tasks starvation¹ or HBase blocking² due to I/O performance issues.
© 2015 International Business Machines Corporation
2
IBM Data Engine for NoSQL（IDEN）
がインメモリーNoSQLの限界を超える
© 2015 International Business Machines Corporation
3
インメモリーNoSQLに対するIBMソリューション
“IDEN”
Flash型⼤容量ストレージを
RAMに匹敵する低レイテン
シーで接続
Power Systems
最大40TBのインメモリー
NoSQL(Redis)を1台で実現
FlashSystem 840
RedisはKey-Value Store型のインメモリーNoSQLです。
© 2015 International Business Machines Corporation
4
IBM Data Engine for NoSQL (IDEN)
• 「POWER8」 + 「Flash as RAM」 = IBM Data Engine for NoSQL
• CAPI接続型FlashSystemをメインメモリーとして使用
•
•
⼤型フラッシュメモリーをメインメモリーとして利⽤
CAPIによる高速でCPU負荷の少ないアクセス
• Redisのインメモリー・データベースをFlashSystemへ格納
•
•
低コストで⾼い集約率を実現
NoSQLサービス実現のためのコストを大幅に削減
POWER8 + CAPI FLASH as RAM
- 4Uで最大40TBのメモリー容量を実現
•
⾼度な集約により、NoSQLインフラのTCO
を大幅に削減
WWW
•
POWER8サーバー＋CAPI接続FLASHに
より、最大40TBの拡張メモリーをパフォーマ
ンス低下なしで実現
•
爆発的に増加するモバイル、ソーシャルのワ
ークロードを高速なNoSQLでサポート
Power S822L / S812L
Ubuntu 14.10
FlashSystem 840
最大40 TB
x86サーバに対して
最大1:24の⾼集約率*1
のシステム統合率（12:1 のラック密度改善率）は、単⼀のIBM S824 (24 コア、 POWER8 3.5 GHz), 256GB RAM, 40 TB メモリーベースの
フラッシュで、24台の IAサーバー( 24コア, E5-2697 v2 2.7 GHz), 256GB RAM構成を置き換えたものに基づきます。
24:1
© 2015 International Business Machines Corporation
5
Redisの機能と利⽤例
利⽤例
Redisの機能
主な機能
–
–
–
–
–
–
多彩なデータ型
データの永続化
レプリケーション
トランザクション
バブリシュ・サブスクライブ
データの有効期限
Redis Cluster
–
高可用性およびスケーラビリティのための
クラスター構成
Redis Sentinel
–
Redisインスタンスの集中管理
Redis Commander
–
© 2015 International Business Machines Corporation
Redis DBをGUIで管理できるツール
ゲーム、ソーシャル・アプリケーション
•
•
•
•
•
•
クッキーの保存
各種カウンター、ランキング・データ
タイムラインの生成
よくアクセスされるタグのリスト
ユーザー・データの保存
アプリケーション間でのロック
大規模なKVS
•
•
•
大規模な解析用データの保存場所
リアルタイムに増えるデータの保存場所
ログデータの保存
その他
•
•
他のデータベース等に対するキャッシュ
memcachedの置き換え
6
x86インメモリーNoSQL DBとIDEAの比較
今日のインメモリーNoSQL(x86)
データベース拡大には
サーバー増設が必要
WWW
10GB Uplink
ロードバランサー
クラスター構成により
インフラが複雑に
512GB
Cache
512GB
Cache
512GB
Cache
Node
512GB
Cache
Node
Node
512GB
キャッシュ
Node
ノード
高速なネットワーク
帯域が必要
バックアップ
ノード
管理コスト増
占有スペース増
電⼒コスト増 ･･･
インフラの構成
• 分散・スケールアウト型
•
• 広帯域ネットワーク
• ロードバランサー
各ノードに⾼容量メモリ搭載
POWER8 + CAPI Flash
IBM Data Engine for NoSQL
WWW
10GB
Uplink
インメモリNoSQLデータ
ベースを最大40TBま
で拡張。１ボックスで
x86クラスタと同等性
能を確保。
POWER8
サーバー
CAPI
FlashSystem
最大 40TB
CAPI
24:1
のインフラ削減
1/12
にスペース削減
2.4倍
の低コスト
インフラの構成
スレッド実⾏可能
• 4Uで192
• 40TBのフラッシュをメインメモリとして使用
• キャッシュのチューニングによるホットスポット対策
• I/Oやネットワークのオーバーヘッドを解消
40TB
の拡張メモリ
POWER8のCAPI接続型フラッシュにより、
NoSQLサービスによる増加するコストと、インフラの複雑度を抑えることができる
© 2015 International Business Machines Corporation
7
IDEN構成例
サンプル構成（Flash容量12TBの例）
構成要素
ハードウェア
ソフトウェア
1台
Ubuntu Linux
Redis Labs
Enterprise Cluster
Redis仮想メモリ ・Flash System 840
Flash Systems 12TB
1台
－
その他
オプション
－
Redisサーバー
POWER8
・Power S822L
10core(3.4GHz) + 32GB
CAPIアダプターx2
台数
PCIe3 LP CAPI
Accelerator Adapter
© 2015 International Business Machines Corporation
・Rack
8
IBM Data Engine for Analytics（IDEA）
がHadoopに革命を起こす
© 2015 International Business Machines Corporation
9
IBMのHadoopスイート "IDEA"とは
• IBM Power Systemsに
高速版Hadoopを導入済みの
アプライアンス型製品
• Hadoopの常識を破る、
外部の分散ストレージを持つ
© 2015 International Business Machines Corporation
10
アプライアンス型 高集約・高性能Hadoop基盤
IBM Data Engine for Analytics (IDEA)
高性能
通常のHadoopをベースに、HPC(ハイパフォーマンスコ
ンピューティング）で活用しているIBM高速エンジンを統
合。Map/Reduce速度を5〜10倍に
ビッグデータ向けに拡張されたPOWER8プロセッサー搭
載サーバー上にHadoopを実装
柔軟
ストレージ層をHadoop (コンピュート) ノード層から分
離し、IBM Elastic Storage Server（ESS）上で
稼働。お客様ニーズの変化にあわせて、コンビュートノー
ドを他のSWに交換、コンピュート層とストレージ層をそれ
ぞれ必要量スケール可能で柔軟に対応
シンプル
• 高集積なハード・ソフトを使用
• １ラックで完結、ラック追加可
• IBM工場で構成済みで出荷。
設計・導入の現場工数を削減
© 2015 International Business Machines Corporation
x86にくらべて1/3のストレージインフラ量で構築可能、
管理ポイント減少でシンプルオペレーション
IBM Elastic Storage Serverがレプリケーションレス
の信頼性を確保（GPFS Native RAID機能）
11
一般的なHadoop構成
その課題と改善ポイント
データソース
Webシステム等
データ加工
Hadoopシステム
データ蓄積
DWH/DMシステム
①ひとまず
書き出す
②HDFSに
コピーする
課題と改善ポイント
いちいち転送
面倒、時間かかる
"IDEA"では...
© 2015 International Business Machines Corporation
GPFSで
直接書け
ます
あるいは
高速転送
できます
④データ蓄積
DWH/DMを参照
③Hadoop
バッチを実⾏
Hadoopの
ノード増えすぎ
管理が重荷
Powerで
ノード削減
できます
データ利⽤
分析ツール等
Hadoop税*
のオーバーヘッ
ドが大きい
Symphon
yエンジンで
高速です
DWHを
別に持つのが
当たり前？
DWH的にも
使えます
同じ実効容
量だと安くも
なり得ます
*Hadoop税：Map/Reduceすなわち分散
処理の前後に必要となる共通処理のオーバー
ヘッドを指す
12
IDEAによるソリューション
IBM Data Engine for Analytics ("IDEA")
データ加工・蓄積・
SQLアクセス
Hadoopシステム
データソース
Webシステム等
データ蓄積
DWH/DMシステム
①GPFS
マウント先に
書き出す
HDFSに
コピーする
②Hadoop
バッチを実⾏し結果を
BigSQLテーブルに格納
データ転送・
コピー不要
Power Systems
によりノード数削減
TCO削減
MapReduceオー
バーヘッドがC++
エンジンで1/5に
データ利⽤
分析ツール等
BigSQLテーブルを
SQLで参照
DWH層を
SQL on Hadoop
で直接参照
外部分散ストレージ ESS
普通のx86 Hadoopの
約1/3のディスク容量で
同等のHadoop実効容量
© 2015 International Business Machines Corporation
13
IDEA構成例
サンプル構成（データ容量160TBの想定）
構成要素
System
管理ノード
・Power S812L
10core(3.4GHz) + 32GB
ノード
・Power S822L
24core(3.026 GHz)+ 256GB
・ネットワーク：
PCIe2 LP 2 ポート 10GbE
計算
ノード
・Power S822L
24core(3.026 GHz)+ 256GB
・オフロードアクセラレータ：
FPGA gzip/Java用
・ネットワーク：
PCIe2 LP 2 ポート 10GbE
管理
Hadoop
ノード
台数
3台(6LPAR) RHEL 6.5
BigInsights 3.0 with
Hadoop Connector
GPFS 4.1 Client
Platform Symphony
6.1.1
PCM 4.2 AE
4台
Elastic Storage
Server（GL2）
1セット
その他
・IBM Network Switch
・HMC
Switch:2台
実効容量
ソフトウェア
1台
・Power S822L x2
20core + 128GB
・DCS3700E x2
2TB HDD - 合計232TB
(
160TB
)
ストレージ
© 2015 International Business Machines Corporation
ハードウェア
程度
RHEL 7
GPFS 4.1
ESS
GUI
管理
－
14
Elastic Storage Serverの用途
IDEAのストレージ層としても利⽤
ファイルストレージ
HPC
GPFS NFS
ファイル
POSIX
Big Data & Analytics
GPFS
Hadoop
コネクター
クラウド
Cinder Swift
ブロック
オブジェクト
CIFS/SMB
６月対応予定*
単一ネームスペース
データ・レイク（湖）
現状は、RYOでSMB/CTDBを
上に構築可
Elastic Storage Server
*
GPFS
© 2015 International Business Machines Corporation
15
Elastic Storage Server (ESS)
• 高い信頼性：
• RAID : 8D+2P または 8D+3P、3wayまたは、4wayミラーリング
• デクラスタードRAIDにより 2TBディスクのリビルトを5分で実現 (*１)
• SPoF (単一障害点) を排除したアーキテクチャー
• 高性能Powerサーバーで実現する一構成あたり12GB/Sec (*2) の高いパフォーマンス
• 加速度的に増えるビッグデータに柔軟に対応
• 40TBから 数百ペタバイトの高いスケーラビリティー
• クラウド、アナリティック、メディア、HPCのマルチワークロードに対応
• プロトコル：NFS および GPFS NSD. CIFS対応予定(2015/2Q)
• 直観的操作が可能なGUI操作パネル
(*1) パリティーディスクがすべて故障した場合に2TB のHDD を複数搭載した場合のクリティカルビルドにか
かる実測値です。構成により数値は異なります。
(*2) モデルGL6 1セットにおける⼀秒あたりのデーター量の理論値です。帯域保証ではありません。モデル
により値は異なります、
© 2015 International Business Machines Corporation
16
Elastic Storage Serverの価値ポイント
GPFSデクラスタードRAID : アクセスとリビルドを短縮する仕組み
故障したディスク
故障したディスク
ハードウェアRAIDのリビルド
time
time
Rd
Wr
• 少数のディスクによりリビルドを実⾏するた
め、⻑いリビルド時間を要するとともに、ユ
ーザープログラムへの影響が大きい
© 2015 International Business Machines Corporation
GPFSデクラスタードRAID
Rd-Wr
• データを全HDD/SSDに分散配置でパフォー
マンス最大化
• リビルドは多数のディスク間で⾏われるので、ユ
ーザーアプリケーションへの影響が少ない。
17
Elastic Storage Serverラインアップ
GSモデル
Power S822L x2
EXP24S x1~6
実効10~120TB
GS1
1 Enclosure
24 SSD
6+ GB/Sec
GS2
2 Enclosure
48 SSD
46 1.2 SAS, 2 SSD
2+, 12+ GB/Sec
GS4
4 Enclosure96 SSD
94 1.2 SAS, 2 SSD
5+, 18+ GB/Sec
GS6
6 Enclosure, 6U
122 1.2 SAS, 2 SSD
GLモデル
Power S822L x2
DCS3700 x2~6
実効170TB~1.0PB
GL2
2 Enclosures, 12U
116 NL-SAS, 2 SSD
5+ GB/Sec
GL4
4 Enclosures, 20U
232 NL-SAS, 2 SSD
12+ GB/Sec
GL6
6 Enclosures, 28U
348 NL-SAS, 2 SSD
13+ GB/sec
7+ GB/Sec
© 2015 International Business Machines Corporation
18
© 2014 International Business Machines Corporation
© 2015 International Business Machines Corporation
19
19
19