...

IoT に最適なスケールアウト型 DB“GridDB”

by user

on
Category: Documents
11

views

Report

Comments

Transcript

IoT に最適なスケールアウト型 DB“GridDB”
「機器売り」 ⇒ ライフサイクルマネジメント・サービス(LCM)
協業パートナー
アプリケーション
お客様ベースを
持つ東芝の強み
プラットフォーム
“場”
外 販
東芝グループ
エネルギー
社会インフラ
ストレージ
流通
金融
製造
インフラ
TM
アナリティクス
プロセッサー +
エージェントS/W
アジャイル開発
Pivotal
2014年6月
PaaS/IaaS
Microsoft
クラウドAIサービス
クラウド基盤
官公庁
分
析
・
利
活
用
機械学習
音声・画像
認識技術
2015年6月
スケールアウト型DB
デ
ー
タ
蓄
積
セ
キ
ュ
リ
テ
ィ
開発手法・
プラットフォーム
GE
2015年11月
セキュリティ
エッジ
ソリューション
機器を持つ
東芝の強み
Chip to Cloud
リアルタイム性を判断
リアルタイム処理
多様な入力デバイス
半導体
組込みS/W
デ
ー
タ
収
集
intel
2015年9月
エッジ
コンピューティング
Cisco
Systems
2014年11月
IoT指向の
データモデル
高性能
スケーラビリティ
高い信頼性と
可用性
• データ集計やサンプリング、期限解放、データ圧縮など、時系列データを
効率よく処理・管理するための機能を用意
• データモデルはユニークなキーコンテナ型。コンテナ内でのデータ一貫性を保証
• メモリを主、ストレージを従としたハイブリッド型インメモリーDB
• メモリやディスクの排他処理や同期待ちを極力排除したオーバヘッドの少ない
データ処理により高性能を実現
• データの少ない初期は少ないサーバで初期投資を抑え、データが増えるに
したがってサーバを増やし性能・容量を高めるスケールアウト型アーキテクチャ
• コンテナによりサーバ間通信を少なくし、高いスケーラビリティを実現
• データ複製をサーバ間で自動的に実行し、サーバに障害が発生しても、
システムを止めることなく運用を継続することが可能
GridDB のデータモデル
キーバリュー型
カラム型
ドキュメント型
キー
キー
キー
バリュー
カラム0
カラム1
カラム2
バリュー
バリュー
バリュー
ドキュメント
キーコンテナ型
キー
ロウ0
バリュー
バリュー
ロウ1
バリュー
バリュー
ロウ2
バリュー
バリュー
コンテナ
 コンテナ単位でACID保証 (レコード単位でトランザクション操作)
 使い慣れたRDBに近いモデリングとSQLの利用が可能
 効率的な時系列データ処理の提供 (データ集計、サンプリング、期限解放、データ圧縮など)
※ACID : Atomicity、Consistency、Isolation、Durability
IoTデータ
キー
機器1のレコード
対象ごとにIoTデータ
を格納
機器1
機器2
機器3
キー
バリュー
・
・
・
機器N
データ登録
コンテナ
テーブル表現で管理
 Azure上でYahoo Cloud Serving Benchmark (YCSB)を実行
 GridDBは高速性を売りにする代表的KVSと比較しても、数倍高速
600
32 Node Cluster
Throughput ( Kops/sec)
500
400
読み書きが混在する処理パターンで
5倍以上高速
300
200
100
0
A
B
C
YCSB Workloads
D
F
YCSB WorkLoad A 24時間 実行性能
14,000
Throughput (ops)
12,000
10,000
8,000
6,000
4,000
2,000
0
0
10,000
20,000
30,000
40,000
50,000
60,000
Elapse Time (second)
70,000
80,000
90,000
☑ フランス リヨン 太陽光発電 監視・診断システム
発電量の遠隔監視、発電パネルの性能劣化を診断
☑ クラウドBEMS
ビルに設置された各種メータの情報の収集、蓄積、分析
☑ 石巻スマート コミュニティ プロジェクト
地域全体のエネルギーのメータ情報の収集、蓄積、分析
☑ 電力会社 低圧託送業務システム
スマートメータから収集される電力使用量を集計し、需要量と発電量のバランスを調整
☑ 製造業 産業用機器稼働監視システム
グローバルに販売した産業用機器をクラウドを利用して稼働監視
従来システムに比べ、1,500倍のデータを
2/3の時間で処理 ≒ 2,000倍の処理能力
サーバー (32コア) x 1
入力データ
14.4万レコード
(28.8MB)
出力データ
2MB
(XML)
RDB
処理時間=60分
全体スループット 8KB/sec
データ量 1,500倍
処理能力 2,250倍
サーバー (12 コア) x 5
入力データ
2.16億レコード
(43.2GB)
GridDB
処理時間=40分
出力データ
3072MB
(XML)
全体スループット 18MB/sec
電力小売り事業者に対し、電力送配電網を提供し、
契約ユーザの利用量に応じた料金を請求するシステム
電力の自由化に伴い、多数の電力小売り事業者が
参入し、契約数の増加(3,000契約→450万契
約)によるデータ量の爆発的増加へビッグデータ技術
を適用し対応
GitHub上に
ソースコード公開(2016/2/25)
https://github.com/griddb
ご清聴有難うございました
© Microsoft Corporation. All rights reserved.
Fly UP