Comments
Description
Transcript
IoT に最適なスケールアウト型 DB“GridDB”
「機器売り」 ⇒ ライフサイクルマネジメント・サービス(LCM) 協業パートナー アプリケーション お客様ベースを 持つ東芝の強み プラットフォーム “場” 外 販 東芝グループ エネルギー 社会インフラ ストレージ 流通 金融 製造 インフラ TM アナリティクス プロセッサー + エージェントS/W アジャイル開発 Pivotal 2014年6月 PaaS/IaaS Microsoft クラウドAIサービス クラウド基盤 官公庁 分 析 ・ 利 活 用 機械学習 音声・画像 認識技術 2015年6月 スケールアウト型DB デ ー タ 蓄 積 セ キ ュ リ テ ィ 開発手法・ プラットフォーム GE 2015年11月 セキュリティ エッジ ソリューション 機器を持つ 東芝の強み Chip to Cloud リアルタイム性を判断 リアルタイム処理 多様な入力デバイス 半導体 組込みS/W デ ー タ 収 集 intel 2015年9月 エッジ コンピューティング Cisco Systems 2014年11月 IoT指向の データモデル 高性能 スケーラビリティ 高い信頼性と 可用性 • データ集計やサンプリング、期限解放、データ圧縮など、時系列データを 効率よく処理・管理するための機能を用意 • データモデルはユニークなキーコンテナ型。コンテナ内でのデータ一貫性を保証 • メモリを主、ストレージを従としたハイブリッド型インメモリーDB • メモリやディスクの排他処理や同期待ちを極力排除したオーバヘッドの少ない データ処理により高性能を実現 • データの少ない初期は少ないサーバで初期投資を抑え、データが増えるに したがってサーバを増やし性能・容量を高めるスケールアウト型アーキテクチャ • コンテナによりサーバ間通信を少なくし、高いスケーラビリティを実現 • データ複製をサーバ間で自動的に実行し、サーバに障害が発生しても、 システムを止めることなく運用を継続することが可能 GridDB のデータモデル キーバリュー型 カラム型 ドキュメント型 キー キー キー バリュー カラム0 カラム1 カラム2 バリュー バリュー バリュー ドキュメント キーコンテナ型 キー ロウ0 バリュー バリュー ロウ1 バリュー バリュー ロウ2 バリュー バリュー コンテナ コンテナ単位でACID保証 (レコード単位でトランザクション操作) 使い慣れたRDBに近いモデリングとSQLの利用が可能 効率的な時系列データ処理の提供 (データ集計、サンプリング、期限解放、データ圧縮など) ※ACID : Atomicity、Consistency、Isolation、Durability IoTデータ キー 機器1のレコード 対象ごとにIoTデータ を格納 機器1 機器2 機器3 キー バリュー ・ ・ ・ 機器N データ登録 コンテナ テーブル表現で管理 Azure上でYahoo Cloud Serving Benchmark (YCSB)を実行 GridDBは高速性を売りにする代表的KVSと比較しても、数倍高速 600 32 Node Cluster Throughput ( Kops/sec) 500 400 読み書きが混在する処理パターンで 5倍以上高速 300 200 100 0 A B C YCSB Workloads D F YCSB WorkLoad A 24時間 実行性能 14,000 Throughput (ops) 12,000 10,000 8,000 6,000 4,000 2,000 0 0 10,000 20,000 30,000 40,000 50,000 60,000 Elapse Time (second) 70,000 80,000 90,000 ☑ フランス リヨン 太陽光発電 監視・診断システム 発電量の遠隔監視、発電パネルの性能劣化を診断 ☑ クラウドBEMS ビルに設置された各種メータの情報の収集、蓄積、分析 ☑ 石巻スマート コミュニティ プロジェクト 地域全体のエネルギーのメータ情報の収集、蓄積、分析 ☑ 電力会社 低圧託送業務システム スマートメータから収集される電力使用量を集計し、需要量と発電量のバランスを調整 ☑ 製造業 産業用機器稼働監視システム グローバルに販売した産業用機器をクラウドを利用して稼働監視 従来システムに比べ、1,500倍のデータを 2/3の時間で処理 ≒ 2,000倍の処理能力 サーバー (32コア) x 1 入力データ 14.4万レコード (28.8MB) 出力データ 2MB (XML) RDB 処理時間=60分 全体スループット 8KB/sec データ量 1,500倍 処理能力 2,250倍 サーバー (12 コア) x 5 入力データ 2.16億レコード (43.2GB) GridDB 処理時間=40分 出力データ 3072MB (XML) 全体スループット 18MB/sec 電力小売り事業者に対し、電力送配電網を提供し、 契約ユーザの利用量に応じた料金を請求するシステム 電力の自由化に伴い、多数の電力小売り事業者が 参入し、契約数の増加(3,000契約→450万契 約)によるデータ量の爆発的増加へビッグデータ技術 を適用し対応 GitHub上に ソースコード公開(2016/2/25) https://github.com/griddb ご清聴有難うございました © Microsoft Corporation. All rights reserved.