「今」を分析するストリームデータ処理技術 uCosminexus

「今」を分析するストリームデータ処理技術
uCosminexus Stream Data Platform
株式会社 日立製作所
ICT事業統括本部
サービスプラットフォーム事業本部
© Hitachi, Ltd. 2016. All rights reserved.
Contents
１．ストリームデータ処理が生まれた背景
２．ストリームデータ処理の原理と特徴
３．ストリームデータ処理の適用事例
４．まとめ
© Hitachi, Ltd. 2016. All rights reserved.
Contents
１．ストリームデータ処理が生まれた背景
２．ストリームデータ処理の原理と特徴
３．ストリームデータ処理の適用事例
４．まとめ
© Hitachi, Ltd. 2016. All rights reserved.
１-１ ビッグデータ時代がやってきた！
モノ の発信
電力メーター
運行情報
Ｂｉｇ Ｄａｔａ
環境・気象データ
設備監視
通話ログ
ＳＮＳ*
カーナビ
人 の発信
つぶやき
ＧＰＳ*
監視映像
物流トレース
動画・画像・音声
コンテンツダウンロード
スマートフォン
ＩＣカード利用
人の移動
データベース
ネット購入
※ SNS : Social Networking Service の略、 GPS : Global Positioning System の略
診断画像・
電子カルテ
Hitachi,Ltd.
Ltd.2016.
2016.All
Allrights
rightsreserved.
reserved.
©©Hitachi,
3
１-２ ビッグデータ時代におけるデータの変化
ありとあらゆるところから、データが湧き出てくる
■ データがデジタル化されている
■ センサー技術の進展により、今まで分からなかったことが分かる
■ ブロードバンドの普及により、どこからでも大量のデータを取得できる
機械から生成されるデータ
ITシステムから生成されるデータ
設備情報
環境情報
システムログ
業務ログ
携帯電話
位置情報
アクセスログ
メール
ICカード
…
SNSログ
…
モノやヒトのデータを活用した新たなビジネスが期待されている
© Hitachi, Ltd. 2016. All rights reserved.
4
１-３ ビッグデータ時代におけるデータの活用方法
1点の値ではなく、時系列な値の変化に意味がある
■ 時々刻々と絶え間なく、データが発生し続ける
■ 「今」を高速かつ高度に分析（傾向/相関/軌跡分析など）して、
現場に即座にアクションすることが重要
項目
センサーデータ
空間データ
データ種別 温度、湿度、振動、圧力・・・ GPS、RFID*、電子乗車券…
データ型
活用例
波形
位置情報、軌跡
機器診断
人流分析、物流分析
波形
※ RFID : Radio Frequency IDentification の略
軌跡
© Hitachi, Ltd. 2016. All rights reserved.
5
１-４ ビッグデータ時代におけるデータの活用例
流通分野
個客指向マーケティング
医療分野
オーダーメイド医療
金融分野
顧客細分型 金融・保険サービス
行政分野
世論分析・意思決定支援
保守分野
予防保守・運用サービス
電力分野
電力需給予測サービス
交通分野
車流分析予測サービス
通信分野
通信状況分析サービス
ヒ
ト
の
情
報
モ
ノ
の
情
報
© Hitachi, Ltd. 2016. All rights reserved.
6
１-５ ビッグデータ時代のITに求められること
データの利活用サイクルに応じたデータ処理技術が必要
リアルタイムに今が分かる
電力メーター
自分にあったサービスが得られる
ブログ
ネット購入
金融取引ログ
ＳＮＳ
新たな気づきを得る
自動改札
ＩＣカード利用
ビッグデータ処理要件
１.リアルタイム処理
２.蓄積・検索
３.集計・分析
© Hitachi, Ltd. 2016. All rights reserved.
7
１-６ ビッグデータの利活用を支えるプラットフォーム
ビッグデータの利活用サイクルに応じたミドルウェアをご提供
３.集計・分析
１.リアルタイム処理
大量の情報を
対象とした分析
異常度
異常
稼動データ
大量の情報を
リアルタイム処理
故障
予兆
警戒
正常
時間
P1
P2
P3
P4
診断対象
同機種平均
時間
Hadoop
uCosminexus Stream
Data Platform
uCosminexus Grid
Processing Server
CEP基盤※1
２.蓄積・検索
Hitachi Elastic
Application Data Store
インメモリデータグリッド
※1 CEP : Complex Event Processing の略
大量の情報を
高速検索・効率保管
履歴データ
分散バッチ基盤
Hitachi Advanced Data
Binder プラットフォーム※2
時系列データストア技術
※2 内閣府の最先端研究開発支援プログラム「超巨大データベース時代に向けた
最高速データベースエンジンの開発と当該エンジンを核とする戦略的社会サービス
の実証・評価」（中心研究者：喜連川 東大教授／国立情報学研究所所長）の成果を
利用。
© Hitachi, Ltd. 2016. All rights reserved.
8
Contents
１.
２.
３.
４.
ストリームデータ処理が生まれた背景
ストリームデータ処理の原理と特徴
ストリームデータ処理の適用事例
まとめ
© Hitachi, Ltd. 2016. All rights reserved.
２-１ ストリームデータ処理の動作原理
データ発生時にリアルタイムに処理するフロー型データ処理
ストック型データ処理(従来DBMS)
事業活動
情報
DB
フロー型データ処理(ストリーム)
リアルタイム
集計・分析
DB
リアルタイム
表示
ストリームデータ処理
売上データ
商品データ
データ
取引情報
DB操作で
集計・分析
データをDBにストック(蓄積)してから，
データを集計・分析する。
一括処理
データ保存必要
データの
量と質の変化
操作ログ センサーデータ
POSデータ RFID
実世界データ
データが発生する度に，
逐次，データを集計・分析する。
リアルタイム処理
データ保存不要
© Hitachi, Ltd. 2016. All rights reserved.
10
２-２ ストリームデータ処理の要素技術と特長
今を高速かつ高度に分析するための技術
■ ウィンドウ演算により、時系列データの分析を簡単に実現
■ インメモリ差分計算により、超高速処理を実現
■ 分析シナリオは、SQLを拡張したCQLで記述
CQLによるシナリオ記述
時系列データ分析
分析結果
分析シナリオ
事前登録
ネットワーク
稼動情報
ICカード
スライディング・ウインドウ
入力
情報
株a,6
株a,5
株b,4
株a,1
株b,2
株a,4
株b,6
株a,15 株a,9
集計・
分析結果
株a,3
株b,2
株a,1 株a 計15
株b 計6
稼動監視 通信データ
結果ファイル
CEP基盤
uCosminexus Stream Data Platform
ダッシュボード
(見える化)
インメモリ差分計算
© Hitachi, Ltd. 2016. All rights reserved.
11
２-３ ウィンドウ演算
無限に続く時系列データを効率よく処理
■ スライディング・ウィンドウにより、時系列データの分析範囲を定義
■ 分析に必要なデータだけを抽出することで、データ処理を効率化
■ 分析シナリオに複数種のスライディングウィンドウを提供
時系列
データ
102
101
100
99
2
1
0
スライディング･ウィンドウで切り取られた処理対象の時系列データ
■ スライディング・ウィンドウの種類
・データの数（ＲＯＷＳ）
例： 直近の100取引分を対象にする
・時間（ＲＡＮＧＥ）
例： 直近3分間分を対象にする
・グループ分け（ＰＡＲＴＩＴＩＯＮ） 例： 各銘柄の最新5取引分を対象にする
© Hitachi, Ltd. 2016. All rights reserved.
12
２-４ インメモリ差分計算
圧倒的な超高速処理を実現
■ インメモリデータ処理により、ディスクI/Oを排除
■ 中間結果を利用した差分計算により、大量データ処理時の負荷を軽減
■ 分析対象のデータ数に依存しない、一意の計算量で処理を実現
株価指数の計算処理の例
スライディング・ウインドウ
株価，株式数 A社，xxx円，xxx株
B社，xxx円，xxx株
C社，xxx円，xxx株
：
時価総額
xxxxx
スライディング・ウインドウ
分析対象データ、中間計算結果は
メモリ中に保持
A社，yyy円，yyy株
B社，xxx円，xxx株
C社，xxx円，xxx株
：
yyyyy
変化のあった株価のみを演算
xxxxx
－ A社，xxx円，xxx株 ＋ A社，yyy円，yyy株
© Hitachi, Ltd. 2016. All rights reserved.
13
２-５ クエリ言語CQL（Continuous Query Language）
幅広い業務に対応可能なクエリ言語を提供
■ SQLを拡張した言語であるため、習得は容易
■ ウィンドウ演算により時系列データの分析範囲を定め、関係演算を実行
■ アプリケーションの個別開発と比較して、開発効率を大幅に向上
処理モデル
入力・出力
時系列
データ
ウィンドウ演算
ストリーム化演算
中間結果
リレーション
関係演算
選択、結合
集合演算など
CQLの例
IStream( …ストリーム化演算
Select id, Sum(val) as S
From str [Rows 3] …ウィンドウ演算
Group by id)
© Hitachi, Ltd. 2016. All rights reserved.
14
２-６ CEP(Complex Event Processing)基盤のプログラム構成
分析シナリオ定義、入出力APのシンプルなプログラム構成
■ シンプルなプログラム構成と簡単な分析シナリオ定義により、システム
開発や分析シナリオの開発・変更を短期間で実施可能
■ アプリケーションフレームワーク使用時は、定義作成だけでシステム
構築可能
アプリケーション開発時に作成する部分
入出力アダプター定義
入力データ
分析シナリオ定義
ダッシュボード定義
ダッシュボード
出力処理
データ抽出処理
イベント
ファイル
通信
パケット
出力結果
入力AP
入力アダプター
ストリーム処理
出力AP
出力アダプター
CEP基盤
ファイル
CEP基盤 ‐ アプリケーションフレームワーク
© Hitachi, Ltd. 2016. All rights reserved.
15
Contents
１．ストリームデータ処理が生まれた背景
２．ストリームデータ処理の原理と特徴
３．ストリームデータ処理の適用事例
４．まとめ
© Hitachi, Ltd. 2016. All rights reserved.
16
３-１ ストリームデータ処理でできること
Proxylog 認証log
syslog Proxylog 認証log
ＩＴシステムで発生する各種ログ
センサーから出力される数値データ
クルマやヒトの位置情報
データ発生と同時に瞬時に分析
syslog
今を見える化
リアルタイム監視
DB、ファイル
価値あるデータに変換
© Hitachi, Ltd. 2016. All rights reserved.
17
３-２ ストリームデータ処理の適用分野
株式指数算出配信
Webサービス監視
交通状況モニタリング
ITから実世界まで幅広い分野に適用
設備・環境監視
センサーネット管理
© Hitachi, Ltd. 2016. All rights reserved.
18
３-３ 株価指数算出配信
■ 株価が変動する度に株価指数を算出、ミリ秒レベルでユーザ配信
■ 株価指数計算の高速化により、配信サービスのサービスレベルを大幅に向上
■ 株価指数計算の柔軟性確保により、システム運用コストも低減
指数高速配信システム
集計・分析
シナリオ
入力AP
売買
システム
出力AP
CEP基盤
株価
uCosminexus Stream Data Platform
電文組立/
配信処理
電文受信/
フィルタ処理
相場
株価指数 ユーザ
システム
指数計算処理
配信間隔
従来サービス
指数高速配信
1秒毎
指数構成銘柄の
値段の変化毎
処理性能
スループット
8,000件/秒以上
レイテンシ
10ミリ秒以下
（1～10ミリ秒）
参考：2011年2月22日付弊社ニュースリリース「東京証券取引所の指数高速配信サービスが開始 ～ 世界最高水準、TOPIXをミリ秒レベルで配信 ～」
http://www.hitachi.co.jp/New/cnews/month/2011/02/0222.html
© Hitachi, Ltd. 2016. All rights reserved.
19
３-４ Webサービスのサービスレベル監視
■ 大量のWebアクセスデータから、「今」を高速かつ高度に分析
■ Webサービスのサービスレベル（応答時間やエラー率など）の見える化と監視
■ データの傾向から、「いつもと違う」 障害の予兆をリアルタイム検知
統合システム運用管理
応答時間
JP1/Service Level Management
現在の値
過去の情報（ベースライン）と比較して
いつもと違う傾向を検知 （外れ値検知）
SLOしきい値
ベースライン
ホーム画面
正常範囲
（ベースラインから
算出）
時間
リアルタイム監視画面
しきい値検知よりも早く
予兆の検知が可能
外れ値検知
（予兆検知）
しきい値
検知
SLO : Service Level Objective
© Hitachi, Ltd. 2016. All rights reserved.
20
３-５ 交通状況モニタリング
■ 車両位置情報を収集・分析し、交通状況をリアルタイムにモニタリング
■ 各車両の速度や進行方向を分析、周辺車両の状況から渋滞や事故を検知
分析シナリオ
車両ＩＤ （緯度,経度）
速度計算
渋滞検出
渋滞情報
走行方向計算
密度計算
データ入力
約2,000件/秒
事故検出
事故情報
自動車
車両位置情報
CEP基盤
uCosminexus Stream Data Platform
各車両走行状況
赤：低速
黄：中速
緑：高速
始点：一つ前の位置
終点：最新の位置
渋滞・事故検知
この位置で
渋滞・事故が発生
Ⓒ2008 Google
Ⓒ2008 Zenrin
© Hitachi, Ltd. 2016. All rights reserved.
21
３-６ データセンター空調制御
■ 無線温度センサーから収集した室温データを、発生と同時に瞬時に分析
■ サーバ機器の吸排気温度の傾向・相関分析により、熱溜りを検知し対策
分析シナリオ
サーバ室
室温情報を表示したいサーバをクリック
吸気温度と
排気温度の
相関分析
室温上昇の
傾向分析
データセンターレイアウトの表示
事前登録
熱溜り
サーバ別詳細情報の表示
分析1
相関/
傾向分析
熱溜りのイベント
冷気不足による
熱の回り込み
無線通信による
サーバ室温情報の
逐次収集
分析2
判定
パトライトによるアラーム
日立センサーネット情報システム
AirSenseⅡ
サーバ室温状況のモニタリング
CEP基盤
コールドアイル：空調機が送り出してサーバが吸収する冷気を集めた空間
ホットアイル：サーバの排熱を集めた空間
熱溜り検知・アラーム通知
© Hitachi, Ltd. 2016. All rights reserved.
22
３-７ 日立・横浜事業所「快適ecoプロジェクト」
■ 2012年7月、日立・横浜事業所の新社屋オープン
■ 太陽光発電、ダブルスキンカーテンウォール、ライトウェルなどの
最新のeco設備を導入
■ 新社屋全体がビッグデータとスマートシティの実証実験室
© Hitachi, Ltd. 2016. All rights reserved.
23
３-８ 日立・横浜事業所「快適ecoプロジェクト」
■ 快適とeco、人と設備をビッグデータ処理技術が融合
■ ヒトとモノの情報をリアルタイムに収集・分析し、現場に即座にフィードバック
■ スケジューラや在席管理システムとの連携も計画中
快適ecoモニター
社員の声
アンケート､在席情報…
設備情報
室温､湿度､騒音､電力量…
外部情報
気象情報、災害情報…
快適とecoの実現
設備制御の最適化
社員のecoマインド醸成
© Hitachi, Ltd. 2016. All rights reserved.
24
Contents
１．ストリームデータ処理が生まれた背景
２．ストリームデータ処理の原理と特徴
３．ストリームデータ処理の適用事例
４．まとめ
© Hitachi, Ltd. 2016. All rights reserved.
25
４-１ まとめ
■ ビッグデータから「今｣を分析するストリームデータ処理技術をご紹介
■ この新しいデータ処理技術が切り拓いていく新しい価値は無限大
■ これから、データ処理方式の選択肢のひとつに加えてもらいたい
リアルタイム監視によるリスクマネジメント
新たな付加価値による新ビジネスの創造
自動運転・予防保全によるビジネス機会拡大
金融・証券
自動取引 取引監視
システム
稼動監視
予兆検知 相関分析
携帯電話
サービス
交通サービス
気象、環境、
エネルギー
位置情報サービス
運行監視 渋滞予測
気象解析 使用量監視
製造・生産
ライン
品質予測
製造監視
コンプライ
アンスチェック
内部統制
不正検出
物理×ＩＴ
セキュリティ
画像監視 人流分析
© Hitachi, Ltd. 2016. All rights reserved.
26
他社所有名称に対する表示
● HITACHI，JP1，CosminexusおよびuCosminexusは，株式会社 日立製作所の商標または登録商標です。
● Hadoop は，Apache Software Foundationの商標です。
その他記載の会社名，製品名は，それぞれの会社の商標もしくは登録商標です。
製品ホームページ
http://www.hitachi.co.jp/Prod/comp/soft1/cosminexus/sdp/index.html
本説明資料に記載の仕様は、製品の改良などのため予告なく変更することがあります。
© Hitachi, Ltd. 2016. All rights reserved.
27