ビッグデータに高度な解析を！ 新しいリアルタイムデータ処理技術

ＩＴ融合11リーフレット4_1
CEATEC JAPAN 2013
■社会への貢献
11
●市場へのインパクト
リアルタイム大規模データ解析処理基盤により、
リアルタイムにセンサのデータを取得し、次に何が起きる
か解析することで、
これまでの現象の「見える化」だけでなく、新たに「予知・予測による制御」
という価値を
加えることで新たなIT融合サービス市場を創造します。
ＩＴ融合
ビッグデータに高度な解析を！
新しいリアルタイムデータ処理技術
IT融合による新社会システム開発・実証プロジェクト
（データ処理基盤分野）
リアルタイム大規模データ解析処理基盤プロジェクト
独立行政法人 新エネルギー・産業技術総合開発機構
クラウド
（サイバー世界）
●大規模時系列データのリアルタイムデータ解析技術の性能向上
分析
（判断）
安心・安全（見守り/監視）
収集
（センシング）
活用
●それを支える次世代データストア技術の開発
便利・快適（コンシェルジェ）
（アクション）
■プロジェクトの目的 実世界（フィジカル世界）
ビッグデータの活用は現在のところまずデータを蓄積しバッチ処理で行う場合がほとんどです。
しかしながら、
医食住インフラに近い応用ではデータが時系列的に生じたその瞬間にリアルタイムで解析し、判断を行って
アクションに繋げることが重要となってきます。例えば、車データからのヒヤリハット解析、ヘルスケアにおける
エコ・省エネ
（最適コントロール）
正確・効率（現場の「見える」化）
診断支援、農業における栽培作業最適化などが挙げられます。
そのような時系列データの大規模解析を担う
ソフトウェアおよびデータストア技術はいまだ未成熟であり、今後大きな産業的価値を生み出すものと予想さ
●適用先の市場の規模
れます。
スマートシティ向けICT市場規模：グローバル7兆円(2015年)
スマートシティ関連サービス市場規模：グローバル30兆円(2030年)
現し、
わが国の産業競争力を強化します。
●具体的な応用例
【車のセンサ情報を利用した事故予防や渋滞回避ソリューション】
実施期間：平成２４年∼２５年度 平成２５年度予算：1.3億円 委託先：日本電気株式会社、株式会社Preferred Infrastructure、独立行政法人産業技術総合研究所、学校法人中央大学
問い合わせ先
本事業はその実用化を推進することで、世界に先駆けた幅広い産業分野におけるリアルタイム解析基盤を実
日本電気株式会社
中村 祐一
TEL：044(431)7192 E-mail: [email protected]
ＩＴ融合11リーフレット2_3
■研究開発の内容 高度な解析処理をリアルタイムに行う
『リアルタイム解析エンジン』及び前記エンジンに高速にデー
タを供給する
『ストリーム支援高速分散データストア』の実現により秒あたり１００万イベントを処
理する
『リアルタイム大規模データ処理基盤』の実用化に繋がる要素技術を実現します。
課題⑤から⑧では
『リアルタイム解析エンジン』の基礎としてPreferred InfrastructureとNTTソフト
ウェアイノベーションセンターで共同開発したオープンソースの大規模オンライン分散機械学習基
盤であるJubatusを利用し、IT融合実証分野での実用に向けた性能向上と多種多様データ対応を主
な目的として研究開発を進めています。
⑤リアルタイム解析エンジンにおける特徴量抽出とアルゴリズム高速化
【課題】秒間100万イベント処理に向けた1サーバあたりの処理向上
①ストリーム支援分散データストア制御
【課題】数十バイト∼のセンサデータを大量に格納し
解析エンジンに提供するのに適した分散データストア
を実現する
【目標】１ノードあたり50万アクセス/秒、
トータル 100
ノードで5000万アクセス/秒が目標
【成果】大量のデータを一括で処理し、高速なスルー
【目標】課題⑥と合わせ1ノードあたり1万クエリ/秒を実現
【成果】特に速度向上が必要な異常検知アルゴリズムの高速化を実現・性能評価中
⑥マルチコア対応と分散ロジック最適化
【課題】秒間100万イベント処理のスケーラビリティへ目指しマルチコア対応と分散ロジック実現検討
【目標】課題⑤と合わせ1ノードあたり1万クエリ/秒を実現
【成果】GPGPU、FPGA、
インテル® Xeon Phi等最新プロセッサの調査検討を行いインテル® Xeon Phiによる検証に着手
プットを実現する機能の設計を行い、複数アクセスの
結合する機能の動作を確認。
②高速ストレージ対応データアクセス制御
【課題】大量且つ小サイズのセンサデータを高速アクセス可能な、外部記憶
(PCIe-SSD)ベースのデータストア構築。
【目標】I/O性能の50万ops以上の達成
【成果】PCIe-SSDのアクセス特性に最適化した、時系列データ
（センサデー
タ）向けログ型データストアの基本制御方式を確立し、机上で従来方式比で
リードアクセス性能4倍化を確認
③入力データ処理アクセラレータ
【課題】
プログラマブルなネットワークカードで入力ストリームデータをリアルタイムに縮約し、
ストレージノードの負荷を
軽減
【目標】サーバー１台あたり秒間1万件のストリーム入力データの処理性能を達成しつつ、蓄積データ
（過去の入力デー
タ）
を利用した柔軟な縮約で20%削減が目指す
⑦多種センサーデータ向け特徴量抽出機能の研究開発
【課題】音声や動画像などを扱うための汎用的なデータ形式の入出力機能の実現
【目標】バイナリフォーマットのデータを入力し特徴ベクトルに変換する特徴量抽出機能
【成果】Jubatusの特徴量抽出機能においてcustom_typeプラグインとして実装、動画像や音声のRAWデータ入力に対
するCHLAC、FLACによる特徴抽出とリアルタイム解析エンジンの適用を実現
【成果】
ストリーム処理と蓄積データ処理の速度差
を吸収するストリーム指向キャッシュを提案。交通
⑧特徴量抽出の多言語向け外部インタフェースの研究開発
動的課金ベンチマークにて机上評価し、目標達成
に目処。
【課題】他言語で実装された既存特徴量計算モジュールを活用するための外部インタフェースの実現
【目標】RPCを用いて外部の特徴量計算モジュールを実現する仕組みの導入
【成果】前処理や特徴抽出処理をJava・、Python、Rubyで記述可能な外部RPCサーバのとインタフェースを開発
④次世代メモリストレージデバイス制御
【課題】
リアルタイムデータストアを可能にする、最適なメモリストレー
ジの構成とデータ制御手法の検討
【目標】
ストレージデバイスの評価プラットフォームの開発、及びデータ
制御手法の開発、および 50万問い合わせに必要なI/O性能を実現
【成果】
ストレージデバイスの評価を可能とするハードウエア・シミュ
レーターを開発。アプリ+SSD連携によるオーバーヘッド最小化アプ
ローチの有効性確認（シミュレータにて最大3.8倍の性能向上を確認）