Stream Data Processing System and its Application to Location

DEIM Forum 2009 i1-20
位置情報処理へのストリームデータ処理基盤の応用
伊藤 大輔
西澤 格
今木 常之
樫山 俊彦
藤原 真二
株式会社日立製作所 中央研究所 〒185-8601 東京都国分寺市東恋ヶ窪一丁目 280 番地
E-mail: {daisuke.ito.mq, itaru.nishizawa.cw, tsuneyuki.imaki.nn, toshihiko.kashiyama.ez,
shinji.fujiwara.yc}@hitachi.com
あらまし 近年，大量の時系列データを処理する手段としてストリームデータ処理技術が注目されている．一方
で GPS 付き携帯電話や通信機能つきカーナビの登場により，プローブデータを用いた位置情報処理を行うインフラ
が整いつつある．本稿ではストリームデータ処理技術を位置情報処理に応用した一例としてプローブカーを用いた
渋滞検出のデモを行い，インメモリの差分演算により集計処理が高速であり，かつ CQL によって処理内容を容易に
修正できるというストリームデータ処理技術の長所が位置情報処理に適することを実証する．
キーワード ストリームデータ処理，位置情報処理，プローブカー，可視化
Stream Data Processing System and its Application to Location Information
Processing System
Daisuke Ito, Itaru Nishizawa, Tsuneyuki Imaki, Toshihiko Kashiyama and Shinji Fujiwara
Central Research Lab., Hitachi Ltd., 1-280, Higashi-koigakubo, Kokubunji-shi, Tokyo, 185-8601, Japan
E-mail: {daisuke.ito.mq, itaru.nishizawa.cw, tsuneyuki.imaki.nn, toshihiko.kashiyama.ez,
shinji.fujiwara.yc}@hitachi.com
Abstract A stream data processing system has been gathering attention as a means to process large scale time-series data.
On the other hand, an infrastructure of a location information processing system using probe device data is being put into place
along with the population of GPS cell phones and wireless car navigation devices. In this poster paper, we have made a
prototype of a congestion detection system as an example of applications of location information processing systems using the
stream data processing system and suggested that a high-speed calculation mechanism by using only differentials and an ease
of development by using CQL are advantages of the stream data processing.
Keyword Stream Data, Location Information, Probe Car System, Visualize
1. は じ め に
渋滞検出のデモアプリケーションを開発した．デモア
情報爆発時代の到来に伴い，大量の時系列データを
プリケーションの開発を通して，ストリームデータ処
リアルタイム処理する技術としてストリームデータ処
理が高速であることと，一度実装した処理内容を容易
理技術が注目されている．ストリームデータ処理技術
に修正できアプリケーション開発期間を短縮できるこ
の適用範囲は株の取引情報や株価情報に始まり，サー
とを実証した．
バやネットワークのログモニタリングや物流のモニタ
リングなど多岐におよんでいる．
また，情報爆発時代に特徴的なデータソースとして，
2. 従 来 研 究 と の 比 較
従来からプローブカーシステムに関する研究は行
GPS (Global Positioning System) 携 帯 電 話 や 通 信 カ ー
われてきたが，特に近年になってストリームデータ処
ナビなど，位置情報を絶え間なく送信し続ける携帯端
理 技 術 を 応 用 し た 研 究 [ 1 ] 成 果 が 発 表 さ れ て い る ． [1]
末があげられる．これら携帯端末をプローブとみなし
ではストリームデータ処理ライブラリを用い数千台の
位置情報を処理することで従来よりも詳細な交通情報
実際のプローブカーからのデータをニアリアルタイム
を得ることができると期待されているが，一方で位置
に処理しており，プローブカーシステムのリアルタイ
情報処理はデータ量が莫大で処理量が非常に多いとい
ム処理の実用化が近い事を実証している．
う特性を持つ．
[1] と 比 較 し ， 本 稿 で は ス ト リ ー ム デ ー タ 処 理 ミ ド
そこで，我々は位置情報処理にストリーム処理ミド
ル ウ エ ア で あ る uCosminexus Stream Data Platform (以
ルウエアを適用した例として，プローブカーを用いた
下 ，uCSDP と 略 す ) を 用 い て リ ア ル タ イ ム 処 理 を 実 現
し た 事 が 特 長 で あ る ．汎 用 ミ ド ル ウ エ ア で あ る uCSDP
を 用 い た こ と で 渋 滞 検 出 処 理 を CQL (Continuous
そ こ で ，従 来 の RDB と は 発 想 を 逆 転 し た 以 下 の 特 徴
を 持 つ デ ー タ 処 理 シ ス テ ム [2] が 提 案 さ れ て い る ．
Query Language) で 記 述 で き る よ う に な り ，そ の 結 果 ，
1.
渋滞検出処理の実装と修正が容易になった．
2.
あらかじめクエリをシステムに登録する
データがシステムに到来すると同時に差分的
にクエリを適用する
3. プ ロ ー ブ カ ー を 用 い た 交 通 情 報 処 理
従来，交通情報は道路上に取り付けられた各種セン
サ を 用 い て 収 集 さ れ て き た ． 日 本 国 内 で は 既 に VICS
このシステムは流れてくるデータを逐次処理する
事から，ストリームデータ処理システムと呼ぶ．また
その基幹技術をストリームデータ処理技術と呼ぶ．
(Vehicle Information and Communication System) と し て
ストリームデータ処理技術ではスライディングウ
1996 年 か ら 交 通 情 報 を 車 両 に 配 信 す る サ ー ビ ス が 提
インドウを用いてストリームデータとリレーショナル
供されている．しかし道路上にセンサインフラを整備
データに効率よく変換する．またリレーショナルデー
するコストは非常に高いため主要国道を中心とした限
タ に 対 し て SQL と 同 等 の 処 理 を 容 易 に 記 述 で き る よ
定された道路にしか設置されておらず，道路カバー率
う ，SQL に ス ト リ ー ム デ ー タ と リ レ ー シ ョ ナ ル デ ー タ
は十分に高いとはいえない．
の 変 換 演 算 を 追 加 し た CQL と い う ク エ リ 記 述 言 語 を
一方で現在の自動車には速度センサや外気温セン
用いる．さらにリレーショナルデータに対する処理の
サ ，さ ら に は ABS (Anti-lock Brake System) の 加 速 度 セ
うち特に集計処理が高速に行えるよう，集計演算をイ
ンサやオートワイパーの降雨センサといった多数のセ
ンメモリで差分のみ演算する．
ンサが導入されている．これらセンサ情報を多くの自
ストリームデータ処理技術によって絶え間なく流
動車から収集する事で渋滞情報や所要時間情報のみな
入し続けるデータを短いレスポンスタイムで処理でき
らず，気象情報や路面の凍結情報などさまざまな情報
るようになると，我々は「今」を分析できるようにな
を取得できる．
る．さらに分析結果から得た知見を元に，あたかも
自動車をあたかもセンサインフラの一部とみなし
PDCA サ イ ク ル を 回 す よ う に 分 析 ク エ リ を 逐 次 改 善 し
て情報を収集することで，交通情報を収集するシステ
続ける事で，より正確な分析結果を得られる．日立製
ムを安価に構築できる．このようなシステムは，自動
作所ではストリームデータ処理ミドルウエアである
車 を 探 針 (プ ロ ー ブ ) に な ぞ ら え プ ロ ー ブ カ ー シ ス テ
uCSDP を 製 品 化 し た ．uCSDP は 従 来 の デ ー タ 処 理 シ ス
ムと呼ばれている．またセンサインフラの一部となり
テムと比べ 2 桁以上の高速化を達成している．
情報を収集する自動車はプローブカーと呼ばれている．
に搭載されたセンサを利用することを前提としている
5. 位 置 情 報 処 理 へ の ス ト リ ー ム デ ー タ 処 理 の
応用
が，現状ではセンサ情報をリアルタイムかつ安価に収
プローブカーシステムはデータ量が膨大かつスト
集する通信インフラとサーバシステムが無いため，一
リーム的に絶え間なく流入する事から，我々はストリ
プローブカーシステムでは上記の通り既に自動車
部の先進ユーザがバッチ処理的に利用するに留まって
ームデータ処理技術が適すると考えている．そこで
いる．それでもなおプローブカーシステムは非都市部
uCSDP を 用 い た プ ロ ー ブ カ ー シ ス テ ム の プ ロ ト タ イ
などへ安価に交通情報処理を展開する手段として有望
プ を 作 成 し た ． 本 シ ス テ ム は ノ ー ト PC 上 で も 実 行 可
であると注目を集めている．
能なほど少ないリソースで実行可能でありながら数千
台の車からのプローブデータをリアルタイムに処理し
4. ス ト リ ー ム 処 理 技 術
て車両の速度計算と渋滞の検出を行える．また処理結
従来のデータ処理システムでは一般的に関連デー
果 を KML (Keyhole Markup Language) に 変 換 す る こ と
タ ベ ー ス シ ス テ ム (以 下 ， RDB と 略 す ) が 用 い ら れ て
で ，各 種 GIS (Geographic Information System) ア プ リ ケ
来 た ．RDB を 用 い て 大 量 の デ ー タ を 短 い レ ス ポ ン ス タ
ーションとも連携可能である．図 1 にプローブカーシ
イムで処理する際の問題点は主に以下の 2 点である．
ス テ ム プ ロ ト タ イ プ の 構 成 図 を ，図 2 に GIS ツ ー ル を
1.
一度データをディスクに保存する
2.
保存したデータに対して後からバッチ的にク
エリを適用する
近年においては主記憶コストが下がりインメモリ
データベースが普及した事から問題 1 の影響は少なく
な っ て い る も の の ，問 題 2 は RDB を 用 い る 限 り 常 に つ
きまとう問題である．
用いて渋滞検出結果を可視化した例を示す．
プローブデータ
ストリーム
車両ID
座標
ストリームデータ処理
ストリームデータ処理 (uCSDP)
(uCSDP)
各車両の速度計算
各車両の方向計算
車両状態
各車両の密度計算
渋滞検出
各車両の密度計算
車両情報ストリーム
車両ID 前座標 現座標
速度
KML化
KML化
渋滞ID
座標
規模
方向
渋滞情報ストリーム
図 1 : プローブカーシステムプロトタイプの構 成 図
©2008 ZENRIN
© Google
図 2 : GIS ツールを用 いて渋 滞 検 出 結 果 を可 視 化 した例
6. ま と め と 今 後 の 課 題
本稿ではストリームデータ処理ミドルウエアを位
置情報処理のアプリケーションであるプローブカーシ
ステムに応用し，その有用性を示した．ストリームデ
ータ処理ミドルウエアを用いるメリットは主に以下の
2 点であり，継続的に進化するシステムを構築する上
で都合が良いことが分かる．
1.
インメモリの差分演算による高速な集計処理
2.
CQL に よ っ て 処 理 内 容 を 容 易 に 修 正 可 能
今後の課題として，ストリームデータ処理技術に位
置情報処理に特化した機能を導入する事が考えられる．
例 え ば RDB に 位 置 情 報 向 け の R-Tree イ ン デ ッ ク ス が
導入されたように，ストリームデータ処理技術にも位
置情報処理向けの機能を導入する事で，位置情報処理
の更なる高速化が期待できる．
参
考
文
献
[1] 喜 田 弘 司 ，藤 山 健 一 郎 ，今 井 照 之 ，中 村 鴨 達 ，“デ
ータストリーム処理による大規模プローブカー
シ ス テ ム の 開 発 と 評 価 ” ， 信 学 会 ITS Vol.2008
No.83， pp.1 - 8， Sep. 2008.
[2] A. Arasu， et al.， “STREAM： The Stanford Stream
Data Manager”， IEEE Data Engineering Bulletin，
Vol.26， Mar. 2003.