発表資料

ICTイノベーションフォーラム2014：「膨大な数の極小データの効率的な配送基盤技術の研究開発」
膨大な数の極小データの
効率的な配送基盤技術の研究開発
平成26年10月7日（火）
株式会社 KDDI研究所
国立大学法人 九州工業大学
国立大学法人 佐賀大学
株式会社 ネットワーク応用技術研究所
1
ICTイノベーションフォーラム2014：「膨大な数の極小データの効率的な配送基盤技術の研究開発」
アウトライン
• 課題の位置づけ
• 研究開発成果
– 課題（１）ビッグデータのネットワーク配送基盤技術
• DPIを取り入れたパケット識別
• パケット集約時のパケット構成方法
– 課題（２）ビッグデータ用ネットワーク配送基盤の異常検出
技術
• 長周期通信（数分から数十分）の異常検知を10分で
実現
2
ICTイノベーションフォーラム2014：「膨大な数の極小データの効率的な配送基盤技術の研究開発」
課題の位置づけ
スマートフォンや小型化・低価格化が進むセンサ等の多様なデバイスによって生成される膨大な数の極小
データを、信頼性を担保しながらサービス毎の要求品質を考慮して効率よくネットワークに収容する基盤
技術等を確立。
データセンタ
課題(1） ビッグデータの
ネットワーク配送基盤技術
モニタリング・監視
○データの種類や品質要求、宛先等
の情報に基づき通信品質を満たしつ
つ、基幹ネットワーク全体でデータの
収容能力を増大させる配送技術
課題（2）ビッグデータ用ネットワーク
配送基盤の異常検出技術
基幹ネットワーク
中継伝送装置
○ 通信特性情報（遅延変動、スルー
プット等）を効率的に収集し、データ量
が増えても通信品質や信頼性を維持
するスケーラブルな配送管理技術
○ デバイスが送出するデータからデ
バイスの異常挙動を検出する技術
収容伝送装置
○ デバイスが送出するデータ及びそ
の統計値から、既存の検出技術では
発見できていない種類のデバイス異
常を検出する技術
センサ
マルウェア
スマートフォン
3
ICTイノベーションフォーラム2014：「膨大な数の極小データの効率的な配送基盤技術の研究開発」
課題（１）のポイントと開発技術の概要
○ 既存技術
中継伝送装置
ドロップ
中継伝送装置
多数の極小パケットを処理できずドロップ。
回線には空きがあるがルータの処理が追いつかない。
○ 本研究開発で確立する「ビッグデータ配送基盤技術」
中継伝送装置
極小パケットを複数まとめ（集約
し）、大きなパケットを基幹ネット
ワークへ入力。
中継伝送装置
パケット数が削減されることで、
ドロップがなくなる。
集約を元のパケットに戻す。
スマートフォンやセンサ等の多様な無線通信デバイスによって生成されるデータの種類や品質要求、宛先等の
情報に基づき通信品質を満たしつつ、基幹ネットワーク全体でデータの収容能力を増大させる配送技術
→基幹ネットワークで用いられる既存の中継伝送装置当りのフロー収容能力を５倍以上に向上
4
ICTイノベーションフォーラム2014：「膨大な数の極小データの効率的な配送基盤技術の研究開発」
課題（２）のポイントと開発技術の概要
○ 既存技術
中継伝送装置
侵入検知システム
（IDS、エッジに配備)
デバイス（数万規模）
中継伝送装置
侵入検知システムを用いたパケット解析による異常・攻
撃シグニチャ等の事前ルールに基づく、異常検知・攻撃
検知・・・事前にルール化された挙動しか検知できない
○ 本研究開発で確立する「ビッグデータ配送基盤の異常検出技術」
【蓄積1】パケット集約装置の
DPIにより、アプリ別度数分布
の作成・蓄積を高速化
１０００万台規模のデバイス群
（センサ等）
【解析】定常（正常）挙動モデル
との比較により、ただちに異常
を検出
中継伝送装置
連携
中継伝送装置
【蓄積2】装置の連携により度数分
本研究で研究開発する 布に基づく定常（正常）挙動パター
ンを10分以内に作成し、大規模感
異常検出システム
染型マルウェアの拡散を防止
本研究で研究開発する
異常検出システム
デバイスが送出するデータを蓄積し、デバイスの挙動又はデバイスが送出するデータのヘッダ情報、サービス種
別及び通信特性情報などにより挙動を分析することで、ただちに挙動異常を検出
5
→ネットワークに接続された3000 万台のデバイスの挙動異常を検出
ICTイノベーションフォーラム2014：「膨大な数の極小データの効率的な配送基盤技術の研究開発」
課題（１）ビッグデータのネットワーク配送基盤技術
【高速DPI】
If ((ip.dst == 10.1/16) && http.content_type contains “video/mp4”)
{POP ID =X; Content ID =Y}
【集約最適化】
POP#1
SDN
フロー
テーブル
マッチしたパケットの
フロータプルを登録
未登録フロー
フロー
検索
登録済フロー
DPI
パケット識別を2段階に分
け、高速処理可能なフロー識
別の頻度を最大化
テキスト
解析
待機パケット
小さい処理遅延
POP#2
テキスト解析待機
パケット
大きい処理遅延
集約最適化へ
6
ICTイノベーションフォーラム2014：「膨大な数の極小データの効率的な配送基盤技術の研究開発」
課題（１）ビッグデータのネットワーク配送基盤技術
【課題解決の方向】
• 通信品質を維持可能な集約待機時間を調整
【課題解決の手法】
•
上記の連携により調整した集約待機時間を基に到着パケット
を クラス分けし、優先度が高いパケットから順にパケットを
集約
⇒到着トラヒックの過負荷時や偏在時にも適切にパケットを集約
(1) 集約待機時間調整手法に関する研究
(2) 集約パケット構成方式に関する研究開発
パケットが保
持する待機
可能時間を
基にクラス分
け
重みが最も大きな
パケットから集約用
のバッファへ
α sec用バッファ
デキュー条件
1. タイマーがexpire
2. キュー長がMTUを超過
Ingress-Edge
β sec用バッファ
コアネットワークの変化に応じて集約待機時間を調整
 遅延時間の変化


遅延時間増加 → 集約待機時間短縮
流入パケットレートの変化

集約用バッファ
パケットレート増加 → 集約待機時間拡大
※今回、バッファ
数を３つとした
・重み値として以下の3種類を用意
γ sec用バッファ
※α < β < γを満たす
先頭パケットに
対して重みを
計算する
（１）残余集約待機時間を優先
（２）スループットを優先
（３）集約効率を優先
77
ICTイノベーションフォーラム2014：「膨大な数の極小データの効率的な配送基盤技術の研究開発」
課題（１）ビッグデータのネットワーク配送基盤技術
Ingress
Egress
パケットレート @ egress
2500000
2000000
1500000
1000000
500000
0
In-pps
Out-pps
0
20
40
60
80
100
packet per second
packet per second
パケットレート @ ingress
2500000
2000000
1500000
1000000
500000
0
In-pps
Out-pps
0
120
50
ビットレート @ egress
2500
2000
1500
1000
500
0
In-bps
Out-bps
40
60
time(sec)
80
100
120
packet rate (Mbps)
packete rate (Mbps)
ビットレート @ ingress
20
150
time(sec)
time(sec)
0
100
2500
2000
1500
1000
500
0
In-bps
Out-bps
0
50
100
150
time(sec)
8
ICTイノベーションフォーラム2014：「膨大な数の極小データの効率的な配送基盤技術の研究開発」
課題（１）ビッグデータのネットワーク配送基盤技術
• （１）入力トラヒックが過負荷の場合、（２）トラヒック量に偏りがある場合を評価
• 手法1（バッファ数１）、手法2（バッファ数３、各バッファで集約）と比較
手法1、
手法3（スループット
重視） 100%
手法2
平均20%
過負荷
手法3（遅延
重視） 0%
センシング（W=50μs）
【成果】
手法1、2、
手法3（遅延）
100%
手法1
100%
手法2
平均40%
過負荷
手法3（遅延）、
（スルー
プット） 0%
実時間通信（W=100μs）
過負荷
手法3
（スループット）
0%
ファイル転送（W=200μs）
トラヒックが過負荷時の結果
• 通信品質を維持しつつ、パケット数を削減するための集約待機時間に基づく
集約パケット構成手法を考案し、実装した
• トラヒックの過負荷時、過小時、偏り時にも対応できることを確認
– 過負荷時 ⇒ 複数バッファによるクラス分け
– 過小時 ⇒ 複数バッファから集約パケットを構成するためのバッファを用意
– 必要バッファ数
⇒ 要求が類似するアプリ群ごとにバッファを用意することで削減可能
9
ICTイノベーションフォーラム2014：「膨大な数の極小データの効率的な配送基盤技術の研究開発」
課題（2）：ビッグデータ用ネットワーク配送基盤
の異常検出技術
収集～集約～解析、の流れ
定常モデル作成完了
周期２
トラヒック情報収集
異常検知
集約
解析
判定
判定
判定
判定
判定
判定
集約
解析
判定
異常検知
10分で異常検知へ
周期１
トラヒック情報収集
定常モデル作成完了
周期３
トラヒック情報収集
経過時間
フロー情報
10
ICTイノベーションフォーラム2014：「膨大な数の極小データの効率的な配送基盤技術の研究開発」
課題（2）：ビッグデータ用ネットワーク配送基盤
の異常検出技術
トラヒックパターンA
多重化された統計情報
グループ2
度数
グループ1
トラヒックパターンB
パケット長分布
トラヒックパターンC
グループ4
混在トラヒック
グループ3
トラヒックパターン
定常モデル
トラヒックパターン
×
グループ
A
1
1
0
0
B
0
1
0
1
C
0
0
1
1
11
ICTイノベーションフォーラム2014：「膨大な数の極小データの効率的な配送基盤技術の研究開発」
課題（2）：ビッグデータ用ネットワーク配送基盤
の異常検出技術
NMF (Non-Negative Matrix Factorization = 非負値行列分解)
デバイス４
デバイス３
デバイス２
デバイス１
S2
S3
S3
観測度数系列
=
デバイス４
S2
行列の要素は非負の値
デバイス３
S1
パ
タ
ー
ン
ｋ
デバイス２
S1
パ
タ
ー
ン
２
デバイス１
パ
タ
ー
ン
１
パターン１
×
パターン２
パターンｋ
パターン系列
Sm
Sm
観測値行列
成分（パターン）行列
複数デバイスから同挙動
各始点が含む成分
（パターン）
V を W と H に分解（Ｗ，Ｈを生成）  成分（パターン）を抽出
基底行列 係数行列
12
ICTイノベーションフォーラム2014：「膨大な数の極小データの効率的な配送基盤技術の研究開発」
課題（2）-ア：パケット集約トラヒックの
異常検出技術の成果（1/2）
【課題解決の方向】
• 複数デバイスから送出されるトラヒックを一括して解析することで、高速
な定常モデル作成
【課題解決の手法】
• 複数デバイスからのトラヒックに、NMF （非負値行列因子分解）を適用す
ることで、トラヒックのクラスタリングと、ヒストグラム生成を同時に実施
• NMFを高速に実行するために、GPUにより実装
課題（２）－ア
課題（２）－イ
13
ICTイノベーションフォーラム2014：「膨大な数の極小データの効率的な配送基盤技術の研究開発」
研究開発全体：目標
1. ビッグデータのネットワーク配送基盤技術
基幹ネットワークで用いられる既存の中継伝送装
置当りのフロー収容能力を 5 倍以上に向上
– フロー：数 bps～数十 bps のデータを送信するデバイスの
通信
2.
ビッグデータ用ネットワーク配送基盤の異常検出
技術
3000万台デバイスがデータを送出する環境にお
いて、挙動異常を検出するのに必要なデータ蓄
積の時間を 10 分間以内
– 平均15 分間に 1 回の間隔でデータが送信されると仮
定
14
ICTイノベーションフォーラム2014：「膨大な数の極小データの効率的な配送基盤技術の研究開発」
実施体制
研究責任者 ： 中島 康之（KDDI研究所）
（１）ビッグデータのネットワーク配送基盤技術
研究リーダー：北辻 佳憲 （KDDI研究所）
研
究
者：池永 全志、中村 豊、大西 圭、福田 豊、塚本 和也
野林 大起 （九州工業大学）
金 大善、梅木 智光 （KDDI研究所）
（２）ビッグデータ用ネットワーク配送基盤の異常検出技術
研究リーダー：中村 勝一 （ネットワーク応用技術研究所）
研
究
者：堀 良彰、フォン ヤオカイ （佐賀大学）
井上 達、永田 晃、富永 浩之、元田 恵一、森山 敦文、
Thin Thin Nwe、稲田 和彦、高石 良一、大石 一夫
（ネットワーク応用技術研究所）
15