広域観測網監視システム - 超高層大気長期変動の全球地上ネットワーク

広域観測網監視システム（WONM
システム）の設計と実観測の紹介
村田健史、長妻努、山本和憲、津川卓
也、北内英章、近藤巧、西岡未知
（NICT）、
岡田雅樹（極地研）
NICTサイエンスクラウドのコンセプト
Archived database
Internet
Data
Visualization
A variety of
Observation Data
Data
Processing
Data Crawling
Data Preservation
Large-Scale
Simulation Data
Data Transfer
Data Management
Super‐computers
Spacecraft Ground‐based observatory
Data Transfer & Crawling
Data Preservation & Management
Data Processing & Visualization
Mash‐up
科学データ収集・転送・管理・保存・処理
Science Data File Crawling/Transfer, Preservation/Management and Processing
Internet
NICTY/DLA
Back‐End
NAS
Backup
Mirroring
Front‐End
NAS
Super‐computer
Virtual Remote Storage Tool
Parallel
Processing
Traceability
WONM system
Observatory
Distributed File System
WSDBank
＜平成25年度成果＞科学データとソー
シャルデータを融合するLODベースの
Webアプリ技術開発・宇宙環境モニタリ
ングのための広域センシング網（観測
網）の構築
異分野（時系列）データを同時閲覧できるWebア
プリ（開発中）
衛星観測
地上観測
NICTY/DLAによるデータ収集（合計1900万）
（H.25までの収集実績 F:ファイル数、S:ファイルサイズ）
• 各国：GPS(GNSS）データ（F：24,706,065、S：
11TB）⇒電離圏変動予測で利用
• 各国：宇宙天気モニタリング衛星（F：8,697、
S：1.9GB）⇒宇宙天気予報で利用
• JAXA/ISAS:各種科学衛星*（F：30,327、S：
207GB）⇒ISASとの共同開発
• 極地研：全天カメラ画像*（F：2,662、S：
6.1GB） ⇒極地研と協力
• NICT:地磁気観測網（F：457、S：103MB） ⇒
宇宙天気研究で利活用中
• 気象庁：ひまわり衛星*（F：41,880、ファイル
サイズ：355GB）⇒H.26STARS touchで利用
←気象庁と覚書準備中
インターネット
データ公開
サーバ
NICTY（ファイル情報）
DLA（実ファイル）
科学データクローリング技術（NICTY/DLA）
• NICTY/DLAシステム開発・運用（更新ファイルを含む500万
ファイル以上を自動収集）
• RSS1.0で表現することによりRDFデータベース化が容易
WONMシステム
メタDB
NICTY
（ファイル情報）
WONMシステムに監視・データ収集（186台）
（H.25までの収集実績 F:ファイル数、S:ファイルサイズ）
• NICT：阪大ドップラーレーダ（F：4,805,071、
S：269TB）⇒アーカイブ・H.26データ処理
• NICT：SEALION観測網（F：1,426,998、S：
680.6GB） ⇒電離圏研究で利活用中
• 南極昭和基地（F：2,761,030、S：1.3TB）・ア
ラスカ観測（F：177,174、S：4.4TB）⇒極域研
究で利活用中
• NICT:地磁気観測網（F：394、S：41MB）⇒宇
宙天気研究で利活用中
• サイエンスクラウド（広域）サーバ・スイッチ
の監視
観測所・観測施設（昭和基地、赤
道域、アラスカ等）
広域観測網モニタリング技術（WONM）
• WONMシステム開発・運用（国内・
世界各地の150以上の拠点サーバ
を定常的に監視）
データファイルDB
クラウドストレージ
• 読売新聞社DVD（1997
年以降のみ）のデータ
ベース化←覚書準備中
* は（一部）計画中
①Monitoring Server
・High tolerance
・Automatic recovery
・Redundancy
広域観測網監視システム
Wide‐area Observation Monitoring System
Observation
server
Observation server
WONM client tool
setup
Observatory
Observatory
Status
(HK)
WONM appliance server
WONM appliance server
Observatory
FW
Data File
②Data Transfer
・Data Transfer Retry
・High performance network band
・Data consistency
③Easy & Integrated Management
・Warning System
・Monitoring System
WONM Web
WONM cloud server
Data Analysis
Cloud Storage
HK info.
Category カテゴリ
Observation Info
(観測情報)
System Info
(システム情報)
CPU Info
(CPU情報)
MB Info
（マザーボードセンサー情報）
MEM Info
(メモリ情報)
Status ステータス
Location
Latitude
Longitude
Observation Data
Observation Interval
Start of Observation
Administrator
e‐mail
Tel
Destination
Date
Uptime
PC Model
Host Name
OS
LS
Network
Login Users
CPU Temp
CPU Load Ave 1min
CPU Load Ave 5min
CPU Load Ave 15min
CPU USED USER
CPU USED SYSTEM
M/B Temp
VCore 1
VCore 2
+3.3[V]
+5[V]
‐5[V]
+12[V]
‐12[V]
MEM Free
SWAP Free
Category カテゴリ
MB Info
（マザーボードセンサー情報）
MEM Info
(メモリ情報)
DISK Info
（ディスク情報）
UPS Info
(UPS情報)
Network Info
(ネットワーク情報)
Network Info eth0
(ネットワークカード情報)
Network Info VPN
(VPN情報)
Transfer Information
(データ転送情報)
Status ステータス
M/B Temp
VCore 1
VCore 2
+3.3[V]
+5[V]
‐5[V]
+12[V]
‐12[V]
MEM Free
SWAP Free
Disk Used[%]
STATUS
BCHARGE[Percent]
LINEV[Volts]
MAXLINEV[Volts]
MINLINEV[Volts]
TIMELEFT
LOADPCT
OUTPUTV
APCMODEL
RTT[ms]
eth0‐IN[byte]
eth0‐OUT[byte]
VPN‐IN[byte]
VPN‐OUT[byte]
VPN Server
Port
Hubname
UserName
Stock Files
Latest File
Latest File Check
Last Transferred Date
Last Transferred File
Last Check Sum (src)
Last Check Sum (dest)
WONM DB
(RDB)
‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐
・Project
・Station
・Host
・Host Status
Server
WONM application (Client)
Cacti DB
(RDB)
‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐
・User
・Graph Config
・Data Sources
・Threshold
reference
Monitoring
Web Site
plot
Threshold Monitoring
E‐mail
(Alert/Warning)
RRDtool
(Round Robin DB)
‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐
・Status data archive
Cacti
‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐
・Data logging for time archive
series status
・Plot time series status
on the web
・Customize graphs
Management
Server
Operator
Cloud Storage
Control Center@NICT(Koganei)
Observation Equipment
Router/
Switch
House
Keeping
Status
Network
Traffic
UPS
Battery Charge
NAS
File il
Transfer
Status
Status Crawler
(on MicroPC)
Status FIle
(YAML format)
System
Information
MicroPC
Config File
(YAML format)
・Input method
・basic commands
・SNMP
・shell script
・Unit
・Threshold
Observation Site
広域観測網監視システム：小型サーバ
Wide‐area Observation Monitoring System: appliance server
FANレスMicroPC（HTC-880）
動作検証済OS
Windows XP Professional for Embedded Windows XP Embedded, Windows Embedded PosReady, Windows Embedded Standard, Cent OS 5.4
CPU
ATOM N270 1.6GHz
クロック周波数
1.6GHz
冷却機構
FANレス
メモリ仕様 / スロット数
SODIMM up to 2GB DDR2 SDRAM / 1スロット
最大搭載可能メモリ
2GB
NIC
チップ
Intel 社製 82583V(PCI‐E Gigabit Ethernet Controller) x 2
対応速度
10 / 100 / 1000Base‐T
SSD
SSDベイ
2.5" x 1
インターフェース
SATA x 1
転送速度
SATA 3.0Gbps
USB 規格 / ポート数
USB2.0 / 4ポート(前 x 1 後 x 3)
COM
RS‐232 x 2 (COM2 Can be Set as RS‐422 / 485)
拡張性
mini PCI Express x 1
電源仕様
12V / 5A
実効消費電力
35W
安全規格認証（本体） CE ClassA / VCCI ClassA / FCC ClassA
安全規格認証（電源）
PSE
本体重量
1.1kg
サイズ(W x D x H)
W52 x D115 x H178mm
動作温度
0～40℃
動作湿度
0～90%（結露なきこと）
小型サーバ（アプライアンスサーバ）設置状況
南極（昭和基地）
アラスカ
2014年2月現在の監視拠点
Data
WONM
NICTY/DLA
によるデータ
収集実績
（～2013年12月）
GNSS observation
SEALION
GOSAT satellite
Phased‐array meteorological data
SMILES
Antarctica (ionosphere observation)
Organization
UNAVCO, GSI
NICT
JAXA,
ECMWF
Osaka Univ., NICT
JAXA
NICT
Tool
Number Total of collected data size
files
NICTY
23,506,753
9.6TB
WONM
60,787
1.6TB
*
3,737,123
58.4TB
WONM
*
2,358,677
217.1TB
*
564,253
1.4TB
WONM
280,859
424GB
NICTY
277
1.5TB
NICTY
26,868
26.8GB
GMS satellite
NICT, Kyoto Univ.
JMA
GEOTAIL satellite
Kyoto Univ.
NICTY
29,840
204GB
NOAA
NOAA
NICTY
NICTY
1,638
759
59MB
203MB
JAXA
NICTY
3,890
1.8GB
Kanazawa Univ.
*
3,227
221GB
NICT
NICTY
63
3.5TB
Geo‐magnetic data
GOES satellite
ACE satellite
KODAMA satellite
KAGUYA satellite
Space Weather real‐
time simulation
広域観測網監視システム（サーバ側Webアプリ）
Wide‐area Observation Monitoring System
A Snapshot of Web application for browsing information of WONM and status of each nodes, observatories.
Examples of WONM status monitoring (dump image) network traffic monitoring (Left: GPS obs. at 10C Ionosonde bldg., Right: GPS and FMCW obs. at FMCW Ionosonde bldg.)
ログインページ
Project
N
1
1
N
Station
User
1
N
Host
所属関係
＊ユーザが所属している
プロジェクトのホストを
URL： http://seg‐ptx‐mng.nict.go.jp/monitoring/index.php
モニタリングできる
＊所外には別途認証機能を付けて公開
画面構成
①リストから拠点を選択
ステーション画面
①マップから拠点を選択
ノードリスト
プロット画面
③ステータスの時系列
プロットを表示
ノードステータス
②拠点のノードを選択
③最新ステータスを表示
ステーション画面
拠点ごとにアイコンを表示。
アイコンはステータスを表
しており、その拠点の中で
最も問題のあるステータス
が表示される
ステータス凡例
正常
受信エラー
閾値（エラー）
セットアップ中
Google Maps APIを使用
閾値（警告）
ノードリスト
【上段】エラーリスト
プロジェクトのホスト全体
の中から、ステータスに
問題があるホストを常に
表示
【下段】拠点ノードリスト
選択した拠点に所属するホ
ストを表示。ホストの管理者
情報や最終更新日も記載
未セットアップ
転送エラー
閾値超え
閾値超え
正常
プロット画面
RRDtool + Cactiを使用
選択したホストの項目ごと
のステータスを時系列プ
ロット。項目は数値で取得で
きるものを任意に追加可
能。
閾値エラーがある項目は、
背景色が変わり、メールで
通知される。
任意の期間を選択可能。
グラフをクリックすること
で長期変動が閲覧できる。
プロット画面（長期プロット）
１日間
１週間
１ヶ月間
１年間
エラー時刻に縦線が
プロットされ、エラー
頻度が分かる。
ノードステータス
最新ステータスを表示。
数値の他、コマンドの
実行結果も表示可能。
閾値エラーになってい
る項目の色が変わり、
一目で分かる。
リストは折りたためるよう
になっている。
レイアウト選択
タイルドの構成やネットワーク環境
に合わせてレイアウトを選択
WONM管理Web① プロジェクトWeb
モニタ画面（SEALIONプロジェクト：サーバモニタ画面全体）
WONM管理Web② プロジェクト管理
モニタ画面（SEALIONプロジェクト管理）
モニタ画面（クラウド管理）
正常
閾値超え
未セットアップ
転送エラー
閾値超え
WONM管理Web① プロジェクトWeb
モニタ画面（SEALIONプロジェクト：サーバモニタ画面全体）
WONM管理Web③ サーバー管理
モニタ画面（サーバーステータスグラフ）
モニタ画面（サーバーステータス最新値）
閾値を超えている項目が赤色になる
↓
↑指定した閾値を超えるとグラフがグレーアウト＋
赤文字になり、メール通知される
↑CPU負荷が上がった時間帯にネットワークI/Oが
増えたわけではない
WONM管理Web④ ファイル転送（昭和基地）
モニタ画面（Hourly：1分平均）
モニタ画面（Weekly：30分平均）
モニタ画面（Monthly：2時間平均）
モニタ画面（Daily：5分平均）
モニタ画面（Yearly：1日平均）
WONM管理Web⑤ 障害の特定
モニタ画面（ファイル転送）
モニタ画面（ネットワーク）
昭和基地インテルサット衛星回線が
メンテナンスにより一時停止していた
モニタ画面（UPS）
モニタ画面（ネットワーク（拡大））
0
障害発生後自動復旧（デモ用サーバ）
モニタ画面（正常時）
UPS電源断 2 分後
モニタ画面（異常時）
UPS電源断 2 分後
電源断
複電
WONMシステムが有効に働いた例①
プーケット（タイ）観測施設
①2013/05頃…観測プログラムのバグ（多重起動）により、観測PCのリソースを占有
してしまったため、データ転送が行われなかった。
②2013/08頃…現地で停電があり、復旧するまでの間、データ転送が行われなかった。
③2013/09頃…現地のUPSの不調のため、観測PCが停止していた。UPSを交換すること
で復旧した。
②
③
①
WONMシステムが有効に働いた例②
南極・昭和基地
南極の転送状況のグラ
フについては、高遅延が
ある状況の中でも、安定
して転送できているとき
はグラフは波形を示して
おり、時々不安定になっ
てもしばらくすると安定
状態に収束することを示
しています。
使い方イロイロ
• 小型サーバを使っても使わなくてもよい
– クライアントアプリケーションを独自の観測サーバにセット
アップ
– 小型サーバを設置（ネットワーク接続・ディスクマウントだけ
で運用開始）
• 監視サーバを立てても立てなくてもよい
– 独自の監視サーバを立ち上げて監視・管理
– サイエンスクラウドの監視サーバ上で監視・管理
• 観測網以外の利用
– 遠隔地のサーバ管理・トラブルシューティング
• サイエンスクラウドサーバの監視実績（１７８サーバ・スイッチの監
視中）
– 汎用的な定常データ伝送・転送に利用
• ファイル同期がかかるので安心
まとめ
• NICTサイエンスクラウド
– データ収集・伝送技術、データ保存・管理技術、データ処
理・可視化技術がおおむね達成（80％程度）
• 広域観測拠点の管理およびデータ収集のために
WONMシステムを開発→運用開始
– サーバシステムとクライアントアプリケーションで構成
– クライアントアプリを組み込んだ小型アプライアンスサーバ
開発終了
• WONMによりNICT電離圏・地磁気観測監視を実施
– 17観測拠点に33台の小型サーバ設置・問題なく運用
• 今後はSTP分野以外での利用を検討する予定。
– サイエンスクラウドサーバの監視に利用開始（１７８サー
バ・スイッチの監視中）
– 地震、気象、環境などグローバル観測で利活用可能
情報知識学会誌 特集号ご案内
是非、投稿をご検討ください！
情報知識学会誌特集号 平成26年vol.3
特集「サイエンスデータとマッシュアップ技術」
このたび本学会では、「サイエンスデータとマッシュアップ」特
集を組み、広く論文投稿を募ることとなりました。本特集では、
気象、環境・建築、防災、エネルギー、宇宙、農林水産、化
学、生命科学、医療・福祉、地域、観光、メディア、流通などを
含む様々な科学データとその融合についての話題を広く募集
します。各分野のビッグデータについて、その活用方法の提
案、技法やデータ伝送・管理・処理・可視化システム（サイエン
スクラウド・ソーシャルクラウド）、および成果や有効性などを
テーマとする論文の投稿をお待ちします。また、分野内または
分野間融合を目指す異分野間データ融合、基盤技術（Linked Open Data技術を含む）とそのマッシュアップ技術、クラウド技
術についても募集します。
• 公募テーマ
• サイエンスデータ（ビッグデータ）伝送・管理・処理等
の技術開発
• サイエンスデータ（ビッグデータ）利活用・公開に関
する提案・研究成果
• サイエンスデータの分野内または異分野間のデー
タ融合の提案や処理・利活用技法・マッシュアップ技
術、システム（クラウド）およびそれらの成果
投稿締切 2014年5月23日（金）
32
NICTサイエンスクラウド利用状況
述べアクセス数／月
•
•
•
50 servers/500 cores (CPUs)
5PB storage
10G Network
Kyushu Osaka/Kyoto
Hokkaido
(plan)
(plan)
Tokyo
Okinawa
Nagoya
Total Number
32
Science (observation data)
12
Science (simulation data)
13
Informatics/Technology
5
Others (commercial)
2
利用プロジェクト（2013年度）