Comments
Description
Transcript
広域観測網監視システム - 超高層大気長期変動の全球地上ネットワーク
広域観測網監視システム(WONM システム)の設計と実観測の紹介 村田健史、長妻努、山本和憲、津川卓 也、北内英章、近藤巧、西岡未知 (NICT)、 岡田雅樹(極地研) NICTサイエンスクラウドのコンセプト Archived database Internet Data Visualization A variety of Observation Data Data Processing Data Crawling Data Preservation Large-Scale Simulation Data Data Transfer Data Management Super‐computers Spacecraft Ground‐based observatory Data Transfer & Crawling Data Preservation & Management Data Processing & Visualization Mash‐up 科学データ収集・転送・管理・保存・処理 Science Data File Crawling/Transfer, Preservation/Management and Processing Internet NICTY/DLA Back‐End NAS Backup Mirroring Front‐End NAS Super‐computer Virtual Remote Storage Tool Parallel Processing Traceability WONM system Observatory Distributed File System WSDBank <平成25年度成果>科学データとソー シャルデータを融合するLODベースの Webアプリ技術開発・宇宙環境モニタリ ングのための広域センシング網(観測 網)の構築 異分野(時系列)データを同時閲覧できるWebア プリ(開発中) 衛星観測 地上観測 NICTY/DLAによるデータ収集(合計1900万) (H.25までの収集実績 F:ファイル数、S:ファイルサイズ) • 各国:GPS(GNSS)データ(F:24,706,065、S: 11TB)⇒電離圏変動予測で利用 • 各国:宇宙天気モニタリング衛星(F:8,697、 S:1.9GB)⇒宇宙天気予報で利用 • JAXA/ISAS:各種科学衛星*(F:30,327、S: 207GB)⇒ISASとの共同開発 • 極地研:全天カメラ画像*(F:2,662、S: 6.1GB) ⇒極地研と協力 • NICT:地磁気観測網(F:457、S:103MB) ⇒ 宇宙天気研究で利活用中 • 気象庁:ひまわり衛星*(F:41,880、ファイル サイズ:355GB)⇒H.26STARS touchで利用 ←気象庁と覚書準備中 インターネット データ公開 サーバ NICTY(ファイル情報) DLA(実ファイル) 科学データクローリング技術(NICTY/DLA) • NICTY/DLAシステム開発・運用(更新ファイルを含む500万 ファイル以上を自動収集) • RSS1.0で表現することによりRDFデータベース化が容易 WONMシステム メタDB NICTY (ファイル情報) WONMシステムに監視・データ収集(186台) (H.25までの収集実績 F:ファイル数、S:ファイルサイズ) • NICT:阪大ドップラーレーダ(F:4,805,071、 S:269TB)⇒アーカイブ・H.26データ処理 • NICT:SEALION観測網(F:1,426,998、S: 680.6GB) ⇒電離圏研究で利活用中 • 南極昭和基地(F:2,761,030、S:1.3TB)・ア ラスカ観測(F:177,174、S:4.4TB)⇒極域研 究で利活用中 • NICT:地磁気観測網(F:394、S:41MB)⇒宇 宙天気研究で利活用中 • サイエンスクラウド(広域)サーバ・スイッチ の監視 観測所・観測施設(昭和基地、赤 道域、アラスカ等) 広域観測網モニタリング技術(WONM) • WONMシステム開発・運用(国内・ 世界各地の150以上の拠点サーバ を定常的に監視) データファイルDB クラウドストレージ • 読売新聞社DVD(1997 年以降のみ)のデータ ベース化←覚書準備中 * は(一部)計画中 ①Monitoring Server ・High tolerance ・Automatic recovery ・Redundancy 広域観測網監視システム Wide‐area Observation Monitoring System Observation server Observation server WONM client tool setup Observatory Observatory Status (HK) WONM appliance server WONM appliance server Observatory FW Data File ②Data Transfer ・Data Transfer Retry ・High performance network band ・Data consistency ③Easy & Integrated Management ・Warning System ・Monitoring System WONM Web WONM cloud server Data Analysis Cloud Storage HK info. Category カテゴリ Observation Info (観測情報) System Info (システム情報) CPU Info (CPU情報) MB Info (マザーボードセンサー情報) MEM Info (メモリ情報) Status ステータス Location Latitude Longitude Observation Data Observation Interval Start of Observation Administrator e‐mail Tel Destination Date Uptime PC Model Host Name OS LS Network Login Users CPU Temp CPU Load Ave 1min CPU Load Ave 5min CPU Load Ave 15min CPU USED USER CPU USED SYSTEM M/B Temp VCore 1 VCore 2 +3.3[V] +5[V] ‐5[V] +12[V] ‐12[V] MEM Free SWAP Free Category カテゴリ MB Info (マザーボードセンサー情報) MEM Info (メモリ情報) DISK Info (ディスク情報) UPS Info (UPS情報) Network Info (ネットワーク情報) Network Info eth0 (ネットワークカード情報) Network Info VPN (VPN情報) Transfer Information (データ転送情報) Status ステータス M/B Temp VCore 1 VCore 2 +3.3[V] +5[V] ‐5[V] +12[V] ‐12[V] MEM Free SWAP Free Disk Used[%] STATUS BCHARGE[Percent] LINEV[Volts] MAXLINEV[Volts] MINLINEV[Volts] TIMELEFT LOADPCT OUTPUTV APCMODEL RTT[ms] eth0‐IN[byte] eth0‐OUT[byte] VPN‐IN[byte] VPN‐OUT[byte] VPN Server Port Hubname UserName Stock Files Latest File Latest File Check Last Transferred Date Last Transferred File Last Check Sum (src) Last Check Sum (dest) WONM DB (RDB) ‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐ ・Project ・Station ・Host ・Host Status Server WONM application (Client) Cacti DB (RDB) ‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐ ・User ・Graph Config ・Data Sources ・Threshold reference Monitoring Web Site plot Threshold Monitoring E‐mail (Alert/Warning) RRDtool (Round Robin DB) ‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐ ・Status data archive Cacti ‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐ ・Data logging for time archive series status ・Plot time series status on the web ・Customize graphs Management Server Operator Cloud Storage Control Center@NICT(Koganei) Observation Equipment Router/ Switch House Keeping Status Network Traffic UPS Battery Charge NAS File il Transfer Status Status Crawler (on MicroPC) Status FIle (YAML format) System Information MicroPC Config File (YAML format) ・Input method ・basic commands ・SNMP ・shell script ・Unit ・Threshold Observation Site 広域観測網監視システム:小型サーバ Wide‐area Observation Monitoring System: appliance server FANレスMicroPC(HTC-880) 動作検証済OS Windows XP Professional for Embedded Windows XP Embedded, Windows Embedded PosReady, Windows Embedded Standard, Cent OS 5.4 CPU ATOM N270 1.6GHz クロック周波数 1.6GHz 冷却機構 FANレス メモリ仕様 / スロット数 SODIMM up to 2GB DDR2 SDRAM / 1スロット 最大搭載可能メモリ 2GB NIC チップ Intel 社製 82583V(PCI‐E Gigabit Ethernet Controller) x 2 対応速度 10 / 100 / 1000Base‐T SSD SSDベイ 2.5" x 1 インターフェース SATA x 1 転送速度 SATA 3.0Gbps USB 規格 / ポート数 USB2.0 / 4ポート(前 x 1 後 x 3) COM RS‐232 x 2 (COM2 Can be Set as RS‐422 / 485) 拡張性 mini PCI Express x 1 電源仕様 12V / 5A 実効消費電力 35W 安全規格認証(本体) CE ClassA / VCCI ClassA / FCC ClassA 安全規格認証(電源) PSE 本体重量 1.1kg サイズ(W x D x H) W52 x D115 x H178mm 動作温度 0~40℃ 動作湿度 0~90%(結露なきこと) 小型サーバ(アプライアンスサーバ)設置状況 南極(昭和基地) アラスカ 2014年2月現在の監視拠点 Data WONM NICTY/DLA によるデータ 収集実績 (~2013年12月) GNSS observation SEALION GOSAT satellite Phased‐array meteorological data SMILES Antarctica (ionosphere observation) Organization UNAVCO, GSI NICT JAXA, ECMWF Osaka Univ., NICT JAXA NICT Tool Number Total of collected data size files NICTY 23,506,753 9.6TB WONM 60,787 1.6TB * 3,737,123 58.4TB WONM * 2,358,677 217.1TB * 564,253 1.4TB WONM 280,859 424GB NICTY 277 1.5TB NICTY 26,868 26.8GB GMS satellite NICT, Kyoto Univ. JMA GEOTAIL satellite Kyoto Univ. NICTY 29,840 204GB NOAA NOAA NICTY NICTY 1,638 759 59MB 203MB JAXA NICTY 3,890 1.8GB Kanazawa Univ. * 3,227 221GB NICT NICTY 63 3.5TB Geo‐magnetic data GOES satellite ACE satellite KODAMA satellite KAGUYA satellite Space Weather real‐ time simulation 広域観測網監視システム(サーバ側Webアプリ) Wide‐area Observation Monitoring System A Snapshot of Web application for browsing information of WONM and status of each nodes, observatories. Examples of WONM status monitoring (dump image) network traffic monitoring (Left: GPS obs. at 10C Ionosonde bldg., Right: GPS and FMCW obs. at FMCW Ionosonde bldg.) ログインページ Project N 1 1 N Station User 1 N Host 所属関係 *ユーザが所属している プロジェクトのホストを URL: http://seg‐ptx‐mng.nict.go.jp/monitoring/index.php モニタリングできる *所外には別途認証機能を付けて公開 画面構成 ①リストから拠点を選択 ステーション画面 ①マップから拠点を選択 ノードリスト プロット画面 ③ステータスの時系列 プロットを表示 ノードステータス ②拠点のノードを選択 ③最新ステータスを表示 ステーション画面 拠点ごとにアイコンを表示。 アイコンはステータスを表 しており、その拠点の中で 最も問題のあるステータス が表示される ステータス凡例 正常 受信エラー 閾値(エラー) セットアップ中 Google Maps APIを使用 閾値(警告) ノードリスト 【上段】エラーリスト プロジェクトのホスト全体 の中から、ステータスに 問題があるホストを常に 表示 【下段】拠点ノードリスト 選択した拠点に所属するホ ストを表示。ホストの管理者 情報や最終更新日も記載 未セットアップ 転送エラー 閾値超え 閾値超え 正常 プロット画面 RRDtool + Cactiを使用 選択したホストの項目ごと のステータスを時系列プ ロット。項目は数値で取得で きるものを任意に追加可 能。 閾値エラーがある項目は、 背景色が変わり、メールで 通知される。 任意の期間を選択可能。 グラフをクリックすること で長期変動が閲覧できる。 プロット画面(長期プロット) 1日間 1週間 1ヶ月間 1年間 エラー時刻に縦線が プロットされ、エラー 頻度が分かる。 ノードステータス 最新ステータスを表示。 数値の他、コマンドの 実行結果も表示可能。 閾値エラーになってい る項目の色が変わり、 一目で分かる。 リストは折りたためるよう になっている。 レイアウト選択 タイルドの構成やネットワーク環境 に合わせてレイアウトを選択 WONM管理Web① プロジェクトWeb モニタ画面(SEALIONプロジェクト:サーバモニタ画面全体) WONM管理Web② プロジェクト管理 モニタ画面(SEALIONプロジェクト管理) モニタ画面(クラウド管理) 正常 閾値超え 未セットアップ 転送エラー 閾値超え WONM管理Web① プロジェクトWeb モニタ画面(SEALIONプロジェクト:サーバモニタ画面全体) WONM管理Web③ サーバー管理 モニタ画面(サーバーステータスグラフ) モニタ画面(サーバーステータス最新値) 閾値を超えている項目が赤色になる ↓ ↑指定した閾値を超えるとグラフがグレーアウト+ 赤文字になり、メール通知される ↑CPU負荷が上がった時間帯にネットワークI/Oが 増えたわけではない WONM管理Web④ ファイル転送(昭和基地) モニタ画面(Hourly:1分平均) モニタ画面(Weekly:30分平均) モニタ画面(Monthly:2時間平均) モニタ画面(Daily:5分平均) モニタ画面(Yearly:1日平均) WONM管理Web⑤ 障害の特定 モニタ画面(ファイル転送) モニタ画面(ネットワーク) 昭和基地インテルサット衛星回線が メンテナンスにより一時停止していた モニタ画面(UPS) モニタ画面(ネットワーク(拡大)) 0 障害発生後自動復旧(デモ用サーバ) モニタ画面(正常時) UPS電源断 2 分後 モニタ画面(異常時) UPS電源断 2 分後 電源断 複電 WONMシステムが有効に働いた例① プーケット(タイ)観測施設 ①2013/05頃…観測プログラムのバグ(多重起動)により、観測PCのリソースを占有 してしまったため、データ転送が行われなかった。 ②2013/08頃…現地で停電があり、復旧するまでの間、データ転送が行われなかった。 ③2013/09頃…現地のUPSの不調のため、観測PCが停止していた。UPSを交換すること で復旧した。 ② ③ ① WONMシステムが有効に働いた例② 南極・昭和基地 南極の転送状況のグラ フについては、高遅延が ある状況の中でも、安定 して転送できているとき はグラフは波形を示して おり、時々不安定になっ てもしばらくすると安定 状態に収束することを示 しています。 使い方イロイロ • 小型サーバを使っても使わなくてもよい – クライアントアプリケーションを独自の観測サーバにセット アップ – 小型サーバを設置(ネットワーク接続・ディスクマウントだけ で運用開始) • 監視サーバを立てても立てなくてもよい – 独自の監視サーバを立ち上げて監視・管理 – サイエンスクラウドの監視サーバ上で監視・管理 • 観測網以外の利用 – 遠隔地のサーバ管理・トラブルシューティング • サイエンスクラウドサーバの監視実績(178サーバ・スイッチの監 視中) – 汎用的な定常データ伝送・転送に利用 • ファイル同期がかかるので安心 まとめ • NICTサイエンスクラウド – データ収集・伝送技術、データ保存・管理技術、データ処 理・可視化技術がおおむね達成(80%程度) • 広域観測拠点の管理およびデータ収集のために WONMシステムを開発→運用開始 – サーバシステムとクライアントアプリケーションで構成 – クライアントアプリを組み込んだ小型アプライアンスサーバ 開発終了 • WONMによりNICT電離圏・地磁気観測監視を実施 – 17観測拠点に33台の小型サーバ設置・問題なく運用 • 今後はSTP分野以外での利用を検討する予定。 – サイエンスクラウドサーバの監視に利用開始(178サー バ・スイッチの監視中) – 地震、気象、環境などグローバル観測で利活用可能 情報知識学会誌 特集号ご案内 是非、投稿をご検討ください! 情報知識学会誌特集号 平成26年vol.3 特集「サイエンスデータとマッシュアップ技術」 このたび本学会では、「サイエンスデータとマッシュアップ」特 集を組み、広く論文投稿を募ることとなりました。本特集では、 気象、環境・建築、防災、エネルギー、宇宙、農林水産、化 学、生命科学、医療・福祉、地域、観光、メディア、流通などを 含む様々な科学データとその融合についての話題を広く募集 します。各分野のビッグデータについて、その活用方法の提 案、技法やデータ伝送・管理・処理・可視化システム(サイエン スクラウド・ソーシャルクラウド)、および成果や有効性などを テーマとする論文の投稿をお待ちします。また、分野内または 分野間融合を目指す異分野間データ融合、基盤技術(Linked Open Data技術を含む)とそのマッシュアップ技術、クラウド技 術についても募集します。 • 公募テーマ • サイエンスデータ(ビッグデータ)伝送・管理・処理等 の技術開発 • サイエンスデータ(ビッグデータ)利活用・公開に関 する提案・研究成果 • サイエンスデータの分野内または異分野間のデー タ融合の提案や処理・利活用技法・マッシュアップ技 術、システム(クラウド)およびそれらの成果 投稿締切 2014年5月23日(金) 32 NICTサイエンスクラウド利用状況 述べアクセス数/月 • • • 50 servers/500 cores (CPUs) 5PB storage 10G Network Kyushu Osaka/Kyoto Hokkaido (plan) (plan) Tokyo Okinawa Nagoya Total Number 32 Science (observation data) 12 Science (simulation data) 13 Informatics/Technology 5 Others (commercial) 2 利用プロジェクト(2013年度)