Comments
Description
Transcript
電子情報通信学会ワードテンプレート (タイトル)
DEWS2007 D2-8 地球流体データベース・解析・可視化のための新しいサーバ兼デスクト ップツール Gfdnavi の開発 堀之内 武1 神代 剛1 西澤 誠也2 石渡 正樹5 渡辺 知恵美3 林 祥介4 森川 靖大4 塩谷 雅人1 1 京都大学生存圏研究所 〒611-0011 宇治市五ヶ庄 2 京都大学数理解析研究所 〒606-8502 京都市左京区北白川追分町 3 お茶の水女子大学理学部 〒112-8610 東京都文京区大塚 2-1-1 4 北海道大学理学院〒060-0810 札幌市北区北 10 条西 8 丁目 5 北海道大学地球環境科学院〒060-0810 札幌市北区北 10 条西 5 丁目 E-mail: 1 {horinout, koshiro, shiotani} @ rish.kyoto-u.ac.jp, 3 chiemi @ acm.org, 2 seiya @ kurims.kyoto-u.ac.jp, 4,5 {morikawa, ishiwatari, shosuke} @ gfd-dennou.org, あらまし 近年、大気・海洋等の地球流体の科学データは種類・量とも爆発的に増大しており、ネット上のデータ も科学者手持ちのデスクトップデータもシームレスに検索・解析・可視化するニーズが高まっている。本論文では それをはじめて実現するための手法を提案し、その実装となる汎用ツール Gfdnavi の概要を述べる。多次元物理量 データ処理と可視化のための汎用クラスライブラリと、Web サーバを含み RDBMS を利用する Web 開発フレームワ ークを組み合わせて用いることで、個人・グループ内での利用から Web での一般公開までをカバーし、検索ならび に自由度の高い解析・可視化機能が実現できることを示す。 キーワード 科学 DB,データの可視化,データサービス,時空間 DB,e-Science Development of Gfdnavi: a new desktop/server tool for geophysical fluid database, analysis, and visualization Takeshi HORINOUCHI1 Tsuyoshi KOSHIRO1 Seiya NISHIZAWA2 Masaki ISHIWATARI5 Chiemi WATANABE3 Yasuhiro MORIKAWA4 Yoshi-Yuki HAYASHI4 and Msasato SHIOTANI1 1 Research Institute for Sustainable Humanosphere, Kyoto University, Gokasho, Uji 611-001 2 Research Institute for Mathematical Sciences, Kyoto University, Kitashirakawa-oiwake, Sakyo, Kyoto 606-8502 3 Faculty of Science, Ochanomizu University, 2-1-1 Otuka, Bunkyo, Tokyo 112-8610 4 Graduate School of Science, Hokkaido University, N10-W8 Sapporo 060-0810 5 Graduate School of Environmental Science, Hokkaido University, N10-W5, Sapporo 060-0810 E-mail: 1 {horinout, koshiro, shiotani}@ rish.kyoto-u.ac.jp, 3 chiemi @ acm.org, 2 seiya @ kurims.kyoto-u.ac.jp, 4,5 {morikawa, ishiwatari, shosuke}@ gfd-dennou.org, Abstract In recent years, scientific data of geophysical fluids such as the atmosphere and the ocean have been increasing explosively both in numbers and quantity. Thus, there is a growing demand from scientists to search, analyze, and visualize those data across internet and desktop seamlessly. This paper presents methods and a realization for the first time of such a system: Gfdnavi. A combination of a flexible class library for multi-dimensional physical data and a web development framework inclusive of web servers along with RDBMS support is used to create such a system to cover personal / small-group usages to wide data distribution on the web. Keyword Scientific DB,Data Visualization,Data Services,Spatiotemporal DB,e-Science 1. は じ め に 近年、人工衛星等による地球観測は種類、観測数、 解像度のいずれも増大しつつあり、大気や海洋などの 「地球流体」の数値データは急速に増加している。ま た、気候や水循環などの予測や診断における、数値シ ミュレーションの重要性も増しており、地球シミュレ ン タ フ ェ ー ス (UI)に つ い て 述 べ る 。 7 章 で は 、 知 見 情 ーターに象徴されるように、大規模な計算により地球 報 の 取 り 扱 い 手 法 を 提 案 す る 。8 章 で ま と め を 述 べ る 。 流体に関する大量のデータが産み出されている。 な お 、 DB と 検 索 の 詳 細 は 同 時 に 投 稿 す る 論 文 [1]で 述 かつては、個々の地球流体の研究者は、比較的少数 のデータによって研究することが多かった。しかし、 現在は、多様なデータを有機的に組み合わせた総合的 な研究が必要になっている。ところが、そのための情 べ る た め 、本 論 文 で は 概 要 の み 述 べ る 。ま た 上 記 の (4) の 解 決 に つ い て は 論 文 [2]で 述 べ る 。 Gfdnavi は http://www.gfd-dennou.org/arch/davis/gfdnavi にて公開している。 報処理基盤の進展は遅れており、多くの研究者が「困 っている」というのが現状である。この問題は、世界 中で環境問題や防災・減災に投入される資金が十分に 活きなくなる危険性にも繋がる重大な問題である。 2. 関 連 研 究 Live Access Server (LAS) [3] は 、 現 在 最 も 使 わ れ て いる地球流体データ提供サーバ構築ツールであり、 現在、多くの地球流体データがインターネットにお 我 々 が 目 指 す も の に 最 も 近 い 。 LASで は 、 フ ァ イ ル に いて提供されている。しかし、現状は次のような問題 よ る 提 供 に 加 え 、可 視 化 が 行 え る 。Webベ ー ス で あ り 、 を 抱 え て い る 。(1)大 規 模 数 値 デ ー タ は 解 析・可 視 化 し Webブ ラ ウ ザ で ア ク セ ス す る た め 、 専 用 ク ラ イ ア ン ト て初めて意味があるが、既存のデータ提供サーバの多 は 必 要 な い 。一 方 で 、OPeNPAP/DODS [4] と い う 、遠 くはデータをファイルで提供するのが主であり、解析 隔オブジェクトとしてデータアクセスを可能にする 可 視 化 機 能 は あ っ て も 弱 い こ と が 多 い 。 し か も 、 (2) CGIソ フ ト を 取 り 込 ん で い る た め 、 OPeNPAP/DODSク 一旦ファイルをダウンロードしたら、各自が独自に読 ライアントライブラリを組み込んだソフトウェアから み解析する必要があるので、サーバのサービスと断絶 LAS上 の デ ー タ に ア ク セ ス す る こ と も 可 能 で あ る 。 こ する。つまり、サーバ側で多少解析・可視化機能があ れにより、例えば格子点データの全体または一部をク ってもせいぜいクイックルック程度で、それ以上は結 ライアントソフトで読み出し、解析・可視化すること 局のところ「自分でしないとならない」のである。さ が可能である。また、ネットワークに関しては、サー ら に 、 (3)多 く の サ ー バ は 、 一 般 に デ ー タ ベ ー ス (DB) バ側で「姉妹サーバ」を指定すれば、そのサーバのデ と し て の 検 索 機 能 に 乏 し く 、(4)複 数 サ ー バ 間 に ま た が ータも閲覧可能である。 る横断的なデータ利用ができないという問題がある。 第 1 章 に 挙 げ た 視 点 か ら LAS を み る と 、次 の よ う な な お 、 web で の デ ー タ 提 供 サ ー バ 構 築 ツ ー ル も 存 在 す 問 題 点 が 挙 げ ら れ る 。LAS は 常 時 運 用 す る デ ー タ 公 開 る が 、デ ー タ 公 開 機 関 が 独 自 に 一 か ら 専 用 に web サ イ サーバ構築を対象としており、個人が手持ちのデータ トを設けている場合も多く、その場合、良いものを作 を 解 析 す る た め に 導 入 す る こ と は 容 易 で な い 。つ ま り 、 っても応用性、移植性に乏しい。 OPeNDAP/DODS ク ラ イ ア ン ト を 組 み 込 ん だ デ ス ク ト 以上の問題を部分的に解決するものはあるが、すべ ッ プ ツ ー ル と し て 、LAS 自 体 を 用 い る こ と は 難 し い の てを解決するものは世界でもまだ作られていない。 で 、LAS の Web ベ ー ス の 可 視 化 サ ー ビ ス と 、デ ス ク ト 我々は、これを全て解決すべく、手法の開発と実装を ッ プ デ ー タ 解 析・可 視 化 ツ ー ル の 断 絶 は 残 っ て い る( 問 進めている。本研究で提案するアプローチは、研究者 題 (2))。ま た 、デ ー タ は 動 的 に 階 層 的 に 整 理 さ れ る が 、 個人が手持ちのデータを解析・可視化するのに適した 検 索 機 能 は あ ま り 充 実 し て い な い (問 題 (3))。 サ ー バ 管 ツ ー ル で あ り な が ら 、 web で の デ ー タ 提 供 も 行 え る も 理 者 が 姉 妹 サ ー バ に 指 定 し て い な い LAS サ ー バ は 横 のを用いるというものである。これにより、上記の 断 的 に 利 用 で き な い ( 問 題 (4)の 部 分 未 解 決 )。 (1),(2)が 解 決 す る 。 さ ら に 対 象 デ ー タ の 特 性 を 十 分 に LAS以 外 に は 特 筆 す べ き 汎 用 の 地 球 流 体 デ ー タ 提 供 考 慮 し た 検 索 機 能 を 実 装 す る こ と で (3) を 解 決 す る 。 サ ー バ 構 築 ツ ー ル は な い と 言 っ て よ い 。 な お 、 GRID 我 々 は 、以 上 を 基 本 的 に( 少 な く と も 大 枠 は )満 た す 、 を用いた大気海洋データ提供サーバ構築の試みとして、 Gfdnavi と 名 づ け た ツ ー ル を 開 発 し た 。 さ ら に 、 (4)に NERC DataGrid [5] を 挙 げ る こ と が で き る 。 つ い て も 研 究 を 進 め て お り 、 Gfdnavi へ の 実 装 を 計 画 隣接科学分野である超高層・惑星間空間物理におい し て い る 。ま た 、数 値 デ ー タ だ け で な く 、デ ー タ 解 析 ・ て は 、 STARS と い う 分 散 DB サ ー バ が 開 発 さ れ て い る 可視化によって得られた知見情報も有機的に統合し、 [6] 。STARSは 、ネ ッ ト ワ ー ク 分 散 し た デ ー タ に 専 用 ク 検索利用できるものを構想している。 ライアントアプリケーションでアクセスし、可視化も 以後、本論文は次のように構成する。2 章で関連研 サポートする。きめ細かなアクセス権限管理が出来る 究 を 説 明 し 、3 章 で は シ ス テ ム 構 成 概 要 を 述 べ 、4 章 で こ と が 特 徴 で あ る 。 Version 4 ま で は 通 信 は 直 接 SQLに 実装の基盤となるライブラリについて概説する。5 章 拠ったためファイアウォールを越えにくかったが、最 で は DB 及 び ユ ー ザ 管 理 に つ い て 、 6 章 で は ユ ー ザ イ 新 の Version 5 で Web サ ー ビ ス を 用 い た 通 信 に 移 行 し ービスと解析サービスが連携している。その意味で STARSに 近 い が 、VOで は 国 際 バ ー チ ャ ル 天 文 台 連 合 が 結 成 さ れ DB や ワ ー ク フ ロ ー 記 述 等 に 関 す る 国 際 標 準 が策定されるなど、より大規模、組織的に展開されて い る 。な お 、任 意 PCの デ ス ク ト ッ プ デ ー タ へ の 適 用 は 対象外のようである。 3. シ ス テ ム 概 要 提 案 シ ス テ ム は 、 Gfdnavi (Geophysical fluid data navigator) と 名 づ け た 統 合 ツ ー ル と し て 実 装 し て い る 。 図1にそのシステム構成を示す。ディスク上の科学デ ータからメタデータを自動抽出し、関係データベース (RDB) と し て メ タ デ ー タ の DB を 作 成 す る 。 ユ ー ザ 管 理 用 等 、 メ タ デ ー タ 以 外 の デ ー タ も RDB に 格 納 す る 。 図 1 システム構成概要 UI は Web ベ ー ス で あ り 、 Web ブ ラ ウ ザ で 利 用 す る た め 、専 用 ク ラ イ ア ン ト ツ ー ル は 必 要 と し な い 。こ の UI は 、 html, Ruby, JavaScript で 実 現 さ れ る 。 シ ス テ ム は い わ ゆ る Model-View-Controller (MVC) 構 成 で 、 そ の 中 核 は Ruby で 書 か れ て お り 、 RDB に 対 応 す る “Model” と な る ク ラ ス 群 を 持 つ 。 Gfdnavi シ ス テ ム は 専 用 の Web サ ー バ プ ロ グ ラ ム を 持 つ た め 、図 1 の 全 体 を 利 用 者 の PC 1 台 で 運 用 す る こ と が で き る 。 こ の 「 Web サ ー バ 同 梱 」 が 、 本 シ ス テ ム において個人に閉じた利用をサポートする根幹であり、 LAS と 大 き く 違 う 点 で あ る 。本 シ ス テ ム の 一 部 の 機 能 ( DB の 書 き 出 し を 伴 う 機 能 の 多 く な ど ) は 、 登 録 ユ 図 2 (a) 姉 妹 サ ー バ 方 式 に よ る 複 数 サ ー バ に ま ーザのみが利用可能であるが、自前でサーバを動かせ た が る 利 用 。(b) (a)と 同 じ だ が 、利 用 者 が 自 前 ば 全 機 能 が 利 用 で き る 。言 い 換 え れ ば 、LAS の よ う な で Gfdnavi サ ー バ を 立 ち 上 げ る 場 合 。任 意 の サ 一般公開専用サーバには乗せにくい、計算機資源を要 ー バ を 指 定 で き 、 Gfdnavi の 全 機 能 が 使 え る 。 求する機能も乗せられるのである。 本 シ ス テ ム は 、同 梱 Web サ ー バ プ ロ グ ラ ム だ け で な く 、 Apache 等 の 汎 用 Web サ ー バ で も 用 い る こ と が で きる。常時稼動する一般向けデータ公開サーバは、主 に Apache 等 で 運 用 す る こ と を 想 定 し て い る 。 な お 、 当 然 な が ら RDB と Web サ ー バ を 分 離 し た 2 階 層 構 成 を 取 る こ と が で き 、 さ ら に 、 Web サ ー バ を 複 数 の ハ ー ドウェアで構成することも可能である。 複数サーバにまたがる利用は、姉妹サーバ方式(図 2) 及 び ピ ア ・ ツ ー ・ ピ ア (P2P)を 用 い た オ ー バ ー レ イ ネ ッ ト ワ ー ク 構 築 ( 図 3) の 2 通 り が 考 え ら れ る ( い ず れ も 未 実 装 )。姉 妹 サ ー バ を 用 い る 場 合 も 、利 用 者 自 身 が Gfdnavi サ ー バ を 立 ち 上 げ る こ と が 容 易 で あ る た 図 3 P2P に よ る Gfdnavi ネ ッ ト ワ ー ク め 、利 用 者 が 任 意 の Gfdnaviサ ー バ を 姉 妹 指 定 で き る の が LASに な い 利 点 で あ る ( 図 2b ; LASは 図 2aの み )。 もしも利用者が、使いたいデータを収めるサーバをす た [7] 。 天 文 ・ 宇 宙 物 理 分 野 で は 、 Virtual Observatory (VO) が 開 発 さ れ て い る [8] 。VOは 、世 界 の 主 な 天 文 学 研 究 機 関 の DBを 連 携 さ せ る シ ス テ ム で あ り 、デ ー タ サ べて知っていて、それが比較的少数である場合は、姉 妹 サ ー バ 方 式 の み で 第 1 章 の (4)対 応 と し て 十 分 で あ る 。 一 方 、 P2Pは 、 未 知 の サ ー バ も 含 む 多 数 の サ ー バ か ら 所 望 の デ ー タ を 検 索 す る の に 適 す る 。 P2P に よ る ることで、多様な数値データを統一的に扱うことがで Gfdnavi の ネ ッ ト ワ ー ク 構 築 の 検 討 と 提 案 は 文 献 [2] きる。 で 行 う た め 、 本 論 文 で は 割 愛 す る 。 な お 、 P2Pに お い な お 、 第 2 章 で 述 べ た OPeNDAP/DODS と NERC て も 、図 2bの よ う に 直 接 接 続 す る サ ー バ を 自 前 で 動 か DataGrid で も 同 様 な デ ー タ モ デ ル を 採 用 し て い る 。 た すことで誰でも全機能が使えるのは同様である。 だし、本ライブラリは、遅延処理を多用し、内部的な 自動分割処理をサポートするなど、大容量データへの 4. 基 盤 ラ イ ブ ラ リ 本章では、提案システムを実現する基盤となる2つ 対応を徹底した実装となっているという特徴がある。 な お 、 GPhys は 、 数 値 デ ー タ を メ モ リ 上 に 読 み 込 む 場 のライブラリ群を概説する。 合は、C のポインタをラップした多次元数値配列クラ 4.1. Ruby on Rails スを用いる。また、データ実体がファイル上にある場 Ruby on Rails [9] は 、RDBMSを 利 用 す る Web開 発 フ 合と並んで、すべて実行時メモリ上にある場合もサポ レ ー ム ワ ー ク で あ る 。ア プ リ ケ ー シ ョ ン は MVC構 成 で ートしており、数学・統計処理も一貫して一つの枠内 作 成 す る よ う に で き て お り 、 Model 及 び Controller は で行うことができる。 Rubyで 、 Viewは ( Ruby埋 め 込 み の ) htmlで 作 成 す る 。 JavaScriptと の 親 和 性 も よ い 。 Ruby on Rails が 提 供 す 5. デ ー タ ベ ー ス と ユ ー ザ 管 理 る Ruby ラ イ ブ ラ リ の 機 能 は 幅 広 く 、 Ajax Gfdnaviで は 、扱 う 科 学 デ ー タ か ら メ タ デ ー タ を 自 動 (Asynchronous JavaScript and XML) や Web サ ー ビ ス 抽 出 す る こ と で 、科 学 者 が 容 易 に DBを 作 成 で き る よ う を 、 Rubyか ら ご く 簡 便 に 利 用 す る こ と も で き る [10] 。 に す る 。DBの 設 計 と 検 索 イ ン タ フ ェ ー ス 、ラ ン キ ン グ Webrickと い う Webサ ー バ プ ロ グ ラ ム を 同 梱 し て お り 、 法 は 文 献 [1] で 詳 述 す る た め 、こ こ で は シ ス テ ム の 概 要 任 意 ポ ー ト 番 号 で 専 用 Webサ ー バ が 立 ち 上 げ ら れ る ほ を理解するのに必要な記述にとどめる。 か 、 Apacheや LiteSpeedな ど の 汎 用 Webサ ー バ で も 稼 動 Gfdnavi で は 、 扱 う デ ー タ を 格 納 す る デ ィ ス ク 上 の す る 。 よ っ て 、 Webサ ー バ を 同 梱 す る と い う 我 々 の 選 デ ィ レ ク ト リ( フ ォ ル ダ )ツ リ ー を そ の ま ま 活 か す DB 択 は 、 Ruby on Railsを 使 う こ と で 容 易 に 実 現 で き る 。 化を行う。これにより、科学者が自然に行うであろう ま た 、 Rubyの メ ソ ッ ド を Webサ ー ビ ス 化 し 、 さ ら に ク デ ィ レ ク ト リ 構 成 に よ る 分 類 の 詳 細 化 を 、 DB に 反 映 ラ イ ア ン ト 側 で も Rubyメ ソ ッ ド を Webサ ー ビ ス の 呼 び させられる。具体的には、サブディレクトリは上位デ 出しに変換するライブラリも備わっているため、サー ィレクトリのメタデータを加算的に受け継いでいるも バ 間 通 信 に は こ れ を 用 い る 。 一 方 UIに つ い て は 、 Ajax のとして扱う。このため、例えば「衛星データ」ディ による非同期通信を活用することで、応答性の良いも レ ク ト リ 下 の サ ブ デ ィ レ ク ト リ に あ る デ ー タ は 、「 衛 のが実現できる。 星」というキーワードでの検索にマッチすることにな 4.2. GPhys る。 GPhys [11] は 、地 球 流 体 の 多 次 元 数 値 デ ー タ を 扱 う メ タ デ ー タ と し て 抽 出 す る の は 、(1)任 意 の 名 前 と 値 た め の Rubyの ク ラ ス ラ イ ブ ラ リ で あ る 。本 ラ イ ブ ラ リ の 組 で あ る「 キ ー ワ ー ド 属 性 」と 、(2)デ ー タ が カ バ ー で は 、数 値 デ ー タ を「 離 散 化 さ れ た 連 続 空 間 の 物 理 量 」 する時空間に関する情報の2種である。以上を、デー として抽象化し、座標に関するメタデータと、単位、 タ ツ リ ー 上 の 各 デ ィ レ ク ト リ 並 び に 数 値 デ ー タ「 変 数 」 データ欠損、物理量の名前等に関するメタデータを持 に関し、スクリプトにより自動抽出する。ここでは、 つ。他に、任意の名前と値の組で表されるメタデータ データを収録するファイルもディレクトリとして扱う。 を 持 て る 。 こ の GPhysの デ ー タ モ デ ル は 、 地 球 流 体 分 つまり、変数を収め得る入れ物は統一的にディレクト 野 で よ く 使 わ れ る NetCDF [12] と い う フ ァ イ ル 形 式 / リとするのである。 入出力ライブラリにおけるそれを抽象化したものであ メ タ デ ー タ の 自 動 抽 出 に は 、 第 4 章 で 述 べ た GPhys る 。NetCDFは 、メ タ デ ー タ を 内 包 す る 自 己 記 述 型 デ ー を活用する。これにより、様々なファイル形式のデー タ セ ッ ト で あ る 。当 該 分 野 で は 、他 に も grib [13] な ど タを一旦統一的に抽象化した上でメタデータが抽出で 複数のファイル形式が標準的に用いられているが、い き る 。 上 記 の 「 変 数 」 は 、 GPhysの オ ブ ジ ェ ク ト と 1 ずれも何らかの形でメタデータを機械的に抽出または 対 1 に 対 応 す る 。(1)の キ ー ワ ー ド 属 性 の 名 前 は 任 意 で ( テ ー ブ ル 参 照 に よ り )判 別 で き 、NetCDF型 デ ー タ モ あ る が 、 GPhysを 通 し て 幾 つ か の 標 準 的 な 名 前 が 導 入 デ ル に 還 元 可 能 で あ る 。 そ こ で GPhysで は 、 様 々 な フ さ れ る 。 例 え ば 、 物 理 量 の 単 位 は ”units”と い う 名 前 で ォ ー マ ッ ト を NetCDF 型 の デ ー タ モ デ ル に 当 て は め る 表 さ れ る ( 実 際 の フ ァ イ ル 形 式 に 関 わ ら ず 、 NetCDF ことで、統一されたアプリケーションプログラムイン に準じた名前が用いられるという統一化がなされてい タ フ ェ ー ス を 実 現 し て い る 。 Gfdnaviは 、 GPhysを 用 い る )。さ ら に 、NetCDFの 標 準 的 な 規 約 で あ る “CFコ ン ベ ン シ ョ ン ” [14] を 通 じ て 、物 理 量 の 種 類( 気 温 や 湿 度 な ど)を表す名前についても、ある程度の標準化が行わ 検索・選択 れている。このように、名前空間を緩やかに標準化す ること(緩やかにしか標準化しないこと)で、自由度 を確保しつつ、多様な検索(標準キーワードによる検 索、最初に属性名を検索し絞り込んで行う検索、単純 な 全 文 検 索 な ど )を 実 装 す る こ と で 、検 索 の 便 を 図 る 。 ただし、現時点でのユーザインタフェースには、全文 メタデータ 解析・ ユーザ・グ 詳細表示 可視化 ループ管理 検索のみが実装済みである。 ディレクトリのメタ情報としては、ディレクトリ名 図 4 UI の 構 成 そのもの(多くの場合、内容を表す簡潔な名前になっ て い る は ず )に 加 え て 、い わ ゆ る README的 な 簡 単 な テキストファイルでメタ情報を補えるようにした。属 性名は任意であるが、幾つかの標準的な名前を定める 「緩やかな標準化」を行った。テキストの形式として は YAML [15] 等 を サ ポ ー ト し ( 現 在 は 計 2 種 類 )、名 前 に つ い て も Dublin Core [16] か ら 採 る の を 基 本 に し つ つ も、簡単な同義語辞書を持つことで複数の標準に対応 できるようにした。 Gfdnaviで 扱 わ れ る 変 数 は 、 GPhysを 通 じ る こ と で 必 ず座標に関する情報が抽出できるようになっている。 変数は、 ( ゼ ロ 次 元 も 含 む )多 次 元 の 座 標 系 に お け る 物 理量であり、多くの場合、時間軸並びに地球における 空 間 座 標 を 持 つ( そ う で な い 場 合 も 許 容 す る )。応 用 的 に重要な時間及び地球基準の空間に関するメタデータ は 特 別 に 抽 出 し 、DB化 す る 。扱 う デ ー タ の 空 間 分 布 の 例としては、全球や半球等種々の領域を覆う規則的な 格子点データ、各地の観測点における地上データや気 球 観 測 デ ー タ・ブ イ デ ー タ( 鉛 直 一 次 元 )、低 軌 道 の 衛 図 5 デ ィ レ ク ト リ 階 層 ツ リ ー 表 示 窓( 選 択 UI) 星軌道に沿った観測により得られる帯データなどが挙 げられる。時空間メタデータの仕様および検索インタ フ ェ ー ス に つ い て は 、 文 献 [1] を 参 照 さ れ た い 。 な お 、 空 間 検 索 の 便 の た め 、 Google Mapイ ン タ フ ェ ー ス を 用 意している。 以上のように、メタデータはツリー状のディレクト リ 構 造 を 保 持 し な が ら DB 化 さ れ る た め 、XML と の 親 和 性 が 高 い 。 Gfdnavi 内 で は こ れ を RDB で 扱 う が 、 将 来 的 に は 、XML と し て 取 り 出 せ る よ う に す る こ と が 考 えられる。 Gfdnavi に は 、 管 理 や ア ク セ ス 制 御 の た め 、 ユ ー ザ 及 び グ ル ー プ の 概 念 が 導 入 さ れ て い る 。ユ ー ザ は 、 (自 身の専用グループも含む)任意個のグループに所属で き、データの可視性はグループ単位で指定する。無指 定の場合は完全公開となり、ログインしない匿名ユー ザも利用可能となる。ユーザには管理権限を持つ者と 一 般 ユ ー ザ の 2 種 が あ る 。一 般 ユ ー ザ の 申 請 は Web ベ ー ス で 行 え 、申 請 は email で 管 理 者 に 送 ら れ る 。一 方 、 完全公開データの提供のみを目的とするサーバ運営用 に、ログイン等のユーザ関連メニューが一切現れない 形 で の 運 用 モ ー ド も 設 け た 。ロ グ イ ン ユ ー ザ は 、解 析・ 可 視 化 結 果 を DB に 登 録 で き 、 検 索 や 閲 覧 に 供 す る こ とができる。 6. ユ ー ザ イ ン タ フ ェ ー ス 図 4 に 現 在 の Gfdnavi の Web ベ ー ス UI の 構 成 概 略 を示す。矢印はコンポーネント間の遷移・相互作用を 示 す 。例 え ば 、ロ グ イ ン( ユ ー ザ ー・グ ル ー プ 管 理 UI に含まれる)することにより、検索・選択においては 所属グループにアクセスが限定されたデータが利用で き る よ う に な り 、 解 析 ・ 可 視 化 に お い て は DB へ の 書 き出しを伴う機能が利用できるようになる。 検 索 ・ 選 択 UI に は 、 デ ィ レ ク ト リ 階 層 の ツ リ ー 表 示 に よ る 選 択 UI と 、メ タ デ ー タ 検 索 UI が あ る 。Google Map に よ る 地 図 イ ン タ フ ェ ー ス は 後 者 に 含 ま れ る 。図 5 に 、前 者 の ツ リ ー 表 示 UI の ス ク リ ー ン シ ョ ッ ト を 示 す 。同 UI は 、Microsoft Explorer 風 の 階 層 表 示 を 行 い 、 解 析・可 視 化 UI や メ タ デ ー タ 詳 細 表 示 UI と 結 び つ い (a) て い る 。な お 、階 層 表 示 で は 、Ajax に よ る 非 同 期 通 信 により、 「 開 く 」箇 所 の み 通 信 さ れ る の で 、ツ リ ー 全 体 が大きくても表示の速さには影響しない。なお、図に 示 さ れ た URL は http://localhost:3000/ か ら 始 ま る が 、 ブ ラ ウ ザ を 立 ち 上 げ た PC の 3000 番 ポ ー ト で Gfdnavi の 専 用 Web サ ー バ を 利 用 し て い る た め で あ る 。 以 下 で は 解 析 可 視 化 UI に つ い て 述 べ る 。 6.1. 解 析 ・可 視 化 UI 第 1 章で述べたように、多量の数値データは解析・ 可視化してはじめて人間にとって意味を持つようにな る 。 理 想 は 、 科 学 者 が Gfdnavi の み に よ り デ ー タ 解 析 が行え、出版に相応しいクオリティの可視化まで行え ることである。そのためには、クイックルック的な可 視化が行えるだけでは不十分であり、自在に数値処理 が 行 え 、き め 細 か に 可 視 化 が 制 御 で き な い と な ら な い 。 これまでのデータ提供サーバは、いずれもこの要請を 満たさない。我々はむしろ、科学者が手持ちのデータ を解析する際に用いるソフトウェアに範をとる。 第 2 章 で 述 べ た GPhys ラ イ ブ ラ リ 群 は こ の 要 請 を 満 たす。実際、本論文の著者の一部を始めとする複数の 大気科学者が、ほぼこれのみを用いてデータ解析と論 文出版レベルまでの可視化を行っている。そこで、 Gfdnavi に お い て は 、 Web ベ ー ス で GPhys の 全 機 能 が 提供できれば、目標を達することができる。その手段 と し て 、 GUI に よ る 解 析 可 視 化 メ ニ ュ ー を 充 実 さ せ る のに加え、 (b) 1. デ ー タ 処 理 用 の Ruby メ ソ ッ ド を 登 録 で き る よ う にし、 2. 対 話 的 に 逐 次 実 行 す る Ruby の 入 力 窓 を 用 意 す る 。 現 在 、 1.の み 実 装 済 み で あ る 。 次 に 、 実 例 を 用 い て 、 実装済みの解析・可視化機能の概要を記す。 図 6a に 解 析 可 視 化 の 画 面 例 を 示 す 。前 述 の 検 索 ま た はツリー表示から選択されたデータは、左上の解析用 デ ー タ リ ス ト 窓 (表 題 “Variables”の 枠 内 )に 表 示 さ れ る 。 図 で は T, U, V( そ れ ぞ れ 気 象 学 の 慣 例 で 気 温 、東 西 風 、 図 6 (a) 解 析 可 視 化 画 面 の 例( 部 分 )。(b) (a) 南北風である。T は図 5 の右窓に示されているものと の 変 数 リ ス ト よ り 3 番 目 の ”V”を ク リ ッ ク 同一)の 3 変数がリストに入っており、そのうち最初 して表示されるポップアップ。 の T が チ ェ ッ ク ボ ッ ク ス に よ り 選 択 さ れ て い る 。よ っ て 、左 中 の 座 標 選 択 窓 、左 下 の 解 析 可 視 化 メ ニ ュ ー は 、 この変数の内容に応じて動的(かつ非同期)に生成さ れている。左下の解析・可視化メニューではタブ選択 で 可 視 化 (“Draw”)が 選 ば れ 、 そ の 中 で 可 視 化 に 関 わ る や や 一 般 的 な 設 定 (“General settings”) を 行 う タ ブ が 開 か れ て い る 。そ の 右 の ”Specific Settings”タ ブ の 内 容 は 、 “General Settings”で の 選 択 に 応 じ て 変 化 す る 。 こ の UI で は 、 様 々 な 要 素 が ポ ッ プ ア ッ プ 表 示 機 能 を 有 す る 。 例 え ば 、 図 6b は Variables リ ス ト 中 の ”V” をクリックすることで得られるポップアップで、当該 変数に直接付与されているメタデータのうち、属性名 と属性値の組で表されるキーワード属性を表示する。 最後の行はより詳細なメタデータ表示画面に飛ぶため のリンクである。 解 析 ・ 可 視 化 UI で は 以 上 の ほ か に 、 現 在 次 の 機 能 を実現している。 解析: z 数学・統計計算 z ユーザ定義関数の登録(要ログイン) z 生 成 さ れ た デ ー タ の サ ー バ で の 保 存( 要 ロ グ イ 0..* 知見 ン)またはダウンロード(同不要) 可視化: z 各種可視化パラメター設定 z PostScript 生 成 z 新規描画画像の上書きまたは追加(並べてい 1 0..1 表題 0..1 要約 0..* 本文 図 0..* く)の切り替え z 画像の合成 z 描画した画像のサーバでの保存(要ログイン) またはダウンロード(同不要) z (参 照 ) 図 画 像 を 再 現 す る ruby ス ク リ プ ト と 、描 画 に 必 要 (埋 込 ) なサブセットのみを切り出したデータの組み 合わせのダウンロード z 画 像 を ワ ン ク リ ッ ク で gfdnavi 上 に 再 現 す る URL の 取 得 Gfdnavi は 、 解 析 ・ 可 視 化 で 生 成 さ れ た デ ー タ や 画 像 1 1 0..1 表題 画像 キャプション 1 スクリプト 1..* 元 データ を保存する際に、作成に使ったデータへの参照を自動 図 7 知 見 デ ー タ の 構 成 案 ( UML 表 記 ) 的に記録する。これにより相互にリンクが貼られ、お 互いを辿ることができる。 7. 産 生 さ れ る 知 見 情 報 の 有 機 的 取 込 の 提 案 第 6 章 で 述 べ た よ う に 、 Gfdnavi で は 、 解 析 ・ 可 視 化 の 生 成 物 で あ る 画 像 等 に メ タ デ ー タ を つ け て DB 内 に保存することができる。これを発展させ、データか ら得られる知見情報をアーカイブ、交換、発信するこ とが考えられる。 図7に知見データの構成案を示す。知見データは表 題、要約、本文、図からなり、図は本文に埋め込むこ ともできるようにする。そのため半構造テキスト形式 を 用 い る 。図 は 作 成 元 の 数 値 デ ー タ へ の リ ン ク を 持 つ 。 このため、検索はテキスト情報以外にリンク解析によ っても行いうる。また、画像を作成したスクリプトを 持つことで再現性を確保し、他のデータにも適用でき る よ う に す る 。こ れ に よ り 、「 検 証 可 能 な 形 で の 知 見 デ ータの産生とアーカイブ」を可能にすることができる の が 、 Gfdnavi に 知 見 デ ー タ の 扱 い を 組 み 込 む 大 き な 利点である。なお、図 7 に現れる以外に、作成日時や 作者等の書誌メタデータも持てるようにし、可能な限 り自動で付与するのが望ましい。 知 見 デ ー タ の 表 題 と 要 約 か ら RSS (RDF Site Summary)を 生 成 す る こ と が 可 能 で あ る 。こ れ は 、デ ー タ公開サイトにおける情報発信等に役立つであろう。 8. お わ り に 本論文では、デスクトップデータの解析可視化から Web で の デ ー タ 公 開 と 解 析 可 視 化 サ ー ビ ス ま で を サ ポ ー ト す る は じ め て の 汎 用 ツ ー ル Gfdnavi の 構 成 と 実 装 を 示 し た 。 そ の 鍵 は 、 Web サ ー バ を 同 梱 し 、「 ど こ で も 手 軽 に 」Web サ ー バ を 立 ち 上 げ ら れ る よ う に し 、Web ブ ラ ウ ザ を UI に す る と い う こ と で あ る 。こ れ に よ り 、 人間が把握する上で解析・可視化操作が不可欠な科学 数値データの扱いにおいて、デスクトップとサイバー 空 間 を 同 じ 土 俵 に 乗 せ る こ と が で き る 。 さ ら に 、 P2P などによるネットワーキングにより、科学分野におけ る「デスクトップとサイバー空間の融合」が実現でき るであろう。今後は、ネットワーキングなど、現在は 提案段階に留まっている機能を実現し、さらに大枠は 実現済みの機能も改良・強化していくことが必要であ る。 謝辞 本研究遂行にあたって様々な協力やコメントを頂 いた小高正嗣、芦野俊宏、城和貴、竹広真一、中島健 介、鴨浩靖、中野満寿男、佐々木洋平、久保田拓志、 柳平有美、佐藤麻美の各氏に感謝する。本研究は、文 部科学省科研費特定領域「情報爆発時代に向けた新し い IT 基 盤 技 術 の 研 究 」 の 課 題 A01-14 ( 課 題 番 号 18049043) に よ り 行 わ れ た 。 文 献 [1] 柳 平 有 美 , 渡 辺 知 恵 美 , 堀 之 内 武 , “ 地 球 流 体 物 理科学者のためのデータアーカイブサーバ構築 支 援 ツ ー ル : Gfdnavi に お け る デ ー タ ベ ー ス 設 計 と 検 索 イ ン タ フ ェ ー ス の 実 装 ” . DEWS2007, March 2007 (投 稿 中 ). [2] 佐 藤 麻 美 , 渡 辺 知 恵 美 , “ P2P を 利 用 し た 地 球 流 体 デ ー タ の 横 断 検 索・共 有 シ ス テ ム の 実 現 に 向 け て ” . DEWS2007, March 2007 (投 稿 中 ). [3] Hankin, S., J. Callahan, J. Sirott, “The Live Access Server and DODS: Web visualization and data fusion for distributed holdings”. http://ferret.wrc.noaa.gov/Ferret/LAS/LASoverv iew.html, 2001. [4] Cornillon, P., J. Gallagher, and T. Sgouros, “OPeNDAP: Accessing data in a distributed, heterogeneous environment”, Data Science Journal, 2, pp. 164-174, 2003. [5] Lawrence, B., R. Cramer, M. Gutierrez, K.K. van Dam, S. Kondapalli, S. Latham, R. Lowry, K. O'Neill, and A. Woolf, “The NERC DataGrid prototype”, UK e-Science All Hands Meeting, 2003, http://www.nesc.ac.uk/events/ahm2003/AHMCD/pdf/ 094.pdf, 2003. [6] 村 田 健 史 , 岡 田 雅 樹 , 阿 部 文 雄 , 荒 木 徹 , 松 本 紘 , 太陽地球系物理観測の分散メタデータベースの 設 計 と 評 価 」情 報 処 理 学 会 論 文 誌:デ ー タ ベ ー ス 、 Vol.43, No.(TOM16), pp. 115-130, 2002. [7] 木 村 映 善 . 村 田 健 史 , “太 陽 地 球 系 観 測 メ タ デ ー タ ベ ー ス の Grid Service 移 行 を 考 慮 し た Web Service 実 装 に つ い て ”, 分 散 シ ス テ ム /イ ン タ ー ネ ッ ト 運 用 技 術 シ ン ポ ジ ウ ム 2004、pp.99-104,2004. [8] Quinn, P., D. Barnes, I. Csabai, C. Cui, F. Genova, B. Hanisch, A. Kembhavi, S.C. Kim, A. Lawrence, O. Malkov, M. Ohishi, F. Pasian, D. Schade, W. Voges, “The International Virtual Observatory Alliance: Recent technical developments and the road ahead”, Proceedings of SPIE, 5493, pp 137-145, 2004. [9] Hansson, D. H. et al., Ruby on Rails. http://www.rubyonrails.org/. [10] Thomas, D., and D.H. Hansson, “Agile Web Development with Rails,” The Pragmatic Programmers LLC, USA, 2005. [11] Horinouchi T., R. Mizuta, S. Nishizawa, D. Tsukahara, and S. Takehiro, “GPhys -- a multi-purpose class to handle gridded physical quantities”, http://ruby.gfd-dennou.org/products/gphys/, 2003. [12] Rew, R., and G. Davis, “NetCDF - An interface for scientific-data access,” IEEE Computer Graphics and Applications, 10(4), pp 76-82, 1990. [13] World Meteorological Organization: A guide to the code form FM 92-IX Ext. GRIB, Edition 1, http://www.wmo.ch/web/www/WDM/Guides/Guide-b inary-2.html. [14] Eaton, B., J. Gregory, R. Drach, K. Taylor, and S. Hankin: “NetCDF Climate and Forecast (CF) Metadata Conventions”. http://www.cgd.ucar.edu/cms/eaton/cf-metadata/CF-1 .0.html, 2003. [15] YAML™ homepage: http://www.yaml.org/. [16] The Dublin Core Metadata Initiative: “Dublin Core Metadata Element Set, Version 1.1”. http://dublincore.org/documents/dces/, 2006.