Comments
Description
Transcript
e－サイエンス実現のためのシステム統合・連携
シームレス高生産・高性能 プログラミング環境 東京大学 筑波大学 京都大学 石川裕、片桐孝洋 佐藤三久 中島浩 T2K Open Supercomputer Alliance 目次 • • • • • • • 全体概要と研究開発体制 進捗状況 研究開発成果 成果普及活動 独創性・優位性 成果の利活用 人材育成 1 T2K Open Supercomputer Alliance 2 全体概要と研究開発体制 PCクラスタから大学情報基盤センター等に設置されているスパコン まで、ユーザに対するシームレスなプログラミング環境を提供 • 高性能並列プログラミング言語処理系 – 逐次プログラムからシームレスに並列化お よび高性能化を支援する並列実行モデル の確立とそれに基づく並列言語コンパイラ の開発 • 筑波大学 東京大学 高生産並列スクリプト言語 – 最適パラメータ探索など粗粒度の大規模な 階層的並列処理を、簡便かつ柔軟に記述 可能で処理効率に優れたスクリプト言語と その処理系の開発 • 高性能並列プログラミング 言語処理系の開発 次世代プログラミング 言語仕様検討会 （主査：佐藤＠筑波大） NEC，富士通，日立 JAXA，JAMSTEC， 核融合研，筑波大， 東大，京大，九大 普及活動 高生産並列スクリプト 言語の開発 京都大学 PCクラスタ コンソーシアム （会長：石川＠東大） 富士通，日立，NEC など２７社・機関 高生産・高可搬性ライブラリの開発 – 自動チューニング（ＡＴ）機構を含む数値計 算ライブラリの開発 – PCクラスタでも基盤センタースパコン(1万 規模CPU)でも単一実行時環境を提供する Single Runtime Environment Image環境 の提供 高効率・高可搬性 ライブラリの開発 東京大学 T2K Open Supercomputer Alliance 富士通研究所 日立中央研究所 3 進捗状況 (1-2)③バッチジョブスクリプトに関する研究で は、次世代スパコンにおけるバッチジョブシ ステムスクリプト仕様を基礎にすることを決 めたが、次世代スパコン開発側からの情報 入手が遅れており設計が止まっている。バ ッチジョブスクリプトで使用するステージング ソフトウェアは開発しており、今年度中にス ケジュール通りに戻る 研究開発目標及び研究開発計画の変更はなし 2 T2K Open Supercomputer Alliance 4 自動チューニング付き数値計算ライブラリ：課題と成果 目標：汎用的な自動チューニング機能のためのインタフェースを実現する。 並列計算機上で自動チューニング機能の有効性を実証する。 課題 – 汎用的な自動チューニング インタフェースの開発 成果 • 汎用的な自動チューニングインタフェース OpenATLibの開発 • 実行時に得られる情報を利用し た自動チューニングの方式研究 • 汎用性のある自動チューニング のインターフェース開発 – 自動チューニング機能付き 数値計算ライブラリの開発 – ユーザが望むポリシー（速度、メモリ量、演 算精度）が指定できる – 上記ポリシーにおいて最適となる実装が自 動選択される機構の開発 • 自動チューニング機能付き数値計算ライブラリ Xabclibの開発 • 独自開発の汎用インターフェー スを用いた、自動チューニング機 能付き数値計算ライブラリ開発 • 並列計算機において、 自動チューニングの効果を検証 – 開発した自動チューニング方式の高度化 • 疎行列-ベクトル積選択機能 • アルゴリズム選択機能 • OpenMP上の最適化機能 • ユーザポリシーによる選択機能 – T2Kマシンで、性能評価 T2K Open Supercomputer Alliance 5 Single Runtime Environment：課題と成果 目標：PCクラスタから基盤センターで運用されているスパコン(1万CPU規模)まで、 シームレスにユーザが利用できる単一実行時環境を実現する。 課題 – ファイルシステム • PCクラスタから基盤センターマシンま で、ファイルI/Oを効率よくアクセス可能 とするミドルウェアの実現 – バッチジョブスクリプト • バッチジョブスクリプトにステージング 記述の標準仕様がない – NEC地球シミュレータ独自仕様、富 士通理研独自仕様、ペタコンは？ – MPI通信ライブラリ • 通信ライブラリ実装に独立なプログラミ ング環境 – MPICH, MPICH2, OpenMPIなど の実装に独立した実行バイナリを 提供 3 成果 • ファイルシステム – ファイルステージング (Catwalk&STG) 評価およびT2K筑波大、T2K京大マシン 上での稼働テスト。MPI-IO on Catwalk – ファイルキャッシュシステムpdCache IOFSLへの統合 – ファイルI/Oトレーサ ベンチマーク集構築に向けてのアプリケ ーションのファイルI/Oパターン収集 • MPI-Adapter 評価およびT2K筑波大、T2K京大マシン上 での稼働テスト • バッチジョブスクリプト 再調査が必要 T2K Open Supercomputer Alliance 6 高性能並列プログラミング言語処理系： 課題と成果 目標：逐次プログラムからシームレスに並列化および高性能化を支援する並列実行モ デルの確立とそれに基づく並列言語コンパイラの開発。 課題 –並列プログラムの大半はMPI通信ライ ブラリによるプログラミングで、生産性 が悪く、並列化のためのコストが高い。 –並列プログラミングの教育のための簡 便で標準的な言語がない（MPIでの教 育にとどまっている） –並列プログラミング言語の研究はある もののほとんど実用にいたっていない。 –日本国内の並列プログラミング言語の 活動として、HPFがあったが、普及にい たっていない。 • これまでの並列プログラミング言語（特 にHPF）では性能を改善するインタフェ ースが明確化されていなかった。 成果 • 並列プログラミング言語検討委員会を組織、並 列プログラミング言語拡張仕様XcalableMP Ver.1 を策定、公開した – XcalablMPは、既存の言語（CとFortran90)を指 示文によって、並列拡張するもの • calableMP （C、Fortran）プロトタイプ設計・実装 – XMPのsubsetを実装, T2Kで基本性能評価 – XcalableMPを開発するために、CおよびFortran のコンパイラの開発環境を整備 • SC09 HPCCベンチマーク Class2 （並列 プログラミング言語部門）で、日本初の Finalistに！ T2K Open Supercomputer Alliance 7 高生産並列スクリプト言語： 課題と成果 目標：最適パラメータ探索など粗粒度の大規模な階層的並列処理を、簡便かつ柔軟 に記述可能で処理効率に優れたスクリプト言語とその処理系の開発。 課題 • ジョブレベル並列 ＝ 同一プログラムの多数同時実行 – 創薬や車体設計等でのパラメータスイープ，最 適パラメータ探索 – 並列計算環境を有効活用する最も手軽な方法 • 反復処理やグラフ探索等の複雑な処理も行いたい Æ 既存のワークフローツールでは記述能力が不十分 Æ 汎用スクリプト言語（Perlなど）でのジョブ並列処理 の実装は面倒 • Xcrypt：ジョブ並列処理記述に特化したスクリプト言語 – Perl ＋ ジョブの投入・終了待ち等を簡潔に記述 できる言語機能 – 探索アルゴリズム等の機能をモジュールとして 提供できる機構 Æ 汎用性と簡便性の両立 4 成果 • Xcryptプロトタイプ処理系の設計・実装 • 基本フレームワーク – ジョブ（列）をオブジェクトとして定義 – 前準備，投入，同期待ち関数 – ジョブの前処理／後処理拡張 • ジョブ管理機構の実装 – ジョブ投入，状態監視・通知機構 – バッチスケジューラ定義モジュール • ジョブ入出力インタフェースの実装 – 高水準入力ファイル生成 – 出力ファイル抽出 • 実アプリによる評価 – 海洋、プラズマ、遺伝子 T2K Open Supercomputer Alliance 8 成果普及活動 平成20年度 • 論文発表数：21件 • T2Kシンポジウム開催：10月24日(金) • 国際会議 SC08研究展示 11月17日(月)〜20日(木) • 情報処理学会主催HPCSシンポジウム ポスター発表: 1月22日(木)〜23日(金) • PCクラスタワークショップin大阪 プロジェ クトにおける講演：3月13日(金) • 国際ワークショップWPSE 2009 (International Workshop on Peta-Scale Computing Programming Environment)開催： 3月25日(水)〜26日(木) 平成21年度 • 論文発表数：20件 • 国際会議 SC09研究展示 11月16日(月)〜19日(木) PCクラスタコンソーシアムからXruntime (Catwalk, STG)、Xabclib公開 • 国際ワークショップWPSE 2010 (International Workshop on Peta-Scale Computing Programming Environment)開催 2月18日 • チュートリアル開催：2月18日 PCクラスタコンソーシアムから Xruntime (Catwalk, STG, MPI-Adapter) 、Xabclib公開 公開ソフトウェアは、LGPLライセンスによるオープン ソースとしている。これにより、ユーザは自由にソフト ウェアの改変、再配布が可能である。 T2K Open Supercomputer Alliance 9 独創性・優位性 自動チューニング機構に関する研究 – 実行時データに追従し最適な実装を選ぶＡＴ機能により、従来の数値計算ライブ ラリでは達成できない高速化を実現することに独創性がある。 • 単一実行時環境に関する研究 – PCクラスタとセンタースパコンの実行時環境の違いを吸収し一つのバイナリで PCクラスタからセンタースパコン上までを実行できる環境を実現することに独創 性がある。ソフトウェアベンダが欲していた環境であり、世界で初めて実現した。 • 高性能並列プログラミング言語処理系 – 既存言語（CとFortran95）を指示文により拡張することにより並列化機能を提供 し、習得およびコード書き換えのコストを低減、生産性と実用性を向上。簡便な指 示文で典型的なデータ並列の並列プログラムを可能とするとともに通信・同期な どの事象をユーザが把握しやすい、明瞭な並列化モデルを提示することにより、 性能改善のインタフェースを提供している。 • 高生産並列スクリプト言語 – 多数のバッチジョブの実行制御や入力生成・出力解析など階層型並列処理に特 化した設計に独創性があり、既存のスクリプト言語やワークフローツールに対して 記述容易性・柔軟性の面で優れている。 • 5 T2K Open Supercomputer Alliance 10 成果の利活用：実用化に向けた計画、普及方策 • PCクラスタユーザに普及 – 開発したソフトウェアはオープンソースとして公開し、PCクラスタコンソーシアムと 連携している。 • PCクラスタコンソーシアムは、2001年に発足した組織であり、富士通、日立、 NECなどの日本のベンダなどから構成されている。 • センターユーザに普及 – 最初の段階として、東大、筑波大、京大の各情報基盤センターのユーザに利用し てもらうことを念頭にしている。センターユーザは、センターが提供するソフトウェ ア環境の安定性に対する期待も高いため、現時点ではセンターユーザへの公開 はしていない。今後、ユーザとの共同研究を通して公開していく。 – 文部科学省が進めている革新的ハイパフォーマンスコンピューティング・インフラ (HPCI)における基盤技術の一つして利用できると考えており、PCクラスタから情 報基盤センタースパコン、そして次世代スパコンへの橋渡しの環境として発展さ せていく予定である。 T2K Open Supercomputer Alliance 11 成果の利活用：標準化 • 高効率・高可搬性ライブラリ：Xabclib, Xruntime – オープンソースとして提供し業界標準を目指す • 並列プログラミング言語XcalableMP – 開発当初から、コミュニティの経験と意向をとりいれて仕様検討行う 言語仕様検討委員会を組織し、仕様を策定。これにより、言語仕様 の業界標準を目指す – XcalableMP処理系はオープンソースとして提供し、XcalableMPの 普及を促進する • 高生産並列スクリプト言語Xcrypt処理系 – オープンソースとして提供し、階層型並列処理の業界標準とするこ とを目指す 6 T2K Open Supercomputer Alliance 12 人材育成：継続的なるスパコン開発にむけた人材育成 • • • 背景 – 2018～2019年に実現されるであろうエ キサフロップス（1000ペタフロップス）級 スパコンの基礎研究が国際的に開始 – 8年後を見据えた研究は、現在の若手 研究者が主導しなければならない 育てるべき人材像 – 先端技術を研究開発できる能力 – リーダシップ能力 • 国際協力、産官学連携、計算科学 や計算工学などの研究分野と連携 方策 – 国際学会での論文発表、研究展示 – 海外研究機関へのインターンシップ派 遣し、国際共同研究できる若手の育成 – 国際ワークショップの開催、成果普及 活動の企画運営を通して、企画力のあ る若手の育成 • • • 東大 – センター内予算で特任教員２名、本予 算から特任助教１名、特任教授１名、 大学院修士課程２名を雇用 – 学生を米国アルゴンヌ国立研究所に２ ヶ月間派遣（インターンシップ） 筑波大 – 本予算から特定教員１名とＲＡ１名を雇 用 – RA (Research Assistant) を米国 Purdue大学に１ヶ月派遣 – 並列プログラミング言語検討委員会に は、若手の研究者を積極的に参加させ 、標準化活動に参加させるとともに、先 端研究者との交流を図る 京大 – 本予算から特定教員（助教）２名と、学 内定員・予算による助教１名の雇用 – 若手主導による研究遂行 T2K Open Supercomputer Alliance 13 まとめ • • • • • 進捗状況 – 一部に遅れが出ているが、今年度中には計画通りに進む予定 研究開発成果 – 国内外の会議や論文誌も採択され、コミュニティからも注目されている 成果普及活動 – 開発段階からPCクラスタコンソーシアムと連携し実用化・普及に向けた活動を行っ てきている 独創性・優位性 – 自動チューニング機構、単一実行時環境、高性能並列プログラミング言語処理系、 高生産並列スクリプト言語、それぞれに独創性・優位性を持つ 成果の利活用 – PCクラスタユーザ、センターユーザに向けた普及を進めている – 言語仕様の標準化、開発したソフトウェアのオープンソース化による普及 – PCクラスタコンソーシアムとの連携 • 人材育成 – 先端技術を研究開発できる能力とリーダシップ能力を兼ね備えた人材育成を目指し て取り組んでいる 7 T2K Open Supercomputer Alliance 14 次世代ＩＴ基盤構築のための研究開発：「e-サイエンス実現のためのシステム統合・連携ソフトウェアの研究開発」 1 研究コミュニティ形成のための 資源連携技術に関する研究の概要 （ＲＥＮＫＥＩ* Ｐｒｏｊｅｃｔ） 2010年５月2８日 研究代表者 国立情報学研究所 リサーチグリッド研究開発センター 教授 三浦 謙一 *RENKEI: Resources Linkage for e-Science 背景と目的 e-サイエンス 計算機やデータ、ユーザ等からなる研究コミュニティを柔軟 に形成することにより実現する新たな科学技術研究手法 e-サイエンスの実現 単一のグリッドによる研究基盤とコミュニティの形成から さらに重層的計算研究環境への発展の段階へ 運用形態の異なる資源間の連携が新たに必要。 研究室レベルの資源と情報基盤センターレベルの資源の連携 異種グリッドミドルウェア間の連携 目的 研究室の資源（LLS）、情報基盤センターの高性能資源群（NIS）、 異種グリッドミドルウェア上で提供される計算、データ、データ ベース等を柔軟に共有・連携させ、仮想研究コミュニティを形成し かつ運用するための基盤技術を確立する。 ＮＩＳ：Ｎａｔｉｏｎａｌ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ Ｓｙｓｔｅｍｓ， ＬＬＳ：Ｌａｂｏｒａｔｏｒｙ Ｌｅｖｅｌ Ｓｙｓｔｅｍｓ 8 2 3 次世代計算研究環境としての展開 理研 次世代スパコン 計算環境（Ｈ２４） HPCインフラ/ コンソーシアム グリッド研究会 / グリッド作業部会 理研との共同研究 情報基盤センター群 グリッド 分野別研究機関 グリッド NIS レベルグリッド 実証評価環境 e-サイエンス プロジェクト 分野別研究コミュニティ （エンドユーザ） 国際連携 （OGF-PGI,EGEE,Teragrid etc.) 研究室レベル クラスター 学内計算資源 4 e-サイエンス実現のためのシステム統合・連携ソフトウェアの研究開発 計算アプリケーションユーザ サブテーマ(1) 計算連携 目的：研究室レベル・情報基盤セン ターレベル間でのシームレスなジョ ブ実行技術に関する研究 データベースユーザ サブテーマ(3) データベース連携 目的：異種データベースの連携・統 合，ユーザ認証情報の管理技術に 関する研究 アプリケーション開発者 サブテーマ(4) アプリケーションインタフェース 目的：異種グリッド環境下でのアプリケーション 開発者向けインタフェースに関する研究 DB DB DB グリッドミドルウェア 海外との インターオペレーション 研究室 情報基盤センター群 DB 情報基盤センターユーザ サブテーマ(5) 実証評価・ユーザ連携 目的：実証評価基盤の構築，情報基盤 センターおよびエンドユーザと連携した 実証評価 9 グリッドミドルウェア NII CSI委託事業 サブテーマ(2) データ共有 目的：研究室レベル・情報基盤セン ターレベル間，異種グリッド環境下 でのデータ共有技術に関する研究 計算／データグリッド アプリケーションユーザ 5 実施体制 研究代表者 国情研 三浦謙一 （１）計算連携技術に関する研究 （３）データベース連携技術に 関する研究 国情研 ・合田 憲人 開発 玉川大学 ・宇佐見仁英 ニーズ フィードバック ア プ リ ケ ｜ シ ョ ン 研 究 者 層 開発 産総研 ・関口智嗣 富士通 ・金澤宏幸 （２）データ共有技術に関する研究 大阪大学 ・松田秀雄 開発 情報基 盤セン ター群 テスト ベッド インフラ （４）マルチグリッドミドルウエア 開発 環境下でのAPIに関する研究 KEK ・佐々木節 筑波大学 ・建部修見 フィードバック 研究協力 支援 RENKEI POP 国情研 運用支援組織 （GOC) （５）実証評価・ユーザ連携 東京工業大学 ・松岡聡 6 サブテーマ1 計算連携技術に関する研究 国立情報学研究所，玉川大学， 富士通(株） 10 7 計算連携技術に関する研究 背景 従来のグリッドコンピューティングの限界→異なる運用形態（研究室／基 盤センター／海外グリッド）の計算資源にまたがった計算を実行できない． 目的 運用形態の異なる計算資源間のシームレスな計算（ジョブ）実行を実現し， 計算資源を効率的かつ柔軟に活用する． NIS 研究開発項目 ワークフローシステム 異種グリッドミドルウェ ア間インタオペレーシ ョン アプリケーション共有 方式 海外 グリッド 国内グリッド A大学 DB C研究所 海外 グリッド B大学 研究室／学科等 LLS 8 （１）ワークフローシステム 目的： 運用形態の異なる計算資源間（LLS，NIS）のシームレスな計算（ジョブ） 実行を実現するためのワークフローシステムに関する研究開発を行う． LLS＋NIS 連携ワークフローシステム LLSとNISにまたがるワークフローの実行． （LLS: GT4，GridSAM，NIS: NAREGI） 広域分散ファイルシステムを介したLLSとNIS間のファイル共有．（gfarm 2） input file pre process sim 1 post process RENKEIWFT pre process post process input file output file sim. 2 output file sim 1 sim. 2 国内グリッド A大学 DB gfarm 研究室／学科等 LLS 11 B大学 NIS C研究所 9 ワークフローシステム利用例 ① ④ ③ ② ⑤ Gfarm2ファイルサーバ LLS（神保町） ① ② ③ ④ NIS（西千葉） LLS（神保町） 少数ポートのみ 解放(https, myproxy,gfarm) 入力データ生成のための 初期形状 初期データの作成 格子ガス法の時間シミュレーション LLS計算機による可視化 10 （２）異種グリッドミドルウェア間インタオペレーション 目的 異なるグリッドミドルウェアにより運用されるグリッドインフラ間のシームレ スな計算（ジョブ）実行を実現するため，国際標準規格（例：HPCBP）に基 づくジョブ相互投入技術に関する研究開発を行う． 国際共同研究のインフラとして ユーザは普段利用しているグリッドインフラへジョブを投入．投入されたジ ョブはブローカリングシステムを通じて他のグリッドインフラ上でも実行可． input file sim 1 sim 2 ¾ 標準化が進められている技術の参照実装と 評価による問題点の洗い出し． ¾ 標準化活動への貢献． output file グリッドB グリッドA sim 2 sim 1 input file 12 output file 11 国際連携デモの例 ‐Interop Demo @ 5th IEEE eScience アプリケーション： Minem（Plasma Charge Minimization） 球体表面の点電荷の全エネルギーの最小化 前処理、後処理をローカル環境で、本処理をグリッド環境で処理 HPCBPによる複数のグリッドへのジョブ投入を実現 : HPCBP(BES, JSDL, etc.) : FTP or GridFTP Oxford e-Research Centre Minem 前処理： 入力データの生成（Perl） UNICORE (DEISA) 本処理： • データステージング • BES クライアントからGrid 資源へジョブ投入（CUI） GridSAM (UK-NGS/OMII-UK) ARC (NorduGrid) Image: Copyright OeRC Minem Web サーバ Minem 後処理１： 最適な結果の選択（Perl） Minem Genesis II (U of Virginia) 後処理２： Web サーバへアップロード Minem RENKEI (NII) Minem Minem グリッド環境 ローカル環境 Internet 12 （３）アプリケーションソフト共有方式 目的 研究コミュニティ、あるいは研究グループで共有したい知の集積としてのア プリケーションをLLS とNIS の異なった運用環境において、統一的に共有 ・管理する使い勝手の良いAHS（Application Hosting Service）の方式と 実証に関する研究を実施する。 NIS,LLSでのアプリ共有・管理 NIS,LLS環境での統一的なアプリ ケーションの登録、および NIS,LLS資源への配置機能 ACS（Application Contents Service)に準拠したアプリケーシ ョン、およびワークフローの管理 機能 ワークフローと連携した実行シナ リオ作成支援機能 13 仮想組織（Virtual Organization） グループ単位の管理 VO１ VO２ VO３ アプリ 開発者 アプリ 利用者 A 大学 D 大学 B 大学 C 大学 NIS Grid LLS Grid 国際共同研究コミュニティ 13 サブテーマ2 データ共有技術に関する研究 大阪大学，筑波大学 14 データ共有技術に関する研究 研究の背景 実験技術やITの進歩により大量データが発生Æ 分散しているため利用困難 目標 1. 広域分散ファイルシステムに関する研究 建部修見（筑波大学） （目標）国内に散在する研究データに対してどの場所からでも効率的にアクセス 2. ファイルカタログシステムに関する研究 松田秀雄（大阪大学） （目標）海外で運用されている異種グリッドミドルウェア上のデータを共有 異種グリッドのファイル情報検索 A研究室 A研究室 B研究室 B研究室 ファイル ファイル カタログ カタログ C研究室 C研究室 相互運用 ファイル情報 の登録 データアクセス ファイル ファイル カタログ カタログ ファイル情報 の登録 広域分散ファイルシステムによるファイル共有 ファイルの転送 データアクセス 14 A情報基盤センター B情報基盤センター 異種グリッドミドルウェア （EGEE gLiteなど） 15 広域分散ファイルシステムに関する研究(筑波大学） － 基本的機能の技術開発 － メタデータ操作の性能 京大１ 2ノード 3500 3000 東大 13ノード 2500 2000 広大 11ノード はこだて 未来大 6ノード 500 0 クライアントノード数 同一データの読込性能 5,166 MiByte/sec 5000 九工大 8ノード 4000 1000 東大 8ノード 筑波大 東北大 8ノード 8ノード 慶応大 8ノード r=1 r=2 r=4 56 51 46 41 36 31 26 21 16 0 6 筑波大、東大、東工大 国情研、早稲田、慶応 広島大 8ノード 1 神戸大 九大 8ノード 3000 11 [MiByte/sec] 6000 2000 広大 京大２ 25ノード 国情研 1000 16ノード メタデータ操作3,000 ops/s 未来大 同一ファイル読込5,000 MB/s 東北大 九大 九工大 慶応大 11ノード 九工大 16ノード 1500 国内14拠点、239ノードの大 規模環境での性能評価 はこだて 京大x2 神戸大 11ノード 筑波大 15ノード 東北大 10ノード 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100 105 110 115 120 125 130 135 数百クライアントによる接続 遠隔からのアクセス高速化 [Operations/sec] e-サイエンスで求められる広 域ファイルシステムの設計・ 実装 4000 r=8 クライアントノード数 16 ファイル複製の自動配置（１） 更新型複製間一貫性制御の検討と実装 無効化型一貫性制御では更新時複製数が１となる 更新型一貫性制御が安全に行えるための設計 ¾クローズ時のバージョニングと複製作成 ２．クローズ時にファイル複製作成 １．クローズ時に バージョン更新 ファイルA:1 ファイルA:1 ファイルA:1 ファイルA:1 ファイルA:0 ファイルA:0 ファイルA:0 ファイルA:0 ３．ファイル複製作成後削除 15 17 [H22] ファイル複製の自動配置（２） ファイルクローズ時に指定された数の複製を作成 デフォルト数の指定 拡張属性で指定 １．クローズ時にファイル複製作成 ファイルA:0 ファイルA:0 ファイルA:0 ファイルA:0 18 天文学におけるケーススタディ 天文ソフトウェアMontageのワークフロー で性能評価 広域ワークフロー並列実行エンジン Pwrakeを開発 Rakeを拡張し、並列分散実行を可能に Gfarmファイルのローカリティを考慮したジョ ブスケジューリング NFSの10倍の性能達成（32コア） 2拠点でスケーラブルな性能達成 NFS 約10倍の 性能向上 Gfarm スケーラブルな 性能向上 Input images mProject / mProjectPP mDiff mBackground mFitplane mAdd a1x+b1y+c1=0 a2x+b2y+c2=0 mBgModel m1 = a'1x+b'1y+c'1 m2 = a'2x+b'2y+c'2 Final image 16 19 ファイルカタログシステムに関する研究（大阪大学） 平成２０年度の研究開発 RNS(Resource Namespace Service)に基づいて、ファイル 情報の登録・削除・検索等の基本的な機能を実装した 平成２１年度の研究開発 VO対応のアクセスコントロールの実装 既存のファイルカタログからのファイル情報の変換・登録 論理的な名前空間上で ファイルの位置情報や メタデータの登録／ 削除／検索 RNSファイルカタログサーバ // クライアント gfs gfs ogf ogf ファイルへのアクセス ファイル システム ファイル システム ファイル システム [H21成果] 既存のファイルカタログとの比較 20 LFC (LCG File Catalog)は実運用で利用されているが、gLite以外 のグリッド環境から利用することが困難 RNSは特定のグリッドミドルウェアには依存せず、また、複数の サーバを連携できる仕様となっており、負荷分散が可能 標準化：RNS 1.1 Specification, OGFでpublic comment中 RNS /VO1 RNS /VO1/Group1 RNS /VO1/Group2 RNS /VO1/Group3 LFC LFC LFC LFC LFCまたはRNS LFCまたはRNS SRM SRM SRM SRM 広域分散ファイル 広域分散ファイル システム システム ファイル情報を 変換 EU (EGEEなど） 17 US (OSGなど) 日本 21 サブテーマ３ データベース連携技術に関する研究 産業技術総合研究所 データベース連携技術に関する研究（１） 背景 地球科学分野、バイオ分野、高度医療情報分野、天文分野など、取り扱うデータが大規模で分散配置され たデータベースを連携して扱う必要のある分野は多岐にわたる。異なるデータ格納方法、アクセス方法、ス キーマ、データポリシなどが混在したデータベース群を扱う技術は確立されていない。 目的 分散環境での異種多様なデータベースを、簡便かつ統一したインタフェースで安全に連携させる技術を開 発し、上記分野等様々な分野における潜在的な多数のユーザに対してe-サイエンスの利用を推進し、科学 技術の発展に貢献する。 応用例 複数のデータベース連携による地滑り予測 地質データ AMEDAS等による 雨量データ ハザードマップ作成 MET GEO ASTER 衛星データによる 高解像度標高モデル 18 複数データベースからの情報と 高性能計算機を用いた大規模 地滑りシミュレーション 22 データベース連携技術に関する研究（２） 23 内容 １． 異種の分散データベースを連携・統合するミドルウェアの研究開発 【特徴】 ・ 分散統合を含むデータベース統合処理を可能とする。 ・ WebDBやRDFに加え、全文検索エンジンもデータソースとして取り込むなど、異種多様なソースを結合する。 ・ エンドユーザや応用プログラムに対して簡便なインタフェースを提供する。 ２． ユーザ認証情報生成管理技術の研究 【特徴】 ・ データベースへのアクセス制御の基礎となるユーザの認証情報を簡便かつ様々な手段で生成・管理する。 ・ ユーザ名・パスワードによる、OpenIDをベースにする、手持ちのユーザ証明書を用いる、など。 認証情報を簡便かつ 様々な手段で生成・ 管理する エンドユーザや応用プロ グラムに対して簡便なイ ンタフェースを提供する user 分散環境における異 種多様なデータベー スを連携・統合する 分散統合を含む データベース統合処 理を可能とする Ａ 認証情報 RDB XMLDB WebDB 関係（Ｒｅｌａｔｉｏｎａｌ） データベース ＸＭＬデータベース Ｗｅｂ上で検索可能な データベース 検索 エンジン RDF セマンティックＷｅｂの データベース Ｇｏｏｇｌｅ，Ｙａｈｏｏなど データベース連携技術に関する研究（3） 今までの進捗（ユーザ認証情報生成管理技術） • Tsukuba-GAMAのプロトタイプ評価に基づき本実装を完了。バージョン１．０を公開 （２０１０年４月６日）。 -ユーザ名＆パスワード認証をサポート -OpenIDを用いた認証、自己所有証明書を用いた認証をサポートについては実装 済みだが、コード整理後次回のリリースに含める予定 • MyProxyに成果を反映。 - MyProxyサーバへVOMSの機能を追加実装。MyProxy 5.1に組み込まれた（２０ １０年３月１０日）。 -MyProxy用のservlet認証フィルタを公開（２０１０年４月６日）。 OpenID 認証情報 ユーザ MyProxy CA 外部認証サーバ ユーザ名 パスワード ウェブポータル MyProxy Account DB オンライン認証局 Certificate Registry 証明書管理サーバ VOMS サインオン ツール 19 VOMSプロキシ証明書 User Extension 証明書属性サーバ 24 25 サブテーマ４ マルチグリッド環境下でのアプリケーシ ョンインタフェースに関する研究 高エネルギー加速器研究機構 26 国際共同研究とeサイエンス基盤 互換性のないeサイエンス基盤が、地域ごとに整備、展開されており、 国際共同研究の足かせとなっている 日本では、NAREGI ローカルリソース 国産ソフトウエアの 国際化、人の交流に 寄与 ヨーロッパでは、 gLite(EGEE), ARC, UNICORE 米国では、globus サブテーマ4の成果 およびVDT(OSG) ソフトウエアの共同開発が容易になる • グリッドミドルウエア毎の対応は大変 サブテーマ２: ミドルウエア互換性 研究者は、どこにいても同じコマンドを実行できる 世界中の資源が同時に利用 • 個々のミドルウエアを学ぶ必要がない 可能になる • クラウド含めた多くのリソースが同じコマンドで利用可能 20 27 開発の目標 アプリケーション開発者向けに、分散コンピューティングのイ ンフラ（グリッド、クラウド、ローカル）の違いを吸収するため のAPIを提供する Unified GRID Interface(UGI) （仮称） シングルコードをメンテナンス可能 異なるミドルウエア上で、並行して開発が可能 Pythonライブラリを開発し、開発効率の向上を目指す ¾ JAVAではなくPythonを選択 末端ユーザは、グリッドミドルウエア、クラウド、ローカルリ ソースの違いを意識せずにアプリケーションが実行できる • 大学研究室では、グリッドミドルウエアに関する最小限の 知識でアプリケーションの実行ができる ¾ ジョブ投入に同じコマンドがローカルリソースにもグリッドにも利用できる 28 マルチグリッド環境での統合的ユーザ環境のプロトタイプ： コマンドラインおよびＰｙｔｈｏｎＡＰＩ（ジョブの処理およびファイル、統合カタログ操作） Application (for Particle Therapy Simulation) ugi-job-submit param (middle, site, njob, inputfiles) naregi-multijsub.py glite-multijsub.py globus-multijsub.py NAREGI gLite Globus ugi-ls path options torque-multijsub.py Torque namespace/ file adaptor RNSclient Computing resources for Job NAREGI gLite Globus NAO,HIT,NII,KEK KEK TeraGrid Gfarｍ File resources 21 LFC Local RNS Server KEK Local Unix SRB/iRODS 29 サブテーマ5 実証評価・ユーザ連携 東京工業大学 30 実証評価・ユーザ連携 研究コミュニティ構築のための実証基盤としてのPoP (Point of Presence) の展開 1. ¾ 仮想マシンによるアプリケーション・ホスティング 各サブテーマの成果物をNLS, NISと連携し広域展開するための橋頭堡 「安定版」と「開発版」など複数の世代を管理 アプリケーション・サービスを維持しながら開発を加速 ¾ PoP間では、理論性能1GByte/s以上のデータ転送を維持 ローカルI/Oから広域ネットワークまでボトルネックを解消 様々な環境を再現し検証するための広域ネットワークエミュレータの役割 研究コミュニティの構築と運営 2. • 次世代スパコン(NLS)、各研究機関スパコン(NIS)、研究室PC/Cluster (LLS) の連携 各拠点や研究室の持つマンパワー・計算能力・データ・アプリケーションの柔 軟な融合を目指す 22 31 RENKEI-PoP (Point of Presence) 目的: 拠点間の高速データ転送をサポートするアプライアンスを定義 • 広域分散ファイルシステムによる利用推進のインセンティブ ¾ 高速なローカルI/OとネットワークI/Oの両立した妥協のないサービス拠点 • 仮想マシンによるアプリケーション・ ホスティング • グリッド認証基盤とアプリケーション実行基盤を平準化 • 仮想マシンによる安定版・開発版の同時展開による利用と開発の並行的な促進 マルチプロトコル・低ハードウェアコスト・高性能・グリッドセキュリティ 他拠点連携研究のテストベットとして安価に利用可能 安価 CPU Core i7 975 Extreme (3.33 GHz) Memory 12GB (DDR3 PC3‐10600 , 2GB*6) NIC 10GbE (without TCP/IP Offload Engine) System Disk 500GB HDD SSD RAID 30TB (RAID 5, 2TB HDD x 16) H21年度導入のRENKEI PoP iozoneによる入出力テスト ( blocksize = 256KB ) File size 24GB (Disk Access) Write Re‐write 690MB/s 959MB/s Read 720MB/s Re‐read 725MB/ s 32 平成21年度RENKEI-POPの配備状況 RENKEI-POP設置拠点（設置順） 東京工業大学 (2台) 大阪大学 国立情報学研究所 高エネルギー加速器研究機構 名古屋大学 筑波大学 産業技術総合研究所 スケジュールの都合上、東北大学への設置は 次年度に繰り越した RENKEI-POP@東工大 RENKEI-POP@筑波大学 23 RENKEI-POP@産総研 33 [H21成果] RENKEI-POPへのサービス展開 RENKEI-POP間データ転送・共有 GSI-Enabled OpenSSH, GridFTPによるグリッド認証基盤 を用いたセキュアかつ高速なデータ転送 Gfarm v2.3.0による約110TBの広域分散ファイルシステム kvm + libvirtによる仮想環境 東工大スーパーコンピュータTSUBAMEとの統合 ネットワーク、アカウントをTSUBAMEと統一 TSUBAMEへの計算データステージングのための フロントエンド 34 平成22年度RENKEI-POP展開計画 LLS-NIC間広域データ共有インフラとしての運用体制整備 広域仮想ホスティング クラウド技術を用いた容易な環境構築を実現 NAREGIグリッド環境構築支援 ¾ 阪大 東田らによるNAREGIアーキテクトTFの成果を一部導入 ストレージ増強、拠点展開も継続して行う 24 35 エンドユーザとしてのアプリケーション コミュニティとの連携 東工大TSUBAME共同利用サービス利用者との連携 利用者所属組織のセンター・TSUBAME間のデータ転送・共有を支援 東工大TSUBAMEを拠点とする研究プロジェクト支援 事例) 「ゲノム科学の総合的推進に向けた大規模ゲノム情報生産・高度 情報解析支援」プロジェクト（遺伝研 小原、東工大 黒川ら） ¾ 新型DNAシーケンサによる小容量（数MB 〜数百MB）大量データの バースト的な生成 ¾ データベース化し、遺伝研、東大柏キャンパス、宮崎大学、 東工大で共有 サブテーマ5協力者の紹介プロジェクト支援 太陽地球系科学のデータベースの整備 @ 名古屋大学 乱流解析のためのデータ共有 @名古屋大学 & 筑波大学 36 研究開発実施計画 5月1日 研究開発項目および小項目 平成20年度 平成21年度 平成22年度 平成23年度 (1)計算連携技術に関する研究 基本設計 プロトタイプ実装・ 評価 プロトタイプ評価・ 機能強化 連携試験・評価・ 改良 (2)データ共有技術に関する研 究 基本設計 プロトタイプ実装・ 評価 プロトタイプ評価・ 機能強化 連携試験・評価・ 改良 (3)データベース連携技術に関 する研究 外部仕様設計／ 基本設計・ プロトタイプ実装 内部仕様設計・ プロトタイプ実装 ／プロトタイプ評 価・機能強化 プロトタイプ評価・ 機能強化／単体 試験・評価・改良 連携試験・評価・ 改良 (4)マルチグリッド環境下でのア プリケーションインタフェース に関する研究 調査・基本設計 プロトタイプ実装・ 評価 プロトタイプ評価・ 機能強化 連携試験・評価・ 改良 基盤構築・計測評 価技術開発／ ユーザ開拓着手 基盤仮運用／ ユーザ開拓・開発 へフィードバック 基盤運用拡張／ ユーザ開拓・開発 へフィードバック 運用レベル実証 評価／利用促進・ 開発へフィード バック (5)実証評価・ユーザ連携 研究費 25 １．６４億円 １．４６億円 １．５０億円 37 これまでの研究発表等の件数 査読論文 14 招待講演 17 口頭発表（国際会議） 24 口頭発表（国内会議） 20 研究展示 10 解説 1 その他（ホームページ，ソフトウェア公開等） 6 「e-サイエンス実現のためのシステム統合・連携ソフトウェアの研究開発」 － 研究コミュニティ形成のための資源連携技術に関する研究 － ワークショッププログラム 日時：平成２１年２月２０日(金) １３：３０－１７：３０ 会場：国立情報学研究所 １２階階会議室 プログラム セッション１：プロジェクト概要説明 座長：合田憲人（ＮＩＩ） （１） １３：３０－１３：４０ 開会の辞と開催趣旨説明 （２） １３：４０－１３：５０ プロジェクト概要 三浦謙一（国立情報学研究所） （３） １３：５０－１４：１０ サブテーマ１「計算連携技術」 合田憲人（国立情報学研究所） （４） １４：１０－１４：２５ サブテーマ２「データ共有技術」 松田秀雄（大阪大学) （５） １４：２５－１４：４０ サブテーマ３「データベース連携技術」 小島功，田中良夫（産業技術総合研究所） （６） １４：４０－１４：５５ サブテーマ４「マルチグリッド環境でのAPI」 佐々木節（高エネルギー加速器研究機構） （７） １４：５５－１５：１０ サブテーマ５ 「実証評価・ユーザ連携」 松岡聡（東京工業大学），東田学（大阪大学） １５：１０－１５：３０ 休憩 セッション２：エンドユーザコミュニティ 座長：宇佐見仁英（玉川大学） （８） １５：３０－１５：５０ 「太陽地球環境研究所からの報告」 荻野瀧樹（名古屋大学） （９） １５：５０－１６：１０ 「ナノ統合ライブラリ連携ツールとグリッド応用」 水谷文保（分子科学研究所） （１０）１６：１０－１７：１５ 今後の進め方と展望（自由討論） コーディネータ:三浦謙一（国立情報学研究所） （１１）１７：１５－１７：３０ まとめと閉会の辞 １８：００－ 懇親会 （学術総合センター３階喫茶室） 26 38 まとめ • 研究開発成果についてはほぼ計画通りである。 - サブテーマ毎のプロトタイプの開発と評価 - 評価/実証環境の整備 - 国際標準への取り組み（貢献と準拠） • 体制は当初より変更なし。 • 成果の利活用に向けて - ソフトウェアのオープンソースによる公開 - 平成22年度下期に公開シンポジウムを計画 • 人材の育成→ 基盤センターの若手を中心に • 国内では他に類を見ない計算環境に関するユニークな 視点からのミドルウェア研究開発プロジェクトである 40 付録 27 例：観測的天文学におけるeサイエンスの利用 各研究機関の 望遠鏡による観測 広域ファイルシステム によるデータ共有（Gfarm） / JAXA /subaru /akari … /subaru/spcam NAOJ 観測データの 一次処理・較正 … data /akari/fis data … 優先権に応 じたアクセス コントロール … /labA/personB data … … /archives/2mass data … メタデータによ るデータ発見 研究者 バーチャル天文台による 観測データの公開 各研究テーマの実施 星の形成・進化と 銀河の形成・進化 物質循環 AG Cluster of galaxies N ? 28 /archives /labA … 観測データ の解析 ビッグバンと 宇宙の晴れ上がり 世界の天文台による 観測データの蓄積 系外惑星の探索