Gfarm

名古屋大学太陽地球環境研究所研究集会
｢地球科学メタ情報データ ベースの現状とその活用｣
日時: 平成 23 年 2 月 23-24 日 場所:名古屋大学野依記念学術交流館
シミュレーションデータと
広域ファイルシステム
荻野竜樹
名古屋大学太陽地球環境研究所
名古屋大学情報基盤センター及び
NICTとの連携・協力
シミュレーションデータの画像処理
画像処理を統一的に行うための３つの条件
１．コンピュータの種類に依存しない方法の確立
２．ソフトウエアなど全てを自分たちでコントロール
３．プログラムなどできるだけ統一的に（共通に）扱う
方法の確立
画像処理の統一的な方法
１．シミュレーションデータをIEEE Binary形式で保存
２．FortranプログラムでPostScript画像ファイルを直
接に作成、PostScriptファイルを作成するための
Interface Subroutine Packageを作成・利用
３．PostScriptファイルから画像ファイル変換ツールを
用いて圧縮された画像ファイル（gifなど）を作成
４．圧縮画像ファイル（gifなど）をWebで公開
５．アニメーション動画の作成
６．３次元可視化とVR (Virtual Reality)
・VRML (Virtual Reality Modeling Language)の利用
シミュレーションのデータフローの概要図
シ
ミ
ュ
レ
ー
シ
ョ
ン
元データ
IEEE Binary
SFTP, FTP
超大規模データ 200GB
中間データ・サンプル
Binary, ASCI
SFTP, FTP
大規模データ
３次元可視化・動画
VRML, AVS, IDL
SFTP, FTP
中ー大規模データ 1GB
動画
Gif movie, MPEG
SFTP, FTP
中規模データ
画像・グラフ
GIF, JPEG, PS
Webで公開
小規模データ
10GB
10 MB
200KB
ポ
ー
タ
ル
スパコン＋高速ネットワーク＋
広域ファイルシステム
スーパーコンピュータ
次世代スパコン
クラウド、グリッド
高速ネットワーク
SINET3, JGN2plus
1 Gbps, 10 Gbps
広域ファイルシステム
Gfarm
Gfarm2
NII＋
東工大
阪大
KEK
名大
筑波大
産総研
広域分散ファイルの共有化
2010.3.1
RENKEI-POP（名大）接続図
svn
サーバ
CSI-GRID
202.241.97.158
202.241.97.151
Catalyst 3750E
RENKEI-POP
サーバ
(CentOS)
NAREGI
グリッド
管理システム群
gvms-hx.cc.nagoya-u.ac.jp
Red Hat Enterprise
Linux4
133.6.1.166
16ノード
133.6.90.28
スーパー
コンピュータ
ＨＸ６００
32TB
Gfarm)
HUB
IB
計算ノード群
（実験用）
grid-portal
<NFSサーバ>
<NISサーバ>
gvms1.cc.nagoya-u.ac.jp
Login
ノード
I/Oノード
200TB
20TB
/large_tmp
/home
NICE
サブネッ
ト
LDAP
133.6.1.148
133.6.1.147
900GB
/work
太陽研
計算ノード群
計算科学センター
計算ノード群
Gfarm と JGN2plus による
NICT サイエンスクラウドストレージ
JGN2plusのネットワーク接続
NICT OneSpaceNet (10 Gbps)
ジオスペース
サイエンスクラウド
構築
（10Gbps）
Kyoto U
10Gbps
1Gbps
10Gbps
Osaka U
Okayama 仮想化
ストレージ
Gfarm
NICT Okinawa
JGN2plusの広域ファイルシステム（Gfarm）
ディスクボックス 1 台は
1.5TB ディスク x 4 で構成
サーバ１台にディスクボッ
クスを８台（48TB）搭載
故障時に使用予定
の付属品
サーバ2台（ディスク込）の電源
を 1500VA の UPS でカバー
NICT OneSpaceNet －名古屋大学接続図 （2010/09）
サイエンスクラウド
名古屋大学情報基盤センター
NICE
名古屋大学キャンパ
ス情報ネットワーク
OSN端末
計算機
システム
M9000
GRID
スパコン
HX600
16ノード
（名大基盤センター管
理の I/O nノード）
マウントポイント
/backup_tmp/stel の部
分だけ限定機に NFS
マウントを許可
NFS クライアント兼、スパ
コン disk から Gfarm へ
のファイル転送を担当
ストレージ
サーバ
10G SW
DELL Power Connect6224
New SW
DELL Power Connect6224
太陽地球環境研究所
河口研
スパコン
disk
サーバ室
Gfarm
96TB
管理用
JGN2+
JGN2plus
10G SW
Alaxala AX3630S24T2X
Integration of Simulation
Workflow (Network)
入力 （ポータルまたはコマンド利用）
シミュレーション
スパコン （MPI Fortran）
10Gbps
シミュレーションデータ
(binary file) Gfarm
10Gbps
図形処理 （Fortran）
3D画像解析 （Fortran）, AVS
図形ファイル （PostScript）
3D画像ファイル （VRML）
図形ファイル変換 （ps gif, jpg）
図形編集 （動画）
画像編集 （3D動画）
ポータルで出力 （公開） Gfarm
Four Key Functions of Supercomputer
Speed
cpu 12.48 Tflops 30 Tflops
Main Memory
11.5 TB 24TB
Disc
50 TB 1PB
HPC2500/1536 (scalar-parallel)
FX1/768ノード/3072コア
＋
Graphics
Animation,
3D Visualization
シミュレーション結果の可視化
Network
SuperSINET (10 Gbps)
スパコンでの高効率並列計算の実現
スパコンの最大性能を引き出すプログラム開発
絶対性能の10-20%程度以上の演算速度
スケーラビリティの保存
データ処理と画像処理
動画
3次元可視化 (VRML)
VR (Virtual Reality)
スパコンで行うか、WSやPCで行うか？
巨大なデータの可視化をどうするか
シミュレーションデータのアーカイブと解析
高時関空間解像度
シ
ミ
ュ
レ
ー
シ
ョ
ン
元データ
IEEE Binary
超大規模データ
200GB～1TB
中間データ・サンプル
Binary
大規模データ
10GB～100GB
３次元可視化・動画
VRML, AVS, IDL
中・大規模データ
100MB～1GB
動画
Gif movie, MPEG
中規模データ
10 MB～100MB
画像・グラフ
GIF, JPEG, PS
小規模データ
200KB～!MB
ポ
ー
タ
ル
・画
像
解
析
シミュレーションデータのアーカイブ
１．巨大なシミュレーションデータをどこに保存するか
・広域分散ファイル（Gfarm）の利用
２．巨大なシミュレーションデータをどこで解析するか
・同じスパコン
・大きな共有メモリのクラスター計算機
・巨大データに対して従来の画像処理法は破綻
・並列処理が必要
３．一部分を切り出して解析 （サンプリングなど）
・３次元可視化や動画作成など
Southward IMF Bz = -20 nT n = 5/cc
Vsw = 300 km/s t = 120 min
Neutral line
Filamentary
structure
vortex train
Green ： Close
Blue ： Open
Red, Purple： unconnect to the Earth
土星磁気圏の高解像度MHDシミュレーション
朝側の渦
朝側
夕側
上：高解像度(0.1Rs)
下：低解像度(0.3Rs)
夕側の渦
(600,400,200)
グリッド数： (1800,1200,600)
朝側磁気圏においてKH渦の形成を確認
夕側磁気圏境界層ではKH渦の発生を初めて再現
スパコン＋高速ネット＋広域ファイルシステムの有効利用
ソフトウエアと解析ツールのIntegrationが重要
スーパーコンピュータ
次世代スパコン
ジオスペース サイエンスクラウド
Integration (Workflow, Network)
高速ネットワーク
SINET3, JGN2plus
1 Gbps, 10 Gbps
広域ファイルシステム
Gfarm
Gfarm2