目次 2008 年 12 月版 0 改定のポイント - 計算科学研究センター

by user

on 28 марта 2017

Category: Documents

>> Downloads: 1

views

Report

Comments

Description

Download 目次 2008 年 12 月版 0 改定のポイント - 計算科学研究センター

Transcript

目次 2008 年 12 月版 0 改定のポイント - 計算科学研究センター

目
次
目
次
2008 年 12 月版
0 改定のポイント
1 センター運用方針
1.1
1.2
1.3
1.4
1.5
1.6
1.7
1.8
1.9
利用資格
プロジェクト課題とプロジェクトグループ
申請と審査方法
1.3.1
審査について
1.3.2
申請区分と申請期間
1.3.3
補充申請
1.3.4
メンバ管理申請
1.3.5
申請方法
利用期間
利用報告書と研究成果の出版
利用方法
利用課金
利用点数
計算科学研究センター運営委員会
2 システムへの接続と利用
2.1
2.2
2.3
2.4
2.5
2.6
2.7
2.8
2.9
2.10
2.11
ネットワークを介して接続する方法
2.1.1
sshによる接続
2.1.2
接続エラーについて
電話回線を介して接続する方法
2.2.1
tty（無手順）接続
2.2.2
IP（PPP）接続
センター内端末室から接続する方法
ログイン名とパスワード
2.4.1
ログイン名
2.4.2
パスワード
2.4.3
パスワードの変更方法
ログインシェル環境設定ファイルについて
グループの利用点数など利用上限値について
グループにおける利用点数管理ファイル容量管理
2.7.1
利用点数管理（GSBU）について
2.7.2
ファイル容量管理（GQUOTA）について
資源使用状況確認コマンド
パスワードに関する問い合わせ
センターへの質問と情報取得について
2.10.1 センターへの質問
2.10.2 掲示板利用方法
2.10.3 電子メールを利用したセンターへの質問方法
2.10.4 情報取得
端末セッションの記録方法
3 ハードウェア構成
3.1
3.2
3.3
3.5
3.6
高速I/Oサーバサブシステム（SGI ALtix4700）
密結合演算サーバサブシステム（富士通 PRIMEQUEST）
高性能分子シミュレータシステム（日立製作所製 SR16000）
ファイルサーバシステム（日立製作所製 EP8000/500Q）
TSS-JE（フロントエンド）
4 ファイルシステム構成
計算科学研究センター
1
1
1
2
3
3
4
4
5
7
7
7
7
8
9
10
10
10
11
11
12
12
12
13
13
13
13
14
14
14
14
15
15
16
16
16
17
17
17
17
19
19
19
19
20
20
21
利用の手引き平成 20 年 12 月
目
4.1
4.2
4.3
4.4
21
21
22
23
23
23
23
24
コマンドライン入力
オンラインマニュアルの利用方法
5.2.1
オンラインマニュアルの位置づけ
5.2.2
環境変数LANGの設定
5.2.3
manallコマンドの使い方
5.2.4
Web版オンラインマニュアル
24
24
25
25
25
26
27
5 会話処理
5.1
5.2
6 バッチ処理
6.1
6.2
6.3
6.4
6.5
6.6
JQSの概要
JQSの構成
キュー構成方針
キュー構成
6.4.1
パラレル利用キュー
6.4.2
デバッグ専用キュー
6.4.3
会話処理
6.4.4
特別利用キュー
6.4.5
施設利用Sキュー
JQSの主なコマンド
6.5.1
バッチリクエストコマンド
6.5.1.1 バッチファイルの作成
6.5.1.2 ジョブ実行時のパスの指定
6.5.1.3 バッチリクエストの標準出力、及びエラー出力について
6.5.1.4 電子メールの活用方法
6.5.2
バッチリクエストの状態を表示するコマンド
6.5.3
バッチリクエストの取り消し
6.5.4
ジョブ実行中に/work以下のファイルにアクセスする方法
システム停止後のバッチジョブの扱い
7 Altix4700 の利用
7.1
7.2
7.3
7.4
7.5
Fortranの使い方
8.1.1
富士通 Parallelnavi Language Package for Linux (Fortranの使い方)
8.1.1.1 使用頻度の高いコンパイルオプション
計算科学研究センター
27
27
28
28
28
28
29
29
29
29
29
29
30
31
31
31
32
32
32
33
33
33
33
34
34
34
34
35
35
36
36
36
37
39
Fortranの使い方
7.1.1
使用頻度の高いコンパイルオプション
7.1.2
入出力ファイルの指定
C/C++の使い方
7.2.1
使用頻度の高いコンパイルオプション
科学技術ライブラリの使用
7.3.1
SCSLの使い方
7.3.2
MKLの使い方
7.3.3
IMSLの使い方
並列プログラムの実行方法
7.4.1
スレッド並列の実行例
7.4.2
プロセス並列の実行例
使用コンパイラーの切り替え
8. PrimeQuestの利用
8.1
次
ファイルシステムの概要
ディレクトリ構成
ファイルシステムの用途
ファイルシステム利用についての留意点
4.4.1
/home下のファイルへの繁茂なIOは厳禁
4.4.2
OSに依存するファイルの取り扱いについて
4.4.3
/weekと/workについて
39
39
39
利用の手引き平成 20 年 12 月
目
8.2
8.3
8.4
8.5
8.1.1.2 入出力ファイルの指定
8.1.2
Intel Fortran Compilerの使い方
8.1.2.1 使用頻度の高いコンパイルオプション
8.1.2.2 入出力ファイルの指定
C/C++の使い方
8.2.1
富士通 Parallelnavi Language Package for Linux（C/C++）の使い方
8.2.1.1 使用頻度の高いコンパイルオプション
8.2.2
Intel C/C++ Compilerの使い方
8.2.2.1 使用頻度の高いコンパイルオプション
科学技術ライブラリの使用
8.3.1
SSL II, BLAS, LAPACK, ScaLAPACKの使い方
8.3.2
MKLの使い方
8.3.3
IMSLの使い方
並列プログラムの実行方法
8.4.1
スレッド並列の実行例
8.4.2
プロセス並列の実行例
使用コンパイラーの切り替え
9 SR16000 の利用
9.1
9.2
9.3
9.4
Fortranの利用
9.1.1
最適化FORTRAN90 の使い方
9.1.1.1 使用頻度の高いコンパイルオプション
9.1.1.2 使用頻度の高いリンクオプション
9.1.1.3 入出力ファイルの指定
9.1.1.4 最適化・並列化診断メッセージ
9.1.1.5 性能測定
9.1.1.6 デバッガの利用
9.1.2
XL Fortranの使い方
9.1.2.1 使用頻度の高いコンパイルオプション
C/C++の利用
9.2.1
使用頻度の高いコンパイルオプション
科学技術ライブラリの使用
9.3.1
MATRIX/MPPの使い方
9.3.2
MSL2 の使い方
9.3.3
ESSLの使い方
9.3.4
BLAS・LAPACK・SCALAPACKの使い方
並列プログラムの実行方法
9.4.1
スレッド並列の実行方法
9.4.2
プロセス並列の実行方法
10 ライブラリプログラムの利用
10.1
10.2
10.3
10.4
10.5
ライブラリプログラムとは
パッケージプログラムの構成
使用方法
10.3.1 Gaussian03 の例
10.3.1.1
g03subを使うGaussian03 の例
10.3.1.2
シェルスクリプトを自分で書くGaussian03 の例
10.3.2 amber9 の例
10.3.3 ライブラリプログラム一覧
ソフトウェア導入要望
ライブラリプログラム開発について
11 データベースについて
計算科学研究センター
次
39
40
40
41
41
41
41
41
42
42
42
43
43
44
45
45
45
46
46
46
46
47
47
47
48
48
48
48
49
49
50
50
50
50
51
52
52
53
54
54
54
54
54
54
55
58
58
60
60
62
利用の手引き平成 20 年 12 月
０.はじめに
0. 改訂のポイント
平成 20 年 7 月版から平成 20 年 12 月版への改訂のポイントは以下のとおりです。
• 「6.3.キュー構成方針」
• 「6.4.1.パラレル利用キュー」
• 「6.4.3.特別利用キュー」
• 「6.4.4.施設利用 S キュー」
• 「9.4.並列プログラムの実行方法」
SR16000 では、偶数個の CPU を確保することになったことへの記述更新をした。
• 「6.4.2.デバッグ専用キュー」
SR16000 向けのデバッグキューの記述を加えた。
• 「9.4.1.スレッド並列プログラム」
SR16000 では、スレッド並列数の最大が 16 になったことを加えた。
• 「6.4.1.パラレルキュー」
閑散期に制限値が緩和される場合があることを記述した。
• 「7.1.Fortran の使い方」
• 「7.2.C/C++の使い方」
• 「7.5.使用コンパイラの切り替え」
インテルコンパイラー8.1 の記述を消去した。
インテルコンパイラー11.0 の記述を加えた。
MKL の新バージョンに関する記述を加えた。
• 「8.4.2.プロセス並列の実行例」
mpiexec が mpiexe になっていたのを修正した。
• 「10.3.1.2.シェルスクリプトを自分で書く Gaussian03 の例」
Altix4700 で g03p を使うように変更した。
PrimeQuest の例が Altix4700 と同じであったのを修正した。
SR1100 次世代とあったのを SR16000 に修正した。
過去のキュー名が残っていたのを修正した。
• 「10.3.3.ライブラリプログラム一覧」
最新の状況合わせた。（変更点多数につき詳細省略）
最新情報のページを紹介した。
平成 20 年 6 月版から平成 20 年 7 月版への改訂のポイントは以下のとおりです。
• 「6.2. JQS の構成」
Fortran の章へのリンクがあったのを削除した。
平成 20 年 4 月版から平成 20 年 6 月版への改訂のポイントは以下のとおりです。
• （全体）
「SR11000 後継機」の名称を正式名の SR16000 に変更した。
• 「目次」
amber8 となっていたのを amber9 に修正した。
• 「6.6. システム停止後のバッチジョブの扱い」
新規項目。
計算科学研究センター
1
利用の手引き平成 20 年 12 月
０.はじめに
• 「7.5. 使用コンパイラーの切り替え」
インテルコンパイラー10.1 や MKL10.0 からの移行に変更し、他の使い方の詳細も記載した。
• 「9.1.1.最適化 FORTRAN90 の使い方」
スレッド並列数の制限を記載。
• 「9.3.2. MSL2 の使い方」
リンクすべきライブラリーの大文字と小文字を間違えていたのを修正。
• 「10.3.1.2.シェルスクリプトを自分で書く Gaussian03 の例」
%mem に書くべき数字の記述を修正した。
並列実行数を２にし、サンプル例を修正した。
• 「10.3.2.amber9 の例」
サンプル例の並列実行数を２とした。
• 「10.3.3.ライブラリプログラム一覧」
Molpro2006.1 と NAMD の項を修正した。
平成 20 年 3 月版から平成 20 年 4 月版への改訂のポイントは以下のとおりです。
• 「2.9. パスワードに関する問い合わせ」
受付時間を変更した。
• 「6.4.2. デバッグ専用キュー」
未公開に変更した。
• 「7.*」、「8.*」
インテルコンパイラーのデフォルトのバージョンを変更した。
リンク時に-i-static オプションを付けることを推奨とした。
• 「8.3.3. IMSL の使い方」
インテルコンパイラーを使う場合の手順を変更した。
• 「9.3.2. MSL2 の使い方」
実行方法例のタイポを修正した。
• 「9.3.3. ESSL の使い方」
ESSL ライブラリーの使い方を新設した。
• 「10.3.3. ライブラリプログラム一覧」
年度毎に切り替えるデフォルトのバージョンを更新した。
GUI アプリケーションはフロントエンドのみで使えるのに、ccprq, cchsr が含まれていたのを削除した。
• 「付録 A. マニュアル」
すべてオンラインマニュアルになったのに伴い、廃止した。
平成 20 年 4 月版の修正
4 月 25 日修正
• 「9.3.4 BLAS・LAPACK・SCALAPACK の使い方」
BLAS・LAPACK・SCALAPACK の使い方を新設した。
平成 19 年 6 月版から平成 20 年 3 月版への改訂のポイントは以下のとおりです。
計算科学研究センター
2
利用の手引き平成 20 年 12 月
０.はじめに
• 「2.システムへの接続と利用」
hsr の記述を加え、sx7 と tx7 の情報を削除した。
• 「3. ハードウェア構成」
ccfep1/2 の情報更新と sx7 と tx7 の情報を削除した。
• 「4.ファイルシステム構成」
ディスクの新構成を反映した。
圧縮コマンドを gzip 系に変更した。
• 「5. 会話処理」
ccfep1/2 の情報更新と sx7 の情報を削除した。
• 「6. バッチ処理」
全面改訂。
• 「7. Fortran の利用」「8. C/C++の利用」「9. 並列プログラミング」
機種ごとに章を分けて、全面改訂。
• 「10. ライブラリプログラムの利用」
ライブラリプログラムの一覧表として掲載するようにした。
hsr の記述を加え、sx7, tx7 の記述を削除した。
平成 20 年 3 月版修正
3 月 4 日以下を修正
• 「9.1.1 最適化 FORTRAN90 の使い方」
「f90」を「xf90」に変更
• 「9.1.2 XL FORTRAN の使い方」
「-lmasspv6」を削除
• 「9.2 C/C++の利用」
「-lmasspv6」を削除
3 月 5 日以下を修正
• 「6.4.2 デバック専用キュー」
メモリ「3」GB を「3GB/CPU」に修正
CPU 数「6」を「6 から 1」に修正
ユーザ制限、グループ制限と「6」に修正
• 「6.4.3 会話処理」
ccfep1、ccfep2 の CPU 数を「8」から「6」に修正
• 「6.4.5 施設利用 S キュー」
キュー名「PBH」を「PHS」に修正
• 9.1.1.2 使用頻度の高いリンクオプション
「本センターでは、デフォルトのリンクオプションを「-64、-parallel=2」としています。」追記
リンクオプション「-Wl,-bmaxstack:N」と「-Wl,-blpdata」を削除
リンクオプション「-Wl,-bmaxdata:N」の機能に「※64 ビット利用の方は指定不要です。」を追記
「 ※32 ビット利用の方は、以下の指定をお願いします。リンクオプション：-32 ’Wl,ユbmaxdata:0x80000000’実行時環境変数の指定：HF_PRUNST_STACKSIZE=4096」を追記
• 「9.4 並列プログラムの実行方法」
計算科学研究センター
3
利用の手引き平成 20 年 12 月
０.はじめに
「※1 プロセス当たりのメモリ容量(ラージページ)最大値の指定には ConsumableMemory(N)を用います。N
には、gb/mb/kb 単位で整数指定します。指定を省略した場合には、センタデフォルト(3208MB/CPU)の容
量を割当てます。」を追記
3 月 12 日以下を修正
• 「9.1.1.2. 使用頻度の高いリンクオプション」
オプション指示内容に誤字が有りましたので修正しました。
(誤): -32'Wl,ユ-bmaxdata:0x80000000'
(正): -32 -Wl,'-bmaxdata:0x80000000'
• 「9.2. C/C++の利用」
C++の説明が抜けておりましたので、追記しました。
(誤): mpxlc_r
(正): mpcc_r
(追加)
非並列 : xlC
SMP 並列: xlC_r
MPI 並列: mpCC_r
• 「9.4. 使用頻度の高いコンパイルオプション」
説明内容に誤りがありましたので修正しました。
(誤): センタデフォルト(3208MB/CPU)の容量を割り当てます。
(正): センタデフォルト(3280MB/CPU)の容量を割り当てます。
4 月 14 日以下を修正
• 1.3 資源一覧
短期保存容量、長期保存容量の標準値を 10GB に変更。
• 1.4 利用期間
年度の終わりを修正。
• 1.6 利用方法
予約申し込み先を修正。
• 1.8 利用点数
課金係数一覧より Serial 関連を削除。
• 2.9 パスワードに関する問い合わせ
問い合わせ先電話番号の受付時間を追記。
• 4.1 ファイルシステムの概要
一覧表、文章の修正。
• 4.3 ファイルシステムの用途
文章を修正。
平成 19 年 5 月版から平成 19 年 6 月版への改訂のポイントは以下のとおりです。
• 「4.1.ファイルシステムの概要」
注書きの番号の誤りを修正
• 「6.5.5.バッチリクエストの作成と投入」
• 「10.3.1.2.シェルスクリプトを自分で書く Gaussian03 の例」
• 「10.3.2.amber8 の例」
計算科学研究センター
4
利用の手引き平成 20 年 12 月
０.はじめに
メモリーに関して記載例の変更
altix4700 で dplace コマンドを使うように変更
• 「10.3.3.ライブラリプログラム一覧」
Turbomole のバージョンの更新
• 「11.データベースについて」
fcdb の公開サーバーの変更
平成 19 年 4 月版から平成 19 年 5 月版への改訂のポイントは以下のとおりです。
• 「1.5.利用報告書と研究成果の出版」
許可時間ではなく利用実績で判断
• 「6.4.キュー構成」
PB, PBE, PBS, PI, SN, SNE の利用可能メモリー量を変更
• 「6.5.4.ジョブ実行中に/work 以下のファイルにアクセスする方法」
新オプション-n を記載
平成 19 年 1 月版から平成 19 年 4 月版への改訂のポイントは以下のとおりです。
• 「1.3.申請と審査方法」
並列係数の削除
• 「1.8.利用課金」
並列係数の削除
altix4700 と primequest の課金係数の改定
旧システムの記述削除
• 「1.5.利用報告書と研究成果の出版」
利用実績ではなく許可時間で判断
• 「4.1.ファイルシステムの概要」
altix4700 に/week を追加
• 「10.3.3.ライブラリプログラム一覧」
altix4700 と primequest に Molpro 2006.1 を追加
ccfep1, ccfep2 に GaussView を追加
平成 18 年 11 月版から平成 19 年 1 月版への改訂のポイントは以下のとおりです。
• 「1.3. 申請と審査方法」
• 「4.1. ファイルシステムの概要」
• 「4.3. ファイルシステムの用途」
/week の保存期間が誤っていたのを修正
• 「6.4.4. 特別利用キュー」
備考欄の誤りの修正
• 「10.3.1.1. g03sub を使う Gaussian03 の例」
-mem オプションを記載
• 「10.3.3. ライブラリプログラム一覧」
TURBOMOLE(altix4700), molpro2006.1(tx7)を記載
• 「4.2. ディレクトリ構成」
計算科学研究センター
5
利用の手引き平成 20 年 12 月
０.はじめに
Altix4700 に/week があるという記述を削除し、/prq_week が使えることを明記
平成 18 年 8 月版から平成 18 年 11 月版への改訂のポイントは以下のとおりです。
• 「6.5.2. バッチリクエストの状態を表示するコマンド」
新コマンド jobinfo の説明を掲載
• 「6.5.4. ジョブ実行中に/work 以下のファイルにアクセスする方法」
新コマンド catw、findw、headw、lsw、tailw の説明を掲載
• 「6.5.5. バッチリクエストの作成と投入」
• 「10.3.1.2. シェルスクリプトを自分で書く Gaussian03 の例」
Altix4700 のバッチスクリプトで cput を walltime に修正
• 「6.4.1. パラレル利用キュー」
• 「6.4.4. 特別利用キュー」
• 「6.4.5. 施設利用 S キュー」
Altix4700 に関して、1 CPU あたりの利用可能メモリー量を 11.5GB に変更
• 「6.5.5. バッチリクエストの作成と投入」
• 「9. 並列プログラミング」
SX-7 において並列実行の解説を削除
• 「6.5.5. バッチリクエストの作成と投入」
TX-7 のシリアル実行の解説を削除
• 「7. FORTAN の利用」
並列化に関する記述を 9 章に移動
「準備」の項を削除
• 「7.2.5. 使用コンパイラーの切り替え」
コンパイラーの切り替えについて項を新規作成
• 「8. C 及び C++の利用方法」
「準備」の項を削除
• 「8.3. Altix4700 の cc 及び CC コンパイラ」
コンパイラーの切り替えについて説明追加
• 「9.1.2.3. ハイブリッド実行」
Altix 4700 のハイブリッド実行の項を新規追加
• 「10.3.3. ライブラリプログラム一覧」
MOLCAS 6.4SP1(Altix4700)、AMBER 9(PRIMEQUEST、TX-7)、Gaussian 03 Rev D02(SX-7)を記載
平成 18 年 7 月版から平成 18 年 8 月版への改訂のポイントは以下のとおりです。
(1)「1.8 利用点数」
課金係数一覧の Parallel 課金式に「1CPU=1CPUCore」を追加
(2)「3.1 高速I/Oサーバサブシステム (SGI Altix4700)」
「3.2 密結合演算サーバサブシステム (富士通
PRIMEQUEST) 」
「OS は、1CPUCore を 1CPU と認識しています。」を追加
(3)「4.3 ファイルシステムの用途」
「（注意）利用者が直接 /tmp 上にファイルを作成することは、ご遠慮願います。」を追加
計算科学研究センター
6
利用の手引き平成 20 年 12 月
０.はじめに
(4)「6.5.4.1 シェルスクリプトを使用する方法」
「PBS Pro （Altix4700）」のサンプルスクリプトにおいて、メモリサイズの指定を「ジョブ全体で使用す
るメモリサイズを指定」に修正。また、下記の注意を追加
「(注意)ジョブ全体で使用するメモリサイズ：1CPU で使用するメモリサイズ×CPU 数
（Gaussian を使用する場合は、これに若干多めにしている必要があります）」
(5)「9.1 MPIを利用した並列プログラムのコンパイル」
TX-7 のコンパイラを修正
(6)「9.2.3 TX-7 の場合」
コンパイル例を修正
(7)「10.3.1.1 g03subを使うGaussian03 の例」
新しい g03sub の使い方の記述を追加
g03sub の利点・機能の記述の追加
(8)「10.3.1.2 シェルスクリプトを自分で書くGaussian03 の例」
altix4700 実行用シェルスクリプトの中でメモリの指定量をシステムの最大値に変更
(9)「10.3.3 ライブラリプログラム一覧」
パッケージプログラムの中で未インストールプログラムが混じっていたのを削除
（PRIMEQUEST の amber 9、TX-7 の VASP）
インストールされているプログラムのバージョンの記載誤りの訂正 (Presto)
記載漏れプログラムの掲載 (TX-7 の ABINIT、BLAST)
(10)「4.3 ファイルシステムの用途」
/work の使い方について注意点を記載
(11)「6.4 キュー構成」
PBE、PBS のユーザ制限、グループ制限を 128C に訂正
(12)「6.4 キュー構成」
PAS、PBS、PAE、PBE、PA、PB の CPU 数を 1 からに変更
(13)「4.1 ファイルシステムの概要」
ファイルサーバの/save 容量を 3.1TB に修正
(14)「1.5 利用報告書と研究成果の出版」
論文別刷り（PDF ファイルも含む）に修正
(15)「4 ファイルシステムの構成」
/week の保存期間を 2 週間から 8 週間に変更
計算科学研究センター
7
利用の手引き平成 20 年 12 月
1 センター運用方針
1. センター運用方針
計算科学研究センター（以下、センターとする）では、分子科学、基礎生物学及び生理学の研究の発展に
寄与する研究で、他の電子計算機センターでは出来ないようなプロジェクトを効果的に行うことを運用の主
眼とします。プロジェクト課題の審査に際しては、プロジェクトの目的、研究計画、方法や特色を重視しま
す。目的のはっきりした研究のため、数人の研究者が集まって行うプロジェクト研究をできるだけ奨励した
いと考えています。
1.1. 利用資格
センターを利用出来るのは、国・公・私立大学及び国・公立研究所等の研究機関の研究者。または、計算
科学研究センター担当所長がこれと同等の研究能力を有すると認める者（大学院博士課程後期在学中の者を
含む）が、分子科学、基礎生物学及び生理学の研究のために使用する場合。並びに、計算科学研究センター
長（以下、センター長とする）が特に必要と認めた場合に限られます。ただし、大学院学生が申請する場合
は、指導教官の承認を必要とします。
1.2. プロジェクト課題とプロジェクトグループ
センターの利用は、プロジェクト課題ごとのプロジェクトグル－プを単位として行われます。プロジェク
トグループ（以下、グループとする）は一名の代表利用者と一般には複数の共同利用者からなります。計算
機使用時間やファイルを共用することにより、大型プロジェクト研究の実行を容易にするように考えられて
います。
申請の利用区分は、次の通りです。
利用区分
所
内
施設利用
課題研究
協力研究
説
明
自然科学研究機構岡崎三研究所（分子科学研究所、基礎生物学研究所及び生理学研究
所。以下、この三研究所を所内とします）に所属する職員のグループ。
所内の方は、必ずこの利用区分になります。ただし、施設利用 S のみは、所内の方も申
請できます（施設利用 S が許可された場合は、所内の申請はできません）。
所外（自然科学研究機構岡崎三研究所以外）のグループ。
所外の方は、通常この利用区分になります。
施設利用 A：申請 CPU 時間が 1,000 時間の申請
施設利用 B：申請 CPU 時間が 1,000 時間を越える申請
施設利用 S：平成 18 年度導入の「超高速分子シミュレーター（8TFLOPS、メモリ 10TB
以上）」資源の 1/2 から 1/3 程度を全体で年間 3 から 4 件の研究課題に提供する申請
所内の研究所が募集するグループ。
申請には、所内の研究所が募集するプロジェクトに申請し、許可されている必要があり
ます。
所内の研究者と組んで研究を行うグループ。
申請には、所内の研究所が募集する研究協力に申請（このとき、「計算機利用」チェッ
クしている必要があります）し、許可されている必要があります。
利用点数割り当ての公正及びセンター事務作業の省力化のため、以下のことにご協力をお願いします。
(1) プロジェクト課題は、利用期間中に変更出来ませんので、具体的であるとともに包括的なものにしてく
ださい。
(2) 施設利用においては、同一研究室を一つのグループにまとめてください。
(3) 施設利用及び所内利用においては、同一研究者が複数グループに所属することは認められません。
計算科学研究センター
-1-
利用の手引き平成20年12月
1 センター運用方針
(4) 所内に所属する方は、施設利用、協力研究のグループに所属することは出来ません。
(5) 所外に所属する方は、所内利用のグループに所属することは出来ません。
(6) 課題研究、協力研究と施設利用との類似研究課題についての重複は認められません。類似かどうかの判
定は、共同研究専門委員会と計算科学研究センター運営委員会（以下、センター運営委員会とする）が
行います。同一研究者が課題研究、協力研究と施設利用に重複して（代表者あるいは共同利用者とし
て）含まれる場合には、課題間の関連性、独立性について申請書に明記してください。
1.3. 申請と審査方法
所外利用者からの申請に対するCPU 時間の割り当ては、施設利用、課題研究、協力研究の如何によらず、
センター運営委員会(「1.9 運営委員会」参照)の手続きによる審査に基づき、センター長が許可します。
申請の利用区分については、「1.2 プロジェクト課題とプロジェクトグループ」を参照してください。
センターでは、大規模ジョブ（長時間、高メモリ、高並列）が利用出来る環境として、特別利用キュー（
「6.4 キュー構成」参照）を用意しています。特別利用キューを希望されるグループは、その理由を記述し
て申請をしてください。特別利用キューの利用可否は、センター運営委員会の審査によって決定されます。
標準 CPU 時間（1,000 時間）の申請は、随時受け付けています。標準 CPU 時間を超える申請は、申請期間
が決まっています。
申請種別は、次のように分かれています。
申請種別
説
明
全くの新規利用の場合の申請。もしくは、以前に利用したことのあるプロジェク
利用申請
トの場合の申請。標準 CPU 時間の申請は、随時出来ます。
今年度に引き続き次年度も利用したい場合の申請で、利用期間（今年度）中に手
続きを行う必要があります。年度の終わりを過ぎてしまった場合は、「利用申
継続申請
請」にて申請を行ってください。標準 CPU 時間の申請は随時出来ます。グループ
コードは引き継がれます。申請期間は、12 月 1 日から年度の終わりまで。*1
利用許可後、CPU 時間、ディスク容量などが不足してきた場合に CPU 時間、ディ
補充申請
スク容量の補充するための申請。申請は随時出来ます。
共同利用者の追加、共同利用者の削除や共同利用者の情報（氏名、所属、連絡先
メンバ管理申請
など）を変更したい場合の申請。申請は随時出来ます。
*1：年度の終わりは、「1.4 利用期間」を参照してください。
資源一覧
資源種別
CPU 時間
ホームディレクト
リ
(/home)
短期保存ファイル
(/week)
計算科学研究センター
説
明
センターの全ての計算サーバを利用出来ます。
課金は、点数で行っています。
各計算サーバには、計算能力に応じた点数換算係数が設定されています。課金
係数などの詳細は、「1.8 利用点数」を参照してください。
標準値は、1,000 時間です。標準値以上の申請も可能です（「1.3.2 申請区分と
申請期間」を参照）。
利用者のホームディレクトリです。利用期間中保存されます。
標準値は、10GB×利用者数です。標準値以上の申請も可能です。
詳細は「 4 ファイルシステム構成」を参照してください。
ジョブの中間ファイルなどを短期間保存しておくためのファイルシステムで
す。
ファイルの保存期間は最長 8 週間です（8 週間を過ぎたファイルは自動的に削
除されます）。
-2-
利用の手引き平成20年12月
1 センター運用方針
長期保存ファイル
(/save)
1.3.1.
標準値は、10GBです。標準値以上の申請も可能です。
詳細は「 4 ファイルシステム構成」を参照してください。
大容量のファイルを利用期間中保存することが出来ます。
標準値は、10GBです。標準値以上の申請も可能です。
詳細は「 4 ファイルシステム構成」を参照してください。
審査について
申請の審査においては、申請書、過去の申請書、利用報告書、発表論文、学会発表などに基づく運営委員
による評価の平均点から割当時間などを、運営委員会によって定められた計算式から算出します。従いまし
て、申請の「グループの目的・研究内容」には、研究目的、研究内容（継続して申請をされる場合は、これ
までの経過や成果を必ず記述すること）を詳細に記述し、「実施計画」には、研究全体の実施計画、申請し
た CPU 時間が必要な理由などの他、具体的な計算機の利用方法、使用するプログラム（名称、開発者、既存
のものか新規のものか、どのような内容・特徴を持つのか）などを詳細に記述してください。また、計算機
資源の標準値を超えて申請する場合は、その理由も詳細に記述してください。これらの記述が不十分ですと
評価が著しく悪くなり、割り当てが低くなることがあります。
CPU 補充申請においては、「CPU 追加希望理由」に追加が必要になった理由を記述し、「進捗状況」に申
請済みの研究内容や実施計画におけるこれまでの経過と成果を、今後の実施計画と達成目標」に CPU 補充申
請が認められた場合の実施計画、達成目標とその見通しを詳細に記述してください。申請同様、これらの記
述が不十分ですと評価が著しく悪くなり割り当てが低くなることがあります。
1.3.2.
申請区分と申請期間
◆施設利用
標準 CPU 時間の申請（施設利用 A）は、随時出来ます。
標準 CPU 時間を超える申請（施設利用 B、施設利用 S）の申請期間は、次の通りです。
申請時期
12 月 1 日から 12 月末日頃
6 月 1 日から 7 月末日頃
利用期間
年度の始まりから年度の終わりまで。*1
10 月 1 日から年度の終わりまで。
◆課題研究
申請の申請期間は、次の通りです。
申請時期
12 月 1 日から 12 月末日頃
利用期間
年度の始まりから年度の終わりまで。*1
申請には、所内の研究所が募集するプロジェクトに申請し許可されている必要があります。
◆協力研究
申請の申請期間は、次の通りです。
申請時期
協力研究前期 12 月 1 日から 12 月末日頃
協力研究後期 6 月 1 日から 7 月末日頃
利用期間
年度の始まりから年度の終わりまで。*1
10 月 1 日から年度の終わりまで。
申請にあたっては、所内の研究所が募集する研究協力に申請（このとき、「計算機利用」チェックしてい
る必要があります）し許可されている必要があります。
申請期間は、年度によって多少のずれが生じる場合があります。最終的な申請期間は、センターのHPにて
計算科学研究センター
-3-
利用の手引き平成20年12月
1 センター運用方針
ご確認ください。
*1：「年度の始まり」、「年度の終わり」は、「1.4 利用期間」を参照してください。
（注意）
(1) 4 月の第一月曜 9:00 から第一水曜日 19:00 までは、年度更新処理作業のため運用を停止します。
1.3.3.
補充申請
代表利用者はグループの利用点数などの残りを把握していなければいけません。補充申請は随時受け付け
ておりますが、補充申請には約 1 ヶ月の余裕をもって行ってください（申請から許可まで 1 ヶ月くらいかか
る場合もあります）。
◆大口 CPU 時間補充申請
補充したい CPU 時間が 1,000 時間または、既許可 CPU 時間の 50%を超える補充申請は、運営委員による審
査が行われますので、許可までに約 1 ヶ月の時間を要することがあります。
◆小口 CPU 時間補充申請
大口 CPU 時間補充申請に当てはまらない CPU 時間の補充申請は、運営委員会で定められた半年ごとの割当
規則に基づき、センターが割り当てを行います。ただし、小口 CPU 時間補充申請でも 3 回目からは大口 CPU
時間補充申請と同様に扱われます。
◆ディスク容量補充申請
ホームディレクトリ容量、短期保存ファイル容量、長期保存ファイル容量の補充申請は、各ディスクの使
用状況に応じてセンターが割り当てを行います。
◆特別利用キュー
運営委員の審査により可否を決定します。
1.3.4.
メンバ管理申請
◆利用者の情報変更
利用期間中に利用者の情報に変更が生じた場合は、速やかに申請を行ってください。
特に、連絡先（電子メールアドレス、電話番号、所属）は、間違いのないようにしてください。氏名、電子
メールアドレス以外は、瞬時に情報変更が行われます（氏名、電子メールアドレスは、計算機システム登録
時に使用している都合上、情報変更に時差があります）。
◆利用者の追加
利用期間中は、新たに利用者を追加することが出来ます。追加が完了するまでに一週間程度かかる場合が
あります。追加が認められた場合は、郵送にてお知らせします。
◆利用者の削除
利用期間中に利用者を削除することが出来ます。また、利用者の転出などにより、新たなプロジェクトに
おいて利用追加もしくは、利用申請をする場合は、先に前プロジェクトから利用者削除を申請しなければい
けません。
◆代表利用者の変更
利用期間中に代表利用者を、別のグループ内利用者に変更することが出来ます。現在のグループ内利用者
以外の方を、代表利用者にされたい場合は、まず、「利用者の追加」を行っていただき、許可後に変更をお
願いします。
計算科学研究センター
-4-
利用の手引き平成20年12月
1 センター運用方針
1.3.5.
申請方法
利用申請、継続申請、補充申請、メンバ管理申請は、WWWを利用した電子申請のみです。アドレス
（URL）は次の通りです。
http://ccapply.center.ims.ac.jp/
ただし、施設利用Sは、センターホームページよりMicrosoft Word形式ファイルをダウンロードしていただき、
必要事項を記述の上、指定方法で申請をしてください（http://ccinfo.ims.ac.jp/center/riyo-s.html）。
なお、上記の電子申請システムは、システムセキュリティの為、接続出来るマシンを制限しております。接
続が許されるマシンは、次の通りです。
◆接続が許されるマシン
電子申請システムに接続してきたマシンのホスト名の最後が、.jp で終わるマシンで、IP アドレスからホス
ト名が引けて（逆引き）、その逆引きできたホスト名から IP アドレスを引き（正引き）、逆引きに使用し
た IP アドレスと一致するマシン
ご自身のマシンが逆引き、正引きできるかは次のコマンドを利用すると分かります。
(Windows の場合は、「コマンドプロンプト」。Mac OS X の場合は、「Terminal」)
% nslookup IPアドレス
% nslookup ホスト名
上記の接続制限にて接続出来ない場合は、次のようなメッセージがWebブラウザ上に表示されます。
Forbidden
You don't have permission to access / on this server
貴機関のネットワーク運用によって、正引き（ホスト名から IP アドレスが引けない）が出来ないことが
あります。これは、貴機関における DNS において、正引きができるように設定がされていないと思われます。
このような場合は、貴機関のネットワーク担当者にご相談ください。
利用申請、継続申請は、所属長の公印（施設利用の場合のみ）や代表利用者が大学院学生の場合は、指導
教官の印が必要になります。申請受け付け後、センターよりプリントアウトされた申請書が郵送にて代表利
用者の元に送られますので、その申請書に公印を押印後、センター宛に返送してください。この返送された
申請書をセンターが受け取ってから、審査の手続きが始まります。
（注意）
(1) 所属長の公印（施設利用の場合のみ）、指導教官の印（代表利用者が大学院学生の場合のみ）が押印さ
れていないため、差し戻されるケースが多くありますので注意してください。
(2) 日常的に使用している電子メールアドレスがあれば必ず記入ください。センターからのお知らせなどが
送付されます。
◆利用申請及び続申請手順
計算科学研究センター
-5-
利用の手引き平成20年12月
1 センター運用方針
ユーザ
1.電子申請システムへアクセスし申請
-------------------------------------------------------------------------------------------->
2.プリントアウトされた申請書を代表利用者へ郵送
<-------------------------------------------------------------------------------------------3.所属長の公印が押印された申請書を返送
-------------------------------------------------------------------------------------------->
4.運営委員による評価
5.利用許可を通知
<--------------------------------------------------------------------------------------------
センター
1. 電子申請システムへアクセスし、利用申請もしくは、継続申請（利用者ログイン後、「継続申請を行う」
ボタンをクリックして）へ進んで、必要事項を記述の上、申請を行ってください。最後に申請内容の確認
が２回行われます。申請は、「申請完了」のメッセージが表示されれば正常終了しています。継続申請の
場合は、利用者ログインしたログイン画面にて、申請状況が確認出来ます。
2. センターにて受け付けした申請をプリントアウトし、代表利用者宛に郵送します。
3. 代表利用者は、郵送されてきた申請書の内容を確認の上、所属長の公印を押印していただき、センターに
返送してください。代表利用者が大学院学生の場合は、指導教官の印も必要です。
4. 返送されてきた申請書の内容を確認の上、センター運営委員にて審査が行われ割当時間などが決まります。
5. センターで登録などの処理後、利用許可通知がセンターより郵送されます。
◆補充申請手順
ユーザ
1.電子申請システムへアクセスし申請
-------------------------------------------------------------------------------------------->
2.運営委員による評価
3. 利用許可を通知
<--------------------------------------------------------------------------------------------
センター
1. 電子申請システムへアクセスし、利用者ログイン後「補充申請を行う」ボタンをクリックして、必要事項
を記述の上、申請を行ってください。
2. 申請をセンター運営委員にて評価が行われ、割当時間などが決まります。
3. センターで登録などの処理後、利用許可通知がセンターより郵送されます。
◆メンバ管理申請手順
ユーザ
1.電子申請システムへアクセスし申請
-------------------------------------------------------------------------------------------->
2. 利用許可を通知（利用者の情報変更以外）
<--------------------------------------------------------------------------------------------
センター
1. 電子申請システムへアクセスし、利用者ログイン後「メンバ管理申請を行う」ボタンをクリックして、必
要事項を記述の上、申請を行ってください。
2. 利用者の情報変更以外の場合は、センターで登録などの処理後、利用許可通知がセンターより郵送されま
す。
但し、共同利用者の情報のうち、氏名と電子メールアドレス以外の情報を変更された場合は、瞬時に変更
されます。
計算科学研究センター
-6-
利用の手引き平成20年12月
1 センター運用方針
1.4. 利用期間
利用期間は年度単位です。システムは終日稼働しています。
年度の始まり 4 月の第一月曜日 9:00
（施設利用、協力研究においては、10 月 1 日利用開始の申請があります。
詳細は、「1.3.2 申請区分と申請期間」を参照してください）
年度の終わり翌年 4 月の第一月曜日 9:00
但し、下記の場合は、システムを停止します（ユーザ利用不可）
(1) 定期メンテナンス日（原則、毎月第 1 月曜日の 9 時から 19 まで）。第 1 月曜日が祝祭日や正月、ゴー
ルデンウィークなどの場合は、翌日もしくは翌週にする場合があります。次のメンテナンスの日時は、
センターホームページ「運用のお知らせ」（利用者限定ページ）でお知らせします。
(2) 年度更新作業日（毎年 4 月の第 1 月曜日 9 時から第 1 水曜日 19 時まで）。
(3) 電気設備などの点検に伴う停電日（詳しい日時は、前もってお知らせします）。
(4) 雷、台風などの接近に伴い停電の恐れがある場合。
(5) 早急な障害対策、障害事前対策が必要な場合。
継続して利用したいグループは、申請募集が始まってから年度の終わりまで（課題研究、協力研究や標準
CPU時間を超える施設利用は、センターが定める申請期間内（「 1.3.2 申請区分と申請期間」を参照））
に申請を行ってください。
1.5. 利用報告書と研究成果の出版
利用期間終了後 60 日以内に、利用報告書をセンター長宛に提出して頂きます。長時間利用（利用実績が
40,000 点を超える）グループの報告書は、「センターレポート」にまとめて出版し公表します。センター
利用による研究成果を出版する場合は、必ず「計算科学研究センターを利用した」旨を論文中に明記してく
ださい。また、その別刷り 1 部（PDF ファイルも含む）をセンターに送付してください。センターへの論文
提出状況も「センターレポート」で公表します。
（例）
The computations were performed using Research Center for Computational Science, Okazaki, Japan.
1.6. 利用方法
利用が許可された期間中は、センターがオープンしている限り随時来所して利用（利用者のための端末室
があります）することが出来ます。また、電話公衆網、ISDN、学術情報ネットワーク（SINET）によって利
用することが出来ます。
共同利用研究者宿泊施設の利用を希望するときは、宿泊希望日の１週間前までに国際研究協力課共同利用係、
（0564）55－7133（ダイヤルイン）へ予約申し込みしてください。
1.7. 利用課金
利用課金は、差し当たり徴収しませんが、予算の関係上、場合によっては、消耗品等を何らかの方法で、
利用者に負担して頂くことがあるかもしれません。
計算科学研究センター
-7-
利用の手引き平成20年12月
1 センター運用方針
1.8. 利用点数
計算機利用の配分のためにプロジェクト課題ごとに利用点数（許可 CPU1 時間当たり 400 点を割り当てて
います）が割り当てられます。各グループは、割り当てられた点数を越えて計算機を利用することは出来ま
せん。利用点数 P は、次の式に従ってジョブごとに算出されます。
利用点数 P = Patxp + Pprqp + Phsrp
Patxp：Altix4700のパラレルジョブキューで利用した点数
Pprqp：PRIMEQUESTのパラレルジョブキューで利用した点数
Phsrp：SR16000のパラレルジョブキューで利用した点数
◆課金係数一覧
2008年3月以降
システム名
点数換算係数
Altix4700
PRIMEQUEST
SR16000
0.0090
0.0060
0.0090
CPU1 時間当たりの消費点数
(3600×点数換算係数)
32.40
21.60
32.40
課金 = ジョブ経過時間 × CPU数 × 点数換算係数
Parallel
ジョブ経過時間 : ジョブの終了時間から開始時間を引いた時間
CPU数 : ジョブに割り当てられたCPU数。
◆キュー別コストパフォーマンス一覧
各キュークラスにおける 1 時間当たりの利用点数(消費点数/時)は、以下の表のようになります。
（注意）
(1) 演算性能は、理論ピーク性能の総和です。単位は、GFLOPS です。
(2) CP（コストパフォーマンス）は、1GFLOPS を得るのに必要な点数で、小さい方がお得です。
(3) CP 算出式は、（消費点数÷演算性能）です。
(4) 消費点数は、利用点数算出式を使用して経過時間 1 時間当たりの点数です。
(5) 標準時間算出式は、（消費点数÷400）です。該当消費点数を消化する CPU 時間です。
パラレルジョブキュー
キュー名
PA, PAE, PAS
PB, PBE, PBS
PH, PHE, PHS
CP
5.06
3.38
5.06
計算科学研究センター
消費点数
259.2 点
172.8 点
259.2 点
標準時間
0.648 時間
0.432 時間
0.648 時間
課金係数
0.0090
0.0060
0.0090
-8-
演算性能
51.2
51.2
75.2
マシン名
Altix4700
PRIMEQUEST
SR16000
備考
8CPU
8CPU
8CPU
利用の手引き平成20年12月
1 センター運用方針
1.9. 計算科学研究センター運営委員会
センターの管理運営に関する重要事項を審議し、センター長に助言するためセンターに計算科学研究セン
ター運営委員会が置かれています。委員会はセンター長、センター教授及び助教授、分子科学研究所 2 名、
基礎生物学研究所 2 名、生理学研究所 2 名、所外 5 名の計 14 名の委員で構成されています。各研究所
の委員は、各所長の推薦により委嘱されます。所外委員は、担当所長により委嘱されます。「施設利用」に
よるプロジェクト課題の採否、計算機利用の配分などは、この運営委員会によって審査され決定されます。
計算科学研究センター
-9-
利用の手引き平成20年12月
2 システムへの接続と利用
2. システムへの接続と利用
センターの計算機システムへ接続する方法には
2.1 ネットワークを介して接続する方法
2.2 電話回線を使って接続する方法
2.3 分子研の端末室から接続する方法
の 3 通りを利用することが出来ます。以下、順に説明します。
2.1. ネットワークを介して接続する方法
インターネット（SINET）を経由して接続する場合の接続先は、
ccfep1.ims.ac.jp (133.48.220.11)
ccfep2.ims.ac.jp (133.48.220.12)
TSS Job Entry (TSS-JE)マシン
TSS Job Entry (TSS-JE)マシン
です。
センターでは、システムセキュリティの為、ホスト名の最後が.jp（実質、日本国内のみのマシンで、ホス
ト名が DNS より引ける（逆引きできる）マシン）のみを接続許可しております。
ネットワークが利用できない場合は、電話回線から接続出来ます（「2.2 電話回線を使って接続する方
法」を参照してください）。
会話処理を行うことができるマシンは、TSS-JE マシン以外に、
ccatx
ccprq
高速 I/O サーバサブシステム(Altix4700)
密結合演算サーバサブシステム(PRIMEQUEST)
があります。一度、TSS-JE マシンにログインした後で、rlogin コマンドもしくは ssh コマンドを使ってこれ
らのマシンにログインすることが可能です。
ccatx と ccprq は、ssh コマンドを使用してログインできます。
% ssh ログイン名@ccatx
TSS-JE にログインしたときと同じログイン名でログインする場合は、ログメイン名@は省略できます。
% ssh ccatx
2.1.1.
sshによる接続
センターの ccfep1 と ccfep2 では、ssh（Secure SHell）コマンドを利用した接続が出来ます。ssh は、ネッ
トワーク上の送受信データを暗号化しますので、ログインなどの操作を安全に行うことが出来ます。
インターネットにつながっている、UNIX ワークステーションやパソコンなどの ssh コマンドが使用でき
るマシンから接続してください。UNIX 系マシン（Mac OS X を含む）は、次のようにコマンドラインから使
用出来ます。
計算科学研究センター
- 10 -
利用の手引き平成 20 年 12 月
2 システムへの接続と利用
（例）
ssh ユーザ名@ccfep1.center.ims.ac.jp
% ssh [email protected]
もしくは
% slogin [email protected]
WindowsマシンやMac OSから接続するには、市販やフリーソフト（PuTTY（Windows用）など、http://ccin
fo.ims.ac.jp/information/aboutssh.html）のsshクライアントソフトウェアが必要です。
2.1.2.
接続エラーについて
ssh コマンドを利用して、センターに接続しようとした時に、
ssh:connect:Network is unreachable
ssh:connect:Host is unreachable
と、表示されて接続できない場合は、途中のネットワークが不調の場合か、利用者側のネットワーク設定に
誤りがある可能性があります。マシン管理者やネットワーク管理者にお問い合わせください。
ssh:connect:Connection refused
ssh:connect:Connection timed out
のエラーメッセージが表示される場合は、保守や停電のために、センターがサービスを一時的に停止してい
る可能性があります。緊急のシステムダウンの場合を除いて、あらかじめセンターホームページの「センタ
ー利用者への情報」->「センター利用者限定ページ」にあります「運用のお知らせ」や利用者宛に電子メー
ルでお知らせしていますので、これらの情報に常に目を通されることをお勧めします。
その他の原因として、接続元マシンのホスト名が DNS より参照（逆引き）できない場合も同様に表示さ
れる場合があります。この場合は、該当マシンを逆引き出来るようにDNS登録していただく（利用者側の
ネットワーク管理者にご相談ください）か、逆引きが可能なマシンより接続してください。
ccfep1,ccfep2, にはログイン出来るが、ccatxにログイン出来ない場合も、保守などでサービスを一時的に
停止している可能性があります。
接続出来ない理由が、センターに至るまでのネットワーク障害なのか、それとも本センターのシステムダ
ウンが原因なのかを判明させる方法として、「2.2 電話回線を介して接続する方法」があります。この方法
により、ccfep1 にログイン出来れば、センターに至るまでのネットワーク障害の可能性が高いです。
2.2. 電話回線を介して接続する方法
インターネット経由で、センターに接続出来ない利用者のために電話回線の受け口を設けています。一般
電話回線、ISDN 電話回線からの接続が可能です。接続は、従来の tty 手順（無手順）接続に加えて IP
（PPP）接続も可能です。
◆電話番号
0564-57-1170 (８回線)
ISDN 電話回線 64kbps
一般電話回線 56k(K56flex),33.6k,28.8k, 14.4k, 9600,4800,2400,1200bps
計算科学研究センター
- 11 -
利用の手引き平成 20 年 12 月
2 システムへの接続と利用
2.2.1.
tty手順（無手順）接続
◆端末設定
データビット : 8
ストップビット : 1
パリティビットなし
画面制御 : VT100
漢字コード : EUC
◆接続手順
まず、センター接続のための認証を行います。この場合のログイン名とパスワードは、センターのユー
ザコード、パスワードと同じものですが、ログイン名にはセンターのユーザコードの後ろに %term@rccs を
付けてください。
接続が完了すると、無条件に ccfep1 へ telnet 接続をしますので、再度 ccfep1 にログインする操作を行って
下さい。
◆接続操作例
モデム(または TA)からダイヤル発信(atdp または atdt 0564-57-1170)をすると、次のようなログイン可能状
態になります。
** AscendPipeline Terminal Server **
login: qp3%term@rccs
ユーザコード%term@rccs を入力する
Password: ********
パスワードを入力する
Connecting to133.48.220.11 ...
Escapecharacter is '^]'
Connected
Red Hat Linux Advanced Server release 2.1AS (Derry)
Kernel 2.4..18-nec3.3.034 on an ia64
login: qp3
ユーザコードを入力する
Password: ********
パスワードを入力する
[qp3@ccfep1 ~]$
ログインプロンプトが表示される
2.2.2.
IP（PPP）接続
IP アドレス、ゲートウェイアドレス、DNS アドレスは、サーバより提供されますので、クライアント側
（利用者側マシン）は、サーバに従う設定にしてください。
Macintosh をご利用の方は、認証プロトコルの設定は、PAP を指定してください。さらに、DNS の情報が
伝われない場合は、133.48.220.11 を指定してください。ログイン名とパスワードは、センターのユーザコー
ドとパスワードと同じですが、ログイン名には、ユーザコードの後ろに %ppp もしくは、@rccs を必ず付け
てください。
ログイン出来ない場合は、モデム及び端末の設定を確認後、電子メールでお問い合わせください。
（mailto: [email protected] 詳細は、「2.10 センターへの質問と情報取得について」を参照してくだ
さい）。
2.3. センター内端末室から接続する方法
センター2 階には、利用者のための端末が設置してあります。端末室の利用時間は、平日朝 8 時半から夜
10 時迄となっております。土日、祝祭日、年末年始（通常 12 月 29 日から翌年 1 月 3 日まで）及び時間外の
利用は出来ません。
センター端末室の使用を希望される方は、電話もしくは、電子メールにて使用できるかを確認してくださ
い。
計算科学研究センター
- 12 -
利用の手引き平成 20 年 12 月
2 システムへの接続と利用
2.4. ログイン名とパスワード
下記のことは、全てのシステム（TSS-JE、Altix4700、PRIMEQUEST、SR16000）において共通です。
2.4.1.
ログイン名
郵送された利用申請書（コピー）のユーザコード(アルファベット小文字 2 文字と数字 1 文字の 3 文字)が、
ログイン名です。ログイン名は、すべて英数半角小文字です。
施設利用と所内利用を利用者は、両利用区分においてユニークなユーザコードが割り当てられます。課題
研究、協力研究においては、使い回しのユーザコードが割り当てられます。
2.4.2.
パスワード
◆新規利用者の場合
初期パスワードは、一定の規則に従ってセンターで設定します。設定規則は、利用許可通知（代表利用者
に郵送）に添えられている「計算機利用にあたって」に記載していますので、そちらを参照してください。
◆継続利用者の場合
継続利用者のパスワードは、前年度に引き続き同じパスワードが使用出来ます。それ以外の利用者（ユー
ザコードは持っているが、継続利用者ではない既存利用者）は、新規利用者と同じ規則でパスワードが初期
化されています。
2.4.3.
パスワードの変更方法
yppasswd コマンドを使用して変更します。例えば、ユーザコード qp3 の利用者が初期パスワード qp3desu
を imscc123 に変更する手順は、次のとおりです。パスワードは、６文字以上を設定してください。なお、
パスワードの変更においては、以前使用していたパスワードの３箇所以上の変更が必要です。
（警告）
新規利用者は、最初のログイン時に直ちに新しいパスワード（氏名や生年月日など個人の情報から容易に推
測できるようもの、辞書にある単語その組み合わせなどは使用せず、英字、数字、記号を入れ混ぜた形のも
のにしてください）に変更するようにしてください。これは、システムの安全管理上、非常に重要なことで
す。そのままのパスワードを利用されている場合、他人に不正利用されてもセンターでは一切責任を持ちま
せん。また、パスワードを他人に知られたことが原因で、システム全体に不利益を与えた場合、応分の補償
をして頂くこともあり得ますので、設定には十分にご注意ください。
ccfep1> yppasswd
Changing NIS password for qp3
Old NIS password: qp3desu
New password: imscc123
Retype new password: imscc123
NIS passwd changed on ccadmin
（注意）
(1) 入力するのは下線の部分です。入力した文字は、実際には画面上に表示されません。また、登録が完了
しても、変更が全システムに反映されるまで若干の時間がかかります。パスワードが、システムに反映
される前にyppasswdコマンドでパスワード変更を行うと、パスワードが、ごちゃごちゃになることがあ
ります。万が一パスワードが分からなくなった場合は、「2.9 パスワードに関するお問い合わせ」を参
照してセンターにご連絡ください。センターにてパスワードを初期化します。
計算科学研究センター
- 13 -
利用の手引き平成 20 年 12 月
2 システムへの接続と利用
2.5. ログインシェル環境設定ファイルについて
初期のログインシェルは、C シェルです。ユーザにはデフォルトで、 .login、.cshrc の環境設定ファイルが
作成されています。このファイルには、センターの計算機システム利用に必要最低限のものが設定されてい
ますが、ユーザ側で利用しやすいようにカスタマイズ（設定の仕方は、市販の UNIX 書籍などを参考にして
ください）しても構いませんが、初期設定されているものを削除したり変更したりしますと、コマンド等が
使用できなくなることがありますので、カスタマイズには十分注意して下さい。
2.6. グループの利用点数など利用上限値について
グループには、許可された利用点数、ホームディレクトリ（/home）容量、短期保存ファイル（ /week）容
量、長期保存ファイル（/save）容量が設定されます。グループ内の利用者にグループ許可値内で、利用点数、
ファイル容量の利用上限値設定をすることが出来ます。設定方法は、「2.7.1 利用点数管理（GSBU）につい
て」、「2.7.2 ファイル容量管理（GQUOTA）について」、を参照してください。利用点数上限値は、すべ
ての計算サーバを利用できる上限値として設定されます。
2.7. グループにおける利用点数管理・ファイル容量管理
センターの利用点数管理及びファイル容量管理は、グループ単位で行っています。マルチベンダー環境下
のシステムでは、各計算サーバが持っている管理方法が違うため、センターでは、独自に作成したシステム
で管理しています。現在は、1 日 8 回(3 時間おき)、利用点数管理及びファイル容量管理を行っています。
2.7.1.
利用点数管理（GSBU）について
GSBU（the Group System Billing Unit）は、グループ内利用者の利用点数を集計（実行を終了したジョブな
どの累積利用点数と現在実行中ジョブが、その時点までに費やした利用点数の集計を、1 時 30 分を起点に 3
時間周期に行っています）し、グループ上限値を超えているかどうかを判定します。利用手点数が上限値を
超えている場合は、グループ内利用者全員の全ての実行中ジョブを削除し、新たなログイン（TSS-JEマシン
へはログイン出来ます）、新たなジョブ投入と実行もできなくなります。以後も、利用を希望される場合は、
CPU時間の補充申請を行ってください。申請方法は、「1.3.3 補充申請」を参照してください。
グループの代表利用者は、必要に応じてグループ内利用者の利用点数上限値を、グループ上限値の範囲内
で設定することが出来ます。
◆グループ内利用者の上限値設定
グループの代表利用者は、雛形の制限ファイル（cpu.default）を cpu という名前でコピーし、vi エディタ
などを使用して編集し保存してください。ファイルの書式は、次のようになっています。第 3 カラムが利用
点数上限値です。各利用者のこの値を変更することによって、該当ユーザは、その点数を超えて利用するこ
とが出来なくなります。なお、超過チェックは、3 時間ごとに行われていますので、多少利用点数が上限値
を超えることがあります。
グループ内利用者の利用点数上限値設定ファイル書式
ユーザコード UID 利用点数上限値
（注意）
(1) 雛形の利用点数上限値は、グループの利用点数上限値です。
(2) このファイルの編集は、代表利用者のみ行えます。
(3) cpu ファイルを作成しないと、グループ内利用者の利用制限は出来ません。
計算科学研究センター
- 14 -
利用の手引き平成 20 年 12 月
2 システムへの接続と利用
操作手順
% cd /JP/GSBU/AG/grpA/lim/グループ名 # 制限ファイルがあるディレクトリに移動
% cp ./cpu.default ./cpu
# デフォルトファイルをコピーする
% vi cpu
# viエディタなどでファイルを編集する
2.7.2.
ファイル管理（GQUOTA）について
GQUOTA（the Group disk QUOTA ）は、グループ内利用者が使用したファイル容量をファイルシステム毎
（/home、/week、/save）に集計（0 時起点に 3 時間周期に行っています）し、グループ上限値を超えているか
どうかを判定します。利用ファイル容量が上限値を超えている場合は、新たなログイン（TSS-JEマシンには
ログイン出来ます）、新たなジョブ投入と実行ができなくなります。以後も、利用を希望される場合は、デ
ィスク資源の補充申請を行うか、TSS-JEマシンにログインして、該当ファイルシステムの利用ファイル容量
を減らしてください（次のチェック時に利用ファイル容量が上限値内であれば、再び利用できるようになり
ます）。申請方法は、「1.3.3 補充申請」を参照してください。
グループの代表利用者は、必要に応じてグループ内利用者の各ファイル容量上限値をグループ上限値の範
囲内で設定することが出来ます。
◆グループ内利用者の上限値設定
グループの代表利用者は、雛形の制限ファイル（*.default）を home、week や save という名前でコピーし、
vi エディタなどを使用して編集し保存してください。ファイルの書式は、次のようになっています。第 3 カ
ラムが利用ファイル容量上限値(単位は MB)です。各利用者のこの値を変更することによって、該当ユーザ
は、そのファイル容量を超えて利用することが出来なくなります。なお、超過チェックは、3 時間ごとに行
われていますので、多少利用ファイル容量が上限値を超えることがあります。
グループ内利用者の利用ファイル容量上限値設定ファイル書式
ユーザコード UID 利用上限値
（注意）
(1) 雛形の利用ファイル容量上限値は、グループの利用ファイル容量上限値です。ただし、/home に関して
は、10000MB が設定されています。
(2) このファイルの編集は、代表利用者のみ行えます。
(3) home、week、save ファイル各々を作成しないと、グループ内利用者の利用制限は出来ません。
% cd /JP/GSBU/AG/grpA/lim/グループ名 # 制限ファイルがあるディレクトリに移動
% cp ./home.default ./home
# デフォルトファイルをコピーする
% vi home
# viエディタなどでファイルを編集する
2.8. 資源使用状況確認コマンド
利用者は、showlim コマンドを使用することによって、グループ及び利用者に設定されている現在の上限
値と使用した CPU 利用点数、実行中ジョブの消費 CPU 利用点数や利用ファイル容量を確認することが出来
ます。
showlim‥‥グループと利用者の CPU(ディスク) 上限値、CPU(ディスク)使用状況の出力
形式
showlim -cpu|-disk [-m]
計算科学研究センター
- 15 -
利用の手引き平成 20 年 12 月
2 システムへの接続と利用
機能説明
-cpu
-disk
-m
以下の情報を出力します。
・グループの利用点数上限値
・グループでの終了したジョブの利用点数（累積）と実行中ジョブの消費点数
・各計算サーバにおけるグループの終了したジョブの利用点数と実行中ジョブの消費点数
・コマンドを実行した利用者の利用点数と実行中ジョブの消費点数
・各計算サーバにおけるコマンドを実行した利用者の終了したジョブの利用点数と実行中ジ
ョブの消費点数
以下の情報を出力します。
・グループのファイル容量上限値
・グループで使用した利用ファイル容量上限値
・各ファイルシステムにおけるグループで使用した利用ファイル容量
・コマンドを実行した利用者の利用ファイル容量
・各ファイルシステムにおけるコマンドを実行した利用者の利用ファイル容量
-cpu もしくは-disk におけるグループ内利用者の利用上限値と利用点数もしくは利用ファイル
容量を出力します。ただし、点数及びファイルを消費している利用者のみが出力されます。
showlim で表示される情報（現時点で、実行中ジョブの消費点数は表示されません）は、Web からでも見
ることが出来ます（利用者限定ページより参照出来ます）。
2.9. パスワードに関する問い合わせ
パスワードを忘れたり、誤ってパスワードを変更して分からなくなった場合などは、センターに問い合わ
せしていただければ、その年度の新規利用者と同じ規則に従って初期化します。問い合わせは、必ず利用者
ご本人が電子メールもしくは、電話で行ってください。本人以外からの問い合わせには、一切応じません。
問い合わせ時には、次のことを確認いたします。電子メールで問い合わせの場合には、もれなく記述してく
ださい。なお、新旧問わずパスワードは、絶対に記述しないでください。
・利用者の氏名
・利用者のユーザコード
・利用者のグループコード
・利用者の所属名（学部、学科、講座名まで詳しく）
・代表利用者の氏名
・利用申請の受け付け番号
（注意）
記入漏れがある場合には、初期化には応じられません。初期化終了後は、電子メールにてお知らせします。
問い合わせ先電子メールアドレス： [email protected]（掲示板には自動投稿されません）
問い合わせ先電話番号：0564-55-7462（センター受け付け）受付時間 8:30 から 15:30（土日、祝祭日、12 月
29 日から 1 月 3 日を除く）
2.10. センターへの質問と情報取得について
2.10.1. センターへの質問
センターへの質問は、センターホームページの掲示板（「2.10.2 掲示板利用方法」参照を参照してくださ
い）、電子メール（「2.10.3 電子メールを利用したセンターへの質問方法」を参照してください）にてお願
いします。なお、質問の際には、問い合わせ利用者の氏名、ユーザコード、グループコードを必ずお書きく
ださい。
プログラムのコンパイル時やジョブ投入時などのエラーに関する問い合わせの場合は、さらに次のことを
お書きください。
計算科学研究センター
- 16 -
利用の手引き平成 20 年 12 月
2 システムへの接続と利用
・ジョブを投入した日時
・ジョブを投入したマシン
・ジョブ投入先ジョブクラス名（キュー名）
・エラー出力（エラーメール）
・ジョブ投入を行ったディレクトリパス名
・ジョブスクリプト
・ジョブ投入時のコマンドイメージ（jsub -q・・・）
記入漏れがある場合は、問い合わせに応じられない場合があります。
2.10.2. 掲示板利用方法
センターへの質問や利用者間の情報交換などのために、Webによる掲示板システムを運用しています。こ
の、掲示板システムは、センターホームページ（http://ccinfo.ims.ac.jp）の「利用者限定ページ」にあります。
Web の利用者限定ページ掲示板
区
分
Question
ccatx
ccprq
cchsr
general
network
tebiki
www
説
明
センターへの質問
Altix4700 に関する質問、運用情報
PRIMEQUEST に関する質問、運用情報
SR16000 に関する質問、運用情報
一般の情報交換
通信に関する質問
利用の手引きに関すること
センターWeb に関すること
2.10.3. 電子メールを利用したセンターへの質問方法
電子メールアドレスは、「2.10.2 掲示板利用方法」にある「区分」毎によって異なります。また、送信さ
れた電子メールの内容は掲示板に自動投稿されます。よって、パスワードに関する問い合わせは、下記のメ
ールアドレスへは、絶対に行わないでください（「2.9 パスワードに関する問い合わせ」）。
問い合わせ先電子メールアドレス：bbs.区分@draco.ims.ac.jp
区分：「2.10.2 掲示板利用方法」にあります区分です。
たとえば、一般的な質問をされる場合は、[email protected]宛にお送りください。
メール本文の最初の行は、グループコード:ユーザコードの 7 文字のみを記述してください。ただし、掲
示板システムで、「ユーザ情報登録」（掲示板下部にクリックボタンがあります）を行っている場合は、こ
の行を省略することが可能です。これ以外に、Subject: ヘッダの未記入、From:ヘッダの未登録な電子メー
ルでは、質問を受け付けません。この場合は、受け付けなかった旨の電子メールが自動的に返信されますの
で、内容を確認の上、再度送信してください。
2.10.4. 情報取得
センターでは、システム停止や障害などの運用上のお知らせは、センターホームページの「運用のお知ら
せ」（利用者限定ページ内）で見ることが出来ます。利用者におかれましては、適宜アクセスして閲覧して
頂きますようにお願いします。なお、センターから送られます電子メールには、必ず目を通してください。
計算科学研究センター
- 17 -
利用の手引き平成 20 年 12 月
2 システムへの接続と利用
2.11. 端末セッションの記録方法
ccfep1 などのコマンドライン上で、セッションの情報（端末上に表示されたものすべて）をファイルなど
に記録するには、script コマンドを使用します。
script コマンドの詳細な使用方法は、UNIX 関連の書籍もしくは man コマンドにて確認してください。
使用例
% script ファイル名（情報記録開始情報をファイル名に出力します）
コマンド実行など
・・
% exit（情報記録終了）
計算科学研究センター
- 18 -
利用の手引き平成 20 年 12 月
3 ハードウェア構成
3. ハードウェア構成
3.1. 高速I/Oサーバサブシステム (SGI Altix4700)
Altix4700 では、ジョブ管理（PBS Professional）によるバッチ処理を行っています。
◆演算処理装置
8.0TB (6.0TB + 2.0TB)
主記憶容量
総理論演算性能
3276.8GFLOPS + 819.2GFLOPS（6.4GFLOPS/CPUCore）
640 (512 + 128)
CPUCore 数
OS は、1CPUCore を 1CPU と認識しています。
◆磁気ディスク装置（アレイディスク）
総容量
(内訳)
一時作業ファイル領域( /work )
104TB （SGI CXFS）
114TB
3.2. 密結合演算サーバサブシステム (富士通
PRIMEQUEST)
PRIMEQUEST では、ジョブ管理（NQS）によるバッチ処理を行っています。
◆演算処理装置
主記憶容量
2.56TB (256GB × 10)
総理論演算性能
409.6GFLOPS × 10（6.4GFLOPS/CPUCore）
CPUCore 数
640 (64 × 10)
OS は、1CPUCore を 1CPU と認識しています。
◆磁気ディスク装置（アレイディスク）
総容量
(内訳)
一時作業ファイル領域( /work )
短期保存ファイル領域( /week )
35TB
8TB
24TB
3.3. 高性能分子シミュレータシステム(日立製作所
SR16000)
SR16000 では、ジョブ管理（LoadLeveler）によるバッチ処理を行っています。
◆演算処理装置
2,304GB(256GB × 9)
主記憶容量
総理論演算性能
601.6 GFLOPS × 9 （18.8GFLOPS/CPUCore）
576 (64 × 9)
CPU 台数
OS は、1CPUCore を 2CPU と認識しています。
◆磁気ディスク（アレイディスク）装置
23TB
総容量
(内訳)
23TB
一時作業ファイル領域( /work )
計算科学研究センター
- 19 -
利用の手引き平成 20 年 12 月
3 ハードウェア構成
3.4. ファイルサーバシステム（日立製作所
EP8000/550Q）
2 台構成です。
◆演算処理装置
主記憶容量
64GB（32GB × 2）
CPU 台数
32 (16 × 2)
OS は、1CPUCore を 2CPU と認識しています。
◆ 磁気ディスク装置
120TB
総容量
(内訳)
60TB
ホームディレクトリ（/home）
20TB
短期保存ファイル領域（/week）
40TB
長期保存ファイル領域（/save）
3.5. TSS-JE（フロントエンド）
＜ccfep1（日立製作所 EP8000/550Q）＞
◆演算処理装置
32GB
主記憶容量
16
CPU 台数
OS は、1CPUCore を 2CPU と認識しています。
＜ccfep2（日立製作所 EP8000/550Q）＞
◆演算処理装置
32GB
主記憶容量
16
CPU 台数
OS は、1CPUCore を 2CPU と認識しています。
計算科学研究センター
- 20 -
利用の手引き平成 20 年 12 月
4 ファイルシステム構成
4. ファイルシステム構成
4.1. ファイルシステムの概要
システムの磁気ディスク装置は、ALTIX4700、PRIMEQUEST、SR16000、ファイルサーバ各々に分散して
います。各装置に含まれるファイルシステムのマウント先ディレクトリ、容量、用途、保存期間は以下のと
おりです。
システム
Altix4700
PRIMEQUEST
SR16000
ファイルサーバ
TSS-JE（ccfep1、
ccfep2）、ccatx、ccprq
ディレクトリ
/week
/work
/week
/work
/week
/work
/home
/save
容量
24TB(*1)
114TB
24TB
8TB
20TB(*2)
23TB
56TB(*3)
37TB(*4)
用途
短期保存ファイル
ジョブ作業領域
短期保存ファイル
ジョブ作業領域
短期保存ファイル
ジョブ作業領域
ホームディレクトリ
長期保存ファイル
保存期間
作成から 8 週間
ジョブ実行中のみ
作成から 8 週間
ジョブ実行中のみ
作成から 8 週間
ジョブ実行中のみ
利用期間中
利用期間中
/work
0.3TB(*5)
ジョブ作業領域
ジョブ実行中のみ
(*1) PRIMEQUEST のディスクを NFS マウントしています。
(*2) ファイルサーバのディスクを NFS マウントしています。
(*3) /home は、3 つのボリュームに分割されています。
(*4) /save は、2 つのボリュームに分割されています。
(*5) ccfep1、ccfep2 それぞれの容量。
システムのファイルシステムは、/home、/work、/week、/save から構成されています。
/home は、各計算サーバと TSS-JE（ccfep1, ccfep2）に NFS マウントされていますので、すべての計算機に
おいて共通に利用することが出来ます。
/work は、Altix4700、PRIMEQUEST、SR16000 に直接接続されたアレイディスク上にあり、高速の I/O を
必要とするジョブの作業領域として利用出来ます。
/week ファイルシステムは、PRIMEQUEST（Altix4700 は、PRIMEQUEST の/week を NFS マウントしてい
ます）、SR16000 上にありジョブの中間データ等を短期間（最長 8 週間）保存しておくために利用出来ます。
また、各計算サーバと TSS-JE（ccfep1, ccfep2）、ccatx、ccprq に NFS マウントされていますので、すべての
計算機において、共通に利用することが出来ます。
/save は、ファイルサーバに接続されている磁気ディスクで、/home や /week のバックアップに利用出来
ます。また、各計算サーバと TSS-JE（ccfep1, ccfep2）、ccatx、
ccprq に NFS マウントされていますので、すべての計算機において、共通に利用することが出来ます。
（「4.4 ファイルシステムの利用についての留意点」を参照）
4.2. ディレクトリ構成
/home、/work、/week、/save の各ファイルシステムには、それぞれのディレクトリ階層下に users サブディ
レクトリがあり、その下にログイン名（英数３文字）と同じ名称のサブディレクトリがあります。以下に、
各計算サーバで利用できるディレクトリを示します。
各計算サーバのディレクトリ構成
計算科学研究センター
- 21 -
利用の手引き平成 20 年 12 月
4 ファイルシステム構成
Altix4700
PRIMEQUEST
SR16000
/home/users/${USER}
/work/users/${USER} /work/users/${USER} /work/users/${USER}
/week/users/${USER}
/week/users/${USER}
/save/users/${USER}
TSS-JE
/work/users/${USER}
TSS-JE では、 /home のほか、各計算サーバの /week や/save を NFS マウントしています。以下に、ログイ
ン名が qp3 の場合に TSS-JE で利用できるディレクトリを示します。
TSS-JE
/home/users/${USER}
/save/users/${USER}
/prq_week/users/${USER}
/hsr_week/users/${USER}
ディレクトリ名
ホームディレクトリ（/home）
長期保存ファイル（/save）
PRIMEQUEST の短期保存ファイル（/week）
SR16000 の短期保存ファイル（/week）
4.3. ファイルシステムの用途
◆/home
利用者のホームディレクトリです。１ユーザあたり 10GB が標準で割り当てられます。代表利用者が特に
設定しない限り、グループ内利用者×10GB まで利用可能です。利用期間中は保存されます。
◆ /work
このファイルシステムは、各計算サーバ各々に直結しており、しかも、大容量のファイルを取り扱うこと
が出来ますので、ジョブの実行中に大量の中間データの入出力を必要とする際に利用します。ファイルは、
ジョブの終了と同時にただちに消去されなければなりません（後述の JQS バッチジョブにより生成されたフ
ァイルは、ジョブ終了時に自動的に消去されますのでご注意ください）。
/work は、会話処理、計算サーバ（複数ノード構成の場合は、各ノード）ごとにありますので、バッチジ
ョブにて/work を使用する場合は、バッチスクリプト内で操作（/work/users/ユーザ名以下のディレクトリ作
成など）を行う必要があります（TSS-JE、ccatx や ccprq の/work/users/ユーザ名以下にディレクトリを作成し
ても、各計算サーバのバッチジョブでは使用できませんので注意してください）。
◆ /week
この領域は、/home よりも高速にアクセスが可能です。数日後に必要となるジョブの中間ファイル等を、
短期間（最長 8 週間）保存しておくために利用出来ます。ジョブの実行中は、高速な I/O が可能である
/work 上に中間ファイルを作成し、ジョブの終了と同時に、 /work から /week 下にファイルを移動するなど
の利用法が、実行時間短縮の点で効果的です。( Altix4700、PRIMEQUEST、SR16000 の /week は、 /work と
同様に高速な I/O が可能です。)
◆ /save
大容量のファイルを、利用申請の期間保持することが出来ますので、/home または、/week のバックアッ
プ領域として利用出来ます。
（注意）
利用者が直接 /tmp 上にファイルを作成することは、ご遠慮願います。
計算科学研究センター
- 22 -
利用の手引き平成 20 年 12 月
4 ファイルシステム構成
4.4. ファイルシステム利用についての留意点
4.4.1.
/home下のファイルへの繁茂なIOは厳禁
前述の様に /home は、ネットワークを経由してファイルサーバからシステム全体に共有されているため、
たとえ、CPU 時間が短いジョブであっても、/home 下のファイルに対して頻繁に I/O を行うジョブ（会話処
理を含む）を実行しないでください。
4.4.2.
OS に依存するファイルの取り扱いについて
ホームディレクトリを共通に利用することができるため、各計算サーバに共通なソースプログラムやジョ
ブ入力ファイルの一括管理を容易に行うことが出来ます。一方、実行モジュールやバイナリファイルなど、
計算サーバの OS に依存するファイルの取り扱いには、多少の注意が必要となりますので、以下にファイ
ル管理の具体的な例を示します。
（例）
自分のホームディレクトリに幾つかのサブディレクトリ（例えば、 ~/atx、~/prq、~/hsr）を作り、OS に
依存するファイルを、これらのディレクトリ階層下に整理し、OS に依存しないファイルは、利用者各人が
分かりやすい様（例えば、~/data、~/prog）に格納すると、ファイルの管理がしやすくなります。
また、ディレクティブ行や機種依存コードを含む、ソースプログラムを一括管理する際には、FORTRAN
ソースファイルの拡張子を大文字の F に換え（例、prog1.F）、C 言語で標準的に用いられているプリプロセ
ッサーcpp を用いることにより#ifdef 文などを用いた条件コンパイルが可能となります。しかし、この方法
は、ある程度 UNIX 環境でのプログラム開発経験がある方に推奨します。
4.4.3.
/week と /work について
各計算サーバの/week と/work では、ファイル I/O を高速に行う目的で、ファイルシステムのクラスタサイ
ズを 2～4 MB 程度に設定してあります。従って、 4 MB 以下の容量をもつファイルは、ディスク上では 4
MB を占有してしまいますので、小容量のファイルを多数格納しておく必要がある場合は、tar コマンドによ
りアーカイブを行い、 1 ファイルとして保存しておくことを推奨します。さらに、gzip コマンドによりファ
イルの圧縮を行い、必要な時に gunzip コマンドにより解凍を行うことにより、ディスク容量の有効活用が
出来ます。tar、gzip、gunzip コマンドの詳細は、man を参照ください。
計算科学研究センター
- 23 -
利用の手引き平成 20 年 12 月
5 会話処理
5. 会話処理
ジョブを処理する方法には、会話処理とバッチ処理があります。会話処理とは、プロンプト（入力促進記
号）のあとに、コマンド等を直接打ち込むことによって、ジョブを処理することを言います。また、バッチ
処理とは、各システムに用意されているジョブ投入機構に、ジョブの処理を依頼して、ジョブを処理するこ
とを言います（「6.バッチ処理」を参照）。基本的に会話処理環境は、プログラムの編集、コンパイル、デ
バッグ作業等を行うために用意されたものなので、プログラムの実行等のジョブは、できる限りバッチ処理
で行ってください。
センターでは、異なった複数の OS （オペレーティングシステム）を持つシステムを導入しているため、
各システムのコマンドも、 OS によって微妙な違いがあります。
現在、会話処理可能なマシンを以下に挙げます。 ccfep1, ccfep2 以外は、インターネットより直接接続する
ことはできません。必ず、 ccfep1、 ccfep2 に一度ログインしてから接続してください。
マシン名
TSS-JE 主(ccfep1)
TSS-JE 副(ccfep2)
Altix4700(ccatx)
PRIMEQUEST(ccprq)
メーカ名
日立製作所
日立製作所
SGI
富士通
OS
IBM AIX 5L V5.3
IBM AIX 5L V5.3
SuSE Linux ProPack SP3 Linux 2.6
Red Hat Enterprise Linux AS release 4 (Nahant Update 2)
詳細は、manall コマンドにより調べることができます。manall コマンドに関する記述は、「5.2 オンライ
ンマニュアルの利用方法」を参照してください。
FORTRAN 言語で書かれたプログラムを、会話処理でコンパイル・リンク及び実行する方法については、
「 7.
FORTRAN言語の利用」を参照してください。
5.1. コマンドライン入力
コマンドライン入力について簡単に説明します。
端末から会話処理可能なマシン（TSS-JEなど）へログインすると、スクリーン上にプロンプトが表示され
ます。このプロンプトが表示されている状態は、利用者からの入力待ちの状態であることを示します。した
がって、利用者は、この状態でコマンドをキー入力します。このことを、コマンドライン入力といいます。
コマンドライン入力例を示すと、
% コマンド名 [オプション] [ファイル名]
となります。
5.2. オンラインマニュアルの利用方法
一般にUNIXの処理系では、端末の上からほとんどのコマンド及び、ライブラリルーチンの使用方法が参照
できるようになっています。ここでは、TSS-JEシステム上のmanallコマンドを利用して、すべてのシステム
のマニュアルを参照する方法を説明します。
計算科学研究センター
- 24 -
利用の手引き平成20年12月
5 会話処理
5.2.1.
オンラインマニュアルの位置づけ
オンラインマニュアルは、各コマンドの利用方法やオプションの簡単な解説、標準ライブラリ関数の仕様
や引数の説明など、使用直前にちょっと確認したいという場合に参照するためのものです。当計算機システ
ムでは、利用できるコマンドの種類や機能、オプションが豊富なために、すべての内容を「利用の手引き」
上で説明するのは不可能です。この「利用の手引き」は、オンラインマニュアルが利用できることを前提と
して書かれていますので、知りたい情報を効率よく手に入れるためには、オンラインマニュアルを併用する
ことが是非とも必要です。ただし、オンラインマニュアルでは、各項目に最小限の内容が記述されているだ
けですので、さらに詳しく知りたい場合やその項目に関する内容まで含めて広く調べたい場合は、各メーカ
が販売してます、マニュアルを購入されるのが良い場合があります（「付録 A マニュアル一覧」を参照）。
5.2.2.
環境変数LANGの設定
TSS-JE上のmanallコマンドは、マニュアルを日本語と英語のどちらで表示するかを、環境変数LANGの値に
よって判断していますので、ご利用の環境に応じて設定する必要があります。
日本語で表示する場合は、
% setenv LANG ja_JP
とすることにより、EUCコードによる日本語マニュアルが表示できます。
英語で表示する場合は、
% unsetenv LANG
としてLANGを未定義にするか、
% setenv LANG C
と設定します。
（注意）
(1) このようにしても、マニュアルが読めない場合は、お使いの端末の設定が不十分であると思われますの
で、それぞれのマシン管理者にご相談してください。
5.2.3.
manallコマンドの使い方
センターのシステムは、マシンごとにOSが異なっているため、オンラインマニュアルもOSごとに異なる内
容が盛り込まれています。これら、すべてのマニュアルをTSS-JEシステム上から参照するためには、manall
コマンドの-dオプションを利用します。
% manall -d machine title
とします。machineの部分には、ccatx、ccprq、cchsrのうちのどれかを指定し、titleの部分には、コマンドなど
を書いてください。
調べたいマニュアルの項目がわからない場合には、-kオプションによってキーワードサーチを行うことが
できます。
計算科学研究センター
- 25 -
利用の手引き平成20年12月
5 会話処理
5.2.4.
Web版オンラインマニュアル
Webによるオンラインマニュアルを整備しています。詳細は、センターホームページ「利用者限定ページ」
（http://ccinfo.ims.ac.jp/user/）を参照してください。
計算科学研究センター
- 26 -
利用の手引き平成20年12月
6 バッチ処理
6. バッチ処理
6.1. JQSの概要
センターのシステムでは、ネットワークを介したジョブの投入が可能となっていますが、複数の異なった
マシンが存在する環境であるため、統合的なジョブ管理システム JQS （Job Queuing System）を用意していま
す。この JQS は、TSS-JE（ccfep1/2）から各計算サーバのバッチジョブ投入機構(PBSPro、 NQS、LoadLeveler）
へ、ジョブ処理のリクエストを行っています。従いまして、ジョブの投入には必ず JQS コマンドを使用して
ください。
マシン
Altix4700
PRIMEQUEST
SR16000
キューイングシステム
PBS Professional
NQS （Parallelnavi for Linux Advanced Edition）
IBM LoadLeveler for AIX
6.2. JQS の構成
JQS を構成するバッチリクエストとキューの関係について説明します。
◆バッチリクエスト
バッチリクエストとは、バッチ処理において利用者から JQS へジョブ処理を依頼する事を言います。この
リクエストは、UNIX におけるコマンドを記述したシェルスクリプトにより記述するのが一般的で、利用者
が処理したいジョブを実行するためのスクリプトファイルを作成し、それを JQS へ投入します。
◆キュー
キューとは、利用者から受け取ったバッチリクエストを、各計算サーバのジョブ投入機構に渡し、実行可
能かどうかを判別して、実行可能ならジョブの実行を開始し、実行不可なら可能になるまで一時的にためて
おく機構を言います。各キューは、CPU 時間、最大メモリ使用量、並列処理ノード数（並列で実行可能なキ
ューのみ）などの制限値が設定されています。利用者は、ジョブがこれらの計算資源をどの程度必要か判断
し、最適なキューへジョブを投入していただくことになります。必要なメモリ量やCPU 時間がキューの制限
値と、あまりにもかけ離れたキューへのジョブ投入は、センターの利用効率を著しく低下させる原因となり
えますので、最適なキューへ、ジョブを投入するよう心がけてください。
キューの構成は、各計算サーバの性能を十分に発揮させることを目的として構成されております。
6.3. キュー構成方針
1
パラレル利用キューには、現在のパソコン(Pentium4 3GHz, Itanium2 1.5GHz相当 6GFLOPS. Memory
2GB)の10倍程度を単位としたコンピュータ資源を提供する。課金は経過時間とする（キュー占有
計算科学研究センター
- 27 -
利用の手引き平成20年12月
6 バッチ処理
時間）。CPU数の可変提供をする。
パラレル利用キューのみとする。
ライブラリ環境整備の一環として、比較的利用の多いアプリケーションについては、初級者利用
の便宜を図る。特に機器更新に伴う環境の変化を隠蔽する様にウェブからの利用環境を整備する。
申請に特別利用枠を設け、許可されたユーザは特別利用キューを使用できる様にする。長時間利
用、大規模CPU利用が可能な環境を提供する。
キュー構成をシンプルにする。
2
3
4
5
6.4. キュー構成
640CPU を次のように割り当てます。
Altix4700
640CPU は、PA、PAE、PAS がお互いに共有して使用します。
内 384CPU は、PAE と PAS が優先的に使用し、256CPU は PA が占有します。
640CPU を次のように割り当てます。
PRIMQUEST
640CPU は、PB、PBE、PBS がお互いに共有して使用します。
内 448CPU は、PBE と PBS が優先的に使用し、192CPU は PB が占有します。
560CPU を次のように割り当てます。
560CPU は、PH、PHE、PHS がお互いに共有して使用します。
内 256CPU は、PHE と PHS が優先的に使用し、304CPU は PH が占有します。
SR16000
ユーザの要求 CPU 数が奇数の場合は、要求数に 1 加えた CPU 数を確保し、課金します。
実行時の CPU 数は要求 CPU 数です。
（注意）
施設利用S、特別利用キューのジョブが投入された場合、既に実行されているジョブの終了を待ってから実行
されます（先入先出方式）。
6.4.1.
パラレル利用キュー
キュー名
CPU 時間
メモリ
CPU 数
ユーザ制限
グループ制限
PA
PB
PH
72 時間
72 時間
72 時間
11.5GB/CPU
3.9GB/CPU
3.2GB/CPU
64~1
32~1
32~1
64CPU
64CPU
64CPU
64CPU
64CPU
64CPU
備考
Altix4700
PRIMEQUEST
SR16000、偶数で確保
閑散期には、ユーザ制限・グループ制限を 128CPU とすることがあります。
6.4.2.
デバッグ専用キュー
キュー名
PHI
CPU 時間
メモリ
CPU 数
ユーザ制限
グループ制限
5分
1.0GB/CPU
4~1
1JOB
なし
備考
ccfep2
SR16000 用のプログラムの動作確認用キューです。ccfep2 の 6 CPU を割り当てています。同一 CPU に最
大 3 本のジョブが割り当てられますので、速度測定のデバッグには向いていません。jobinfo や jstat 系コマ
ンドでは、cchsr ではなく、サーバーに ccfep を指定します。
Altix4700 や PrimeQuest のデバッグは、直接 ccatx や ccprq で行います。
計算科学研究センター
- 28 -
利用の手引き平成20年12月
6 バッチ処理
6.4.3.
会話処理
システム名
ccatx
ccprq
ccfep1/2
6.4.4.
CPU 時間
メモリ
CPU 数
ユーザ制限
グループ制限
1 時間
1 時間
1 時間
1GB
1GB
1GB
4CPU
4CPU
6CPU
-
-
備考
Altix4700
PRIMEQUEST
EP8000/550Q
特別利用キュー
キュー名
CPU 時間
メモリ
CPU 数
ユーザ制限
グループ制限
PAE
PBE
PHE
240 時間
240 時間
240 時間
11.5GB/CPU
3.9GB/CPU
3.2GB/CPU
128~1
64~1
64~1
128CPU
128CPU
128CPU
128CPU
128CPU
128CPU
CPU 数
ユーザ制限
グループ制限
6.4.5.
備考
Altix4700
PRIMEQUEST
SR16000、偶数で確保
施設利用Sキュー
キュー名
CPU 時間
メモリ
備考
PAS
128CPU
128CPU
Altix4700
240 時間 11.5GB/CPU 128~1
PBS
64~1
128CPU
128CPU
PRIMEQUEST
240 時間 3.9GB/CPU
PHS
64~1
128CPU
128CPU
240 時間 3.2GB/CPU
SR16000 、偶数で確保
(注意)
施設利用 S キュー、特別利用キューにジョブが無い場合、資源はパラレル利用キューに割り当てられます。
6.5. JQSの主なコマンド
6.5.1.
バッチリクエストコマンド
コマンド
jsub –q queue shell-script
説明
各計算サーバへバッチ処理をさせるコマンドです。
・queueは、投入したいキュー名を指定します。
・shell-scriptは、バッチファイル名です。
以下に簡単な例を示します。
% jsub -q PA sample.csh
Request 123.ccfep1 submitted to queue : PA
6.5.1.1.
バッチファイルの作成
利用者は、ジョブを実行するためのスクリプトファイル（通常 C シェルスクリプト）をviやemacs等のエデ
ィタにより作成し、キューへ投入します。このスクリプトファイルのヘッダー部分にキューイングシステム
毎に異なるコマンドを記述しなければなりません。また、埋め込まれたオプションは、スクリプト内で実行
されるシェルコマンドの前に現れなければなりません。
PBS Pro （Altix4700）
意味
第一行目
使用CPU数
バッチスクリプトでの記述例
必要性
#!/bin/csh –f
必須
#PBS -l select=ncpus=8:mem=35328mb
必須
任意
使用メモリー（全メモリー量）
キュークラス
計算科学研究センター
- 29 -
利用の手引き平成20年12月
6 バッチ処理
#PBS -l walltime=72:00:00
時間制限
#PBS –o job.stdout
標準出力ファイルの指定
#PBS –e job.stderr
標準エラーファイルの指定
#PBS –m be
ジョブ開始前後にメールで通知
ヘッダー部終了
cd ${PBS_O_WORKDIR}
ジョブ投入ディレクトリへ移動
オプション挿入には、以下に示す規則が適用されます。
(1) オプションの埋め込みは、 "#PBS"を前置きにしなければなりません。
任意
非推奨
非推奨
任意
推奨
NQS （PRIMEQUEST）
意味
バッチスクリプトでの記述例
#!/bin/csh –f
第一行目
# @$-lP 2
使用CPU数（プロセス並列数)
# @$-lp 4
使用CPU数（スレッド並列数)
# @$-lm 12gb
使用メモリー（1プロセスあたり）
キュークラス
# @$-lT 72:00:00
時間制限
# @$-o job.stdout
標準出力ファイルの指定
# @$-e job.stderr
標準エラーファイルの指定
# @$-mb –me
ジョブ開始前後にメールで通知
# @$
ヘッダー部終了
cd ${QSUB_WORKDIR}
ジョブ投入ディレクトリへ移動
オプション挿入には、以下に示す規則が適用されます。
(1) オプションの埋め込みは、 "# @$"を前置きにしなければなりません。
(2) ２文字目以降に"@$"が存在しない場合は、通常のコメント行になります。
(3) "@$"の直後に続く文字が"-"でない場合は、ヘッダー部終了となります。
必要性
必須
必須
必須
任意
任意
非推奨
非推奨
任意
必須
推奨
LoadLeveler（SR16000）
意味
第一行目
バッチスクリプトでの記述法
必要性
#!/bin/csh –f
必須
使用CPU数（プロセス並列数）
#@total_tasks=8
必須
#@resources=ConsumableCpus(4) ConsumableMemory(12gb)
必須
任意
使用CPU数（スレッド並列数）
使用メモリー（1プロセスあたり）
#@class=PH
キュークラス
#@wall_clock_limit=72:00:00
時間制限
#@output=$(executable).$(jobid).$(step_name).stdout
標準出力ファイルの指定
#@error=$(executable).$(jobid).$(step_name).stderr
標準エラーファイルの指定
#@notification=always
ジョブ開始前後にメールで通知
#@queue
ヘッダー部終了
cd ${LOADL_STEP_INITDIR}
ジョブ投入ディレクトリへ移動
オプション挿入には、以下に示す規則が適用されます。
(1) オプションの埋め込みは、 "#@" を前置きにしなければなりません。
6.5.1.2.
必須
任意
任意
任意
任意
必須
推奨
ジョブ実行時のパスの指定
バッチリスクリプトの実行開始ディレクトリは、jsubコマンドを実行したディレクトリではなく、ホームディ
計算科学研究センター
- 30 -
利用の手引き平成20年12月
6 バッチ処理
レクトリになります。ジョブ投入ディレクトリに移動してから、バッチスクリプトを実行するには、「ジョ
ブ投入ディレクトリへ移動」の行を記述してください。
6.5.1.3.
バッチリクエストの標準出力と標準エラー出力
実行結果は、ジョブ投入のホスト上のファイルに保存されています。通常は、ジョブを投入した時のカレ
ントディレクトリの下に次のファイル名で出力されます。
リクエスト名.o リクエスト ID ‥‥ 標準出力ファイル
リクエスト名.e リクエスト ID ‥‥ 標準エラー出力ファイル
例えば、ファイル名称が run というシェルスクリプトを、バッチリクエストとして投入した時、リクエス
ト ID が"999"の場合、このバッチリクエストが完了した場合、"run.o999"というファイルに標準出力の結果が
出力され、"run.e999"というファイルに標準エラー出力の結果が出力されます。
6.5.1.4.
電子メールの活用方法
投入したジョブの実行が、各計算サーバ上で開始されたことや、実行されたジョブが終了したことを電子
メールシステムにより知ることが出来ます。
バッチスクリプトファイルに記述することで設定できます。この場合、電子メールの宛先はジョブ投入を行
ったccfep1のログイン名宛に送られますが、ホームディレクトリ直下に ".forward" という名称のファイルに利
用者がよく使用されるメールアドレスを記入すると、自動的にそちらへ転送されます（申請時にメールアド
レスを記述された方は、登録時に自動的に作成されています）。
6.5.2.
バッチリクエストの状態を表示するコマンド
キューやジョブの状態は、jobinfoコマンドにて調べることが出来ます。
コマンド
jobinfo -h host [-s]
もしくは
jobinfo -q queue [-s]
jobinfo -h host -l [-a|-g]
もしくは
jobinfo -q queue -l [-a|-g]
説明
キューの状態の概略を表示します。
・ユーザー、グループに許されているCPUの数
・ユーザー、グループの実行中や待ちジョブのCPU数、本数
・システム全体の実行中や待ちジョブのCPU数、本数
・その時点ですぐに実行可能かどうかの表示と可能ならそのCPU数。
・システム全体の最大断片空きCPU数、総空きCPU数
各リクエストの状態を表示します。
ジョブID、バッチスクリプトファイル名、ユーザー名、グループ名、ジョ
ブの状態、経過時間(sx7の場合はCPU時間)、実行ノードが表示されます。
ただし、バッチスクリプトファイル名は、自分自身のジョブの場合のみ表
示されます。また、自分自身のユーザー名や所属グループ外のグループ名
は、暗号化されて４文字で表示されます。
コマンドラインオプションをつけないと自分自身のみ、-gオプションをつけ
ると自分の所属グループのみ、-aオプションをつけると全ユーザーのリクエ
ストが表示されます。
jobinfo -h host -n
もしくは
jobinfo -q queue –n
各ノードでの空きCPU数や全CPU数を表示します。
host は、計算サーバ名（ccatx、ccprq、cchsr）のいずれかを指定してください。
計算科学研究センター
- 31 -
利用の手引き平成20年12月
6 バッチ処理
queueは、キュー名（PAS, PAE, PA, PBS, PBE, PB, PHS, PHE, PH, PHI）のいずれかを指定してください。
これまでのjstatr, jstatq, jstatもコマンドとして残してありますが、CPU数等の表示ができませんので、今後、
jobinfoを使用してください。
リクエストの状態を表示します。
STT もしくはSTのカラムには、バッチリクエストの状態が表示されます。意味は
それぞれ以下の通りです。
• QUE ‥‥‥‥‥ 実行待ち状態（スケジュール対象）
jstatr -h host
• WAI ‥‥‥‥‥ 実行遅延状態（スケジュール対象外）
HLD ‥‥‥‥‥ ホールド状態（スケジュール対象外）
• （注）jdel コマンド等でジョブのキャンセルを行う場合は、このコマンドによ
って表示されるリクエスト ID を参照してください。
jstatq -h host
キューの状態を表示します。
jstat -h host
リクエストの状態を表示します。
jstatqs -h host
全キューの状態を表示します。
host は、各計算サーバ（ccatx、ccprq、cchsr）を指定してください。
キューの利用状態は、センターホームページの利用者限定ページでも見ることができます。
6.5.3.
バッチリクエストの取り消し
コマンド
jdel –h host [-k] RequestID
6.5.4.
説明
キューへ投入されたバッチリクエストを削除するときに使用します。
リクエスト ID は、リクエスト表示コマンドで確認できます。
・hostはジョブの投入先のホスト名です。
・-kオプションは、すでに実行中のジョブを強制的に停止させる場合に
使います。
ジョブ実行中に/work以下のファイルにアクセスする方法
バッチスクリプトで投入されたジョブは各演算ノードで実行されます。/work以下にある計算途中経過にア
クセスする方法として、cat、find、head、ls、tailに対応するコマンドcatw、findw、headw、lsw、tailwを用意
してあります。他の必要なコマンドがあれば、掲示板などでお知らせください。使用法は以下のとおりです。
ccfep1% xxxw [-h host -i RequestID|-n node] [-- xxxオリジナルのオプション] [xxxオリジナルに渡す引数]
xxxは先の５つのコマンドを表しています。オリジナルのオプション開始前にはハイフンが２つ必要です。
6.6. システム停止後のバッチジョブの扱い
システムは定期メンテナンス時だけでなく、ハードウェアやソフトウェアの問題で突然停止することがあ
ります。その場合、そのバッチジョブは課金されません。システム再開後、停止直前まで走っていたバッチ
ジョブはシステムにより自動的に再実行されます。そのため、センターではバッチスクリプトで以下のよう
なポリシーを推奨しています。g03subコマンドはこのポリシーに従っています。
(1) 計算に必要な入力ファイル一式を/homeから/workもしくは/weekへコピーし、実行ファイルがそれらを
読むようにする。出力ファイルも同ディレクトリーに書き出されるようにする。
(2) ジョブを実行する。
(3) ジョブ終了後、出力ファイルを/homeへコピーする。
中間ファイルがあり、計算が止まったところから再開できるようなアプリケーションでは、/weekもしくは
/homeに同一名の出入力ファイルを配置すれば、バッチジョブ再開後、続きを実行することも可能です。
計算科学研究センター
- 32 -
利用の手引き平成20年12月
7 Altix4700 の利用
7. Altix4700 の利用
ノードあたりの CPU 数も多く、 CPU あたり約 10GB のメモリーを搭載し、巨大で高速なディスクを使うこ
とができます。その分、課金が割高になっています。
7.1. Fortran の使い方
Fortran のプログラムのコンパイル・リンクには、Intel Fortran Compiler 11.0, 10.1, 9.1 が利用できます。デフォ
ルトはバージョン 10.1 です。コンパイル・リンクには、ccatx 上で、ifort コマンドを使います。デフォルトコ
ンパイラーの変更の影響を受けないように、リンク時に-i-static をつけることを推奨します。
プログラムの形
コンパイル例
リンク例
非並列
ifort –c a.f
ifort –i-static –o a.out a.o
自動並列化
ifort –parallel –c a.f
ifort –i-static –parallel –o a.out a.o
OpenMP 並列化
ifort –openmp –c a.f
ifort –i-static –openmp –o a.out a.o
MPI 並列化
ifort –c a.f
ifort –i-static –o a.out a.o –lmpi
態
Intel Fortran Compiler 9.1 を使うには、「使用コンパイラー切り替え」を参照してください。
7.1.1.
使用頻度の高いコンパイルオプション
コンパイルオプション
機能
-O0, -O1, -O2, -O3
最適化のレベルを指定します。-O のみの場合、-O2 に相当します。
-ipo
サブルーチン相互の関係を考慮した最適化を行います。
-parallel
自動並列化機能を利用します。さまざまな要因により、自動並列化は実行
されないことがあります。その場合は、指示行の挿入が必要です。
-openmp
OpenMP 指示行を有効にします。
-i-static
インテル提供のライブラリのみ静的リンクします。
-warn
コンパイル時に様々な警告を表示します。
-C
-traceback
プログラム実行時に、配列外アクセスや初期化していない変数の検出を可
能にします。
プログラム不正終了のときに、不正箇所の特定に役立ちます。
より詳しい使い方は、ccatx の man コマンド（man
7.1.2.
ifort）で参照してください。
入出力ファイルの指定
環境変数 FORT により、ファイルの割り当てを行います。割り当て方法の例は、以下の通りです。
% setenv FORT5 /home/users/${USER}/altix/ims.input
% setenv FORT6 /home/users/${USER}/altix/ims.output
計算科学研究センター
- 33 -
利用の手引き平成 20 年 12 月
7. Altix4700 の利用
7.2. C/C++の使い方
C および C++のプログラムのコンパイル・リンクには、Intel C/C++ Compiler 11.0, 10.1, 9.1 が利用できます。
デフォルトはバージョン 10.1 です。コンパイル・リンクには、ccatx 上で、C には icc、C++には icpc コマン
ドを使います。デフォルトコンパイラーの変更の影響を受けないように、リンク時に-i-static をつけることを
推奨します。
7.2.1.
プログラムの形態
コンパイル例
リンク例
非並列
icc –c a.c
icc –i-static –o a.out a.o
自動並列化
icc –parallel –c a.c
icc –i-static –parallel –o a.out a.o
OpenMP 並列化
icc –openmp –c a.c
icc –i-static –openmp –o a.out a.o
MPI 並列化
icc –c a.c
icc –i-static –o a.out a.o –lmpi
使用頻度の高いコンパイルオプション
コンパイルオプション
機能
-O0, -O1, -O2, -O3
最適化のレベルを指定します。-O のみの場合、-O2 に相当します。
-ipo
サブルーチン相互の関係を考慮した最適化を行います。
自動並列化機能を利用します。ポインタの別名参照の可能性が有るなど、
-parallel
さまざまな要因により、自動並列化は実行されないことがあります。その
場合は、指示行の挿入が必要です。
-openmp
OpenMP 指示行を有効にします。
ポインタの別名参照が無いことを指定し、ポインタの参照先の重なりを無
-fno-alias
視して、高速なコードを生成します。参照先に重なりがある場合は、結果
が保証できませんので注意してください。
-i-static
インテル提供のライブラリのみ静的リンクします。
-Wall
コンパイル時に様々な警告を表示します。
-traceback
プログラム不正終了のときに、不正箇所の特定に役立ちます。
より詳しい使い方は、ccatx 上で man コマンド（man
icc、man icpc）で参照してください。
7.3. 科学技術ライブラリの使用
SGI が提供する SCSL、Intel が提供する MKL および Visual Numerics が提供する IMSL が利用出来ます。SCSL
や MKL には、BLAS、LAPACK、ScaLAPACK、スパースソルバなどを含みます。
7.3.1.
SCSL の使い方
SCSL の詳細は、ccatx 上で man コマンド（man scsl）により参照ください。
計算科学研究センター
- 34 -
利用の手引き平成 20 年 12 月
7 Altix4700 の利用
Fortran と C のサンプルは、ccfep1 もしくは ccfep2 の/local/apl/atx/scsl 以下にあります。以下のようにコンパイ
ル・リンクします。
ccatx% ifort –i-static -o fortran fortran.f –lscs
ccatx% icc –i-static -o c c.c –lscs
7.3.2.
MKL の使い方
MKL の詳細は、ccatx の/opt/intel/mkl/9.1/doc/以下の PDF ファイルを参照してください。
Fortran と C のサンプルは、ccfep1 もしくは ccfep2 の/local/apl/atx/mkl 以下にあります。以下のようにコンパ
イル・リンクします。
ccatx% ifort –i-static -o fortran fortran.f -lmkl -lmkl_lapack
ccatx% icc –i-static -o c c.c -lmkl -lmkl_lapack –lm
7.3.3.
IMSL の使い方
IMSL の詳細は、ユーザー限定ページのオンラインマニュアルを参照してください。
Fortran の場合のコンパイルとリンクは、
ccatx% $F90 –i-static –o “実行モジュール名” $F90FLAGS “ソースファイル名” “リンク用環境変数”
のようにします。「リンク用環境変数」は、下記のものがあります。通常、性能の優れた$LINK_F90_SMP、
$LINK_F90_STATIC_SMP、$LINK_MPI_SMP のいずれかを使います。
リンク用環境変数
内容
$LINK_F90
Shared リンクでリンクします。
$LINK_F90_STATIC
Static リンクでリンクします。
$LINK_F90_SMP
Shared リンクで、一部 openmp で並列化します。
$LINK_F90_STATIC_SMP
Static リンクで、一部 openmp で並列化します。
$LINK_MPI
プログラムで MPI を使っている場合に使います。
$LINK_MPI_SMP
プログラムで MPI を使い、imsl を一部 openmp で並列化する場合に使い
ます。
Fortran のサンプルは、ccfep1 もしくは ccfep2 の/local/apl/atx/imsl 以下にあります。以下のようにコンパイル・
リンクします。
ccatx% $F90 –i-static –o imsl $F90FLAGS imsl.f $LINK_F90_SMP
C の場合のコンパイルとリンクは、
ccatx% $CC –i-static –o “実行モジュール名” $CFLAGS “ソースファイル名” “リンク用環境変数”
のようにします。「リンク用環境変数」は、下記のものがあります。通常、性能の優れた$LINK_CNL_SMP、
$LINK_CNL_STATIC_SMP のいずれかを使います。
リンク用環境変数
内容
$LINK_CNL
Shared リンクでリンクします。
$LINK_CNL_STATIC
Static リンクでリンクします。
$LINK_CNL_SMP
Shared リンクで、一部 openmp で並列化します。
$LINK_CNL_STATIC_SMP
Static リンクで、一部 openmp で並列化します。
計算科学研究センター
- 35 -
利用の手引き平成 20 年 12 月
7. Altix4700 の利用
7.4. 並列プログラムの実行方法
並列化されたプログラムの動かし方は、並列化された方法によって異なります。また、Altix4700 ではマシン
の特性によりラッパープログラムを適切に挿まなければ、最高のパフォーマンスを出すことができません。
並列化は、自動並列・OpenMP のようなスレッド並列、MPI のようなプロセス並列、あるいは、スレッド並
列とプロセス並列の組み合わせ（ハイブリッド）があります。それぞれの場合の動かし方をまとめると下記
のようになります。ヘッダー部分はキューイングシステムが解釈する埋め込みオプションです。詳細は、6
章を参照してください。
並列化方法
スレッド並列
プロセス並列
ハイブリッド
7.4.1.
記述例
ヘッダー部分
#PBS -l select=ncpus=8:......
スクリプト本体
setenv OMP_NUM_THREADS 8
dplace –x2 ./a.out
ヘッダー部分
#PBS -l select=ncpus=8:......
スクリプト本体
mpirun -np 8 dplace -s1 ./a.out
ヘッダー部分
#PBS -l select=ncpus=32:......
スクリプト本体
setenv OMP_NUM_THREADS 4
mpirun -np 8 /usr/local/bin/omplace ./a.out
スレッド並列の実行例
#!/bin/csh –f
#PBS –l select=ncpus=8:mem=35328mb
cd ${PBS_O_WORKDIR}
set WORK=/work/users/${USER}
set WEEK=/week/users/${USER}
setenv FORT5 ./ims.input
#装置番号5番への指定
# 「4.4.1 /home下のファイルへの繁茂なIOは厳禁」の理由により、プログラムの出力を${WORK}の下で行う
# 高速ファイル I/O システムへの入出力指定
setenv FORT6 ${WORK}/monitor-001.data
#装置番号6番への指定
setenv FORT2 ${WORK}/traj-001.data
#
setenv OMP_NUM_THREADS 8
dplace –x2 ./a.out
#
mv ${FORT2} ${WEEK}/
mv ${FORT6} ./
# ${WORK}のファイルはジョブ終了後、自動的に削除されます
7.4.2.
プロセス並列の実行例
#!/bin/csh –f
#PBS –l select=ncpus=8:mem=35328mb
cd ${PBS_O_WORKDIR}
計算科学研究センター
- 36 -
利用の手引き平成 20 年 12 月
7 Altix4700 の利用
set WORK=/work/users/${USER}
set WEEK=/week/users/${USER}
setenv FORT5 ./ims.input
#装置番号5番への指定
# 「4.4.1 /home下のファイルへの繁茂なIOは厳禁」の理由により、プログラムの出力を${WORK}の下で行う
# 高速ファイル I/O システムへの入出力指定
setenv FORT6 ${WORK}/monitor-001.data
#装置番号6番への指定
setenv FORT2 ${WORK}/traj-001.data
#
mpirun –np 8 dplace –s1 ./a.out
#
mv ${FORT2} ${WEEK}/
mv ${FORT6} ./
# ${WORK}のファイルはジョブ終了後、自動的に削除されます
7.5. 使用コンパイラーの切り替え
Altix 4700 のデフォルトコンパイラーは intel compiler 10.1 ですが、他のバージョンのものに切り替えて使うこ
とができます。また、数学ライブラリ MKL も同様に切り替えて使うことができます。ccatx でコンパイルす
る前に行います。実行時に同一環境に切り替える必要があるため、バッチスクリプトファイルの最初のほう
に、同じバージョンのコンパイラーと数学ライブラリを load しなければなりません。
・現在の設定表示（module list）
ccatx% module list
Currently Loaded Modulefiles:
1) intel101 2) mkl100
上記の設定がデフォルトです。
・切り替え可能バージョンの一覧表示（module avail）
ccatx% module avail
--------------------------------- /usr/share/modules -------------------------------3.1.6
modulefiles/intel11074 modulefiles/mkl60
modulefiles/intel100 modulefiles/intel9
modulefiles/mkl721
modulefiles/intel101 modulefiles/mkl100
modulefiles/mkl81
modulefiles/intel10117 modulefiles/mkl1005
modulefiles/mkl91
modulefiles/intel10121 modulefiles/mkl1010
-------------------------- /usr/share/modules/modulefiles --------------------------intel100 intel10117 intel11074 mkl100
mkl1010
mkl721
mkl91
intel101 intel10121 intel9
mkl1005
mkl60
mkl81
各バージョン名の内容は、以下のものとなります。
module コマンドでのバージョン名
実体のバージョン
Intel Fortran Compiler : Version 9.1.033
Intel C Compiler : Version 9.1.039
Intel Fortran Compiler : Version 10.0.023
Intel C Compiler : Version 10.0.023
Intel Fortran Compiler : Version 10.1.015
Intel C Compiler : Version 10.1.015
Intel Fortran Compiler : Version 10.1.017
Intel C Compiler : Version 10.1.017
intel9
intel100
intel101
intel10117
intel10121
計算科学研究センター
Intel Fortran Compiler : Version 10.1.021
- 37 -
利用の手引き平成 20 年 12 月
7. Altix4700 の利用
Intel C Compiler : Version 10.1.021
Intel Fortran Compiler : Version 11.0.074
Intel C Compiler : Version 11.0.074
intel11074
mkl60
Intel MKL : Version 6.0
mkl721
Intel MKL : Version 7.2.1
mkl81
Intel MKL : Version 8.1
mkl91
Intel MKL : Version 9.1
mkl100
Intel MKL : Version 10.0.2.018
mkl1005
Intel MKL : Version 10.0.5.025
mkl1010
Intel MKL : Version 10.1.0.015
・バージョンの切り替え（module load、module unload）
（例）Compiler を 10.1.015 から 10.0.023、MKL を 10.0.2.018 から 9.1 に切替える
ccatx%
ccatx%
ccatx%
ccatx%
module
module
module
module
unload intel101
unload mkl100
load intel9
load mkl91
切り替わったかどうかの確認は、
ccatx% module list
Currently Loaded Modulefiles:
1) intel9 2) mkl91
ccatx% ifort -V; icc –V
# --- Compiler 9.1 load結果の確認
Intel(R) Fortran Itanium(R) Compiler for Itanium(R)-based applications
Version 9.1 Build 20060523 Package ID: l_fc_c_9.1.033
Copyright (C) 1985-2006 Intel Corporation. All rights reserved.
Intel(R) C Itanium(R) Compiler for Itanium(R)-based applications
Version 9.1 Build 20060523 Package ID: l_cc_c_9.1.039
Copyright (C) 1985-2006 Intel Corporation. All rights reserved.
ccatx% env
# -- MKL 9.1 load結果の確認
:
LD_LIBRARY_PATH=/opt/intel/mkl/9.1....
:
LIBRARY_PATH=/opt/intel/mkl/9.1/lib/64:...
計算科学研究センター
- 38 -
利用の手引き平成 20 年 12 月
8 PrimeQeustの利用
8. PrimeQeustの利用
共有メモリを利用した高速な並列プロセス間通信ができ、比較的高速な/weekのディスクが接続されています。
一方、メモリがCPUあたり3.5GBであるため、同じCPUのAltix4700より課金は低めに設定されています。
8.1.
Fortranの使い方
Fortranのプログラムのコンパイル・リンクには、富士通 Parallelnavi Language Package for LinuxとIntel
Fortran Compiler 9および8が利用できます。
8.1.1.
富士通 Parallelnavi Language Package for Linux（Fortran）の使い方
コンパイル・リンクには、ccprq上で、非MPIのプログラムにはfrtコマンド、MPIのプログラムにはmpifrtコ
マンドを使います。
プログラムの形態
コンパイル例
リンク例
非並列
frt –c a.f
frt –o a.out a.o
自動並列化
frt –Kparallel –c a.f
frt –Kparallel –o a.out a.o
OpenMP並列化
frt –KOMP –c a.f
frt –KOMP –o a.out a.o
MPI並列化
mpifrt –c a.f
mpifrt –o a.out a.o
8.1.1.1.
使用頻度の高いコンパイルオプション
コンパイルオプション
機能
-O0, -O1, -O2, -O3
最適化のレベルを指定します。-Oのみの場合、-O2に相当します。
-Kparallel
自動並列化機能を利用します。さまざまな要因により、自動並列化は実行
されないことがあります。その場合は、指示行の挿入が必要です。
-Kpmsg
自動並列化の状況の表示をします。
-KOMP
OpenMP指示行を有効にします。
-Qp
OpenMPの最適化情報を表示します。
-static-flib
Fortranのライブラリのみ静的リンクします。
-Haefosux
プログラム実行時に、配列外アクセスや初期化していない変数の検出を可
能にします。
より詳しい使い方は、ccprqのmanコマンド（man frt）で参照してください。
8.1.1.2.
入出力ファイルの指定
環境変数fuにより、ファイルの割り当てを行います。
計算科学研究センター
- 39 -
利用の手引き平成20年12月
8 PrimeQuestの利用
ただし、実行時オプション-m、-r、-p によって表される装置番号（標準は、それぞれ0、5、6）は、それぞ
れ固定的に標準エラー出力、標準入力、標準出力に接続されるため、環境変数によってファイルと接続する
ことはできません。これらのファイルは、リダイレクション機能を使用することにより端末以外に接続する
ことができます。
割り当て方法の例は、以下の通りです。
% setenv fu01 /home/users/${USER}/prq/ims.input
% setenv fu02 /home/users/${USER}/prq/ims.output
8.1.2.
Intel Fortran Compilerの使い方
コンパイル・リンクには、ccprq上で、非MPIのプログラムにはifortコマンド、MPIのプログラムにはmpifrt
コマンドを使います。
プログラムの形態
コンパイル例
リンク例
非並列
ifort –c a.f
ifort –i-static –o a.out a.o
自動並列化
ifort –parallel –c a.f
ifort –istatic –parallel –o a.out a.o
OpenMP並列化
ifort –openmp –c a.f
ifort –istatic –openmp –o a.out a.o
MPI並列化
mpifrt –compiler intel –c a.f
mpifrt –compiler intel –i-static ¥
–o a.out a.o
Intel Fortran Compiler 8を使うには、「使用コンパイラー切り替え」を参照してください。
8.1.2.1.
使用頻度の高いコンパイルオプション
コンパイルオプション
機能
-O0, -O1, -O2, -O3
最適化のレベルを指定します。-Oのみの場合、-O2に相当します。
-ipo
サブルーチン相互の関係を考慮した最適化を行います。
-parallel
自動並列化機能を利用します。ポインタの別名参照の可能性が有るなど、
さまざまな要因により、自動並列化は実行されないことがあります。その
場合は、指示行の挿入が必要です。
-openmp
OpenMP指示行を有効にします。
-fno-alias
ポインタの別名参照が無いことを指定し、ポインタの参照先の重なりを無
視して、高速なコードを生成します。参照先に重なりがある場合は、結果
が保証できませんので注意してください。
-i-static
インテル提供のライブラリのみ静的リンクします。
-Wall
コンパイル時に様々な警告を表示します。
-traceback
プログラム不正終了のときに、不正箇所の特定に役立ちます。
より詳しい使い方は、ccprq上でmanコマンド（man ifort）で参照してください。
計算科学研究センター
- 40 -
利用の手引き平成20年12月
8 PrimeQeustの利用
8.1.2.2.
入出力ファイルの指定
環境変数FORTにより、ファイルの割り当てを行います。割り当て方法の例は、以下の通りです。
% setenv FORT5 /home/users/${USER}/altix/ims.input
% setenv FORT6 /home/users/${USER}/altix/ims.output
8.2.
C/C++の使い方
CおよびC++のプログラムのコンパイル・リンクには、富士通 Parallelnavi Language Package for Linuxと
Intel C/C++ Compiler 9および8が利用できます。
8.2.1.
富士通 Parallelnavi Language Package for Linux（C/C++）の使い方
コンパイル・リンクには、ccprq上で、非MPIプログラムの場合、Cにはfcc、C++にはFCCコマンドを使い、MPI
のプログラムの場合は、Cにはmpifcc、C++にはmpiFCCを使います。
プログラムの形態
コンパイル例
リンク例
非並列
fcc –c a.c
fcc –o a.out a.o
自動並列化
fcc –Kparallel –c a.c
fcc –Kparallel –o a.out a.o
OpenMP並列化
fcc –KOMP–c a.c
fcc –KOMP –o a.out a.o
MPI並列化
mpifcc –c a.c
mpifcc –o a.out a.o –lmpi
8.2.1.1.
使用頻度の高いコンパイルオプション
コンパイルオプション
機能
-O0, -O1, -O2, -O3
最適化のレベルを指定します。-Oのみの場合、-O2に相当します。
-Kparallel
自動並列化機能を利用します。ポインタの別名参照の可能性が有るなど、
さまざまな要因により、自動並列化は実行されないことがあります。
-KOMP
OpenMP指示行を有効にします。
より詳しい使い方は、ccprq上でmanコマンド（man
8.2.2.
fcc、man FCC）で参照してください。
Intel C/C++ Compilerの使い方
コンパイル・リンクには、Cにはicc、C++にはicpcコマンドを使います。デフォルトコンパイラーの変更の影
響を受けないように、リンク時に-i-staticをつけることを推奨します。
プログラムの形態
コンパイル例
リンク例
非並列
icc –c a.c
icc –i-static –o a.out a.o
自動並列化
icc –parallel –c a.c
icc –i-static –parallel –o a.out a.o
OpenMP並列化
icc –openmp –c a.c
icc –i-static –openmp –o a.out a.o
MPI並列化
icc –c a.c
icc –i-static –o a.out a.o –lmpi
計算科学研究センター
- 41 -
利用の手引き平成20年12月
8 PrimeQuestの利用
8.2.2.1.
使用頻度の高いコンパイルオプション
コンパイルオプション
機能
-O0, -O1, -O2, -O3
最適化のレベルを指定します。-Oのみの場合、-O2に相当します。
-ipo
サブルーチン相互の関係を考慮した最適化を行います。
-parallel
自動並列化機能を利用します。ポインタの別名参照の可能性が有るなど、
さまざまな要因により、自動並列化は実行されないことがあります。その
場合は、指示行の挿入が必要です。
-openmp
OpenMP指示行を有効にします。
-fno-alias
ポインタの別名参照が無いことを指定し、ポインタの参照先の重なりを無
視して、高速なコードを生成します。参照先に重なりがある場合は、結果
が保証できませんので注意してください。
-i-static
インテル提供のライブラリのみ静的リンクします。
-Wall
コンパイル時に様々な警告を表示します。
-traceback
プログラム不正終了のときに、不正箇所の特定に役立ちます。
より詳しい使い方は、ccprq上でmanコマンド（man
8.3.
icc、man icpc）で参照してください。
科学技術ライブラリの使用
富士通が提供するSSL II, BLAS, LAPACK, ScaLAPACK、Intelが提供するMKLおよびVisual Numericsが提供す
るIMSLが利用出来ます。SSL II, BLAS, LAPACK, ScaLAPACKは富士通コンパイラーで使えます。MKLはIntel
コンパイラーで使えます。IMSLは両方のコンパイラーで使えます。
8.3.1.
SSL II, BLAS, LAPACK, ScaLAPACKの使い方
SSL II, BLAS, LAPACK, ScaLAPACKの詳細は、ユーザー限定ページの富士通PRIMEQUESTオンラインマニュアル
にある文書を参照してください。
FortranとCのサンプルは、ccfep1もしくはccfep2の/local/apl/prq/ssl2以下にあります。以下のようにコン
パイル・リンクします。
SSL IIおよびBLAS、LAPACKを利用する場合は、-SSL2を指定します。
ccprq% frt –SSL2 –o fortran fortran.f
ccprq% fcc –KSSL2 –o c c.c
SSL2スレッド並列機能を利用する場合は、-KOMP -SSL2を指定します。
ccprq% frt –KOMP –SSL2 –o fortran fortran.f
BLAS、LAPACKスレッド並列版を利用する場合は、-SSL2BLAMPを指定します。
ccprq% frt –KOMP –SSL2BLAMP –o fortran fortran.f
（注意）SSL IIスレッド並列機能のサブルーチン名は従来のSSL IIとは異なったものになっています。さら
に引数の並びも該当するSSL IIサブルーチンのそれとは必ずしも同一ではありません。
計算科学研究センター
- 42 -
利用の手引き平成20年12月
8 PrimeQeustの利用
MPIのプログラムでSSL II/MPIライブラリを結合する場合は、-SSL2MPIと-SSL2(もしくは-SSL2BLAMP)を合わ
せて指定します。
ccprq% mpifrt –KOMP –SSL2MPI –SSL2BLAMP –o fortran fortran.f
MPIのプログラムでSCALAPACKを結合する場合は、-SCALAPACKと-SSL2(もしくは-SSL2BLAMP)を合わせて指定し
ます。
ccprq% mpifrt –SSL2MPI –SSL2 –o fortran fortran.f
8.3.2.
MKLの使い方
MKLの詳細は、ccprqの$MKL_DIR/doc/以下のPDFファイルを参照してください。
FortranとCのサンプルは、ccfep1もしくはccfep2の/local/apl/prq/mkl以下にあります。以下のようにコン
パイル・リンクします。
ccprq% icc –istatic -I$MKL_DIR/include -o c c.c -L$MKL_DIR/lib/64 -lmkl -lmkl_lapack -lm
ccprq% ifort –i-static -o fortran fortran.f -L$MKL_DIR/lib/64 -lmkl -lmkl_lapack
8.3.3.
IMSLの使い方
IMSLの詳細は、ユーザー限定ページのオンラインマニュアルを参照してください。
インテルコンパイラーを使う場合は、以下のコマンドで、コンパイル環境をインテルコンパイラーに変更し
ます。
ccprq% source /usr/local/vni/setup.csh
富士通コンパイラーを使う場合は、以下のコマンドで、コンパイル環境を富士通コンパイラーに変更します。
ccprq% source /usr/local/vni/setup_fuji.csh
Fortranの場合のコンパイルとリンクは、インテルコンパイラーを使う場合、次のようにします。
ccprq% $F90 –i-static –o “実行モジュール名” $F90FLAGS “ソースファイル名” “リンク用環境変数”
のようにします。
Fortranの場合のコンパイルとリンクは、インテルコンパイラーを使う場合、
ccprq% $F90 –o “実行モジュール名” $F90FLAGS “ソースファイル名” “リンク用環境変数”
のようにします。「リンク用環境変数」は、下記のものがあります。通常、性能の優れた$LINK_F90_SMP、
$LINK_F90_STATIC_SMP、$LINK_MPI_SMPのいずれかを使います。
リンク用環境変数
内容
$LINK_F90
Sharedリンクでリンクします。
$LINK_F90_STATIC
Staticリンクでリンクします。
$LINK_F90_SMP
Sharedリンクで、一部openmpで並列化します。
$LINK_F90_STATIC_SMP
Staticリンクで、一部openmpで並列化します。
$LINK_MPI
プログラムでMPIを使っている場合に使います。
$LINK_MPI_SMP
プログラムでMPIを使い、imslを一部openmpで並列化する場合に使います。
Fortranのサンプルは、ccfep1もしくはccfep2の/local/apl/prq/imsl以下にあります。以下のようにコンパ
計算科学研究センター
- 43 -
利用の手引き平成20年12月
8 PrimeQuestの利用
イル・リンクします。
ccprq% $F90 -o imsl $F90FLAGS imsl.f $LINK_F90_SMP
Cの場合のコンパイルとリンクは、
ccprq% $CC –o “実行モジュール名” $CFLAGS “ソースファイル名” “リンク用環境変数”
のようにします。「リンク用環境変数」は、下記のものがあります。通常、性能の優れた$LINK_CNL_SMP、
$LINK_CNL_STATIC_SMPのいずれかを使います。
8.4.
リンク用環境変数
内容
$LINK_CNL
Sharedリンクでリンクします。
$LINK_CNL_STATIC
Staticリンクでリンクします。
$LINK_CNL_SMP
Sharedリンクで、一部openmpで並列化します。
$LINK_CNL_STATIC_SMP
Staticリンクで、一部openmpで並列化します。
並列プログラムの実行方法
並列化されたプログラムの動かし方は、並列化された方法によって異なります。PrimeQuestでは、環境変数
の定義が必要な場合があります。
並列化は、自動並列・OpenMPのようなスレッド並列、MPIのようなプロセス並列、あるいは、スレッド並列と
プロセス並列の組み合わせ（ハイブリッド）があります。それぞれの場合の動かし方をまとめると下記のよ
うになります。ヘッダー部分はキューイングシステムが解釈する埋め込みオプションです。詳細は、6章を参
照してください。
並列化方法
記述例
スレッド並列
ヘッダー部分
# @$-lP 1
# @$-lp 8
(富士通コンパイラー
で自動並列化)
スクリプト本体
setenv PARALLEL 8
./a.out
スレッド並列
（上記以外）
ヘッダー部分
スクリプト本体
ヘッダー部分
プロセス並列
# @$-lP 1
# @$-lp 8
setenv OMP_NUM_THREADS 8
setenv FLIB_FASTOMP
./a.out
# @$-lP 8
# @$-lp 1
スクリプト本体
mpiexec –n 8./a.out
ハイブリッド
ヘッダー部分
# @$-lP 8
# @$-lp 4
(富士通コンパイラー
で自動並列化)
スクリプト本体
setenv PARALLEL 4
mpiexec -n 8 ./a.out
ハイブリッド
（上記以外）
計算科学研究センター
ヘッダー部分
スクリプト本体
# @$-lP 8
# @$-lp 4
setenv OMP_NUM_THREADS 4
setenv FLIB_FASTOMP
mpiexec -n 8 ./a.out
- 44 -
利用の手引き平成20年12月
8 PrimeQeustの利用
8.4.1.
スレッド並列の実行例
以下は、実行ファイル./a.outをインテルコンパイラーでコンパイルしたときの例です。
#!/bin/csh –f
# @$-lP 1
# @$-lp 8
# @$-lm 24gb
# @$
cd ${QSUB_WORKDIR}
set WORK=/work/users/${USER}
set WEEK=/week/users/${USER}
setenv FORT5 ./ims.input
#装置番号5番への指定
# 「4.4.1 /home下のファイルへの繁茂なIOは厳禁」の理由により、プログラムの出力を${WORK}の下で行う
# 高速ファイル I/O システムへの入出力指定
setenv FORT6 ${WORK}/monitor-001.data
#装置番号6番への指定
setenv FORT2 ${WORK}/traj-001.data
#
setenv OMP_NUM_THREADS 8
setenv FLIB_FASTOMP
./a.out
#
mv ${FORT2} ${WEEK}/
mv ${FORT6} ./
# ${WORK}のファイルはジョブ終了後、自動的に削除されます
8.4.2.
プロセス並列の実行例
以下は、実行ファイル./a.outがインテルコンパイラーでコンパイルしたときの例です。
#!/bin/csh –f
# @$-lP 8
# @$-lp 1
# @$-lm 3gb
# @$
cd ${QSUB_WORKDIR}
set WORK=/work/users/${USER}
set WEEK=/week/users/${USER}
setenv FORT5 ./ims.input
#装置番号5番への指定
# 「4.4.1 /home下のファイルへの繁茂なIOは厳禁」の理由により、プログラムの出力を${WORK}の下で行う
# 高速ファイル I/O システムへの入出力指定
setenv FORT6 ${WORK}/monitor-001.data
#装置番号6番への指定
setenv FORT2 ${WORK}/traj-001.data
#
mpiexeｃ –n 8 ./a.out
#
mv ${FORT2} ${WEEK}/
mv ${FORT6} ./
# ${WORK}のファイルはジョブ終了後、自動的に削除されます
8.5.
使用コンパイラーの切り替え
PrimeQuestのデフォルトのインテルコンパイラーはバージョン10.1ですが、ccprqで以下のコマンドを打つこ
とによって一時的にバージョン10.1から8.1へ切り替えることができます。
ccprq% source /opt/intel_fc_80/bin/ifortvars.csh
ccprq% source /opt/intel_cc_80/bin/iccvars.csh
このようにコンパイルしてできた実行ファイルは、バッチスクリプトの中でも上記の2行を該当実行ファイル
の実行よりも前に加えなければなりません。バージョン9.1へ切り替えて-i-staticをつけてコンパイルした
場合は、実行時に上記二行を加える必要はありません。
計算科学研究センター
- 45 -
利用の手引き平成20年12月
9 SR16000 の利用
9. SR16000の利用
9.1.
Fortranの利用
Fortran のプログラムのコンパイル・リンクには、日立の最適化 FORTRAN90 と IBM の XL Fortran が利用できます。
9.1.1.
最適化FORTRAN90の使い方
ccfep1、ccfep2 でクロスコンパイル(xf90)できます。生成した実行形式ファイルは、SR16000 及び ccfep1、ccfep2 で動
作します。xf90 コマンドは、自動要素並列化、及び各種自動最適化機能を有します。詳細は、” man xf90”及び利用
者限定ページにある「最適化 FORTRAN90 使用の手引」と「最適化 FORTRAN90 言語」を参照してください。
プログラムの形態
コンパイル例
リンク例
非並列
xf90 －nolimit –noparallel –c a.f
xf90 –o a.out a.o
自動並列化
xf90 -nolimit –parallel –c a.f
xf90 -parallel –o a.out a.o
OpenMP 並列化
xf90 –nolimit –omp –parallel –c a.f
xf90 –omp –parallel –o a.out a.o
MPI 並列化
mpif90 –nolimit –noparallel –c a.f
mpif90 –o a.out a.o
最適化 FORTRAN90 の制限事項で、自動並列および OpenMP のスレッド並列の並列数は 16 までです。
9.1.1.1.
使用頻度の高いコンパイルオプション
本センターでは、デフォルトのコンパイルオプションを-Os、-64 としています。
コンパイルオプション
機能
-O0,-O3,-O4,-Os,-Oss
原始プログラムをコンパイルするときの最適化レベルを指定する
-parallel〔=0|=1|=2|=3|=4〕
要素並列化のレベルを指定する
-pvfunc〔=0|=1|=2|=3〕
組込み関数の引用に対して、ベクトル数学関数を引用するかどうかを指定する
-divopt
除算の削減最適化を行う
-mathinline
数学関数のインライン化を行う
-autoinline〔=0|=1|=2〕
ユーザ関数インライン展開機能を指定する（同一ファイル内のみ適用）
-uinlinename〔=file:sub〕
ユーザ関数インライン展開機能を指定する（別ファイルでも適用）
-uinline 〔〔=0|=1|=2〕:ext〕
ユーザ関数インライン展開を指定する（別ファイルでも適用）
計算科学研究センター
- 46 -
利用の手引き平成 20 年 12 月
9 SR16000 の利用
-precise
副作用のある最適化を抑止する
-noscope
スコープ分割をしない
-prefetch_zero
ゼロクリア・コピーループを高速化する（-pvfunc=1 以上を指定することが前提）
-nolimit
コンパイル時間およびコンパイル時使用メモリ量を無制限にコンパイルを行う
-loglist
最適化診断メッセージ（*.log ファイル）を取得する
9.1.1.2.
使用頻度の高いリンクオプション
本センターでは、デフォルトのリンクオプションを「-64、-parallel=2」としています
リンクオプション
機能
-parallel
SMP 並列化ライブラリをリンクすることを指示
-Wl,-bmaxdata:N
使用メモリ容量の最大値をバイト単位 N で指定（N は整数）
※64 ビット利用の方は指定不要です。
※32 ビット利用の方は、以下の指定をお願いします。
リンクオプション
：-32 -Wl,'-bmaxdata:0x80000000'
実行時環境変数の指定：HF_PRUNST_STACKSIZE=4096
9.1.1.3.
入出力ファイルの指定
環境変数を設定することによりファイルの割り当てを行います。以下の例は装置番号 10 および 11 の FORTRAN 順
序番号 001 のファイルを指定しています。
csh 環境のコマンドラインにおいて、ファイル名を装置番号に割り当てる例を以下に示します。
% setenv FT10F001 /home/users/${USER}/hsr/ims.input
% setenv FT11F001 /home/users/${USER}/hsr/ims.output
この方法は、他の装置番号や実行時オプションの設定において重要な方法となります。実行時オプションの
詳細は、「最適化 FORTRAN90 使用の手引」を参照してください。
9.1.1.4.
最適化・並列化診断メッセージ
以下のように、コンパイルオプションに"-loglist"を指定することにより、最適化診断メッセージを出力す
ることができます。
% xf90 -loglist -c ims_1.f
% less ims_1.log
計算科学研究センター
- 47 -
利用の手引き平成 20 年 12 月
9 SR16000 の利用
9.1.1.5.
性能測定
リンケージオプションに"-G"を指定し生成した実行形式ファイルを実行すると、プロファイリング情報採
取することが可能です。
% xf90 -o ims_1.exe -G ims_1.f
ジョブ実行終了後、gprof コマンドで表示します。
% gprof -b ims_1.exe
9.1.1.6.
デバッガの利用
デバッガとして、「dbx」「pdbx」が利用できます。「pdbx」は MPI 並列プログラムのデバッガです。デバッガを利用する
際には、コンパイルオプションを「-g -O0 .debug」と指定することを推奨いたします。
9.1.2.
XL Fortranの使い方
ccfep1、ccfep2 でコンパイルできます。生成した実行形式ファイルは、SR16000 及び ccfep1、ccfep2 で動作します。
XL Fortran は、自動要素並列化、及び各種自動最適化機能を有します。詳細は、”xlf --h”及び利用者限定ページに
ある「XL Fortran 言語解説書」と「XL Fortran ユーザーズガイド」を参照してください。
プログラムの形態
コンパイル例
リンク例
非並列
xlf –q64 –qcache=auto –c a.f
xlf –q64 –o a.out a.o
自動並列化
xlf_r –q64 –qsmp=auto –qcache=auto –c a.f
xlf_r –q64 –qsmp –o a.out a.o
OpenMP 並列化
xlf_r –q64 –qsmp=omp -qcache=auto –c a.f
xlf_r –q64 -qsmp –o a.out a.o
MPI 並列化
mpxlf_r –q64 –qcache=auto
mpxlf_r –q64 –o a.out a.o
9.1.2.1.
–c a.f
使用頻度の高いコンパイルオプション
コンパイルオプション
機能
-O0, -O2, -O3,-O4,-O5
原始プログラムをコンパイルするときの最適化レベルを指定する
-qsmp=auto
自動並列化を行います
-qsmp=omp
OpenMP Fortran API 準拠の並列化を行います
-q64
64 ビットコンパイルビットモードを指示します
-qcache=auto
実行マシンのためのキャッシュ構成を指定します
計算科学研究センター
- 48 -
利用の手引き平成 20 年 12 月
9 SR16000 の利用
9.2.
C/C++の利用
ccfep1 および ccfep2 上でコンパイルできます。C/C++のプログラムのコンパイル・リンクには、IBM の XL C/C++が利
用できます。
C の場合
プログラムの形態
コンパイル例
リンク例
非並列
xlc –q64 –qcache=auto –c a.c
xlc –q64 –o a.out a.o
自動並列化
xlc_r –q64 –qsmp=auto –qcache=auto –c a.c
xlc_r –q64 –qsmp –o a.out a.o
OpenMP 並列化
xlc_r –q64 –qsmp=omp -qcache=auto –c a.c
xlc_r –q64 -qsmp –o a.out a.o
MPI 並列化
mpcc –q64 –qcache=auto –c a.c
mpcc –q64 –o a.out a.o
プログラムの形態
コンパイル例
リンク例
非並列
xlC –q64 –qcache=auto –c a.c
xlC –q64 –o a.out a.o
自動並列化
xlC_r –q64 –qsmp=auto –qcache=auto –c a.c
xlC_r –q64 –qsmp –o a.out a.o
OpenMP 並列化
xlC_r –q64 –qsmp=omp -qcache=auto –c a.c
xlC_r –q64 -qsmp –o a.out a.o
MPI 並列化
mpCC –q64 –qcache=auto –c a.c
mpCC –q64 –o a.out a.o
C++の場合
9.2.1.
使用頻度の高いコンパイルオプション
コンパイルオプション
機能
-O0, -O2, -O3,-O4,-O5
原始プログラムをコンパイルするときの最適化レベルを指定する
-qsmp=auto
自動並列化を行います
-qsmp=omp
OpenMP Fortran API 準拠の並列化を行います
-q64
64 ビットコンパイルビットモードを指示します
-qcache=auto
実行マシンのためのキャッシュ構成を指定します
計算科学研究センター
- 49 -
利用の手引き平成 20 年 12 月
9 SR16000 の利用
9.3.
科学技術ライブラリの使用
MATRIX/MPP、MSL2、ESSL が利用できます。
9.3.1.
MATRIX/MPPの使い方
科学技術計算ライブラリ MATRIX/MPP を利用出来ます。MATRIX/MPP は科学技術計算で特に利用頻度の
高い行列計算を中心とした機能を装備したライブラリです。詳細は、「行列計算副プログラムライブラリ
MATRIX/MPP」を参照してください。
以下に、MATRIX/MPP のリンケージしプログラム ims_1.f から、実行形式ファイル ims1.exe を生成するコ
マンドを示します。
% xf90 -o ims1.exe ims_1.f –lmatmpp
1CPU 版(逐次版)を使用する場合は、"-lmatmpp_sc"を指定します。
% xf90 –o ims1.exe ims_1.f -lmatmpp_sc
9.3.2.
MSL2の使い方
科学技術計算ライブラリ MSL2 を利用出来ます。MSL2 は、数値計算の実行に必要となる代表的な数値計
算上の手法を装備しています。詳細は、「数値計算副プログラムライブラリ MSL2 行列計算」「数値計算副
プログラムライブラリ MSL2 関数計算」「数値計算副プログラムライブラリ MSL2 統計計算」「数値計算副
プログラムライブラリ MSL2 操作」を参照してください。
以下に、MSL2 のリンケージしプログラム ims_2.f から、実行形式ファイル ims2.exe を生成するコマンド
を示します。
% xf90 –o ims2.exe ims_2.f –lMSL2P
1CPU 版(逐次版)を使用する場合は、"-lMSL2"を指定します。
% xf90 –o ims2.exe ims_2.f - lMSL2
9.3.3.
ESSLの使い方
科学技術計算ライブラリ ESSL と Parallel ESSL を利用出来ます。
以下に、ESSL を使ったプログラム ims_3.f から、実行形式ファイル ims3.exe を生成するコマンドを示します。
日立最適化 Fortran90 の場合
% xf90 -i,LS –o ims3.exe ims_3.f –lessl
XL Fortran の場合
% xlf –o ims3.exe ims_3.f –lessl
Parallel ESSL を使ったプログラム ims_4.f から、実行形式ファイル ims4.exe を生成するコマンドを示します。
日立最適化 Fortran90 の場合
計算科学研究センター
- 50 -
利用の手引き平成 20 年 12 月
9 SR16000 の利用
% mpif90 –i,LS –o ims4.exe ims_4.f -lpesslsmp –lblacssmp
XL Fortran の場合
% mpxlf –o ims4.exe ims_4.f -lpesslsmp -lblacssmp
9.3.4.
BLAS・LAPACK・SCALAPACKの使い方
最適化 FORTRAN90(要素並列化版)を使う場合について説明します。XL Fortran を利用する場合は ESSL に
BLAS・LAPACK が内包されていますのでそちらを使ってください。
各ライブラリは、/usr/local/lib にあります。
[BLAS, LAPACK]
32 ビットでコンパイルする場合
% mpif90 -Wl,'-bmaxdata:0x80000000' sample.f -llapack –lblas
※ 実行時に環境変数 HF_PRUNST_STACKSIZE=4096 の指定が必要です。
64 ビットでコンパイルする場合
% mpif90 sample.f -llapack -lblas
[ScaLAPACK]
32 ビット C の場合
% setenv CCNAME mpcc
% setenv CCPATH /usr/bin
% mpif90 -Wc,-q32 -32 -Wl,'-bmaxdata:0x80000000' csample.c
-lblacsCinit -lblas -lf90s
-lscalapack -lblacs
※ 実行時に環境変数 HF_PRUNST_STACKSIZE=4096 の指定が必要です。
64 ビット C の場合
% mpif90 -64 cexample.c -lscalapack -lblacs -lblacsCinit -lblas -lf90s
32 ビット Fortran の場合
% mpif90 -32 -Wl,'-bmaxdata:0x80000000' fexample.f -lscalapack -lblacs
-lblacsF77init -lblas
※ 実行時に環境変数 HF_PRUNST_STACKSIZE=4096 の指定が必要です。
64 ビット Fortran の場合
% mpif90 fexample.f -lscalapack -lblacs -lblacsF77init –lblas
計算科学研究センター
- 51 -
利用の手引き平成 20 年 12 月
9 SR16000 の利用
9.4.
並列プログラムの実行方法
並列化方法
記述例
スレッド並列
ヘッダー部分
#@total_tasks=1
#@resources=ConsumableCpus(8) ....
(自動並列)
スクリプト本体
./a.out
スレッド並列
ヘッダー部分
(OpenMP並列)
スクリプト本体
ヘッダー部分
プロセス並列
#@total_tasks=1
#@resources=ConsumableCpus(8) ....
setenv OMP_NUM_THREADS 8
./a.out
#@total_tasks=8
#@resources=ConsumableCpus(1) ....
スクリプト本体
./a.out
ハイブリッド
ヘッダー部分
#@total_tasks=4
#@resources=ConsumableCpus(8) ....
(自動並列)
スクリプト本体
./a.out
ハイブリッド
ヘッダー部分
(OpenMP並列)
スクリプト本体
#@total_tasks=4
#@resources=ConsumableCpus(8) ....
setenv OMP_NUM_THREADS 8
./a.out
※ 1 プロセス当たりのメモリ容量(ラージページ)最大値の指定には ConsumableMemory(N)を用います。N には、
gb/mb/kb 単位で整数指定します。指定を省略した場合には、センターデフォルト(3280MB/CPU)の容量を割当て
ます。
※ 課金は偶数 CPU 数単位で行います。奇数 CPU を要求した場合は切り上げて課金しますが、実行は要求 CPU
数で行います。
9.4.1.
スレッド並列の実行方法
以下は、実行ファイル./a.out を日立最適化 FORTRAN 90 で自動並列化を有効にしてコンパイルしたときの例です。
#!/bin/csh –f
#@total_tasks=1
#@resources=ConsumableCpus(8) ConsumableMemory(24gb)
#@class=PH
#@queue
cd ${LOADL_STEP_INITDIR}
set WORK=/work/users/${USER}
set WEEK=/week/users/${USER}
setenv FT05F001 ./ims.input
#装置番号5番への指定
# 「4.4.1 /home下のファイルへの繁茂なIOは厳禁」の理由により、プログラムの出力を${WORK}の下で行う
# 高速ファイル I/O システムへの入出力指定
setenv FT06F001 ${WORK}/monitor-001.data
#装置番号6番への指定
setenv FT02F001 ${WORK}/traj-001.data
#
./a.out
#
mv ${FT02F001} ${WEEK}/
mv ${FT06F001} ./
# ${WORK}のファイルはジョブ終了後、自動的に削除されます
※2008 年 11 月より、スレッド並列の最大は 16 並列となります。
計算科学研究センター
- 52 -
利用の手引き平成 20 年 12 月
9 SR16000 の利用
9.4.2.
プロセス並列の実行方法
#!/bin/csh –f
#@total_tasks=8
#@resources=ConsumableCpus(1) ConsumableMemory(3gb)
#@class=PH
#@queue
cd ${LOADL_STEP_INITDIR}
set WORK=/work/users/${USER}
set WEEK=/week/users/${USER}
setenv FT05F001 ./ims.input
#装置番号5番への指定
# 「4.4.1 /home下のファイルへの繁茂なIOは厳禁」の理由により、プログラムの出力を${WORK}の下で行う
# 高速ファイル I/O システムへの入出力指定
setenv FT06F001 ${WORK}/monitor-001.data
#装置番号6番への指定
setenv FT02F001 ${WORK}/traj-001.data
#
./a.out
#
mv ${FT02F001} ${WEEK}/
mv ${FT06F001} ./
# ${WORK}のファイルはジョブ終了後、自動的に削除されます
計算科学研究センター
- 53 -
利用の手引き平成 20 年 12 月
10 ライブラリプログラムの利用
10. ライブラリプログラムの利用
10.1. ライブラリプログラムとは
パッケージプログラムとサブルーチンライブラリの総称を当センターではライブラリプログラムと呼んで
います。
パッケージプログラムは、主に分子科学や計算科学の分野で広く用いられているプログラムのことです。
これらは、各計算サーバの/local/apl ディレクトリ以下に保存されています。ドキュメントやサンプル入出力
ファイル、サンプルシェルスクリプト等は、TSS-JE（ccfep1、ccfep2）からも確認することが出来ます。
サブルーチンライブラリは、主にベンダー提供による汎用性が高いサブルーチン・関数のことです。ベン
ダーによって高速化されており、積極的にプログラムにリンクすることが推奨されています。同じ機能を持
つサブルーチンでも、計算サーバ毎にリンクの仕方が違います。
10.2. パッケージプログラムの構成
計算サーバごとに、パッケージプログラムが用意されています。以下に、パッケージプログラムのディレ
クトリ構成を示します。
/local/apl/計算サーバ名/プログラム名/
計算サーバ名は、以下を指定してください。
計算サーバ
計算サーバ名
Altix 4700
PRIMEQUEST
SR16000
atx
prq
hsr
パッケージプログラムは、各計算サーバに最適化されたプログラムが登録されています（「10.3.2 ライブラ
リプログラム一覧」参照）。
プログラム名ディレクトリ以下は、原則としてパッケージを展開、コンパイルした状態のままになっていま
す。ディレクトリの直下にはsamplesディレクトリがある場合があります。samplesディレクトリには、実行
時の標準的なサンプルシェルスクリプト、及び、サンプル入出力データがあります。このサンプルシェルス
クリプトを用いて、必要な部分を書き換えれば、ジョブの実行が可能です。
10.3. 使用方法
基本的に、パッケージプログラムの利用は、バッチ処理で行ってください（「 6 バッチ処理」参照）。
10.3.1. Gaussian03の例
10.3.1.1. g03subを使うGaussian03の例
当センターでは、Gaussian 03を使って簡単に計算できるようにコマンドg03subを用意してあります。以下の
ような利点・機能があります。
・入力ファイルを用意するだけでGaussianジョブの投入が可能となります。
計算科学研究センター
- 54 -
利用の手引き平成20年12月
10 ライブラリプログラムの利用
・入力ファイルの%memや、%nprocの値を、そのキューで最大限活用するよう編集して実行します。（ただ
し、新たに編集されたファイル名は、旧入力ファイル名の後ろに、マシン名が付加されます。）
・自動でキューを選択されたくない場合は、”-q”オプションを使用することにより、自分でキューを選択し
て投入をすることも可能です。特に、チェックポイントファイルを再利用したい場合などは有効です。
・チェックポイントファイルを利用したい場合でも、自動的にチェックポイントファイルが/workにコピー
され、正常終了すれば、実行したディレクトリに再びコピーされます。リスタートの際などで再利用が
可能です。
（ただし、ファイル名は拡張子より前の部分を統一する必要があります。インプットがABC.com
の場合、%chk=ABC.chkとしてください。）
・キューイングシステムによって、メモリー超過でジョブが切られる場合があります。その場合は、”-mem
size”オプションを使うと、インプットファイルでは「%mem=size」となります。
・「-noedit」オプションを使用することにより、インプットファイル中の「%nproc=」や「%mem=」の値を
編集しない（オリジナルのままに）様にすることができますが、センターの効率的な運用のためにも、この
オプションはなるべく使わないようご協力ください。
ccfep1とccfep2で利用可能です。g03subを使う場合、チェックポイントファイルのトラブルを避けるため、入
力ファイルの拡張子は.com、.inp、.datのいずれかであることを推奨します。
%
%
%
%
g03sub
g03sub
g03sub
g03sub
test1.com
-q PA test1.com
test1.com test2.com test3.com
-noedit test1.com
#
#
#
#
キューを自動選択
キューPAを指定
複数の入力ファイルを一度のバッチ処理で実行
入力ファイルの%memと%nprocを編集しない
チェックポイントファイルを再利用には、（入力ファイルがA.comだった場合）A.chkを用意し、%chk=A.chk
としておけば、自動的に/workディレクトリにA.chkがコピーされ、リスタート等に活用できます。チェック
ポイントファイルはバイナリーファイルなので、各マシン間の互換性はないので、チェックポイントファイ
ルを作成したマシンへ”-q” オプションを使用して再度ジョブをしなければなりません。
10.3.1.2. シェルスクリプトを自分で書くGaussian03の例
・入力ファイルの修正
Gaussian03等のライブラリプログラムをバッチ実行する際、デフォルトで指定されるメモリ制限は、Altix
4700、PRIMEQUEST、SR16000では、キューの上限値になりますが、なるべく、スクリプトと入力ファイル
（%mem）の両方でメモリ量を指定してください。ここで注意することは、入力ファイル中で指定するメモ
リ量は、必ずスクリプト中で指定した量より１割程度少ない値に並列実行数をかけたものを使用するように
してください（OS等の必要量、及びプログラム自体がメモリにロードされる分が必要です）。また、スレッ
ド並列で並列化実行をする場合、入力ファイルで使用CPU数を必ず指定(%nproc)しなれればなりません。
例として、Altix4700の場合、Gaussian 03に含まれるtest000.comは次のように修正しなければなりません。
Altix4700で2cpu使う場合、Altix4700は11.5GBのメモリがあるので1割程度減らしたもの(10800MB)に並列実行
数(2)をかけて、%mem=21600MBとしてあります。また、%nproc=2とします。
計算科学研究センター
- 55 -
利用の手引き平成20年12月
10 ライブラリプログラムの利用
%mem=21600MB
%nproc=2
# SP, RHF/STO-3G punch=archive trakio scf=conventional
Gaussian Test Job 00
Water with archiving
0 1
O
H 1 0.96
H 1 0.96 2 109.471221
以下は、Altix4700上にあるGaussian03プログラムの場合を例にして示します。始めに自分のホームディレク
トリ下に、データ、シェルスクリプトファイルなどを置くためのディレクトリを作成し、実行用シェルスク
リプトをそこにコピーします。
ccatx% mkdir ${HOME}/g03
ccatx% cd ${HOME}/g03
ccatx% cp /local/apl/atx/g03/samples/sample.csh ./
次に、この標準シェルスクリプトを、エディタを用いて開き、必要な部分の変更を行います。
Altix4700実行用シェルスクリプト
#!/bin/csh –xv
# "-xv" はスクリプトのログを採取。採取しない場合は "-f" を指定
# CPU数を2、メモリを23552MBに指定
#PBS –l select=ncpus=2:mem=23552mb
#PBS -l walltime=72:00:00
# 経過時間を72時間に指定
# 2は、ncpus-1の値。dplaceコマンドで必要な環境変数。
setenv CPULIST 0-1
# 実行マシンの指定
set MACHINE=atx
# 入出力ファイルのディレクトリの指定
set DATA=${HOME}/g03
set INP=sample.com
# 入力ファイル名
# ワークディレクトリの指定
set WORK=/work/users/${LOGNAME}/tmp.$$
if ( ! -d ${WORK} ) mkdir ${WORK}
#
setenv LANG C
setenv g03root /local/apl/${MACHINE}/g03 #g03のバージョンを明記する場合は、g03d01などにする
source ${g03root}/bsd/g03.login
setenv GAUSS_SCRDIR ${WORK}
#
set MOL=${INP:r}
# 入力ファイル名から拡張子を取り除く
set OUT=${MOL}.out
set CHK=${MOL}.chk
#
if ( -f ${DATA}/${CHK} ) cp ${DATA}/${CHK} ${WORK}
if ( -f ${DATA}/${INP} ) cp ${DATA}/${INP} ${WORK}
cd ${WORK}
# g03実行時のファイルの出入力は全て/work上で行う
/local/apl/atx/g03/g03p < ${INP} >& ${OUT}
# ↑altix専用のコマンド(dplaceコマンドを内包しています)
if ( -f ${WORK}/${CHK} ) mv ${WORK}/${CHK} ${DATA}
if ( -f ${WORK}/${OUT} ) mv ${WORK}/${OUT} ${DATA}
if ( -d ${WORK} ) cd ${DATA};/bin/rm -rf ${WORK}
exit 0
PRIMEQUEST実行用シェルスクリプト
計算科学研究センター
- 56 -
利用の手引き平成20年12月
10 ライブラリプログラムの利用
#!/bin/csh –xv
# "-xv" はスクリプトのログを採取。採取しない場合は "-f" を指定
# 並列プロセス数を1に指定 (g03の場合は必ず1を指定)
# @$-lP 1
# 並列スレッド数を2に指定 (いわゆる使用CPU数を指定)
# @$-lp 2
# @$-lm 7gb # メモリを7GBに指定
# @$-lT 72:00:00
# 経過時間を72時間に指定
# 標準出力と標準エラー出力を同一ファイルに
# @$-eo
# 終了の行
# @$
#
# 実行マシンの指定
set MACHINE=prq
# 入出力ファイルのディレクトリの指定
set DATA=${HOME}/g03
set INP=sample.com
# 入力ファイル名
# ワークディレクトリの指定
set WORK=/work/users/${LOGNAME}/tmp.$$
if ( ! -d ${WORK} ) mkdir ${WORK}
#
setenv LANG C
setenv g03root /local/apl/${MACHINE}/g03 #g03のバージョンを明記する場合は、g03d01などにする
source ${g03root}/bsd/g03.login
setenv GAUSS_SCRDIR ${WORK}
#
set MOL=${INP:r}
# 入力ファイル名から拡張子を取り除く
set OUT=${MOL}.out
set CHK=${MOL}.chk
#
if ( -f ${DATA}/${CHK} ) cp ${DATA}/${CHK} ${WORK}
if ( -f ${DATA}/${INP} ) cp ${DATA}/${INP} ${WORK}
cd ${WORK}
# g03実行時のファイルの出入力は全て/work上で行う
/local/apl/prq/g03/g03 < ${INP} >& ${OUT}
if ( -f ${WORK}/${CHK} ) mv ${WORK}/${CHK} ${DATA}
if ( -f ${WORK}/${OUT} ) mv ${WORK}/${OUT} ${DATA}
if ( -d ${WORK} ) cd ${DATA};/bin/rm -rf ${WORK}
exit 0
SR16000実行用シェルスクリプト
#!/bin/csh –xv
# "-xv" はスクリプトのログを採取。採取しない場合は "-f" を指定
#@class=PH
# PHクラスを指定
# 並列プロセス数を1に指定 (g03の場合は必ず1を指定)
#@total_tasks=1
#@resources=ConsumableCpus(2) ConsumableMemory(6560mb)
# メモリを6560MBに指定
# CPU時間を72時間に指定
#@wall_clock_limit=72:00:00
#@queue
# 実行マシンの指定
set MACHINE=hsr
(以下、先のPrimeQuestの例と同様)
ジョブ実行中のファイルへの入出力は、/workを利用してください。ホームディレクトリ（/home）へのア
クセスは、極力行わないように、ご協力をお願いします。/homeは、NFSマウントしていますので、大規模な
ファイルアクセスを行いますと、ネットワークへの負荷が増大し、他のジョブへ影響を与えます。
入力ファイルとシェルスクリプトが準備できたら、入力データを用意してジョブを実行します。
% jsub -q PA sample.csh
Request 12345.ccfep1 submitted to queue : PA
ジョブ実行の詳細は、「6.5.4 バッチリクエストの作成と投入」を参照してください。
計算科学研究センター
- 57 -
利用の手引き平成20年12月
10 ライブラリプログラムの利用
10.3.2. amber9の例
Gaussian以外にはジョブ実行までを容易にするコマンドをセンターでは用意しておりませんので、シェルスク
リプトを作成しなければなりません。
amberに含まれているjacを例にとります。計算に必要な入力ファイル(mdin、inpcrd.equil、prmtop)をコピーし
ます。
% mkdir ${HOME}/amber
% cd ${HOME}/amber
% cp /local/apl/prq/amber9/samples/* .
amber9のpmemdを動かすシェルスクリプトを計算サーバにあわせて記述します。
PrimeQuest実行用シェルスクリプト
#!/bin/csh -xv
# "-xv" はスクリプトのログを採取。採取しない場合は "-f" を指定
#プロセス並列数を2に指定
# @$-lP 2
# @$-lp 1
#スレッド並列数を1に指定
# @$-lm 3gb # プロセスあたりの最大メモリを3GBまでに指定
# 経過時間を72時間に指定
# @$-lT 72:00:00
#
limit stacksize unlimited # スタックサイズをunlimitedにしないと正常に動作しない
set PMEMD=/local/apl/prq/amber9/exe/pmemd
mpiexe –n 2 ${PMEMD} -O -i mdin -c inpcrd.equil -o output < /dev/null
10.3.3. ライブラリプログラム一覧
現在、下記のパッケージがインストールされています。
名前
AMBER
GAMESS
Gaussian
GaussView
GROMACS
Molcas
Molden
Molpro
NAMD
TURBOMOLE
内
容
A package of molecular simulation programs.
General atomic and molecular electronic structure system.
Ab initio molecular orbital calculations.
A viewer for Gaussin 03.
Fast, Free and Flexible MD
A quantum chemistry software.
A visualization program of molecular and structure.
A complete system of ab initio programs.
A scalable molecular dynamics program.
One of the fastest programs for standard quantum chemical applications.
プログラムの詳しい使用法は、ドキュメント等を参照してください。
パッケージプログラム状況は、下記のようになっています。
最新の情報は、http://ccinfo.ims.ac.jp/library/list.htmlをご覧ください。
名前
AMBER
AMBER
AMBER
AMBER
計算科学研究センター
バージョン
10
9
9
9
リビジョン
bugfix 11
bugfix 41
bugfix 31
bugfix 20
ccatx
(/local/apl/atx)
◎(注C)
―
―
◎
- 58 -
ccprq
(/local/apl/prq)
◎(注B)
―
◎
―
cchsr
(/local/apl/hsr)
―
◎
―
―
利用の手引き平成20年12月
10 ライブラリプログラムの利用
AMBER
GAMESS
GAMESS
GAMESS
GAMESS
Gaussian
Gaussian
Molcas
Molcas
Molcas
Molpro
Molpro
Molpro
Molpro
Molpro
NAMD
TURBOMOLE
TURBOMOLE
TURBOMOLE
名前
GaussView
Molden
8
2008
2007
2006
2005
03
03
7.2
7.0
6.4
2008.1
2006.1
2006.1
2006.1
2006.1
2.6
5.10
5.9.1
5.9
バージョン
4.1
4.6
bugfix 61
Apr11
Mar24
Feb22
Jun27
E.01
D.01
sp1
sp1
13
158
149
137
36
リビジョン
◎
○
◎
○
―
◎
○
○
◎
○
※
―
◎
―
―
◎
◎(注4)
○(注4)
○(注4)
◎
○
○
―
◎
○
◎
※
×
×
○(注A)
―
―
◎
○
※
◎(注4)
―
―
―
○
◎
―
―
◎
○
―
×
◎
※
◎
―
―
―
◎
―
―
―
ccfep1/ccfep2
(/usr/local/bin)
◎
◎
◎はインストール済みで、g03のようにバージョン名が省かれた別名にシンボリックリンクが張られています。
○はインストール済みですが、ユーザーの方がバージョンを意識して使う必要があります。※は移植作業中
のパッケージですが、必ずしも公開されるとは限りません。×は移植作業を進めた結果、移植ができなかっ
たものです。―は現段階において移植計画がないものです。
(注4) TURBOMOLEは、ライセンスの都合上、国内にいる非営利ユーザーのみ利用可能です。
(注A) testjobs/h2o_cc2.testは既知のソースコードバグ(Bug 1968)のため結果異常となります。
(注B) 付属テストをパスするため、コンパイル時の最適化オプションを-O2にレベルダウンしています。EVB
関連は、http://structbio.vanderbilt.edu/archives/amber-archive/2008/2865.phpにあるのと類似した現象が起きてい
ます。本家でも解決に至っていないようです。AmberToolsでg77もしくはgfortranを必要とするものは今のと
ころ作成しておりません。
(注C) 付属テストをパスするため、コンパイル時の最適化オプションを-O2にレベルダウンしています。
・サブルーチンライブラリ
Altix 4700
名前
intel MKL
IMSL Fortran/C
SCSL
内
容
Fortran routines and functions that perform a wide variety of operations on vectors and
matrices.
International Mathematical and Statistical Libraries.
Scientific Computing Software Library.
PRIMEQUEST
計算科学研究センター
- 59 -
利用の手引き平成20年12月
10 ライブラリプログラムの利用
名前
intel MKL
IMSL Fortran/C
SSL II
BLAS
LAPACK
ScaLAPACK
内
容
Fortran routines and functions that perform a wide variety of operations on vectors and
matrices.
International Mathematical and Statistical Libraries.
Scientific Subroutine Library II.
Basic Linear Algebra Subprograms.
Linear Algebra PACKage.
Scalable LAPACK.
SR16000
名前
MATRIX/MPP
MSL2
ESSL
Parallel ESSL
BLAS
LAPACK
ScaLAPACK
内
容
The mathematical subprogram library to perform mathematical calculations.
Mathematical Subprogram Library 2
Engineering and Scientific Subroutine Library Guide and Reference
Parallel Engineering and Scientific Subroutine Library Guide and Reference
Basic Linear Algebra Subprograms.
Linear Algebra PACKage.
Scalable LAPACK.
10.4. ソフトウェア導入の要望
計算科学研究センターでは、ユーザーからのソフトウェア導入の要望を受け付けるにあたっては、恐れ入り
ますが、下記の「ソフトウェア導入要望書」の項目をご記入のうえ、電子メールで送付頂くようお願い申し
上げます。各項目とも長さの指定はありませんが、概要や必要性については関係者を説得できる内容をお願
いいたします。
[ソフトウェア導入要望書]
下記の質問を全てご記入の上、[email protected]宛に送信してください。
・導入を希望するソフトウェアの名前、バージョン
・ソフトウェアの概要と特長
・共同利用システムに導入を希望する必要性
・開発元のURL
10.5. ライブラリプログラム開発について
超高速分子シミュレータシステム（Altix 4700、PRIMEQUEST）や高性能分子シミュレータシステム
（SR16000）向けの新しいプログラムの開発、分子科学・生物化学・物理学・数値計算・数式処理などで用
いられる汎用性の高いプログラムやデータベースの開発・整備・移植を、通常の計算機の利用課題とは別枠
で、ライブラリ開発課題として受け付けています。ライブラリ課題を申請されますと、一般課題（所内、施
設利用、課題研究、協力研究）とは別に、CPU時間、ファイル容量を割り当てます。必要であれば旅費、謝
金の支給も可能です（ただし、謝金は修士以上の学生のみ）。許可には、成果物（プログラムなど）の提供
が前提となります。
また、プログラム開発とは別に、日常的に良く使っているプログラムやツールなどを、センターの公開プ
ログラムとして登録することも出来ます（ただし、こちらは CPU時間やファイル容量、旅費、謝金等は、配
当されません）。登録には、通常のPublic Domain Softwareの扱いと同様に、必ず以下の項目を含む“Readme”
ファイルを添付して下さい。
・再配布可否等の著作権について明記してください。
計算科学研究センター
- 60 -
利用の手引き平成20年12月
10 ライブラリプログラムの利用
・登録者が、登録したソフトに関する質問、問い合わせに対応可能な場合はその連絡先を明記してくださ
い。
・「利用者が各人の責任において公開プログラムを利用すること」という旨を明記してください。
登録を希望される方は、センターまでご連絡下さい。
計算科学研究センター
- 61 -
利用の手引き平成20年12月
11 データベースについて
11. データベースについて
センターでは、分子科学の研究に欠かせない情報を提供するため、下記のデータベースを用意しています。
これらは、Webより使用可能となっています。
(1) QCLDB（量子化学文献データベース）
QCLDB は、1978年以降の化学、物理、計算科学などの主要な学術雑誌に掲載されたab initio分子軌道計算
の文献データベースです。データの内容は、文献の著者名や雑誌名、巻、号、年、分子の組成、計算方法、
基底関数や計算をおこなった物性の種類及び文献に関するコメント（キーワード）などからなっています。
接続先
http://qcldb2.ims.ac.jp/
利用者の制限は特にありませんが、ログインする際のアカウントには、各個人のメールアドレスを使用して
います。パスワードは、初期登録の際に、登録メールアドレス先に送付されます。現在、著作権の関係で、
１年前のデータを公開しています。
(2) FCDB（力の定数に関するデータベース
分子の重要な物理定数の一つである、力の定数に関する文献のデータベースです。分子分光学、分子力学
の研究、特に振動スペクトルの解析には有用です。
接続先
http://fcdb.ims.ac.jp/indexj.html
http://fcdb.ims.ac.jp/index.html
計算科学研究センター
（日本語版）
（英語版）
- 62 -
利用の手引き平成17年5月

目 次 2008 年 12 月版 0 改定のポイント - 計算科学研究センター

Comments

Description

Transcript

目次 2008 年 12 月版 0 改定のポイント - 計算科学研究センター