スパコン利用者説明会 -基本的な使用方法

2012/5/10
スパコン利用者説明会
-基本的な使用方法-
スパコン使用方法(イメージ)
①ゲートウェイノード(gw.ddbj.nig.ac.jp)にログインする
②qloginを実行しインタラクティブノードにログインする
③qloginしたホストからジョブをUGEに投入する
④UGEは負荷の低いノードでジョブを実行する
⑤ジョブ実行結果をlustreのホームディレクトリに出力する
⑥ジョブ実行結果を確認する
Job
Job
Job
①
gateway
③
②
1台(active-stanby)
外部との通信専用
④
業務用8台、研究用8台
インタラクティブ専用
業務用81台、研究用208台
バッチ専用
Result
Result
Result
Result
Result
⑥
⑤
1
スパコンへのログイン①
 ログインするにはユーザ名とパスワード
が必要である。
 ログインにはssh接続が可能なターミナル
エミュレータを使用する。
 ターミナルエミュレータはputtyや
TeraTermなど様々なフリーソフトが存
在する。(Macは標準添付)
 Windowsの例としてTeraTermを紹介す
る。
2
スパコンへのログイン②
 Windowsからログインする
Tera Termを使用する
→ P4
 Macからログインする
ターミナルを使用する
→ P8
3
スパコンへのログイン③
 Tera Termを使用する
①Tera Termを実行し、ホスト欄にgw.ddbj.nig.ac.jpを入力する。
サービスはSSHを選択する。選択後OKボタンを押下する。
4
スパコンへのログイン③
 Tera Termを使用する
②ユーザ名とパスワードを入力し、OKボタンを押下する。
セキュリティのため
チェックを入れない
5
スパコンへのログイン③
 Tera Termを使用する
③ログイン完了
6
スパコンへのログイン③
 Tera Termを使用する
④画面転送を可能にするため、設定→SSH転送を選択し、
「リモートの(X)アプリケーションをローカルのXサーバに表示
する」にチェックを入れる。
7
スパコンへのログイン④
 ターミナルを使用する
①ターミナルを開きssh (ユーザ名)@gw.ddbj.nig.ac.jpと入力し、
Enterボタンを押下する。
8
スパコンへのログイン④
 ターミナルを使用する
②パスワードを入力し、Enterボタンを押下する。
9
スパコンへのログイン④
 ターミナルを使用する
③ログイン完了
10
画面転送について
 スパコン上の画面を閲覧するにはトンネ
リングする必要がある。
 WindowsではXmingというフリーソフトを
使用することで可能である
 Macではログインの際にssh –Xとオプショ
ン指定することで可能である（別途インス
トールが必要になる場合もある）
11
ログイン時の注意
 パスワードを4回間違えるとアカウントが
ロックされログインできなくなります。
 ロックされた場合は最終ページに記載の
スパコンSE問い合わせ先にご連絡下さい。
12
ユーザのホームディレクトリ
 ログイン完了後は、ユーザのホームディレクトリがカレントディ
レクトリとなる。
<確認例>
[lect01@gw ~]$ pwd
/home/lect01
 ホームディレクトリはlustreに作成され、全ホストで共有されて
いるため、基本的にはどのホストからでもアクセス可能である。
 自分が使用しているlustreを確認するにはlsコマンドにオプショ
ン-lを使用する。
<確認例>
[lect01@gw ~]$ ls –l /home/lect01
lrwxrwxrwx 1 root root 22 2月 16 16:10 2012
/home/lect01 -> /lustre1/home/lect01
使用しているlustreが表示される
lect01はlustre1を使用している
13
パスワード変更方法
使用コマンド： passwd
 初回ログイン後はすぐにパスワードを変更する。変更するには
passwdコマンドを使用する。
＜実行例＞
[lect01@gw ~]$ passwd
Changing password for user lect01.
Current Password:
←現在のパスワードを入力
New password:
←新しく設定したいパスワードを入力
 強度の弱いパスワードは使用できません。
設定できるパスワードの主な条件として、全体で8文字以上かつ小文字１
文字以上、大文字１文字以上、数字２文字以上を含む必要がある
<良い例>
7Udk9dfG JdslP3dL
<悪い例>
20120221 (数字のみ)
taro0221 (大文字が無い、想像しやすい)
14
スパコンへのデータ転送①
 データ転送にはSCPやSFTPを利用する方法とAsperaを
利用する方法がある。(FTPは利用できない)
①SCP、SFTPの特徴
・セキュアなデータ転送が可能である。
・WindowsではWinSCP等のフリーソフトを利用する。
・Macでは標準搭載機能である。
②Asperaの特徴
・データ転送がSFTPと比べて高速である。
・Aspera Connect(無償)をインストールして使用する。
15
スパコンへのデータ転送②
 Windowsからのデータ転送
①SFTPを利用する
WinSCPを使用する
→ P18
②Asperaを利用する
AsperaConnectを使用する
Web UIを使用する→ P20
コマンドプロンプトを使用する→ P23
16
スパコンへのデータ転送③
 Macからのデータ転送
①SCPを利用する
ターミナルから転送する
→ P26
②Asperaを利用する
AsperaConnectを使用する
Web UIを使用する→ P20
ターミナルを使用する→ P24
17
スパコンへのデータ転送④
 WinSCPを使用する
①WinSCPを実行し、セッションを選択する。ホスト名欄に
gw.ddbj.nig.ac.jpを入力する。ユーザ名およびパスワードを記
入する。プロトコルはSFTPを選択し、ログインボタンを押下
する。
18
スパコンへのデータ転送④
 WinSCPを使用する
② 左に自分のシステム、右にスパコンのホームディレクトリが
表示される。転送したいデータをドラッグ＆ドロップすること
で転送される。
19
スパコンへのデータ転送⑤
 Aspera Connectを使用する(Web UI)
① ブラウザを開き、https://ascp.ddbj.nig.ac.jp/aspera/user
にアクセスする。ユーザ名とパスワードを入力し、OKボタン
を押下する。
20
スパコンへのデータ転送⑤
 Aspera Connectを使用する(Web UI)
②ログイン後、スパコンのホームディレクトリが表示される。
初回接続時はInstall Nowボタンを押下しAspera Connectを
インストールする。
21
スパコンへのデータ転送⑤
 Aspera Connectを使用する(Web UI)
③ Aspera Connectインストール後、 Upload Fileボタンを押
下し、転送したいファイルを選択するとスパコンへデータが転
送される。
22
スパコンへのデータ転送⑥
 Aspera Connectを使用する(コマンドプロンプト)
①Web UIと同様の手順でAspera Connectをインストールする。
コマンドプロンプトを開き、
“(Aspera Connectのインストールパス)¥bin¥ascp.exe”-P 33001
(転送するデータのパス) (ユーザ名)@ascp.ddbj.nig.ac.jp:(ホームディレク
トリ以下の転送先のパス)
と入力する。パスワードを入力すると転送が開始される。
<実行例> (コマンドプロンプト) ※Windows7の場合
C:¥Users¥lect01>“C:¥Users¥lect01¥AppData¥Roaming¥Aspera¥Aspera
Connect¥bin¥ascp.exe” -P 33001 C:¥Users¥lect01¥Desktop¥test.txt
[email protected]:test.txt
/home/lect01/test.txtにデータ転送
[email protected]'s password:
test.txt
100%
0
00:00
23
スパコンへのデータ転送⑦
 Aspera Connectを使用する(ターミナル)
①Web UIと同様の手順でAspera Connectをインストールする。
ターミナルを開き、
“(Aspera Connectのインストールパス)/Resources/ascp”
-P 33001 (転送するデータパス) (ユーザ名)@ascp.ddbj.nig.ac.jp:
ホームディレクトリ以下の転送先のパス)
と入力する。パスワードを入力すると転送が開始される。
<実行例> (ターミナル)
lect% ./Library/Application¥ Support/Aspera¥ Connect.app/Contents/Resour
ces/ascp -P 33001 ./test.txt ¥
[email protected]:test.txt
/home/lect01/test.txtにデータ転送
[email protected]'s password:
test.txt
100%
0
00:00
24
スパコンへのデータ転送
 Aspera Connectのオプション
以下にAspera転送のオプションを示す。WebUI使用時はAspera Connect
のPreferencesから設定可能である。
-T
データの暗号化を行わない。転送速度は向上するが、セキュリティは低
下する。
-l <転送速度上限>
データ転送速度の上限を設定する。デフォルトは10M(b/s)となっている。
回線速度を上回る転送速度を設定した場合、パケットロスが大量に発生
し、転送効率が大幅に低下するため適切な転送速度を設定する必要があ
る。上限は1G(b/s)。
<例>
ascp -l 100M -P 33001 [ユーザ名]@ascp.ddbj.nig.ac.jp:[転送先パス] [転送する
データ]
25
スパコンへのデータ転送⑧
 ターミナルを使用する
①ターミナルを実行し、
scp (転送するデータのパス) (ユーザ名)@gw.ddbj.nig.ac.jp:
(データを置くパス) と入力する。パスワードを入力するとデー
タが指定したパスに転送される。
26
クオータ状況確認方法
使用コマンド： lfs quota –u （ユーザ名） /(使用しているlustre)
 ユーザの使用できるディスク容量は制限されている
（クオータ）。
 自分のクオータ情報はquotaコマンドで確認できる。
 一般研究用ユーザは１TBまで使用可能。大規模利用
申請により１TB以上の使用が可能となる。
 業務用ユーザは制限無く利用可能である。
＜実行例＞
[lect01@gw ~]$ lfs quota -u lect01 /lustre1
Disk quotas for user lect01 (uid 654):
Filesystem kbytes quota
limit grace
/lustre1
58832
0 1000000000
-
files
20386
quota
0
limit
0
grace
-
現在の使用量(kbytes) 使用できる最大量(kbytes)
27
バックアップ
 /home/(ユーザ名)/backup/以下のみが差分バックアッ
プされる。
 現在は毎日バックアップされるが、今後ユーザ数が増え
た際にはバックアップ頻度が変更となる可能性がある。
 バックアップは利便性向上のためのサービスであり、
データ保護を保障するものではありません。データを
失っても責任は負いかねます。
 重要なデータは自分のパソコン等、スパコン外への定期
的なバックアップをお願いします。
28
リストア手順
 バックアップからリストアする方法を示す。
①スパコンにログインする。
②qloginと入力してEnterを押下する。
③rdiff-backup –l /backup/(ユーザ名)/と入力してEnterを押下する。
バックアップの取得状況を確認する。
④リストアを実施する場合は、rdiff-backup -restore-as-of (バック
アップの日付) /backup/(ユーザ名)/ ./restore/と入力してEnterを
押下する。
<実行例>
[lect01@gw ~]$ qlogin
-bash-4.1$ rdiff-backup -l /backup/lect01/
Found 0 increments:
Current mirror: Mon Mar 12 08:15:05 2012
W3C日付形式に変換
-bash-4.1$ rdiff-backup --restore-as-of 2012-03-12T08:15:05
/backup/lect01/ ./restore/
-bash-4.1$
29
ユーザへのお願い事項
 パスワードの管理を厳重にお願いします。
 自分のアカウントを他人に貸し出さないで下さい。
 パスワード漏えいの疑いがある場合は、早急に最終
ページ記載のスパコンSE問い合わせ先までご連絡下
さい。
30
問い合わせ先
 不明点またはご意見等があれば下記にお問い合わせ
下さい。
遺伝研スパコンSEチーム
Mail：[email protected]
居室：w202
内線：9461
http://www.ddbj.nig.ac.jp/system/supercom/s
upercom-intro.html
31
変更履歴
変更日付
変更内容
2012/03/21
新規作成
2012/05/10
Aspera転送のオプション追加、フリーソフトのインストール削除
32