OSKATL LOG BOOK

OSKATL LOG BOOK
岡村 航
平成 22 年 9 月 29 日
目次
第 1 章 廣瀬穣 (平成 20 年度管理者)
1.1 oskatl 構築 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
第2章
2.1
2.2
2.3
2.4
2.5
2.6
2.7
2.8
2.9
2.10
2.11
2.12
2.13
第3章
3.1
3.2
3.3
3.4
3.5
3.6
3.7
3.8
3.9
3.10
高木崇志 (平成 21 年度管理者)
02, Mar, 2009 タカギ . . . . .
05, Mar, 2009 タカギ . . . . .
03, Jun, 2009 タカギ . . . . .
2.3.1 oskatl の電源を入れる .
2.3.2 oskatl の電源を落とす .
07, Jun, 2009 タカギ . . . . .
07, Jun, 2009 タカギ . . . . .
03, Jul, 2009 タカギ . . . . .
06, Oct, 2009 タカギ . . . . .
07, Oct, 2009 タカギ . . . . .
13, Oct, 2009 タカギ . . . . .
15, Oct, 2009 タカギ . . . . .
15, Oct, 2009 タカギ . . . . .
16, Oct, 2009 タカギ . . . . .
28, Dec, 2009 タカギ . . . . .
岡村航 (平成 22 年度管理者)
2010/2/18 岡村 . . . . . .
2010/4/12 岡村 . . . . . .
2010/5/6 岡村 . . . . . . .
2010/5/10 岡村 . . . . . .
2010/5/19 岡村 . . . . . .
2010/9/15 岡村 . . . . . .
2010/9/16 岡村 . . . . . .
2010/9/18 岡村 . . . . . .
2010/9/20 岡村 . . . . . .
2010/9/24 岡村 . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
1
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
3
3
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
4
4
4
4
4
5
5
5
5
6
7
7
7
9
9
10
.
.
.
.
.
.
.
.
.
.
11
11
11
13
14
15
15
16
16
16
17
3.11 2010/9/25 岡村 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.12 2010/9/27 岡村 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.13 2010/9/29 岡村 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2
20
22
23
第 1 章 廣瀬穣 (平成 20 年度管理者)
1.1
oskatl 構築
oskatl は
• login server × 1(PowerEdge 1950, intel quad core Xeon 2.66GHz x5355, 8GB
RAM, 160GB HDD)
• 計算ノード× 4(PowerEdge 1950, intel quad core Xeon 2.66GHz x5355, 8GB
RAM, 160GB HDD)
• File server × 1(PowerEdge 2950, intel quad core Xeon 1.60GHz, 2GB RAM,
1TB × 4 RAID 5)
• KVM(ATEN ACS1216)
から構成される。
3
第 2 章 高木崇志 (平成 21 年度管理者)
2.1
02, Mar, 2009 タカギ
目黒さんを追加。NIS サーバーに入って、adduser する方法を用いる。
2.2
05, Mar, 2009 タカギ
uchida, sugiyama を osksn2 に追加。uid はそれぞれ 11167 と 11168
2.3
2.3.1
03, Jun, 2009 タカギ
oskatl の電源を入れる
電源を入れる順番は、
oskatlf1→oskatld1→oskatl05→oskatl→oskatl0[1-4]
NIS サーバーである oskatlf1 を初めに電源を入れる。oskatld1 はサーバーではないの
で、電源を入れるだけ。電源は 2 つとも使う。
atld1 がマウントされているかチェック。
>df -h
マウントされていなかったら、
#for n in 01 02 03 04; do ssh oskatl$n mount -a; done
次にパッチジョブシステムが立ち上がっているかチェック。
>ps axx | grep maui
>ps axx | grep torque
立ち上がっていなければ、
#pbs server
#maui
#for n in 01 02 03 04; do ssh oskatl $n /usr/local/sbin/pbs mom; done
4
2.3.2
oskatl の電源を落とす
電源を落とす順番は、
oskatl0[1-4]→oskatl05→oskatl→oskatlf1→ 電源オフ (ディスクアレイとか)
#shutdown -h now
2.4
07, Jun, 2009 タカギ
atlf1 と atl05 で smartd と ntpd が FAILED
atl が ntpd をうまくいったかどうか？
プロセス
ntp 13060 | 22:24 ? 00:00:00 ntpd -u ntp:ntp -p /var/usr/ntpd.pid
2.5
07, Jun, 2009 タカギ
oskatl 立ち上げた時に、バッチジョブシステムが on になっていないようだった？
ので、
# /usr/local/sbin/pbs server
とした。上手くいったように見える。(←qstart が通るようになったらしい。wiki 参
照。)
oskatl を電源につなぐと、KVM がユーザー名とパスワードを求めるが、何も入力し
ないで、ENTER を押下すればよい。
2.6
03, Jul, 2009 タカギ
• f1 から d1a を NFS から見えるようにした。(on f1)
/etc/fstab に次の一行を追加
oskatl05:/atld1a / atld1a nfs rw 0 0
#mkdir /atld1a
#mount -a
見えるようになりました。
• バックアップを行う。
スクリプト/root/atlf1 bck.py
rsync 使いました。
5
• クォータについて
各ユーザー /home クォータをみる。
#requota
クォータを編集。
#edquota
2.7
06, Oct, 2009 タカギ
• NIS サーバーを oskatl に構築
#service ypserv start
#chkconfig ypserv on
• NIS client 側の設定変更
#emacs /etc/sysconfig/network (ドメイン名変更)
atl nis2 を作った。
#/bin/domainname atl nis2
#ypdomainname (確認)
#emacs /etc/yp.conf (nis サーバー指定)
#service ypbind restart (反映)
chkconfig で ypbind を on にしておく。
#chkconfig ypbind on (自動機動)
• NFS サーバー
/etc/exports を書替
#exportfs -ra (反映)
• NFS クライアント
#emacs /etc/fstab
#mkdir
#mount
• user analyzer のログインパスワードは root と同じにしました。
6
2.8
07, Oct, 2009 タカギ
√oskatlf1 のパーティション構成。自由領域残さず。
/
100GB プライマリ
√
/home 50GB
√
/atlas 200GB
/atlf1a 1.5TB
/atlf1b 1.5TB
√
/boot
100MB プライマリ
√
/swap 4GB プライマリ
/atlf1c 1.4TB 大体
2.9
13, Oct, 2009 タカギ
• oskatlf1、6 つの HDD で RAID5 を組みました。
• Linux OS として 32bit 版 SLC4 を導入。>oskatlf1
2.10
15, Oct, 2009 タカギ
• NIS まとめ
ドメイン名 atl nis2、NIS サーバー IP 192.168.1.100(oskatl) の時、
– NIS サーバーの設定
#/etc/rc.d/init.d/portmap start
#rpcinfo -p (portmap 確認)
#ypdomainname atl nis2 (ドメイン名を atl nis2 に設定)
#ypdomainname (ドメイン名が atlnis2 であることを確認)
#emacs /etc/sysconfig/network で、以下を追記する。
NISDOMAIN=atl nis2
(#emacs /var/yp/securenets)
(#emacs /var/yp/Makefile)
#service ypserv start (または /etc/rc.d/ypserve start)
#/usr/lib/yp/ypinit -m (NIS データベース作成)
#chkconfig ypserve on
ユーザーを追加するには、このサーバーで adduser してから、
#cd /var/yp
#make
7
すると別クライアントでもユーザーが使える。
以下、岡村が追記。(各 user が passwd を変更するために必要)
#/usr/sbin/rpc.yppasswdd -e chfn -e chsh
– NIS クライアントの設定
#/bin/domainname atl nis2 (ドメイン名を atl nis2 に設定)
#emacs /etc/sysconfig/network に以下を追記
NISDOMAIN=atl nis2
#ypdomainname (ドメイン名が atl nis2 であることを確認)
#emacs /etc/hosts で以下を追記する。
192.168.1.100 oskatl.localnet.jp
oskatl
202.13.210.64 oskatl.hep.sci.osaka-u.ac.jp oskatl
192.168.1.1
oskatlf1.localnet.jp
oskatlf
192.168.1.101 oskatl01.localnet.jp
oskatl01
192.168.1.102 oskatl02.localnet.jp
oskatl02
192.168.1.103 oskatl03.localnet.jp
oskatl03
192.168.1.104 oskatl04.localnet.jp
oskatl04
192.168.1.105 oskatl05.localnet.jp
oskatl05
#emacs /etc/passwd (最終行に+::::::を追加)
#emacs /etc/group (最終行に+:::を追加)
#emacs /etc/yp.conf で以下を追記する。
domain atl nis2 server 192.168.1.100
#emacs /etc/nsswitch.conf を編集。passwd, hosts, group, shadow, protocols, services, netgroup, automount に nis を追加
#emacs /etc/host.conf を編集。
order hosts, bind, nis にする。
以上の編集操作はある程度、
#setup
で GUI で行える。
#service ypbind start
#chkconfig ypbind on (自動起動)
#ypcat passwd (確認)
#ypwhich (確認)
• NFS まとめ
– NFS サーバーの設定
#service nfs start
#emacs /etc/exports (共有するディレクトリの書出)
例として、oskatlf1 の /etc/exports を以下に示す。
8
/home 192.168.1.0/255.255.255.0(rw,async,no
/atlas 192.168.1.0/255.255.255.0(rw,async,no
/atlf1a 192.168.1.0/255.255.255.0(rw,async,no
/atlf1b 192.168.1.0/255.255.255.0(rw,async,no
/atlf1c 192.168.1.0/255.255.255.0(rw,async,no
#exportfs -ra (または nfs の restart)
#chkconfig nfs on
root
root
root
root
root
squash)
squash)
squash)
squash)
squash)
– NFS クライアント
#service nfs start
#emacs /etc/fstab (共有ディレクトリの設定) で以下を追記する。
oskatlf1:/home
/home
nfs
rw
oskatlf1:/atlas
/atlas
nfs
rw
oskatlf1:/atlf1a /atlf1a
nfs
rw
oskatlf1:/atlf1b /atlf1b
nfs
rw
oskatlf1:/atlf1c /atlf1c
nfs
rw
oskatl05:/atld1a /atld1a
nfs
rw
/dev/hda
/media/cdrom auto pamconsole,exec,noauto,managed
マウントポイントの作成。
#mkdir /atlas /atlf1a /atlf1b /atlf1c /atld1a
#chmod 0777 /atlas /atld1a /atlf1* (権限の変更)
#mount -a (マウント)
#df -h (マウントできているか確認)
#chkconfig nfs on (自動起動設定)
2.11
15, Oct, 2009 タカギ
/home を oskatl→oskatlf1 へ移動。
/atlf1a, /atlf1b にバックアップをコピー。
/atlas(oskatlf1:/atlas) にバックアップをコピー。
oskatlf1 のディレクトリ (/home, /atlf1a, /atlf1b, /atlf1c, /atlas) を他全ノードの / に
NFS のリンクを付けた。
2.12
16, Oct, 2009 タカギ
jwlee、mishikawa アカウント復活。
9
0
0
0
0
0
0
0
0
0
0
0
0
0
0
2.13
28, Dec, 2009 タカギ
12/27 停電に伴うシャットダウンと再起動。
再起同時にディスクがマウントされていなかったので、
→ 2009.06.03 の記述を参照。
torque、maui が動いてなかったので、#pbs server
#maui
#for n in 01 02 03 04; do ssh oskatl$n /usr/local/sbin/pbs mom; done
(詳しくは wiki の OskatlHowTo を参照)
10
第 3 章 岡村航 (平成 22 年度管理者)
3.1
2010/2/18 岡村
atld1b を追加。oskatl の新しい RAID で、マウントポイントは/atld1b。
oskatl, oskatlf1, oskatl01-04 で以下の操作を行う。
#emacs /etc/fstab で以下を追記。
oskatl05:/atld1b /atld1b nfs rw 0 0
#mkdir /atld1b
#chmod 0777 /atld1b
#mount -a
#df -h
3.2
2010/4/12 岡村
oskatl04 に 32bit 版 SLC5.4 をインストール。まず update を試みるが、
#gcc -v
とすると gcc の version は 3.4.6 であった。(SLC5.4 の gcc の version は 4.1.2)
→update は微妙なので、再インストールにする。
system 48,288 MB /
ext3
data
100,000 MB /atl04 ext3
swap
2,024 MB
N/A
• Network
IPv6 のチェックを外す。
IPv4 の IP Address で manual configuration で
192.168.1.104 / Prefix(Net mask) 255.255.255.0
• Host name
manually
: oskatl04.localhost.jp
Gateway
: 192.168.1.100
Primary DNS
: 127.0.0.1
Secondary DNS :
11
virtualization 以外は一応 additional
custom now
• Application
Editor で emacs-21.4, emacs-nox-21.4-20 にチェックをつける。
• Development
Development Libraries, Legacy Software Development にチェックをつける。
• Server
すべてのチェックを外す。
• Base System
Xwindow System にチェックをつける。
oskatl で
#ssh oskatl04
とすると Error(OS が変わっています) がでるので、
#rm ∼ /.ssh/know hosts
インストール後、再起動すると、X が立ち上がらない…
debug のため、oskatl から oskatl04 に入り、
#emacs /etc/inittab (init を確認)
id:5:initdefault:
→id:3:initdefault:に変更
init 5 は X で起動するモードで init 3 はテキストで起動するモード。
oskatl04 を再起動
#reboot
初期設定をする。
#setup
• Authentication
– Authentication Configuration
Use NIS にチェックをつける。
– NIS Settings
Domain : atl nis2
Server
: 192.168.1.100
– Kerberos Settings
Realm : CERN.CH
12
• Firewall Configuration
Security Level : Disable
SE Linux
: Disable
• System Service
nfs にチェックをつける。yum-autoupdate, yum-updated のチェックを外す。
oskatl04 で nfs のクライアントの設定をする。
#emacs /etc/fstab
面倒なので、oskatl02 から/etc/fstab をパクる。
#scp oskatl02.localnet.jp:/etc/fstab ∼/
mont の記述をコピペする。
マウントポイントをつくる。
#mkdir /atlas /atlf1a /atlf1b /atlf1c /atld1a /atld1b
権限をすべてにもたす。
#chmod 0777 /atlas
#chmod 0777 /atlf1*
#chmod 0777 /atld1*
#monut -a
#df -h
oskatl02 かどこかの ∼ /.ssh/authorized keys をコピーする。X が起動しないと思っ
ていたが、
#startx
で X が起動した。/etc/inittab に init 5 で起動するように記述。
→ 再起動するとやはり X が起動しなかった…
oskatl での作業。
SLC5 の upgrade にともなっての athena 環境設定をしようとしたが、oskatl の OS を
SLC5 に変更する事を見越して先送りにする。
3.3
2010/5/6 岡村
oskatl に endo, yohsio を追加。nis server での作業。
#less /etc/passwd (現在の user を確認)
ユーザー ID がかぶらないようにユーザーを追加する。endo, yoshio のユーザー ID を
それぞれ 511, 512 とする。
#useradd -c ”full name” -d /home/username -u userID -g users username (ユーザー
登録)
#passwd username (パスワード設定)
13
3.4
2010/5/10 岡村
NIS server を oskatl から oskatlf1 にした。これにより oskatl の OS のバージョンが
上がった際にいちいち nis サーバーの設定をし直さなくてすむ。oskatlf1 は OS のバー
ジョンアップする必要はない。
ドメイン名は atl nis3。NIS の設定は基本的には高木さんの manual どおり。ただ
し、oskal(元 NIS サーバー) で色々と問題が生じたので、以下の操作をおこなた。
/etc/passwd
の user をコメントアウトした。これを残していると、nis server を参照せずに login
してしまう。一応、
/etc/shadow
の user もコメントアウトした。あと、
/var/yp
に binding のみ生成されたので、nickname もコピーした。
高木さんの manual には yppasswd の記述がないため追記しておく。
user を登録し直す。
• oskatl の現在の構成
eth0 ip (hep) eth1 ip (local) server
oskatl 202.13.210.64 192.168.1.100
login
oskatl01 202.13.210.6 192.168.1.101
oskatl02 202.13.210.7 192.168.1.102
oskatl03 202.13.210.8 192.168.1.103
oskatl04 202.13.210.9 192.168.1.104
oskatl05
192.168.1.105
nfs
oskatlf1 202.13.210.65
192.168.1.1
nfs, nis
• oskatlf1 の以下の 5 つのパーティションがそれぞれが nfs で共有されている。
/home
/atlas
/atlf1a
/atlf1b
/atlf1c
• oskatl05 は Disk Array の host であり、2 つの disk を nfs で共有している。
oskatld1a
oskatld1b
14
3.5
2010/5/19 岡村
oskatl の root 環境を最新のものに変更。
http://root.cern.ch/drupal/content/production-version-526
から root v5.26.00.Linux-slc4-gcc3.4.tar.gz をダウンロード。
#mv root v5.26.00.Linux-slc4-gcc3.4.tar.gz /atlas/root
#cd /atlas/root
#tar zxvf root v5.26.00.Linux-slc4-gcc3.4.tar.gz
#mv root root v5.26
#ln -s root v5.26 pro (pro にシンボリックリンク)
3.6
2010/9/15 岡村
oskatl, oskatl01-04 に 64 bit 版 SLC5.4 をインストールする。
http://ftp.riken.go.jp/Linux/cern/slc54/iso/SLC54 x86 64 dvd.iso
からディスクイメージをダウンロードする。
OS 変更を行う前に、バックアップやネットワーク設定の確認などを行う。
• バックアップ
oskatl の/home, /etc, /var, /usr をバックアップする。
#mkdir /atld1b/oskatl 100920bck
#rsync -av /home /atld1b/oskatl 100920bck
#rsync -av /etc /atld1b/oskatl 100920bck
#rsync -av /var /atld1b/oskatl 100920bck
#rsync -av /usr /atld1b/oskatl 100920bck
• ネットワーク設定の確認
– oskatl01-oskatl04
oskatl0X では、
eth0
IP address
Subnet mask
Default gateway address
DNS
Hoset name
Primary DNS
Secondary DNS
Tertiary DNS
DNS search path
: 192.168.1.10X
: 255.255.255.0
: 192.168.1.100
:
:
:
:
:
oskatl0X
127.0.0.1
localnet.jp
15
– oskatl
eth0
IP address
Subnet mask
Default gateway address
eth1
IP address
Subnet mask
Default gateway address
DNS
Hoset name
Primary DNS
Secondary DNS
Tertiary DNS
DNS search path
3.7
: 202.13.210.5
: 255.255.255.0
: 202.13.210.5
: 192.168.1.100
: 255.255.255.0
:
:
:
:
:
:
oskatl
202.13.210.144
127.0.0.1
hep.sci.osaka-u.ac.jp
2010/9/16 岡村
2010/4/12 の記述を参考に、oskatl04 に 64 bit 版 SLC5.4 をインストールする。た
だし今回は NIS サーバーのセットアップで、
Domain : atl nis3
Server
: 192.168.1.1
であることに注意する。
3.8
2010/9/18 岡村
oskatl01-03 に 64 bit 版 SLC5.4 をインストールする。
3.9
2010/9/20 岡村
oskatl に 64 bit 版 SLC5.4 をインストールする。ただし、oskatl01-04 とは違い、イ
ンストールカスタムの設定の際に不必要そうなもののチェックを外さずに、基本的に
はデフォルトの設定でインストールする。
16
3.10
2010/9/24 岡村
oskatl の OS を変更したので、AtlasRelease の環境設定をしなおす。
/atlas の容量がほとんどないので、1X.XX.XX をバックアップをとって消去する。
rsync コマンドを使って、バックアップをとる。
#mkdir /atld1b/athena ver bck (バックアップ先のディレクトリを用意)
#rsync -av /atlas/1* /atld1b/athena ver bck/ (バックアップ)
#rm -rf /atlas/1* (ディレクトリの消去)
バックアップを行う際、まず試しに–dry-run のオプションをつけて、何が起こるか
確認する。
pacman の最新のバージョンを用意する。
#cd /atlas
#wget http://physics.bu.edu/pacman/sample cache/tarballs/pacman-latest.tar.gz
#tar xzvf pacman-latest.tar.gz
最新の pacman はバージョン 3.29 であった。
#rm pacman (シンボリックリンクを消す)
# ln -s pacman-3.29 pacman (シンボリックリンクを作成)
#cd pacman
#source ./setup.sh
#which pacman (確認)
gcc はネーティブのバージョンが 4.1.2。ATLAS のビルドに使われるのは 4.3.2 な
ので別途インストールが必要。
#cd /atlas
#mkdir atlas-gcc
#pacman -get KV:gcc432 x86 64 slc5
#gcc -v (現在の gcc のバージョンを確認)
#source ./setup.sh
#gcc -v (gcc version 4.3.2 になっているか確認)
AtlasRelease のパッケージのインストール。試しに 15.6.12 をインストールした。
icepp(http://www.icepp.jp/atlas-japan/pacman/projects/slc5 0/cache/)
からでもインストールできるらしいが、今回は
CERN(http://cern.ch/atlas-computing/links/kitsDirectory/projects/cache)
からインストールする。
#cd /atlas
#mkdir 15.6.12
#cd 15.6.12
#ATLAS=http://cern.ch/atlas-computing/links/kitsDirectory/projects/cache
#pacman -get ${ATLAS}: AtlasOffline 15 6 12 x86 64 slc5 gcc43 opt
17
インストールに半日近くかかるので気長に待ちましょう。
AtlasRelease の環境設定。ここからは個人のアカウントでの設定。
作業場所は$HOME/tutorial/15.6.12 とする。
>cd $HOME
>mkdir tutorial
>cd tutorial
>mkdir 15.6.12
>cd 15.6.12
>mkdir cmthome
>cd cmthome
>cp /atlas/15.6.12/cmtsite/requirements ./
requirements を書き換える (一例を以下に示す)。
>emacs requirements
set
CMTSITE
STANDALONE
set
SITEROOT
/atlas/15.6.12
macro
ATLAS TEST AREA
${HOME}/tutorial
macro
ATLAS DIST AREA
${SITEROOT}
apply tag projectArea
macro
SITE PROJECT AREA
${SITEROOT}
macro
EXTERNAL PROJECT AREA ${SITEROOT}
apply tag opt
apply tag setup
apply tag simpleTest
use
AtlasLogin AtlasLogin-*
$(ATLAS DIST AREA)
set
CMTCONFIG
x86 64-slc5-gcc43-opt
cmt コマンドを使えるようにする。
>source /atlas/15.6.12/CMT/v1r20p20090520/mgr/setup.sh
>cmt config
setup.sh ができているはず。
>source ./setup.sh -tag=15.6.12
AtlasReleases の作業環境のセットアップが完了。
Athena をはしらせてみる。gcc4.3.2 の環境になっているか確認。
>gcc -v
なっていなければ、
>source /atlas/atlas-gcc/setup.sh
>cd $HOME/tutorial/15.6.12
>mkdir run
>cd run
18
>get files -jo HelloWorldOptions.py
HelloWorldOptions.py がコピーされているはず。
>athena.py HelloWorldOptions.py
問題なく終了すればオッケー。
パッケージを取得してみる。
>cd $HOME/tutorial/15.6.12
>cmt show versions Control/AthenaExamples/AthExHelloWorld (バージョンを確
認)
確認した情報を使って、パッケージをチェックアウトする。
>cmt co -r AthExHelloWorld-01-02-00 Control/AthenaExamples/AthExHelloWorld
> cd Control/AthenaExamples/AthExHelloWorld
>cd cmt
>cmt config
>source ./setup.sh
>gmake (パッケージのビルド)
エラーなく終了すればオッケー。
UserAnalysis を取得してみる。
>cd $HOME/tutorial/13.0.30/cmthome >source ./setup.sh -tag=15.6.12
>cd ..
>cmt show versions PhysicsAnalysis/AnalysisCommon/UserAnalysis
>cmt co -r UserAnalysis-00-15-04 PhysicsAnalysis/AnalysisCommon/UserAnalysis
>cd PhysicsAnalysis/AnalysisCommon/UserAnalysis/cmt
>cmt config
>source ./setup.sh
>gmake
19
3.11
2010/9/25 岡村
バッチジョブ (TORQUE & MAUI) の設定。
• TORQUE
まず oskatl での作業。
#yum install torque∗
#yum install libtorque-devel.x86 64
#cat /etc/services | grep pbs
#cat /etc/services | grep pbs
pbs
15001/tcp # pbs server (pbs server)
pbs mom
15002/tcp # mom to/from server
pbs resmom 15003/tcp # mom resource management requests
pbs resmom 15003/udp # mom resource management requests
pbs sched
15004/tcp # schedule
上記の記述が/etc/services になければ追記する。
#emacs /etc/services
#emacs /var/torque/server priv/nodes
oskatl01.localnet.jp np=4
oskatl02.localnet.jp np=4
oskatl03.localnet.jp np=4
oskatl04.localnet.jp np=4
#emacs /var/torque/server priv/server.conf
server.conf の内容に関しては内田さんが作っていたテキストファイル
http://osksn2.hep.sci.osaka-u.ac.jp/atlas/server20080703.txt
をコピペする。
#qterm -t quick
#pbs server
#qmgr < server.conf
#qmgr -c ’p s’ (確認)
#ps axx | grep pbs
#kill ’pbs server のプロセス ID ’
#pbs server
(#service pbs server restart)
#service pbs sched restart
#cd /root/.ssh
#ssh-keygen -t rsa (色々と聞かれるが、すべて空白で答える。)
次に oskatl01-04 での作業。
torque を
20
http://www.clusterresources.com/downloads/torque/
からダウンロード。(バージョンは、oskatl で yum でインストールした version
2.3.12 に合わせる。)
#tar xvzf torque-2.3.12.tar.gz
#cd torque-2.3.12
#./configure
#make
#make install
#cd /var/spool/torque/mom priv
#emacs config
$logevent
0x1fff
$max load 1.2
$ideal load 1.0
$pbsserver oskatl.localnet.jp
$restricted oskatl.localnet.jp
oskatl02 以降は oskatl01 の config をコピーして使っても良い。
(#scp oskatl01.localnet.jp:/var/spool/torque/mom priv/config ./ )
#pbs mom
#cd /root/.ssh
#ssh-keygen -t rsa (色々聞かれるが、すべて空白で答える。)
authorized keys に oskatl の公開鍵の情報をコピペ
#emacs authorized keys
oskatl02 以降は oskatl01 の authorized keys をコピーして使っても良い。
(#scp oskatl01.localnet.jp:/root/.ssh/authorized keys ./ )
同様に oskatl02-04 でも設定する。
最後に oskatl での作業。
authoarized keys に計算ノード (oskatl01-04) の公開鍵の情報をコピペ。
#service pbs server restart
#service pbs sched restar
#pbsnodes -a (確認)
• MAUI
oskatl で作業。
maui を
http://www.clusterresources.com/downloads/torque/
からダウンロード。
#tar zxfv maui-3.2.6p21.tar.gz
#cd maui-3.2.6p21
21
#./configure –with-pbs=/usr
#make
#make install
#cat usr/local/maui/maui.cfg
#/usr/local/maui/sbin/maui (実行)
#ps axx | grep maui (確認)
再起動の際、torque と maui が起動しないので、システム起動スクリプトを用意
する。マスターである oskatl には torque.master を、ノードである oskatl01-04 には
torque.node をそれぞれ用意する。torque.master と torque.node は岩井さんからもらっ
た。
torque.master : http://osksn2.hep.sci.osaka-u.ac.jp/atlas/torque.master
torque.node
: http://osksn2.hep.sci.osaka-u.ac.jp/atlas/torque.node
oskatl で、
#mv torque.master /etc/init.d
#chkconfig –list torque.master
#chkconfig –add torque.master
#chkconfig –list torque.master
#chkconfig torque.master on
#chkconfig –list torque.master
oskatl01-04 で、
#mv torque.node /etc/init.d #chkconfig –list torque.node
#chkconfig –add torque.node
#chkconfig –list torque.node
#chkconfig torque.node on
#chkconfig –list torque.node
3.12
2010/9/27 岡村
oskatl の root 環境を最新のものに変更。
http://root.cern.ch/drupal/content/production-version-526
から root v5.26.00.Linux-slc5 amd64-gcc3.4.tar.gz と root v5.26.00.Linux-slc5 amd64gcc4.3.tar.gz をダウンロード。
#mv root v5.26.00.Linux-slc5 amd64-gcc3.4.tar.gz /atlas/root
#mv root v5.26.00.Linux-slc5 amd64-gcc4.3.tar.gz /atlas/root
#cd /atlas/root
#tar zxvf root v5.26.00.Linux-slc5 amd64-gcc4.3.tar.gz
22
#mv root root v5.26.00.Linux-slc5 amd64-gcc4.3
#rm pro (現在の pro を削除)
#ln -s root v5.26.00.Linux-slc5 amd64-gcc4.3 pro (pro にシンボリックリンク)
個人のアカウントで、
>root
で root をはしらせてみると、/usr/lib64/libstdc++.so.6 のバージョンが違うとエラー
がでた。
#cd /usr/lib64
#ls -l libstdc++.so.6
libstdc++.so.6 は libstdc++.so.6.0.8 のシンボリックリンクであった。
#cp /atlas/atlas-gcc/slc5/x86 64-slc5-gcc43-opt/lib64/libstdc++.so.6.0.10 ./
で libstdc++.so.6.0.10 を/usr/lib64/にコピーして、
#ln -s libstdc++.so.6.0.10 libstdc++.so.6
でシンボリックリンクを作成し直すと、エラーは出なくなった。
3.13
2010/9/29 岡村
2010/9/26 の記述からの変更。ROOT のサイトから持ってきた binary をそのまま
使うのも難なので、source を持ってきた。
http://root.cern.ch/drupal/content/production-version-526
から root v5.26.00.source.tar.gz をダウンロード。
#mv root v5.26.00.source.tar.gz /atlas/root
#tar zxvf root v5.26.00.source.tar.gz
#mv root root v5.26-slc5
#cd root v5.26-slc5
#./configure
#make -j4
make が終わるまで少し時間がかかる。
#cd ..
#rm pro
#ln -s root v5.26-slc5 pro
23
参考文献
[1] oskatl wiki
http://osksn2.hep.sci.osaka-u.ac.jp/atlas/wiki/index.php?FrontPage
[2] Software archives at ftp.riken.jp
http://ftp.riken.jp/Linux/cern/
[3] pacman
http://www.icepp.jp/atlas-japan/pacman/
[4] NIS Server
http://yang.amp.i.kyoto-u.ac.jp/ yyama/Linux/NIS.html
[5] NFS Server
http://yang.amp.i.kyoto-u.ac.jp/ yyama/Linux/NFS.html
[6] AtlasRelease
http://www.icepp.jp/atlas-japan/pacman/projects/
http://atlas-computing.web.cern.ch/atlas-computing/links/kitsDirectory/projects/cache/
https://twiki.cern.ch/twiki/bin/view/Atlas/WorkBookInstallingAtlasSoftware
http://www.icepp.s.u-tokyo.ac.jp/˜sakamoto/work/Pukiwiki/pukiwiki.php?
InstallingAtlasRelease
http://www.icepp.s.u-tokyo.ac.jp/˜sakamoto/work/Pukiwiki/pukiwiki.php?
AthenaEnvironment
http://ppwww.phys.sci.kobe-u.ac.jp/˜okada/pukiwiki/index.php?
athena%B4%C4%B6%AD%A4%CE%B9%BD%C3%DB
[7] TORQUE
http://www.ie.u-ryukyu.ac.jp/howto/index.php?Software/TORQUE
http://osksn2.hep.sci.osaka-u.ac.jp/atlas/wiki/index.php?TORQUEAdmin
24