Comments
Description
Transcript
高速演算システムSX
Akita University 高速演算システムSX-Siの紹介 総合情報処理センター正木忠良 1．システム概要 1.1SX-Biシステム構成 SX-8iシステムはベクトル計算機SX-8il台とそのアプリケーションサーバ１台で構成されて おります。SX-8iシステムでは，アプリケーションサーバ上でユーザが作成したFORTRANプ ログラム，Ｃ/C+＋プログラムをベクトル計算機上で実行させることが可能です。 機器名称 ベクトル計算機SX-8i アプリケーションサーバ 用 途 ベクトル命令により高速化可能なプログラ ムの実行 プログラムのコンパイル，デバッグおよび SX-8iへのジヨブ投入 1.2八一ドウェア構成 SX-8iシステムのハードウエア構成は以下の通りです。 機 能 仕 様 製品名 SX-8i CPU性能（最大ベクトル性能） １６ＧFLOPS 搭載CPU数 １ 共有メモリ容量 1６ＧＢ 内蔵ディスク容量 30ＯＧＢ 1.ｓ八一ドウェア構成 SX-8iシステムのハードウエア構成は以下の通りです。 機 能 オペレーティングシステム バッチ処理 FORTRANコンパイラ C / Ｃ ＋＋ コ ン パ イ ラ 科学技術計算ライブラリ 2 ２ 品 名 ＳＵＰＥＲ−ＵＸ NQSIl FORTRAN90/SＸ C++/SＸ ＡＳＬ Akita University 1.4利用方法 ＳＸ−８ｉへ直接ログインすることは出来ません。アプリケーションサーバ（quintet・ipcakita‐ u､ac､jp）上でファイル操作，プログラムのコンパイルを行い，NQSIIを使用してSX-8iへジョ ブ投入を行ないます。アプリケーションサーバへはｓｓｈを利用してログインしてください。な お，SX-8iシステムを利用できるユーザは教職員ユーザと申請書を提出した学生ユーザのみと なります。 アプリケーションサーバ上でのコンパイルの方法については「2.プログラム開発環境｣，ジョ ブの投入方法については「3.バッチ処理環境」をご参考ください。各ユーザのホームディレク トリはアプリケーションサーバおよびSX-8iシステムで共有されているため，いずれのシステ ムからも同じファイルパスでアクセスすることができます。 ２．プログラム開発環境 2.1コンパイル環境 プログラムのコンパイルはアプリケーションサーバ上でクロスコンパイ ラを利用して行ない ます。 アプリケーションサーバ上で利用できるコマンド グラム言語 FORTRAN Ｃ Ｃ+＋ コマンド マニュアル参照 sxf90 ｍａｎｓｘｆ９０ SＸＣＣ ｍａｎｓｘｃｃ SXC＋＋ ｍａｎｓｘｃ＋＋ コンパイル方法 FORTRANの場合 sxfgO（コンパイルオプション）（ソースファイル） 例.ソースファイルsample.ｆをコンパイルし，実行ファイルsample､exeを生成する Ｃの場合 sxcc（コンパイルオプション）（ソースファイル） 例.ソースファイルsample.ｃをコンパイルし，実行ファイルsample､exeを生成する ｏ ｇ ｓ ｘ ｃ ｅ ｘ ｅ 2 ３ Akita University C＋＋の場合 sxc+十（コンパイルオプション）（ソースファィル） 例.ソースファイルsamplecppをコンパイルし，実行ファイルsampleexeを生成する [ho9e@quintet‐]＄sxc+＋−osample・exesampleocpp ２．２ライブラリ環境 SX-8iシステムでは，科学技術計算ライブラリとしてＡＳＬ（AdvancedScientificLibrary）が 利用できます。複雑で大規模な科学技術計算プログラムにおいて，高速な計算が可能な数学ラ イブラリは必須ライブラリの一つといえます。科学技術計算ライブラリＡＳＬはSX-8iシステム に適合した高速なFORTRANサブルーチンライブラリとして開発されており，SX-8iシステム のハードウェア性能を十分発揮できるように設計されています。（SX-8iシステムではIＭＳＬは 提供されませんのでご注意ください）ライブラリのリンク方法は以下の通りです。 ３２bit整数型に対応したＡＳＬを使用する場合 sxf90（コンパイルオプション）（ソースファイル）‐lasl ６４bit整数型に対応したＡＳＬを使用する場合 sxf90（コンパイルオプション）（ソースフアイル）‐￨asl64 2.3開発環境 プログラムの最適化，高速化チューニングのための開発環境として，プログラム実行解析機 能，簡易性能解析機能が利用できます。 2.3.1プログラム解析機能 実行時に環境変数PROGINFを設定することでFORTRAN，Ｃ/C+＋プログラム実行時の 実行時間，実行命令数などのプログラムの実行に関する情報が表示されます。プログラム実 行終了後に標準エラー出力に表示されます。また，環境変数FILEINFを指定することによ りプログラム全体のファイル入出力情報を表示することもできます。 実行解析情報の表示 壷胆 一一一一巨 2 ４ 環境変数 設定値 FORTRAN ＦＰＲＯＧｌＮＦ ＹＥＳまたはDETAIL Ｃ ／ Ｃ ｌ . 1 . ＣＰＲＯＧｌＮＦ ＹＥＳまたはDETAll Akita University ファイル入出力情報の表示 壷四 一一一一国 環境変数 設定値 FＯＲＴＲＡＮ ＦＦＩｌＥＩＮＦ ＹＥＳまたはＤＥ｢AｌＬ Ｃ／Ｃ+十 ＣＦｌＬＥＩＮＦ ＹＥＳ ２．３．２簡易性能解析機能 プログラムの関数ごとの プログラムコンパイル時にオプションーftraceを指定することで，ブ こ，解析コマンドにより， ＣＰＵ時間やベクトル化に関する詳細な性能情報を取得できます。また， 詳細な解析リストを表示することができます。 ファイル入出力情報の表示 壷胆 一一一一目 FＯＲＴＲＡＮ Ｃ／Ｃ+十 環境変数 sxftrace sxftrace十.I‐ 解析コマンドの使用例 [hoge@quintetwork]＄sxftrace+＋ ＊ 米一一一一一一 FLOWTRACEANALYSlSLlST 淵 Execution：ＴｈｕＯｃｔ２５１１：００:５６２００７ ＴｏｔａＩＣＰＵ：０:00,08''609 PR０G.UNITFREQUENCYEXCLUSIVEAVER･TlMEMOPSMFLOPSV"ＯＰＡVER。VECTORI-CACHEO-CACHEBANK TIME[sec]（％）［msec］ RATIOV､ＬＥＮＴｌＭＥＭＩＳＳＭｌＳＳＣＯＮＦ input-data 24.693（54.5）2346.477503.7０．９０．０００．００．００００.02780曇0２３７０．０００７ ｐｒｉｎｔｄａｔａ 12.315（26.9）2314.980416.5１３．６０．０００．００．００００.01450国０１０９０．０００３ mａＩｎ 11.602（18.6）1601.6253037.61408.69ａ01250.9１，５８３０軍０００２０．０００２０重8184 一 total ＝ ｰ 48.610(100.0）2152’390951.6266.258.19250.9１．５８３０･04250.03470.8193 2.4日本語環境 SX-8iシステムの言語環境は英語が既定値となっておりますので， SX-81システムの言詔環境は英語が既定値となっておりますので，ジョブの実行後に出力され るPROGINFやエラーメッセージなどは英語表記となります。これは，プログラムのコンパイ ルやバッチジョブの投入などをおこなうアプリケーションサーバの日本語文字コード（UTF-8） とSX-8iシステムの日本語文字コード（EUC-JP）が異なるためです。 2 ５ Akita University ただし，ジョブスクリプトの中で以下のようにＬＡＮＧ環境変数をjapanと 設 定 す る こ と で 出 力ファイルを日本語表記とすることが可能です。 ｓｈ形式のジョブスクリプトでの記述例 #1/bin/sｈ cｄ／home/…/ho9e/work LANG=japan exportLANG ＣＰＲＯＧｌＮＦ=ｙｅｓ ｅｘｐｏｒｔＣＰＲＯＧｌＮＦ ＣＦｌＬＥｌＮＦ=yes exportCFlLElNF .／a・ｏｕｔｄａｔａ＞data・ｏｕｔ csh形式のジヨブスクリプトでの記述例 #1/bin/sｈ cｄ／home/…/ho9e/work setenvLANGjapan setenvFPROGlNFdetail - setenvFＦｌＬＥＩＮＦｄｅｔａｉｌ ./a､ｏｕｔｄａｔａ＞data・out 日本語で表記された出力ファイルを，アプリケーションサーバ上で正しく表示させるには， iconvコマンドやnkfコマンドを使用してください。参照する頻度が高い場合は，文字コードを 変更したファイルを保存しておくと作業が楽になるかもしれません。 iconvコマンドの例 2 ６ Akita University プログラム解析機能の表示例 ８００， シスフー：＝ 亜幽明脇慨ｒ HⅧⅢⅢ Z､齢ＨｍⅢⅢ 鋤設一夕．:．」毒遡 醐側m0m■■■ ｇベクノレ員 ベク 里_垂ＧＩ， ０Ⅲ００Ⅲ 幽醐 ３．バッチ処理環境（ＮＱＳｌＩ利用方法） 旧システム（SX-6i）システムからSX-8iシステムへの更新にあたり， バ ッ チ 処 理 関 連 コ マ ン ドが変更となりますのでご注意ください。 ３１キュー構成 SX-8iシステムのバッチキユー構成は以下の通りです。実行するジョブの特‘性（ＣＰＵ時間／ メモリ規模）に応じて適したキューを利用してください。 キュー名 ＣＰＵ時間制限(秒） メモリ容量(ＭB） 同時実行数 ａ 3600 3200 ４ ｂ 10800 6400 ２ Ｃ 43200 12800 １ ･ＣＰＵ時間制限 １つのジョブで使用できる最大のＣＰＵ時間です。本制限時間を超過して実行を継続しよう 2フ Akita University としたジョブはシステムにより強制的に終了となります。 ・メモリ容量 １つのジョブで使用できる最大メモリ容量です。本制限メモリ容量を超過してメモリを使 用しようとしたジョブはシステムにより強制的に終了となります。 ・同時実行数 各キューの最大同時実行ジョブ数です。本制限同時実行数を超えてキューに投入されたジ ョブは実行待ち状態（QUE状態）となります。本制限値はユーザごとの制限値ではなくシス テム全体の制限値ですのでご注意ください。 ３２ジョブ投入方式 シェルスクリプト形式で記述したジョブスクリプトファイルをアプリケーションサーバから SX-8iシステムへ投入する際にはｑｓｕｂコマンドを使用します。 ジョブ投入コマンド qsub-q（投入先キュー名）（その他オプション）（ジョブスクリプト名） その他，主に使用するオプションとしては以下のものが上げられます。 オプション 機 能 一○〈ファイル名） 投入するバツチジョブの標準出力用結果ファイルを指定します。 -ｅ（ファイル名） 投入するバツチジョブの標準エラー出力用結果ファイルを指定します。 -ｍｅ-Ｍ〈メールアドレス） バッチジョブが終了したときに，指定したメールアドレスにメールが 送られます。安易に使用するとメールシステムの不具合の原因にもなり ますので，注意して使用してください。 ｑsubコマンドを実行し正常に投入されると，“リクエストIＤ（数字.quintet)”を含む投入メッ セージが出力されます。 ジョブ投入例 ［ho9e@quintet‐]＄ｑｓｕｂ−ｑａ−ｍｅ−Ｍｈｏｇｅ@gmailocomtestosh Ｒequest2100･ｑｕｉｎｔｅｔｓｕｂｍｉｔｔｅｄｔｏｑｕｅｕｅｇａ。 上記の例ではａキューに対-してジョブスクリプトtest・ｓｈを投入し，ジョブ終了時に hoge＠gmaiLcomまでメールを送るようにしています。ここでは「2100.quintet」が“リクエス トＩＤ”となります。バッチ処理では“リクエストＩＤ”によってジョブが管理されるため，以後の 情報の参照やジョブの削除についてもこの“リクエストＩＤ”を使用いたします。 2 ８ Akita University 3.3情報参照方法 投入したジョブの状態等の情報参照には，qstatコマンドを使用します。qstatコマンドはオ プションの指定により各キユーの状態や自分のリクエストの状態を参照することができます。 コマンドオプションの詳細や出力情報についてはマニユアルを参照してください。ｍａｎコマン ドによりコマンドマニュアルの参照もできます。 ジョブ状態表示コマンド qstat（オプション） 主なオプションとしては下記のものがあります。 qstatで指定可能なオプシヨン 機 能 オプション Ｉ︺ リクェスト情報参照（旧システムのqstatrに対応〉 キュー1情報参照（旧システムのqstatqに対応） Ｑ−ｅ リクエスト情報参照の例 [hoge@quintet∼]＄qstat RequestlDReqNameUserNameQueuePriSTTSMemoryCPU EｌａｐｓｅＲＨＭＪｏｂｓ １７ＹＹＹ１ 2100･ｑｕｉｎｔｅｔｔｅｓｔｏｓｈｈｏｇｅａＯＲＵＮ−20.21Ｍ７．０８ キュー情報参照の例 [hoge@quintet ]＄ｑｓｔａｔ−Ｑ−ｅ [EXECUTlONQUEUE］BatchServerHost：quintet QueueName ＳＣＨＪＳＶｓＥＮＡＳＴＳＰＲｌＴＯＴＡＲＲＷＡｌＱＵＥＰRＲＲＵＮＰＯＲＥＸＴ HＬＤＨＯＬＲＳＴＳＵＳＭｉＧＳＴＧＣＨＫ − − ー ー 一 一 一 一 一 一 ー − − ０００ ■ ０００ ー ０００ ー ０００ 一 ０００ 一 ０００ 一 ０００ ー ０００ ー ０００ 一 ２０１ 一 ０００ 一 ００Ⅱ ＝ ０００ １ＥＮＡ ACT 一 ０００ １ＥＮＡ ACT 一 ００１ ０２ ０２ ０ ２ ａｂｃ ０００ 一 １ＥＮＡ ACT − ー ー ー ー − ー ー ヨ <TOTAL＞ 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 １ ０ ０ ０ ０ １ ０ ０ ０ ０ ０ ０ ０ ０ ０ １ ー ー ー ー − ー ｰ − ー − − − − − − − − − − − − − 一 一 一 一 2９ Akita University ３．４ジョブの削除方法 投入済みのリクエストを削除するには，qdelコマンドを利用します。 ジョブ削除コマンド qdel（オプション） ジョブ削除の例 ３５実行結果 ジョブ投入時に‐ｏや‐ｅオプションを使用していない場合，ジョブからの標準出力，標準エ ラー出力はジョブを投入した際のカレントディレクトリにファイルとして格納されます。 出力ファイル名 種 別 機 能 標準出力 “ ジョブスクリプト名”．○”リクエストＩＤの数字部分 ” 標準エラー出力 “ ジヨブスクリプト名，，．e”リクエストＩＤの数字部分 ” その他，コンパイルオプションの詳細やベクトル化の技法について詳しく知りたい方は，総 合‘情報処理センター2階でマニュアル「ＦＯＲＴＲＡＮ/ＳＸプログラミングの手引き」および ｢C++/ＳＸプログラミングの手引き」を貸し出ししておりますのでご利用下さい。 3 ○