繁忙期におけるご利用について
FOCUSスパコン利用者各位
平素よりFOCUSスパコンシステムをご利用いただきありがとうございます。
FOCUSスパコン繁忙期に入り、従量利用にて実行可能な空きノード数が少ない状態が続いています。
3月末までは高利用率の状況が継続する見込みですので、以下の情報を参照の上、計画的にFOCUSスパコンをご利用ください。
1) 早期計算資源予約の推奨
2) 長時間キューの割当ノード数の縮小について
3) 短時間キューの活用について
4) 共用フロントエンド(ff01/ff02)でのジョブ実行範囲
5) 演算ノードでのメモリ利用
6) ストレージ容量の確認について
7) データダウンロードに関するSkeed Silver Bullet、端末利用室の利用について
1) 早期計算資源予約の推奨
繁忙期に入り、従量利用にて実行可能な空きノード数が減少しています。
予約状況を確認の上、FOCUSスパコン利用ポータルサイト( https://portal.j-focus.jp/ )よりご予約をお願い致します。
各システムの予約状況はポータルサイト及びwebページ( http://www.j-focus.jp/reservation_cal/ )より確認できます。
なお、利用日直前に予約頂いた場合、ノードの利用状況により承ることが出来ない場合があります。
ご予約の際は利用開始予定日4日前の9時までに予約いただくことを推奨しています。
2) 長時間キューの割当ノード数の縮小について
繁忙期のため、Aシステム及びDシステムの長時間キューにおいて実行可能な最大ノード数を下記の通り縮小しています。
a096h 16ノード (通常100ノード)
d072h 16ノード (通常 40ノード)
(注)最大ノード数は計算資源の予約状況により変動します。
上記設定以上のノード数にて24時間以上実行を希望される場合は、期間占有(日単位/月単位)にてご予約ください。
また、縮小に伴い長時間キュー投入ジョブの待ち時間が長くなってきています。
16ノード以下であっても24時間以上のジョブ実行についても期間占有をご検討ください。
各キューにて利用可能なノード数は、squeues コマンドを実行し、MAXNODES欄をご確認ください。
squeues コマンドではキュー毎のジョブの実行状況を確認できます。
「FREE」(実行可能なノード数)
「PEND」(実行待ちのジョブが要求しているノード数) から混み具合を判断してください。
(squeuesコマンド実行例)
$ squeues
QUEUE_NAME TIMELIMIT STATUS MAXNODES NNODES PEND RUN FREE
a024h 1-00:00:00 up 54 20 0 20 26
a096h 4-00:00:00 up 16 8 0 8 0
b024h 1-00:00:00 up 2 0 0 0 2
b096h 4-00:00:00 up 1 0 0 0 1
c024h 1-00:00:00 up 2 0 0 0 2
c096h 4-00:00:00 up 2 0 0 0 2
c006m 6:00 up 2 0 0 0 2
d006h 6:00:00 up 48 1 0 1 24
d012h 12:00:00 up 48 4 0 4 24
d024h 1-00:00:00 up 17 59 47 12 3
d072h 3-00:00:00 up 3 7 5 2 0
e024h 1-00:00:00 up 31 5 0 5 21
e072h 3-00:00:00 up 16 0 0 0 13
g006m 6:00 up 4 0 0 0 4
※「MAXNODES」がゼロの場合は該当キューへの割当ノードがゼロのためジョブの投入もできません。
※「FREE」がゼロで無くても先にFREEのノード数より多くのノード数を利用する他のジョブが次に実行される優先度で
待っている場合は、FREE以下のノード数のジョブを投入しても直ちに実行されませんのでご注意ください。
3) 短時間キューの活用について
実行時間が短いと見込まれるジョブは、Dシステム短時間キュー(d006h,d012h)の利用をご検討ください。
Dシステム短時間キューでは計算資源としてEシステムをあわせて割り当てており、ジョブの実行タイミングによっては
Eシステムにて実行されます。
これらd006h,d012hキューに投入したジョブの利用料金は、Dシステムの料金(300円(税抜)/ノード・時間)が適用されます。
このためd024hやd072hキューに投入されるよりも早く実行開始される場合があります。
ただし、Eシステムが割り当てられる場合があるため、これらd006h,d012hキューにおいて確保が保証されるメモリ、
ハードディスク容量はノードあたりそれぞれメモリ64GB、ハードディスク2TBとなります。
なお、下記のソフトウェアにてEシステム上(短時間キューを含む)でジョブを実行した際にジョブが正常に実行されない
場合があるとの報告があります。
各ソフトウェアをご利用の際は下記のとおりご対応ください。
・FLUENT : 回避策をベンダーにお問い合わせください。
・STAR-CCM+ : Eシステム(短時間キューを含む)の利用を回避してください。
4) 共用フロントエンド(ff01/ff02)でのジョブ実行範囲
共用フロントエンドサーバは、FOCUSスパコン全ユーザが利用するジョブ管理等のプラットフォームとなっており、
メモリ枯渇や過負荷等の障害が起こった際に復帰のため再起動した場合は全ユーザに迷惑をお掛けすることとなります。
下記の範囲にて共用フロントエンドをご利用いただきますようお願いします。
(OKBiz FAQ No.276 の「共用フロントエンドサーバでの実行可能範囲 」参照
https://secure.okbiz.okwave.jp/focus/EokpControl?&tid=12675&event=FE0006 )
(ユーザあたり)
・CPU時間 1時間 (1時間で強制終了となります)
・プロセス数 1プロセス(並列実行、複数プロセスの起動は禁止です)
・利用メモリ 1GB程度 (小規模処理のみ許可)
上記範囲を越えているプロセスはシステムより強制終了いたします。
上記範囲を越えるプロセスについてはバッチ処理より演算ノード上で実行してください。
5) 演算ノードでのメモリ利用
物理メモリと仮想メモリ(スワップ領域)を使い切り、Linuxカーネルの仕組みであるOOM Killer(Out of Memory Killer)に
よりプロセスを強制終了されるジョブが散見されます。
強制終了された場合、以下のメッセージが出力されます。
APPLICATION TERMINATED WITH THE EXIT STRING: Terminated (signal 9 or 15)
OSや並列ライブラリが利用する分がありますので、プログラムが使用するメモリ量は物理搭載メモリの80%以下に抑制するようお願いいたします。
なお、メモリ枯渇によって強制終了されたジョブは課金対象です。
6) ストレージ容量の確認について
各課題のストレージ領域の利用率が上昇傾向にあります。
ジョブが実行中にストレージの利用上限に達した場合は書込みができず、ジョブが異常終了となる場合がありますので、
利用可能なストレージ容量にはご注意ください。
ストレージ領域の利用状況確認方法はホーム領域(/home1)と追加ストレージ領域
(/home2)とで異なります。
ホーム領域(/home1)には200GBが割り当てられており、dfコマンドにて利用状況を確認できます。
追加ストレージ領域(/home2)をご契約の場合はlfsコマンドにて利用状況を確認できます。
(/home1利用状況確認 dfコマンド実行例、xxxは課題ID)
$ df /home1/gxxx
Filesystem 1K-blocks Used Available Use% Mounted on
nas2:/home1/gxxx 206425088 73085952 122853376 38%
/home1/gxxx
(/home2利用状況確認 lfsコマンド実行例、xxxは課題ID)
$ lfs quota -g gxxx /home2
Disk quotas for group gxxx (gid 0000):
Filesystem kbytes quota limit grace files quota limit
grace
/home2 33496 1048576 1048576 - 825 0 0
-
/home1の使用率(Use%)が100%に近い場合は、/home2の利用をご検討ください。
/home2の使用量(kbytes)が契約値(quota)に近い場合は、/home2の契約量の変更(増量)をご検討ください。
/home2の利用開始や容量の変更はOKbizよりご連絡ください。原則2業務日以内に対応いたします。
7) データダウンロードに関するSkeed Silver Bullet、端末利用室の利用について
データダウンロードには高速ファイル転送システム「Skeed Silver Bullet」の利用を是非ご検討ください。
Skeed Silver Bulletの利用方法は
「FOCUSスパコン利用の手引き 5.インターネット高速転送システムの使用方法」
http://www.j-focus.jp/user_guide/ug0005000000.html をご参照ください。
(Skeed Silver Bulletを使ってのデータ転送には5100番ポートをUDPに解放されている必要があります)
ご所属のネットワークポリシーにより5100番ポートをUDPに解放できず、Skeed Silver Bulletが利用できない場合は、
SSHによるSFTP, SCPをご利用下さい。
より高速なデータのダウンロードには、計算科学センタービル内に設置している端末利用室をご利用ください。
ダウンロードするストレージの性能に依存しますが、100MB/s~1000MB/sの転送が可能です。
端末利用室も年度末には需要が高まりますので、可能な限り早期の予約をお願いいたします。
(ポータルサイトよりご予約ください https://portal.j-focus.jp/ )
以上、よろしくお願いいたします。
<本件に関するお問い合わせ先>
OKBizよりお問い合わせください
https://secure.okbiz.okwave.jp/focus/
OKBiz利用方法
http://www.j-focus.jp/faq_guide/