下半期利用に関するご案内

FOCUSスパコン利用者各位

平素はFOCUSスパコンをご利用いただき、誠にありがとうございます。

FOCUSスパコンでは、例年、下半期に利用が集中する傾向にあります。
10月から新システム(F, Hシステム)の共用を開始し、
合計倍精度演算性能が79.0TFLOPSから107TFLOPSへと35%アップいたしましたが、
それでも下半期にFOCUSスパコン全体の利用率が高水準で推移することが見込まれます。

利用者の皆様におかれましては、下記をご参照のうえ
計画的にFOCUSスパコンをご利用いただきたくご案内いたします。
※下記内容を含む詳しいご案内を記載した資料も掲載しております。


 

1. 新システム(F, Hシステム)の利用
2. 期間占有利用(日単位、月単位)の推奨
3. 予約可能ノード数の確認方法
4. 従量利用にて実行可能なノード数・キューの確認方法
5. ストレージ容量の確認
6. 演算ノードでのメモリ利用
7. sbatchオプション(# SBATCH –t)の活用について
8. お問い合わせシステムOKBizについて

1. 新システム(F, Hシステム)の利用

すでにご案内の通り、10月3日から新システム(F, Hシステム)の共用を開始しました。
従来のシステムに比べ理論性能比で1.9倍〜2.9倍、コストパフォーマンス比で1.7倍〜1.9倍(いずれもA:Hシステム比、D:Fシステム比)になっておりますので、新システムも是非ご活用ください。
各システムのスペックにつきましては下記をご参照ください。
http://www.j-focus.or.jp/focus/focus_information/entry-1321.html

2. 期間占有利用(日単位、月単位)の推奨

期間占有利用に割り当てられたノードが多くなると、従量利用の割り当てノード数が減少し、
従量利用キューでのジョブの実行機会も減少します。ある期間にジョブを確実に実行したい場合は
後述する「3. 予約可能ノード数の確認方法」を参照の上、計算資源予約をお願いします。

期間占有利用(日単位)は下記ポータルサイトより承ります。(要SSL-VPN接続)
 https://portal.j-focus.jp/focus/app/
ポータルサイト利用の手引き
 http://www.j-focus.jp/portal_guide/
SSL-VPN利用の手引き
 http://www.j-focus.jp/sslvpn/

期間占有利用(月単位)はunyo[at]j-focus.or.jp([at]を@に変更して下さい)宛に予約したいシステム名、
専用フロントエンド名、期間(○月~○月)、ノード数をご連絡下さい。申請内容が確定後、
別途「期間占有利用申請書」の提出をお願いします。

なお、予約は利用開始予定日4業務日前の9時までに済ませることを推奨します。
利用直前に予約を申請していただいたとしてもノードの利用状況により予約を承ることが出来ない場合がございます。

3. 予約可能ノード数の確認方法

各システムにて予約可能なノード数は「予約状況カレンダー」にてご確認ください。
カレンダーのカッコ内の数が予約可能なノード数となります。
予約状況カレンダー
http://www.j-focus.jp/reservation_cal/

4. 従量利用にて実行可能なノード数・キューの確認方法

システム毎の空きノード数はfreenodesコマンドにて、各キューの空き状況はsqueuesコマンドにて
コマンド実行時の状況が確認できます。適宜確認の上ジョブを投入してください。
また、squeue --startコマンドにて投入したジョブの実行開始予定時刻を参照することができます。

freenodesコマンド:
システム毎のジョブの実行状況を確認できます。
コマンド実行時点での「空きノード数 / 従量利用にて利用可能なノード数」が表示されます。

squeuesコマンド:
キュー毎のジョブの実行状況を確認できます。
「FREE」(実行可能なノード数)、「PEND」(実行待ちのジョブが要求しているノード数) 
から混み具合を判断してください。
※「PEND」が0、且つ「FREE」に投入するジョブに必要ノード数以上の空きがあれば投入後すぐに実行されます。
ただし、長時間キューを利用する場合は、24時間キューと長時間キューの「PEND」の合算を見る必要があります。
※「MAXNODES」が0の場合はジョブのサブミットもできません

squeue --startコマンド
自身が従量利用キューで投入したジョブの実行開始予定時刻を参照することができます。
ただし、期間占有利用のため従量利用の割り当てノード数が減少すると、開始予定時刻が大幅に遅れる場合があります。
(あくまで、コマンドを実行した時点での目安)

5. ストレージ容量の確認

ジョブが実行中にストレージの利用上限に達し、書込みができずジョブが異常終了する事象が散見されます。
ストレージの容量については、利用者の責にて管理をお願いします。
・確認コマンド (xxxは課題ID)
   /home1     df /home1/gxxx
    /home2      lfs quota -g gxxx /home2         

なお、/home2(ホーム兼ワーク領域)、/cloud1(バックアップ・アーカイブ領域)の容量追加は
有償(10GB・月あたり300円(税抜))で承りますので、OKBizにてご依頼ください。
https://secure.okbiz.okwave.jp/focus/EokpControl?&tid=27378&event=FE0006

6. 演算ノードでのメモリ利用

物理メモリと仮想メモリ(スワップ領域)を使い切り、Linuxカーネルの仕組みであるOOM Killer(Out of Memory Killer)によりプロセスを強制終了されるジョブが散見されます。

強制終了された場合、以下のメッセージが出力されます。
APPLICATION TERMINATED WITH THE EXIT STRING: Terminated (signal 9 or 15)

OSや並列ライブラリが利用する分がありますので、プログラムが使用するメモリ量は物理搭載メモリの80%以下に抑制するようお願いいたします。
なお、メモリ枯渇によって強制終了されたジョブは課金対象です。

7. sbatchオプション(# SBATCH –t)の活用について

FOCUSスパコンのジョブスケジューラ(SLURM)では、ジョブの投入順にPriority値が付され原則投入順に実行されます。
ただし、先に投入されたジョブの実行開始時刻に影響を与えない短時間ジョブなどは、backfill schedulingにより
後から投入されても先に実行される場合がありますので、短時間で処理可能なジョブに関しては実行スクリプトで
ジョブ実行に必要な最小限の時間を指定することを推奨します。


# SBATCH –t [minutes],  -t [hours:minutes:seconds]など
利用の手引き 「4.4.2. sbatch オプション」を参照してください。

8. お問い合わせシステムOKBizについて

FOCUSスパコン利用者のFOCUSスパコン利用に関する技術的質問・その他お問い合わせは、
お問い合わせシステムOKBizをご利用ください。
https://secure.okbiz.okwave.jp/focus/
OKBizには、よくある質問(FAQ)も掲載していますので、是非ご参照ください。(キーワード検索も可能です)

 

より詳しいご案内を記載した資料も掲載しておりますので、ご参照ください。


 

<本件に関するお問い合わせ先>
公益財団法人計算科学振興財団 業務運用グループ
E-mail アドレス:unyo[at]j-focus.or.jp([at]を@に変更して下さい)


  • 産業用スパコン利用相談センター
  • 「京」 利用研究課題の募集
  • 計算科学研究機構 (AICS)

RSS

このページの先頭へ