下半期の利用に関するご案内
FOCUSスパコン利用者各位
平素はFOCUSスパコンをご利用いただき、誠にありがとうございます。
FOCUSスパコンでは、例年、下半期に利用が集中する傾向にあります。
繁忙期を迎えるにあたり、より多くの利用者の皆様に利用機会を提供するために一部サービス体系・ルールを変更いたします。
利用者の皆様におかれましては、下記をご参照のうえ計画的にFOCUSスパコンをご利用いただきたくご案内いたします。
1. キュー構成の変更（12月1日から)
2. 週末キューの新設 （12月1日から）
3. 期間占有（日単位）ルールの変更（12月1日から）
4. 期間占有利用の推奨
5. 期間占有利用の期間設定
【参考】FOCUSスパコン年間利用状況
6. ノード空き状況の見方
7. その他のご案内・ご留意事項
8. 手続き一覧（抜粋）
9. 参照先一覧（抜粋）
FOCUSスパコン下期利用のご案内 20171. キュー構成の変更（12月1日から）
12月1日からキュー構成を下表のとおり変更します。
|
|
標準キュー |
長時間キュー |
週末キュー |
アクセラレータ利用 |
デバッグキュー (x006m) |
備考 |
|
Aシステム |
○ |
×休止 |
○新設 |
× |
○ |
|
|
Bシステム |
○ |
×休止 |
○新設 |
× |
○ |
|
|
Cシステム |
○ |
○ |
× |
× |
○ |
|
|
Dシステム |
○ |
×休止 |
○新設 |
× |
○ |
|
|
Eシステム |
○ |
×休止 |
○新設 |
○（備考） |
○ |
e024h_phi （Xeon Phi4基利用の場合） デバッグキューはPhi4基 |
|
Fシステム |
○ |
×休止 |
○新設 |
○（備考） |
○ |
f024h_p100 （Tesla P100利用の場合） |
|
Gシステム |
× |
× |
× |
× |
○ |
|
|
Hシステム |
○ |
○ |
× |
× |
○ |
|
キュー名： x=システム名小文字(a,b,c,d,e,f,g,h,) 網掛け部は12月1日変更点
実行時のキュー一覧は $ info -s にて確認してください。
↓
|
Cシステム・Hシステム以外で24時間以上の実行を必要とする場合は、週末キューもしくは期間占有（日単位・月単位）をご利用ください。 |
2. 週末キューの新設 （12月1日から）
C・Hシステム以外の長時間キュー休止に伴い、週末限定で長時間実行可能な「週末キュー」を新設いたします。
|
|
内容 |
|
対象計算資源 |
A、B、D、E、Fシステム |
|
適用期間 |
2017年12月1日10:00〜 |
|
計算実行期間 |
金曜日10:00〜月曜日10:00（最長実行時間：72時間） ※金曜日もしくは月曜日が祝日の場合でも計算実行期間は上記となります。 |
|
キュー名 |
x072h_we ※x=システム名小文字(a,b,d,e,f) |
|
留意事項 |
・割り当てノード数は標準キューと同数です。（期間占有の状況により変動します）
・予め週末キューでジョブを投入されましても、標準キュー及び期間占有の状況により、金曜日10:00に実行が開始される保証はありません。
・終了期日（月曜日10:00）になりましたら実行中であってもジョブは強制終了されます。強制終了の場合でも、通常通り課金対象となります。
・月曜日10:00以降に週末キューで投入されたジョブは当該週末に対してのみ有効です。計算資源に空きがなく、週末キューで投入されて実行されなかったジョブは月曜日10:00に削除されますので、必要に応じ再投入してください。 |
週末キューのキュー構成
|
キュー名 |
最大ジョブ投入数 |
最長実行時間 |
最大ノード数 |
実行システム |
|
a072h_we |
10/利用者 |
72時間 |
224 |
A |
|
b072h_we |
2/利用者 |
72時間 |
2 |
B |
|
d072h_we |
10/利用者 |
72時間 |
80 |
D |
|
e072h_we |
10/利用者 |
72時間 |
48 |
E |
|
f072h_we |
10/利用者 |
72時間 |
26 |
F |
※最長実行時間は金曜10:00から月曜10:00まで実行できた場合の最長時間です。
最大ノード数は計算資源の予約状況により変動します。
■ sacctコマンドでジョブの完了状態を確認
ジョブの完了状態をsacctコマンドで確認してください。週末キューで月曜10:00に強制終了されたもの、
実行待ちのままキャンセルされたものは“CANCELLED by 0” と表示されます。
例）2017/12/01 以降完了のジョブの状態を確認する
|
sacct -S 2017-12-01 -o User,JobID,Partition,NNodes,Submit,Start,End,Elapsed,State%20 -X ※“State”については20桁表示されるよう指定してください |
$ sacct -S 2017-12-01 -o User,JobID,Partition,NNodes,Submit,Start,End,Elapsed,State -X User JobID Partition NNodes Submit Start End Elapsed State --------- ------------ ---------- -------- ------------------- ------------------- ------------------- ---------- -------------------- uxxxYYYY 123456 e072h_we 8 2017-12-22T11:35:28 2017-12-22T10:00:07 2017-12-22T11:35:48 01:35:41 COMPLETED uxxxYYYY 123457 e072h_we 8 2017-12-19T14:08:05 2017-12-22T10:00:05 2017-12-22T14:09:45 04:09:40 COMPLETED uxxxYYYY 123459 f072h_we 12 2017-12-19T19:10:30 2017-12-22T14:20:30 2017-12-25T10:00:05 67:39:35 CANCELLED by 0 uxxxYYYY 123477 a006m 1 2017-12-02T10:21:37 2017-12-02T10:21:37 2017-12-02T10:22:24 00:00:47 COMPLETED uxxxYYYY 123478 a024h 32 2017-12-02T10:23:59 2017-12-02T10:23:59 2017-12-02T10:26:34 00:02:35 FAILED uxxxYYYY 123479 g006m 1 2017-12-29T09:30:44 2017-12-29T09:30:44 2017-12-29T09:30:47 00:00:03 COMPLETED |
3. 期間占有（日単位）ルールの変更（12月1日から）
12月1日から期間占有（日単位）のルールを以下の通りといたします。
・開始日 土日祝日開始は不可 （従来通り）
・終了日 金、土、及び祝前日の終了は不可
＝終了時刻ベースでは土日祝日の午前10時の終了は不可
【開始曜日別予約可能日数】 ※祝日がある場合は、「祝日の開始」及び「祝前日の終了」はお選び頂けません。
|
|
予約日数 |
||||||||||||||||||||||||||||||
|
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
11 |
12 |
13 |
14 |
15 |
16 |
17 |
18 |
19 |
20 |
21 |
22 |
23 |
24 |
25 |
26 |
27 |
28 |
29 |
30 |
||
|
開始 |
月曜 |
月 |
火 |
水 |
木 |
金 |
土 |
日 |
月 |
火 |
水 |
木 |
金 |
土 |
日 |
月 |
火 |
水 |
木 |
金 |
土 |
日 |
月 |
火 |
水 |
木 |
金 |
土 |
日 |
月 |
火 |
|
火曜 |
火 |
水 |
木 |
金 |
土 |
日 |
月 |
火 |
水 |
木 |
金 |
土 |
日 |
月 |
火 |
水 |
木 |
金 |
土 |
日 |
月 |
火 |
水 |
木 |
金 |
土 |
日 |
月 |
火 |
水 |
|
|
水曜 |
水 |
木 |
金 |
土 |
日 |
月 |
火 |
水 |
木 |
金 |
土 |
日 |
月 |
火 |
水 |
木 |
金 |
土 |
日 |
月 |
火 |
水 |
木 |
金 |
土 |
日 |
月 |
火 |
水 |
木 |
|
|
木曜 |
木 |
金 |
土 |
日 |
月 |
火 |
水 |
木 |
金 |
土 |
日 |
月 |
火 |
水 |
木 |
金 |
土 |
日 |
月 |
火 |
水 |
木 |
金 |
土 |
日 |
月 |
火 |
水 |
木 |
金 |
|
|
金曜 |
金 |
土 |
日 |
月 |
火 |
水 |
木 |
金 |
土 |
日 |
月 |
火 |
水 |
木 |
金 |
土 |
日 |
月 |
火 |
水 |
木 |
金 |
土 |
日 |
月 |
火 |
水 |
木 |
金 |
土 |
|
|
土曜 |
― |
― |
― |
― |
― |
― |
― |
― |
― |
― |
― |
― |
― |
― |
― |
― |
― |
― |
― |
― |
― |
― |
― |
― |
― |
― |
― |
― |
― |
― |
|
|
日曜 |
― |
― |
― |
― |
― |
― |
― |
― |
― |
― |
― |
― |
― |
― |
― |
― |
― |
― |
― |
― |
― |
― |
― |
― |
― |
― |
― |
― |
― |
― |
|
部分の予約日数（終了曜日）の選択はできません。
※例えば、金曜開始の場合は1日間、2日間、8日間、9日間、……の予約はできません。
利用が集中する時期において、多くの利用者のみなさまに計算資源を有効活用いただくための措置としてご理解のほどお願いいたします。
4. 期間占有利用の推奨
|
FOCUSスパコンは下半期に利用率が高くなる傾向にあり、計画的なジョブ実行ができる環境の確保のため、計算資源の期間占有利用（日単位・月単位）を推奨します。 |
|
|
期間占有（日単位） |
期間占有（月単位） |
|
対象計算資源 |
Gシステムを除く全て |
B、Gシステムを除く全て |
|
利用単位 |
１ノード以上・1日以上 |
１ノード以上・１ヶ月以上 |
|
利用上限 |
総数・回数制限あり 期間占有利用ポリシーを参照 |
空きがある範囲 |
|
予約方法 |
ポータルサイト ※要SSL-VPN接続 |
空きノードをご確認のうえ、期間占有利用申請書を提出ください |
|
予約後のキャンセル |
可 ※キャンセル料が発生します。 |
不可 |
|
利用料金 |
利用料金詳細をご参照 |
|
|
留意事項 |
「3.期間占有（日単位）ルールの変更」をご参照ください。 |
・専用フロントエンドサーバの利用が必須となります。 ・1日〜月末までの利用となります。 （「5.期間占有利用の期間設定」をご参照ください） |
5. 期間占有利用の期間設定
期間占有（月単位）の利用期間の単位は利用当月の1日から末日までの1か月です。
(月の途中からの利用でも、1か月分の全額課金となります。)
こんなときは（例）
※ 期間占有（日単位）には、期間占有ポリシーによる上限（予約回数・日数・計算資源量等）がありますのでご留意ください。
【参考】FOCUSスパコン年間利用状況
供給量（演算能力ベース）は平成28年度に比べ増加しているものの、年度末にかけ利用量も増大することが予想されます。
また、ご利用になるシステム（演算ノード）により混雑度が異なりますのでご留意ください。
【FOCUSスパコンの供給量・利用量推移（演算能力〈CPU性能ベース〉・全システム合計）】
※平成29年度10月以降は前年同月の利用量を参考値として示したものであり、実際の利用及び予測を示すものではありません。
6. ノード空き状況の見方
|
従量利用におけるノードの空き状況・実行待ち状況等の確認はfreenodesコマンド、squeuesコマンドをご利用ください。 |
freenodesコマンドで各システムの空き状況を確認
→freenodesで空きがある場合でも、空きノード以上の実行待ちジョブがある場合や利用するキューにより即実行されない場合があります。
squeuesコマンドも併せてご参照ください。
squeuesコマンドで各キューの空き状況・実行状況を確認
上記状況下でジョブを投入する場合
・Aシステム：a024hはPENDがあるため実行待ちとなる。 a072hはa024hにPENDがあるため実行待ちとなる。
・Bシステム：b024h、b072hともFREEが0のため実行待ちとなる。
・Cシステム：c024hは10ノード以下のジョブは即実行となる。 c072hは8ノード以下のジョブは即実行となる。
・Dシステム：d024hは40ノード以下のジョブは即実行となる。 d072hはPENDがあるため実行待ちとなる。
|
投入するジョブの必要ノード数以上のFREEがあり、且つPENDが０のキューを使えば、投入→即実行。 長時間キューの利用は、24時間キューのPENDも要確認。
24時間キュー：従量利用可能な全ノードを割当 |
※ 12月1日をもってCシステム、Hシステム以外の長時間キューは休止します。
squeue --startコマンドで自身の投入したジョブの実行開始予定時刻を 見ることができます。
↓
|
期間占有利用のために従量キュー割当ノード減少に伴い、開始予定時刻が大幅に遅れる場合があります。 （あくまで、コマンドを実行した時点での目安） |
↓
|
計画的なジョブ実行には「期間占有（日単位・月単位）」を推奨します。 |
7. その他のご案内・ご留意事項
(1)ストレージ容量の確認
ジョブが実行中にストレージの利用上限に達した場合は書込みができず、ジョブが異常終了となる場合があります。
・確認コマンド （xxxは課題ID）
/home1 $ df /home1/gxxx
/home2 $ lfs quota -g gxxx /home2
↓
空き容量が十分にない場合は、下記いずれかの方法をご検討ください。
・/home1・/home2のデータを手元にダウンロード後削除
・/home2の容量を追加
→ OKBizでご依頼ください。お申し出から原則３業務日以内で対応します。
（有償：10GBにつき600円/月）
※/home1は容量の追加はできません。/home2の課金は１か月単位です。（日割り計算は行いません）
|
/home2については、ストレージ容量上限に起因するジョブの異常終了を回避するためのサービスとして、ハードリミット設定を利用申請容量の２倍で設定しています。 利用申請容量を超えてデータを保存されている場合は、データ容量を利用申請容量まで削減するよう通知します。 通知後も一定期間データ容量が利用申請容量を超えている場合は、容量超過分も/home2利用の課金対象となりますのでご留意ください。 |
(2)ストレージデータダウンロードの高速化
手元にデータダウンロードをする場合、高速データ転送システムSkeed Silver Bulletの利用をご検討ください。
→ 無償です。ポータルサイトから利用予約をしてください。
※ Skeed Silver Bulletの利用にはUDPポート5100番の解放が必要です。解放の可否については、貴社システム管理部門にご確認ください。
※ Skeed Silver Bulletを利用されない場合は、SSH/scpでの接続・転送を推奨します。
※ SSL-VPNでのデータ転送は通信のオーバーヘッドが大きいため推奨しません。
(3)端末利用室からのデータダウンロード
FOCUSスパコンシステムに10Gbpsで接続された端末利用室から高速にデータダウンロードをすることが可能です。
→ポータルサイトから利用予約をしてください。
1日/月は無償、賛助会員はさらに2日/月は無償。
有償は、10,000円（税別）/日
(4)ジョブ実行時のストレージ領域はジョブ特性に合わせて選択してください。
各種ストレージ領域のハードウェア性能を越える入出力は厳禁です。
大規模入出力を実施するようなジョブは/workをご利用ください。
・/work （演算ノードローカルストレージ）：バンド幅を実行ジョブにて占有
・/home2（分散ファイルシステム） ：システム全体で11GB/s、プロセスあたり1GB/s
・/home1（NASストレージシステム） ：システム全体で500MB/s
各ストレージの書込み性能については、クイックリファレンスにまとめております。
http://www.j-focus.jp/quickreference/qref201601/#005
(5)物理メモリと仮想メモリ（スワップ領域）を使い切り、Linuxカーネルの仕組みであるOOM Killer（Out of Memory Killer）によりプロセスを強制終了されるジョブが散見されます。
強制終了された場合、以下のメッセージが出力されます。
OSや並列ライブラリが利用する分がありますので、プログラムが使用するメモリ量は物理搭載メモリの80%以下に抑制するようお願いいたします。
なお、メモリ枯渇によって強制終了されたジョブは課金対象です。
(6)従事者の追加
人事異動等により新たに従事者を追加する場合は、「8.手続き一覧」を参照の上、手続きをしてください。
（10,000円（税別）/人 書類到着後原則３業務日以内で対応いたします）
※登録従事者本人以外が該当アカウントを利用することは、
「公益財団法人計算科学振興財団スーパーコンピュータシステム利用契約約款 」に違反しますため厳禁です。
8. 手続き一覧（抜粋）
|
内容 |
対応 |
|
従事者を追加したい |
課題ID（3桁）又はグループID（4桁）を運用グループ（unyo@j-focus.or.jp）へご連絡ください。 →登録情報を印字した変更申請書類をお送りします。 |
|
ストレージ（/home2）の契約容量を変更したい |
『OKBiz』から申請してください。 |
|
計算資源の予約状況を確認したい |
予約状況カレンダーもしくはポータルサイトにてご確認ください。 ・予約状況カレンダー http://www.j-focus.jp/reservation_cal/ ・ポータルサイト（要SSL-VPN接続） https://portal.j-focus.jp/focus/app/ |
|
計算資源（演算ノード）の期間占有予約をしたい |
日単位：ポータルサイト（要SSL-VPN接続）から予約してください。 https://portal.j-focus.jp/focus/app/ 月単位：空き状況を確認のうえ「期間占有利用申請書」を提出してください。 |
|
専用フロントエンドサーバの期間占有予約をしたい |
計算資源（演算ノード）と同じ。 ※10月5日から専用フロントエンドサーバLightのみ期間占有（日単位）の予約受付を開始しました。 |
|
Skeed Silver Bulletの予約をしたい |
ポータルサイト（要SSL-VPN接続）から予約してください。 |
|
その他、問い合わせをしたい |
『OKBiz』からお問い合わせください。 https://secure.okbiz.okwave.jp/focus/
OKBizには、よくある質問（FAQ）も掲載していますので、ぜひご参照ください。 （キーワード検索可） |
9. 参照先一覧（抜粋）
|
項目 |
参照先 |
|
【各種マニュアル】 ・FOCUSスパコン利用の手引 ・クイックリファレンス ・従量利用アプリケーション利用の手引 ・SSL-VPN利用の手引 ・端末利用室利用の手引 ・ポータルサイト利用の手引 ・お問い合わせシステムOKBiz利用の手引 |
|
|
FOCUSスパコン利用料金 |
|
|
予約状況カレンダー |
http://www.j-focus.jp/reservation_cal/
またはポータルサイト（要SSL−VPN接続） |
|
期間占有ポリシー |
|
|
FOCUSスパコン規定・約款等 |
＜本件に関するお問い合わせ先＞
OKBizからお問い合わせください
https://secure.okbiz.okwave.jp/focus/
