FOCUSスパコン利用者各位
平素はFOCUSスパコンをご利用いただき、誠にありがとうございます。
年度末の繁忙期を迎えまして、利用率の高い状況が続くことが予想されます。
つきましては、以下のとおり、ノード予約（日単位）に関する繁忙期対応を実施致します。
また、利用の増加とともにシステム、特に各ストレージシステムについて期待される性能が
得られない恐れがあります。
これを回避するために改めまして、FOCUSスパコン各システムでのストレージ入出力特性に
ついて掲載いたします。
記
1. ノード予約（日単位）に関する繁忙期対応
これまではポータルサイトからノード予約（日単位）のご連絡をいただいておりましたが、
繁忙期に入り効率的な予約管理を行うため、当分の間、ポータルサイトからの予約を停止し、
水曜日開始の1週間単位の予約のみOKBizから受付することといたします。
予約ノード提供の際は予約利用1日～3日前からノードを確保し、該当ノードはユーザの皆様が
利用できなくなります。
これを回避し、ユーザの利用機会の逸失を最小限に抑えるための措置ですのでご理解いただき
ますようお願い致します。
ご希望の際は、予約状況カレンダー(http://www.j-focus.jp/reservation_cal)にて空き状況を
確認のうえ、OKBiz(https://secure.okbiz.okwave.jp/focus/)からご連絡ください。
【ノード予約連絡先】OKBiz＞新規質問作成＞計算資源予約
2. FOCUSスパコン各システムでのストレージ入出力特性
FOCUSスパコン各システムでのストレージ入出力特性は
「FOCUSスパコン利用の手引き」
＞「付録A.FOCUSスパコンシステム各種サーバ・ストレージ概要」
http://www.j-focus.jp/user_guide/ug0a00000000.html にて示しております。
さらに詳細な情報を以下に示します。
【各ストレージシステムの特性】 http://www.j-focus.jp/quickreference/qref201601.html#005
・/home1 ホーム領域：Network File System, NFS
NASストレージシステム（全体で500MB/s）
・/home2 ワーク兼ホーム領域：Lustre File System, NFS
分散ファイルシステム（全体で11GB/s、プロセスあたり最大1GB/s）
・/work 演算ノードスクラッチ領域：ext4
演算ノードのローカルディスク、I/O性能は各システムにより異なり、他のジョブの影響を受けない。
ジョブ終了時にデータは削除される。
・/cloud1 バックアップ・アーカイブ領域：Network File System, NFS
専用線でFOCUSスパコンネットワークと接続された外部ストレージシステム（全体で理論ピーク12MB/s）
【入出力性能実測値（混雑時~平常時 MB/s）】
1ノードから各ストレージへ1プロセス
/work /home2 /home1
A: 80~100 160~450 5~100
B: 140~170 160~450 5~100
C: 80~100 5~ 10 5~ 10
D: 200~250 600~980 5~100
E: 130~180 600~980 5~100
F: 90~100 500~900 5~100
G: 100~120 5~ 80 5~ 25
H: 440~460 25~ 80 5~ 80
【ストレージ利用の際の注意事項】
・/cloud1 フロントエンドサーバより 2~10 MB/s
なお/cloud1はバックアップ用途であり、演算ノードからの直接の入出力はお勧めしません。
・C, G, Hシステムの計算ノードはInfiniBandを有しておらず、計算ノードから直接/home2に
アクセスできません。直接アクセスできるA,B,D,E,Fシステムと同等ではございません。
C, G, Hシステムと/home2の間にあるInfiniBandと1/10ギガビットイーサネットの両方を持った
計算機でゲートウェイを行っています。
・A,B,D,E,Fシステムと/home2の間はInfiniBandで接続され低遅延で入出力可能ですが、
C, G, Hシステムと/home2の間はInfiniBandで接続されていません。
・C, G, Hシステムの複数ノードからの入出力を1台のゲートウェイでInfiniBandのLustreプロトコルから
イーサネットのUDP/IPのNFSのプロトコルに変換しているため、遅延が大きいです。
・同様の変換、InfiniBandと10ギガビットイーサネットの変換がFシステムでは/home1に対して
行われているため/home1での入出力性能がA,B,D,Eシステムに比べて劣っています。
・1ノードが/home2ストレージと通信する際の最低遅延時間は
A,B,D,E,Fシステムで約5マイクロ秒、Hシステムでは約57マイクロ秒です。
・C, G, Hシステムで複数のノードからの入出力をゲートウェイ計算機が処理するため
ゲートウェイでのプロトコル変換遅延がネットワークインターフェースの遅延12μsを
大きく超えて1ms程度になる場合があります。
【各システムから/home2への最小遅延】（正確な値ではありませんがおおよその値です）
A,Bシステム：6μs
Cシステム ：227μs
D,Eシステム：4μs
Fシステム ：5μs
Hシステム ：57μs
＜本件に関するお問い合わせ先＞
OKBizよりお問い合わせください
https://secure.okbiz.okwave.jp/focus/
