「NIG Super Computer の紹介と見学」 第29回 DDBJing 講習会 in 三島 2014.06.12 講師：石川　直史（国立遺伝学研究所） DDBJing 講習会 ウェブサイト：http://www.ddbj.nig.ac.jp/ddbjing/ DDBJing 講習会 アーカイブ： http://www,ddbj.nig.ac.jp/ddbjing/dl.html

1. 第29回 DDBJing 講習会 in 三島 (2014.6.12)NIG SuperComputer の紹介と見学
NIG SuperComputer の
紹介と見学
国立遺伝学研究所 スパコン担当SE
石川 直史
第29回 DDBJing 講習会 in 三島 (2014.6.12)NIG SuperComputer の紹介と見学

2. 第29回 DDBJing 講習会 in 三島 (2014.6.12)NIG SuperComputer の紹介と見学
大学共同利用機関法人 情報システム研究機構 国立遺伝学研究所は、
2012年3月にスーパーコンピュータシステムを更新し、2014年3月にシス
テム増強を行いました。
スーパーコンピュータシステムはゲノム解析を主な目的とした大規模計
算機利用拠点として 最新鋭の大規模クラスタ型計算機、大規模メモリ共
有型計算機、および大容量高速ディスク装置で構成されたスーパーコン
ピューティングシステムサービスを提供しています。
国立遺伝学研究所スーパーコンピュータシステム
http://sc.ddbj.nig.ac.jp

3. 第29回 DDBJing 講習会 in 三島 (2014.6.12)NIG SuperComputer の紹介と見学
ノード間相互接続網
InfiniBand
4xQDR InfiniBand
4xFDR
台数：2ノード [1.536TFLOPS]
CPUコア:
80コア/node
メモリ:
2TB
/node
【PCサーバ(HP
Proliant
DL980
G7)】
Medium計算ノード
台数：1ノード [8.171TFLOPS]
CPUコア:
768コア
メモリ:
10TB
【SMPサーバ(SGI
AlQx
UV1000)】
Fat計算ノード
台数：352ノード [117TFLOPS以上(CPUのみ)]
CPUコア:
16コア/node
メモリ:
64GB
/node
【PCクラスタ(HP
Proliant
SL230s
Gen8)】
Thin計算ノード
合計容量：約2PB
【Lustre
FileSystem(DDN
SFA10000)】
高速領域
合計容量：約3PB
【NFS
FileSystem(NEXSAN
E60/E60X)】
省電力領域
台数：8ノード [6.144TFLOPS]
CPUコア:
80コア/node
メモリ:
2TB
/node
【PCサーバ(HP
Proliant
DL980
G7)】
Medium計算ノード
台数：202ノード [90TFLOPS以上(CPUのみ)]
CPUコア:
20コア/node
メモリ:
64GB
/node
【PCクラスタ(HP
Proliant
SL230s
Gen8)】
Thin計算ノード
合計容量：約5PB
【Lustre
FileSystem(DDN
SFA12000)】
高速領域
合計容量：約3PB
【NFS
FileSystem(Hitachi
HUS150)】
省電力領域
2012年度導入機器
2014年度導入機器
Thinノード
Fatノード
Medノード
高速領域
省電力領域
554ノード
9,672コア
1ノード
768コア
10ノード
800コア
7PB
6PB
2014年増強後の総計
Rank:170th in
Top500
(Nov,2011)
(Rank:11
th
in
Japan)

4. 第29回 DDBJing 講習会 in 三島 (2014.6.12)NIG SuperComputer の紹介と見学
スーパーコンピュータシステムでは、Univa
Grid
Engine(UGE)を
ジョブ管理
システムとして利⽤用しています。UGEが各ユーザから投⼊入されたジョブを優先度
や使⽤用リソース量に応じて適切にスケジューリングすることで、ユーザが意識
する必要なく、計算機を効率的に利⽤用して⼤大量のジョブを円滑に実⾏行行すること
が可能です。
スーパーコンピュータシステムでは各種ゲノム解析系ツールを利⽤用可能です。
これらのツールは、スーパーコンピュータシステムにアカウント登録して頂
き、ログインして頂くことで利⽤用可能です。
利⽤用可能バイオツール
de
novo
Mapping
RNA-­‐Seq
ChIP-­‐Seq
tool
other
ALLPATHS-­‐LG
bwa
cufflinks
MACS
samtools
pindel
SOAPdenovo
bowQe
tophat
BEDtools
cutadapt
Edena
v3
bowQe2
picard
Oases
SOAP(v1)
GATK
Velvet
SOAP3
Trinity
SOAP3-­‐dp
URL
：
http://sc.ddbj.nig.ac.jp/index.php/systemconfig/ja-biotools
ジョブ管理システム

5. 第29回 DDBJing 講習会 in 三島 (2014.6.12)NIG SuperComputer の紹介と見学
①ゲートウェイノード(gw.ddbj.nig.ac.jpまたはgw2.ddbj.nig.ac.jp)
にログインする
②qloginを実⾏行行しインタラクティブノードにログインする
③qloginしたホストからジョブをUGEに投⼊入する
④UGEは負荷の低いノードでジョブを実⾏行行する
⑤ジョブ実⾏行行結果がLustreのホームディレクトリに出⼒力力される
⑥ジョブ実⾏行行結果を確認する
Job
Job
Job
Resul
t
Resul
t
Resul
t
Resul
t
Result
①
③
④
gateway
②
⑥
⑤
ゲートウェイノード
(外部との通信専⽤用)
インタラクティブノード
バッチ専⽤用ノード
スーパーコンピュータ使⽤用⽅方法
Lustreファイルシステム

6. 第29回 DDBJing 講習会 in 三島 (2014.6.12)NIG SuperComputer の紹介と見学
スーパーコンピュータに関する情報
国⽴立立遺伝学研究所
スーパーコンピュータシステムの利⽤用するにあたり、様々な情報
を閲覧できます。
URL ： http://sc.ddbj.nig.ac.jp/index.php/ja-nig-statistics

7. 第29回 DDBJing 講習会 in 三島 (2014.6.12)NIG SuperComputer の紹介と見学
スパコンホームページ(http://sc.ddbj.nig.ac.jp)で「新規ユーザ登録申請」を選択
ユーザアカウント登録
URL ： http://sc.ddbj.nig.ac.jp/index.php/ja-new-application
• 現時点ではスパコン利⽤用は課⾦金金せず、無償で利⽤用可能
• 全ての利⽤用者は名前・所属・研究⽬目的を記録し、公開することを原則とする

8. 第29回 DDBJing 講習会 in 三島 (2014.6.12)NIG SuperComputer の紹介と見学
利⽤用⽬目的別ユーザ分布
（2014年4⽉月時点）
アカウント数
202
27
21
18
10
16
0
50
100
150
200
250
NGS
NGS以外の配列
解析
DB作成
シミュレーション、
MD
アルゴリズム開
発
その他
69%
9%
7%
6%
3%
6%

9. 第29回 DDBJing 講習会 in 三島 (2014.6.12)NIG SuperComputer の紹介と見学
機関別ユーザ分布
（2014年4⽉月時点）
3名以上所属している機関を抜粋
52
25
23
18
12
11
9
7
7
7
6
6
6
5
4
4
4
4
4
3
3
3
3
3
3
0
10
20
30
40
50
60

10. 第29回 DDBJing 講習会 in 三島 (2014.6.12)NIG SuperComputer の紹介と見学
4F
3F
2F
2F
講習会室
2F渡り廊下
1F
1F
階段
スーパーコンピュータ室までの経路
⽣生命情報研究センター
電⼦子計算機棟

11. 第29回 DDBJing 講習会 in 三島 (2014.6.12)NIG SuperComputer の紹介と見学
Fat計算ノード 大容量外部記憶装置（高速領域） InfiniBandスイッチ
空調機
thin計算ノード 大容量外部記憶装置（省電力領域） medium計算ノード
調湿用空調機
スパコン室⾒見見取り図
入口
Phase1
Phase2
高速領域
Fat計算ノード
Medium計算ノード