Weitere ähnliche Inhalte
Ähnlich wie [DDBJ Challenge 2016] 遺伝研スーパーコンピュータのビッグデータ解析環境 (20)
Mehr von DNA Data Bank of Japan center (20)
[DDBJ Challenge 2016] 遺伝研スーパーコンピュータのビッグデータ解析環境
- 3. DDBJデータ解析チャレンジ キックオフ講習会(2016.7.6)
遺伝研スーパーコンピュータのビッグデータ解析環境
ノード間相互接続網
InfiniBand 4xQDR InfiniBand 4xFDR
台数:2ノード [1.536TFLOPS]
CPUコア: 80コア/node
メモリ: 2TB /node
【PCサーバ(HP Proliant DL980 G7)】
Medium計算ノード
台数:1ノード [8.171TFLOPS]
CPUコア: 768コア
メモリ: 10TB
【SMPサーバ(SGI Altix UV1000)】
Fat計算ノード
台数:352ノード [117TFLOPS以上(CPUのみ)]
CPUコア: 16コア/node
メモリ: 64GB /node
【PCクラスタ(HP Proliant SL230s Gen8)】
Thin計算ノード
合計容量:約2PB
【Lustre FileSystem(DDN SFA10000)】
高速領域
合計容量:約3PB
【NFS FileSystem(NEXSAN E60/E60X)】
省電力領域
台数:8ノード [6.144TFLOPS]
CPUコア: 80コア/node
メモリ: 2TB /node
【PCサーバ(HP Proliant DL980 G7)】
Medium計算ノード
台数:202ノード [90TFLOPS以上(CPUのみ)]
CPUコア: 20コア/node
メモリ: 64GB /node
【PCクラスタ(HP Proliant SL230s Gen8)】
Thin計算ノード
合計容量:約5PB
【Lustre FileSystem(DDN SFA12000)】
高速領域
合計容量:約3PB
【NFS FileSystem(Hitachi HUS150)】
省電力領域
2012年度導入機器 2014年度導入機器
Thinノード Fatノード Medノード 高速領域 省電力領域
554ノード
9,672コア
1ノード
768コア
10ノード
800コア
7PB 6PB
2014年増強後の総計
- 4. DDBJデータ解析チャレンジ キックオフ講習会(2016.7.6)
遺伝研スーパーコンピュータのビッグデータ解析環境
スーパーコンピュータシステムでは、Univa Grid Engine(UGE)を ジョブ管理
システムとして利⽤しています。UGEが各ユーザから投⼊されたジョブを優先
度や使⽤リソース量に応じて適切にスケジューリングすることで、ユーザが意
識する必要なく、計算機を効率的に利⽤して⼤量のジョブを円滑に実⾏するこ
とが可能です。
スーパーコンピュータシステムでは各種ゲノム解析系ツールを利⽤可能です。
これらのツールは、スーパーコンピュータシステムにアカウント登録して頂
き、ログインして頂くことで利⽤可能です。
利⽤可能バイオツール
de novo Mapping RNA‐Seq ChIP‐Seq tool other
ALLPATHS‐LG bwa cufflinks MACS samtools pindel
SOAPdenovo bowtie tophat BEDtools cutadapt
Edena v3 bowtie2 picard
Oases SOAP(v1) GATK
Velvet SOAP3
Trinity SOAP3‐dp
URL ︓ https://sc.ddbj.nig.ac.jp/index.php/systemconfig/ja-biotools
ジョブ管理システム
- 7. DDBJデータ解析チャレンジ キックオフ講習会(2016.7.6)
遺伝研スーパーコンピュータのビッグデータ解析環境
ノード間相互接続網
InfiniBand 4xQDR InfiniBand 4xFDR
台数:2ノード [1.536TFLOPS]
CPUコア: 80コア/node
メモリ: 2TB /node
【PCサーバ(HP Proliant DL980 G7)】
Medium計算ノード
台数:1ノード [8.171TFLOPS]
CPUコア: 768コア
メモリ: 10TB
【SMPサーバ(SGI Altix UV1000)】
Fat計算ノード
台数:352ノード [117TFLOPS以上(CPUのみ)]
CPUコア: 16コア/node
メモリ: 64GB /node
【PCクラスタ(HP Proliant SL230s Gen8)】
Thin計算ノード
合計容量:約2PB
【Lustre FileSystem(DDN SFA10000)】
高速領域
合計容量:約3PB
【NFS FileSystem(NEXSAN E60/E60X)】
省電力領域
台数:8ノード [6.144TFLOPS]
CPUコア: 80コア/node
メモリ: 2TB /node
【PCサーバ(HP Proliant DL980 G7)】
Medium計算ノード
合計容量:約3PB
【NFS FileSystem(Hitachi HUS150)】
省電力領域
2012年度導入機器 2014年度導入機器
Thinノード Fatノード Medノード 高速領域 省電力領域
554ノード
9,672コア
1ノード
768コア
10ノード
800コア
7PB 6PB
2014年増強後の総計
Rank:170th in Top500 (Nov,2011)
(Rank:11 th in Japan)
台数:202ノード [90TFLOPS以上(CPUのみ)]
CPUコア: 20コア/node
メモリ: 64GB /node
【PCクラスタ(HP Proliant SL230s Gen8)】
Thin計算ノード
合計容量:約5PB
【Lustre FileSystem(DDN SFA12000)】
高速領域
DDBJチャレンジで利用可能な計算資源
・計算ノード
DDBJチャレンジ専用のリソースを利用して計算し
て頂きます(challenge.q)。GPU搭載Thin 計算ノー
ドが計10ノードです。
[GPU搭載thin計算ノード(1ノードあたり)]
CPU:Intel Xeon E5‐2680v2(2.8GHz,10コア) × 2
メモリ:64GB
GPU:NVIDIA Tesla K20 ×1
・ホームディレクトリ
ユーザ登録をするとホームディレクトリとして1TB
の領域が与えられます。
ディレクトリパスは/home/usernameです。
- 16. DDBJデータ解析チャレンジ キックオフ講習会(2016.7.6)
遺伝研スーパーコンピュータのビッグデータ解析環境
ジョブ投⼊
16
#!/bin/sh
#$ -S /bin/sh
pwd
hostname
date
sleep 20
date
echo “to stderr” 1>&2
2⾏⽬の“#$”は、UGEオプションを指定するための接頭辞。
“#$ -S”で、このシェルスクリプトがUGE上で動作する際に使⽤する
インタプリタを指定する(この例の場合、インタプリタは/bin/sh)
この⾏を省略した場合、ジョブ投⼊時のコマンドオプションで
“-S 使⽤するインタプリタのパス”を指定する必要がある。
ジョブの投⼊例を⽰します。
UGE向けに記述したシェルスクリプトを作成して投⼊します。
参考URL: https://sc.ddbj.nig.ac.jp/index.php/tutorial-materials/
- 17. DDBJデータ解析チャレンジ キックオフ講習会(2016.7.6)
遺伝研スーパーコンピュータのビッグデータ解析環境
ジョブ投⼊ & 結果確認
参考URL: https://sc.ddbj.nig.ac.jp/index.php/tutorial-materials/ 17
$ qsub –l challenge test.sh
qsubコマンドでジョブを投⼊します。
ジョブを投⼊すると、実⾏待ち⾏列にジョブが⼊ります。
投⼊したジョブの状況は、qstatコマンド(後述)で確認できます。
実⾏後、ジョブの出⼒を確認します。
ホームディレクトリに、ジョブの標準出⼒、標準エラー出⼒を記録した
ファイルが出⼒されます。
$ cat ~/test.sh.o325
/lustre3/home/ddbjuser
nt170
2016年 7月 1日 金曜日 11:15:01 JST
2016年 7月 1日 金曜日 11:15:21 JST
$ cat ~/test.sh.e325
to stderr