JAWS-US HPC 2016年1月22日のハンズオン資料です！

1. CfnCluster を使って
10 分で HPC 環境を構築する
目指せ！おれおれスパコン
略して「おれスパ!」
2016/01/22 (Fry) @AWSJ

2. 自己紹介
• 長尾太介 (Daisuke Nagao)
• お仕事 (2015年12月〜)
• GPUを作っている緑の会社で、between sales and engineer のようなお仕事
• 前職は・・・
• 製造業で粉体シミュレータを作って設計者に展開
• またそれが動く計算環境も面倒見てました
• 好きなAWSサービス
• EC2(特にGPUインスタンス), Lambda, Kinesis

3. StarCluster CfnCluster
AWS用クラスタツールキット の オープンソース

4. StarCluster CfnCluster
AWS (中の人がつくっている)MIT

5. http://itpro.nikkeibp.co.jp/atcl/news/15/112703892/
IT Pro by 日経コンピュータに取り上げてもらいました。8888888888!

6. 本日伝えたいことはただ1つ

7. AWSでスパコンはあっと言う間につくれます

8. しかもオープンソースで!

9. AWSを使うと、スパコンは
「あっ」と言う間につくれます
しかもオープンソースで！

10. 「あっーーーーーーーーーーーーーーー」
10 min + α」

11. 「あっーーーーーーーーーーーーーーー」
(1) CfnCluster インストール, Configファイルの生成
(2) CfnClusterによるクラスタの構築
(3) 計算実行
(4) CfnClusterによるクラスタの削除
10 min + α」

12. Let’s start hands-on!
http://qiita.com/daikumatan/items/23b36199fc6872c78dc0

13. (0) Amazon Linux の立ち上げ
Amazon Linux

14. (1) CfnClusterのインストール
CfnCluster
インストール
Amazon Linux

15. (2) configファイルの生成
CfnCluster
インストール
[aws]
aws_region_name = ${REGION}
aws_access_key_id = ${ACCESS_KEY}
aws_secret_access_key = ${SECRET_KEY}
[cluster ${CLUSTER_NAME}]
vpc_settings = public
key_name = ${EC2_KEY_NAME}
master_instance_type = ${MASTER_INSTANCE_TYPE}
compute_instance_type = ${WORKER_INSTANCE_TYPE}
shared_dir = ${MOUNT_POINT}
initial_queue_size = ${INIT_SIZE}
max_queue_size = ${MAX_SIZE}
ebs_settings = custom
[ebs custom]
#ebs_snapshot_id = ${SNAPSHOT_ID}
volume_size = ${VOLUME_SIZE}
[vpc public]
master_subnet_id = ${SUBNET_ID}
vpc_id = ${VPC_ID}
[global]
update_check = true
sanity_check = true
cluster_template = ${CLUSTER_NAME}
EOF
~/.cfncluster/config
Amazon Linux

16. Master compute
/share 16GB
(3) クラスタ名 “jawscluster” の構築
$ cfncluster create jawscluster
jawscluster
CfnCluster

17. Master compute
/share 16GB
(4) 計算実行 その１
JOB1
JOB2
JOB3
JOB4
JOBを複数投入し
“qw (queue wait)”
にする
jawscluster
計算ノードはオイラ
しかいないよ〜
「Help!!」

18. Master
compute
/share 16GB
(4) 計算実行 その2
自動的に
computeノードが
増えるのを確認する
JOB1
JOB2
JOB3
JOB4
まってて！
今たすけるよ！

19. (5) 後始末1: クラスタ名 “jawscluster” の削除
CfnCluster
$ cfncluster delete jawscluster
Master
compute
/share 16GB

20. CfnCluster
$ cfncluster delete jawscluster
バイバーイキーン
(5) 後始末1: クラスタ名 “jawscluster” の削除

21. (5) 後始末2:後始末: Amazon Linux もターミネート
Amazon Linux
バイバーイキーン