Recommended
More Related Content
What's hot
What's hot (20)
Similar to 分散学習のあれこれ～データパラレルからモデルパラレルまで～
Similar to 分散学習のあれこれ～データパラレルからモデルパラレルまで～ (20)
分散学習のあれこれ～データパラレルからモデルパラレルまで～
- 2. 2 このスライドは2019年8/5、6に開催された 「第一回ディープラーニング分散学習ハッカソン」 にてご教授いただいた内容を元に作成しております この場を借りて主催である “東京工業大学学術国際情報センター様” “GPUコンピューティング研究会様” “エヌビディア合同会社様” 共催である “Chainer User Group様” “TensorFlow User Group様” に感謝の意を表します http://gpu-computing.gsic.titech.ac.jp/node/100
- 3. Contents ⚫ 分散学習とは？ ⚫ Chainerにおける分散学習 ⚫ PyTorchにおける分散学習 ⚫ おまけ 3
- 4. Contents ⚫ 分散学習とは？ データパラレル モデルパラレル 4
- 10. ⚫ データパラレル Pros ✓ 速度向上！ ⚫ モデルパラレル Pros ✓ 1GPUでは載りきらず訓練出来なかったモデルの訓練が 可能になる！ 分散学習とは？ 10
- 11. ⚫ データパラレル Pros ✓ 速度向上！ Cons ◼ mini-batchsize増加による精度の悪化 ⚫ モデルパラレル Pros ✓ 1GPUでは載りきらず訓練出来なかったモデルの訓練が 可能になる！ Cons ◼ 場合によっては訓練速度が低下する[1] ◼ かなり実装がややこしく、超簡単なラッパーがほぼない 分散学習とは？ 11
- 12. 分散学習とは？ 12 ⚫ データパラレル ◼ mini-batchsize増加による精度の悪化 →学習率を上げるなどの工夫をすることで精度の悪化を防ぐ 様々な工夫が必要[2, 3] →PFNが32kバッチ※までは精度低下を防いでいる[4] →ImageNet学習速度世界一争いは実は計算資源投入だけで は成り立たない！[5] ※1024GPUで1GPUあたり32ミニバッチ in ImageNet
- 13. 分散学習とは？ 13 ⚫ モデルパラレル ◼ 場合によっては訓練速度が低下する →分割方法によってはGPU間通信※が多く発生し、それが ボトルネックとなる ◼ かなり実装がややこしい上、超簡単なラッパーがない →モデル分割方法は複数ある上、どこで分割するかの選択肢 はネットワーク構造よって多岐にわたり、設計が難しい →Chainerではlayer-wiseとchannel-wiseな分割が公式で サポートされているが、発展途上の分散学習方法[1, 6] ※GPU内通信は900Gbpsに対し、GPU間は100Gbpsほど
- 15. Contents ⚫ 分散学習とは？ ⚫ Chainerにおける分散学習 ⚫ PyTorchにおける分散学習 ⚫ おまけ 15
- 16. Contents ⚫ Chainerにおける分散学習 データパラレル編 モデルパラレル編 Optuna編 16
- 17. ⚫ データパラレル編 用意するもの ✓ ChainerMN(Chainer5.0以降はChainerMNは同梱) ✓ NCCL(マルチGPUの集合通信ライブラリ) ✓ OpenMPI(並列コンピューティング用ライブラリ) ✓ Multiple GPU(2～)※ ちなみにGPU数増加に伴う通信 などでの計算速度低下はChainer が最も少ない(らしい)[8] ※ただし、GPU同士の接続が通信が遅いケーブルで繋がれて いると計算速度の向上度合は低い Chainerにおける分散学習 17
- 20. ⚫ データパラレル編 既存のコードにたった5ステップ手を加えるだけ！ (慣れたら作業時間は2分くらい) (実行例) モデル：DCGAN データセット：CIFAR-10 epoch：200 batchsize：256 x 32GPU=8192 GPU：Tesla V100 ノード間接続：InfiniBand Chainerにおける分散学習 20
- 21. ⚫ データパラレル編 既存のコードにたった5ステップ手を加えるだけ！ (慣れたら作業時間は2分くらい) (実行例) モデル：DCGAN データセット：CIFAR-10 epoch：200 batchsize：256 x 32GPU=8192 GPU：Tesla V100 ノード間接続：InfiniBand ※データパラレルをすると早くなるという例であってこのよう なラージバッチでは訓練はうまくいきません 様々な工夫やバッチサイズの調整が必要です Chainerにおける分散学習 21 訓練時間 1分30秒！！※
- 22. ⚫ モデルパラレル編 モデルパラレルは分割方法が多岐にわたる ➢ ノードごとの分割 ➢ 層ごとの分割 ➢ チャネル方向の分割 ➢ 空間方向の分割 etc... Chainerにおける分散学習 22
- 23. ⚫ モデルパラレル編 モデルパラレルは分割方法が多岐にわたる ➢ ノードごとの分割[7] ➢ 層ごとの分割 ➢ チャネル方向の分割 ➢ 空間方向の分割 etc... Chainerにおける分散学習 23 Cat
- 24. ⚫ モデルパラレル編 モデルパラレルは分割方法が多岐にわたる ➢ ノードごとの分割 ➢ 層ごとの分割[1] ➢ チャネル方向の分割 ➢ 空間方向の分割 etc... Chainerにおける分散学習 24 Cat
- 25. ⚫ モデルパラレル編 モデルパラレルは分割方法が多岐にわたる ➢ ノードごとの分割 ➢ 層ごとの分割 ➢ チャネル方向の分割[6] ➢ 空間方向の分割 etc... Chainerにおける分散学習 25 Cat ch w h
- 26. ⚫ モデルパラレル編 モデルパラレルは分割方法が多岐にわたる ➢ ノードごとの分割 ➢ 層ごとの分割 ➢ チャネル方向の分割 ➢ 空間方向の分割[9] etc... Chainerにおける分散学習 26 Cat ch w h
- 36. ⚫ Optuna編 実行する予定だったのですが、うまく動かせていないです 以下にOptunaを分散学習環境下で実行するためのページを 貼っておきますので、興味ある人はそこを見てください。。。 (Advent Calenderでコード解説を行おうと思っているので、 そこでやる予定です) [10]東工大 第1回 ディープラーニング分散学習ハッカソン Optuna資料リンク集” https:// gist.github.com/toshihikoyanase/e7a2b2635fddfda91064e2e21a106987” Chainerにおける分散学習 36
- 37. Contents ⚫ 分散学習とは？ ⚫ Chainerにおける分散学習 ⚫ PyTorchにおける分散学習 ⚫ おまけ 37
- 38. Contents ⚫ おまけ マルチGPUでのBatch Normalization モデルパラレルで速度は速くなるか！？ 38
- 39. ⚫ マルチGPUにおけるBatch Normalization Batch Normalizationはバッチ数ごとの平均や分散を計算し て正規化を行う処理である しかしデータパラレルではどうだろうか？ →各GPUにデータがばらばらに割り振られているため、各 GPUが計算する平均や分散が変わってしまう おまけ 39
- 40. ⚫ マルチGPUにおけるBatch Normalization Batch Normalizationはバッチ数ごとの平均や分散を計算し て正規化を行う処理である しかしデータパラレルではどうだろうか？ →各GPUにデータがばらばらに割り振られているため、各 GPUが計算する平均や分散が変わってしまう 各GPUのデータを引っ張ってきて総ミニバッチを用いた Batch Normalizationを行う これは非常に簡単！(公式実装に感謝！) おまけ 40
- 43. ⚫ マルチGPUにおけるBatch Normalization たった2ステップでデータパラレルのBatch Normaliationが 実装できてしまった！(改めて公式実装に感謝！) 気になる計算時間はDCGAN(CIFAR-10)程度では10%程 計算時間が増大する程度であまり気になるほどではないが、 ImageNetや1024x1024画像になるとGPU間通信がボトル ネックとなりさらに遅くなる可能性はあり おまけ 43
- 45. ⚫ モデルパラレルで速度は速くなるか！？ ➢ ノードごとの分割 ➢ 層ごとの分割 ➢ チャネル方向の分割 ➢ 空間方向の分割[9] etc... おまけ 45 Cat ch w h
- 47. 1.Parallel Convolution,” https://github.com/chainer/chainer/tree/master/example s/chainermn/parallel_convolution” 2.Don’t Decay the Learning Rate, Increase the Batch Size,” https://openrevi ew.net/pdf?id=B1Yy1BxCZ” 3.Scaling SGD Batch Size to 32K for ImageNet Training,” https://www2.eecs.b erkeley.edu/Pubs/TechRpts/2017/EECS-2017-156.pdf” 4.Preferred Networks、深層学習の学習速度において世界最速を実現,” https://ww w.preferred-networks.jp/ja/news/pr20171110” 5.世界最高速を達成！ディープラーニングの高速化技術を開発,” https://pr.fujitsu.co m/jp/news/2019/04/1.html” 6.Model Parallel on ChainerMN,” https://docs.chainer.org/en/stable/chainermn/ model_parallel/model_parallel_on_chainermn.html” 7.分散学習基礎講座,https://www.cc.u-tokyo.ac.jp/events/lectures/111/20190124-1.p df 8.分散深層学習パッケージ ChainerMN 公開,” https://research.preferred.jp/2017/0 5/chainermn-beta-release/” 9.BEYOND DATA AND MODEL PARALLELISM FOR DEEP NEURAL NETWORK S, “https://www.sysml.cc/doc/2019/16.pdf” 10.東工大 第1回 ディープラーニング分散学習ハッカソン Optuna資料リンク集” https://gist.github.com/toshihikoyanase/e7a2b2635fddfda91064e2e21a106987” 参考文献 47
- 48. 48 Thank you for attention