【講演資料】東工大で8/5-6開催の「第1回 ディープラーニング分散学習ハッカソン」で、PFNエンジニアの柳瀬利彦がTSUBAME3.0上でのOptunaの利用方法を紹介しました。

1. https://bit.ly/t3-optuna
Optuna
A Define-by-Run Hyperparameter Optimization Framework
第1回 ディープラーニング分散ハッカソン@東工大
2019年8月5日
柳瀬 利彦, Preferred Networks

2. https://bit.ly/t3-optuna
Materials
• Optuna Tutorial
• 公式Examples
• 本ハッカソン向け Optuna Examples
2
https://bit.ly/t3-optuna

3. https://bit.ly/t3-optuna3

4. https://bit.ly/t3-optuna
Hyperparameter Tuning
First, I want to try
this:
• LR: 0.1
• Dropout: 0.5
… Done!
Accuracy: 0.6
Trial 1
Then, How about
this?:
• LR: 0.01
• Dropout: 0.0
… Done!
Accuracy: 0.5
Trial 2
So, I want to try
this:
• LR: 0.05
• Dropout: 0.3
… Done!
Accuracy: 0.8
Trial 3
4

5. https://bit.ly/t3-optuna
Hyperparameter Tuning
First, I want to try
this:
• LR: 0.1
• Dropout: 0.5
… Done!
Accuracy: 0.6
Trial 1
Then, How about
this?:
• LR: 0.01
• Dropout: 0.0
… Done!
Accuracy: 0.5
Trial 2
So, I want to try
this:
• LR: 0.05
• Dropout: 0.3
… Done!
Accuracy: 0.8
Trial 3
5

6. https://bit.ly/t3-optuna
Quick Start

7. https://bit.ly/t3-optuna
環境構築
• Python 2.7, 3.5+ をサポート
• TensorFlowでも使えます！
• Install Optuna by pip:
$ pip install optuna
7

8. https://bit.ly/t3-optuna
MNIST Training (Optunaなし)
8
MLPの構造を最適化!

9. https://bit.ly/t3-optuna9
1
2
3
3箇所変更
MNIST Training (Optunaあり)

10. https://bit.ly/t3-optuna10
1. 学習・評価ロジックを目的関数とし
て定義．評価値をreturnする．

11. https://bit.ly/t3-optuna11
2. suggest() でハイパーパラメタを取得

12. https://bit.ly/t3-optuna12
3. Study は実験を管理するオブジェクト
Study.optimize() でサーチ開始

13. https://bit.ly/t3-optuna
Pandasで最適化結果を分析
13

14. https://bit.ly/t3-optuna
ニューラルネットの最適化ポイント
• ネットワークの形状
– CNNのカーネルサイズ
trial.suggest_categorical(‘ksize’, [3, 5, 7])
– CNNのチャンネル数
trial.suggest_int(‘n_channels’, 2, 128)
• 学習設定
– 学習率
trial.suggest_loguniform(‘lr’, 1e-9, 1e-1)
– 正則化
trial.suggest_uniform(‘dropout_rate’, 0.0, 1.0)
14

15. https://bit.ly/t3-optuna
Pruning

16. https://bit.ly/t3-optuna16
• 訓練の各イテレーションで:
– report() と should_prune() を呼ぶ.
Pruningの設定
Chainer, TFはExtensionを使うと1行で設定可
TF向けは@sfujiwaraさん制作！
中間結果を報告.
枝刈りの判定.

17. https://bit.ly/t3-optuna
• 見込みのなさそうなTrialを自動的に停止
• 例） Validationスコアが過去のTrialのMedianより悪ければ打ち
切る
17

18. https://bit.ly/t3-optuna
半分の時間で同等のエラー率
各地点でMedian値を基準
に，それより悪ければ止め
る
Median Pruning
Banditベースのアルゴリズ
ム枝刈りの間隔に特徴（指
数関数的に変化）.
Successive Halving
18

19. https://bit.ly/t3-optuna
Optimization of
Distributed Deep Learning

20. https://bit.ly/t3-optuna
Optunaの分散最適化機能
20

21. https://bit.ly/t3-optuna
ほぼ線形にスケール
21

22. https://bit.ly/t3-optuna
分散深層学習（データ並列）のチューニング
ChainerMN: ChainerMNStudyを使う
Tensorflow + Horovod: MPIStudyを使う
22

23. https://bit.ly/t3-optuna
TSUBAMEでOptunaを実行するには
23
Tensorflow/Chainer対応のexampleを提供
• シングルノードでOptuna
• マルチノードでOptuna
https://bit.ly/t3-optuna