ゼミでやった論文紹介スライドです. DNNは訓練ロスを0にできるが, そのようなパラメータはパラメータ空間でどういう感じになっているかを調べようとした論文です. 結論だけいうとロス0パラメータは弧状連結になってるぽいです.

1. Essentially No Barriers
in Neural Network Energy Landscape
2018/9/23 Pan Seminar
Presenter: Simossyi @Deepcore Kernel

2. 書誌情報
Title: Essentially No Barriers in Neural Network Energy Landscape
Authors: Felix Draxler, Kambis Veschgini, Manfred Salmhofer,
Fred A. Hamprecht
Conference: ICML2018 accepted
Citations: 2

3. 論文の内容を一言で
最新の分子シミュレーション手法(autoNEB)を使って大規模モデル
(ResNet, DenseNet)のロス関数のランドスケープを調べた
- ロス関数のランドスケープに関する研究はすでにされていたが近代的なモデ
ルで調べたのは初
- データセットもやや大きめ(CIFAR10, CIFAR100). CNNでの先行研究は
MNISTではされていたがCIFARは初
- 実験結果からモデルパラメータが増えるほどロス関数の局所解同士がエネル
ギー障壁的な意味で平坦に繋がっていることがわかった！

4. 目次
1. ランドスケープとは？
2. AutoNEBとは？
3. 実験＆結果

5. 目次
1. ランドスケープとは？
2. AutoNEBとは？
3. 実験＆結果

6. ロス関数のランドスケープはパラメータに対するロスの大きさ
- パラメータが一つの時のロスのランドスケープはこんな感じ
- DNNのパラメータ空間は超高次元なのでこの図のように直接プロットはでき
ないが局所解同士を繋いで間を線形補間すると一次元に落とせるのでプロッ
ト可能(たまにやる)

7. DNNの局所解は谷になっているのか？
- DNNのランドスケープの話になるとなんとなく(急な)谷を想像しがち
- しかしDNNに関しては局所解は必ずしも谷にはなっていない
- ランドスケープが平坦な方が汎化が良いと言う主張もある[Keskar 2016]
- DNNのロスが小さいところは離散的に存在する谷ではなく多様体をなしてい
るのでは？？(仮説)(この論文では証明してない)(多様体だといいね)

8. ロス0部分空間が連結なら局所解同士は滑らかに繋げられる
- DNNのロスが0のパラメータ同士が弧状連結なら求めたパラメータ同士を繋
ぐ経路が存在してその経路上もロスが0であるようにできるはず！
- なので局所解を10個とってきてそれを繋ぐロス0経路を見つけてきたぜ！！
(論文内容)

9. おまけ) DNNの不変性
- ReLUを使ったDNNは層ごとの出力を丸ごとリスケーリングしても解が不変
[Dinh 2017]
ex) 層iの重みをk(≠0)倍, 層j(j≠i)の重みを1/k倍しても出力は不変
- softmax関数は平行移動に関して不変
ex)最終層の重みは平行移動しても出力は不変
- 今回検証しているパターンは少なくとも一つ目には該当しないらしい
二つ目は記述がなかったので不明
- 上記二つの性質によりロス0のパラメータは無限に作れる

10. 目次
1. ランドスケープとは？
2. AutoNEBとは？
3. 実験＆結果

11. 分子シミュレーションの方法で経路を見つける
- ロスの値をエネルギーだと見ると, 今回の問題は二つの地点を結ぶ経路のエ
ネルギー障壁を最小化する問題を解くことで達成できる
- 分子シミュレーションにいい感じの手法があるのでそれを転用する
元々は化学反応の原系と生成系のエネルギー障壁を調べるヒューリスティク
スとして使われてる手法

12. 経路を点で近似して点でのエネルギーを最小化する
- 基本的には経路上に点を打って各点でのエネルギーを最小化する
以下は求めるべき経路が満たす式. 経路上での最大値を最小化する経路を採
用する

13. 実際に最適化するエネルギー関数
- Lはロス, kはサンプリングの密度を表す
- 第二項はヒューリスティクスな調整項. 経路が極端に直線になったりするの
を防ぐ効果があるとか
等間隔で最小になりそうなので点が接近することをペナライズしている？

14. 最適化手法 NEBとautoNEB
- さっきのエネルギー関数を最適化する方法にはNEB[Jonson 1998]とその改
良版autoNEB[Kolsbjerg 2016]がある
- どっちも適当な射影をしながら勾配を補正していい感じの解を見つける
(エネルギーの大きいところを詳細に探索したいという気持ちの射影をする)

15. NEBのアルゴリズム 1/2
- エネルギーを普通に微分するとこうなる. 第一項はロス由来の勾配, 第二項は
正則化項由来の勾配
- NEBではこの勾配を補正した勾配を降りる

16. NEBのアルゴリズム 2/2
- τへの射影を使って補正する. τは隣接した大きい方の点を向いたベクトル
τは正規化されてるので内積部分が射影になる

17. autoNEBはサンプル点の数が自動で変わる
- autoNEBはNEBではハイパーパラメータ決め打ちだった経路上の点の数を適
応的に変える. 少ない時にサンプル点を増やしてエネルギー障壁を詳細に見
積れるようにしてるらしい

18. 目次
1. ランドスケープとは？
2. AutoNEBとは？
3. 実験＆結果

19. autoNEB使ってランドスケープを調べたよー
【実験条件】
- model: Basic CNN(浅くて残差接続がないもの)
ResNet-20, 32, 44, 56
DenseNet-40-12, 100-12-BC
- Dataset: CIFAR-10, 100
【結果】
- エネルギー障壁での訓練ロス, テストロスの大きさをプロットした
- モデルごとに訓練のどの段階でエネルギー障壁を越えるかプロットした
- 見つけた経路がエネルギー障壁を回避してることをプロットした

20. 学習の経過
- 最初はエネルギー障壁が高いがだんだん回避できて平坦に繋げるようになる

21. 学習完了 DenseNetではエネルギー障壁はほぼフラット
- 局所解での平均ロスとエネルギー障壁の平均ロ
スをプロットしたもの
- DNNが広く, 深くなるに連れて局所解とエネル
ギー障壁でのロスの値が近づく
- テストデータでも同じ傾向

22. モデルはいつエネルギー障壁を越えるか
- エネルギー障壁でのロス(の平均)を
経過するのが学習のどの段階かを示
すプロット
- DenseNetは学習後半で, ResNetは学
習中盤でエネルギー障壁を超えてる
(局所解スタックから抜けてる？)

23. 見つけた経路を線形補間と比べてみた
- 適当にパラメータの次元を取ってき
て線形補間の場合のロスと比べた
- 図の上側は線形補間した点との距離
- 見つけた経路は線形補間した場合の
エネルギー障壁を回避するようにパ
ラメータが動いてそうな気がする

24. まとめ
- 分子シミュレーションの手法を使うことで任意の局所解をエネルギー障壁な
しで平坦に繋ぐことができた
- 特にモデルが大きくなるほど(パラメータ数が増えるほど)この傾向が顕著で
あることがわかった
- ロス0のパラメータ空間が多様体をなしているといいなあ

25. おしまい
オワオワリでーす