園田翔氏の博士論文を解説しました。 Integral Representation Theory of Deep Neural Networks 深層学習を数学的に定式化して解釈します。 ３行でいうと、 ーニューラルネットワーク—(連続化)→双対リッジレット変換 ー双対リッジレット変換＝輸送写像 ー輸送写像でNeural Networkを定式化し、解釈する。 目次 ー深層ニューラルネットワークの数学的定式化 ーリッジレット変換について ー輸送写像について

1. Bread Company
深層Neural Networkの
積分表現について
1
2018/1/27 k1ito @UTokyo

2. Bread Company
今日の内容
●論文：
Integral Representation Theory of Deep Neural Networks
Sho Sonoda(2017)
目標：
深層Neural Network（特にDAE）を
1.双対リッジレット変換
2.輸送写像
で定式化する。
2

3. Bread Company
今日の内容
●論文：
Integral Representation Theory of Deep Neural Networks
Sho Sonoda(2017)
３行でいうと、
● ニューラルネットワーク—(連続化)→双対リッジレット変換
● 双対リッジレット変換＝輸送写像
● 輸送写像でNeural Networkを定式化し、解釈する。
3

4. Bread Company
今日の結果
●双対リッジレット変換と輸送写像をつかうと、
DAEでプレトレーニングされた２段階学習は
というキレイな式で表され、解釈ができる。[p136]
4

5. Bread Company
参考文献
●原論文（サーベイ・解説が丁寧）
http://altmetrics.ceek.jp/article/hdl.handle.net/2065/00054630
●原論文著者による解説
http://www.airc.aist.go.jp/seminar_detail/docs/seminar02-sonoda.pdf
●特にWasserstein幾何の部分にスポットをあてた論文
http://www.math.tsukuba.ac.jp/~aoshima-lab/abst_2017/sonoda.pdf
●最適輸送理論の文書まとめ
http://tam5917.hatenablog.com/entry/2018/01/19/213040
●なんかめっちゃRTされた僕のTweet
https://twitter.com/k1ito/status/943267602578599936
5

6. Bread Company
目次
● 深層ニューラルネットワークの数学的定式化
ニューラルネットワークは数学的に定式化可能
万能関数近似機ではあるが、中間層が何かは諸説ある
● リッジレット変換について
● 輸送写像について
6

7. Bread Company
深層ニューラルネットワークの数学的定式化[p57]
●３層Neural Networkの問題設定は以下のように定式化される
ある関数 を次のような関数𝑔で近似する
𝑎𝑗, 𝑏𝑗 ∈ ℝ 𝑚×ℝ を中間層パラメータとよび、
𝕐 𝑚+1
≔ ℝ 𝑚
× ℝ で中間層パラメータの空間を表す。
7

8. Bread Company
深層ニューラルネットワークに関するRemark1 [p25]
●ニューラルネットワークは万能関数近似機
8

9. Bread Company
深層ニューラルネットワークに関するRemark2[pp19-22]
NNは浅くても万能。なのに、なぜDeepなのか？
●①表現能力が向上(Bengio et al., 2006a; Montufar et al., 2014)
●②学習能力が向上
○サンプル複雑性 (Arora et al. (2014))
○Stability (Giryes et al. (2015a) )
○Rademacher 複雑性(Neyshabur et al. (2015))
中間層は何を表しているのかには諸説ある。
● 特徴量説
● ランダム説
● 無限層に関する研究
9

10. Bread Company
目次
● 深層ニューラルネットワークの数学的定式化
ニューラルネットワークは数学的に定式化可能
万能関数近似機ではあるが、中間層が何かは諸説ある
● リッジレット変換について
リッジレット変換はラドン領域でのウェーブレット変換である。
これを離散化することによりニューラルネットワークが得られる
● 輸送写像について
10

11. Bread Company
リッジレット変換
●リッジレット変換はRadon領域でのWavelet変換と呼ばれる
●本章では、
●Fourier変換 （Radon変換・Wavelet変換の基礎となる）
●Radon変換
●Wavelet変換
●Ridgelet変換
の順番で解説する
11

12. Bread Company
Fourier変換 [pp37-39]
12
Fourier変換＝関数を周波数ごとに分解
Fourier逆変換＝周波数ごとに集めて関数を再構成

13. Bread Company
Radon変換 [pp39-41]
●Radon変換 (u,p)で定まる線にそって積分→CTスキャン
●反転公式＝スキャンされたデータから復元
13

14. Bread Company
ウェーブレット変換 [pp41-42]
14
反転公式
をみたすとき、以下が成立
ウェーブレット変換＝周波数(a)と位置(b)で関数を分解

15. Bread Company
リッジレット変換 [pp58-59]
15

16. Bread Company
リッジレット変換の再構成公式 [p59]
16

17. Bread Company
Ridgelet変換＝Radon変換＋Wavelet変換 p61
17
つまり、CTスキャンして得られたRfを更にウェーブレットで分解

18. Bread Company 18

19. Bread Company
目次
● 深層ニューラルネットワークの数学的定式化
ニューラルネットワークは数学的に定式化可能
万能関数近似機ではあるが、中間層が何かは諸説ある
● リッジレット変換について
リッジレット変換はラドン領域でのウェーブレット変換である。
これを離散化することによりニューラルネットワークが得られる
● 輸送写像について
Wasserstein距離とは確率分布と確率分布の距離を測るもの
これらを用いてDAEを定式化する。
19

20. Bread Company
最適輸送について
20
→日本語でOK

21. Bread Company
何を言ってるのかわからないので簡単な例で
●点xを点yに移したいとき、必要な労力は？ = D(x,y) =距離
21

22. Bread Company
何を言ってるのかわからないので簡単な例で
●地点𝑥1, 𝑥2, … , 𝑥 𝑛に1/n kgの荷物があり、
それを地点𝑦1, 𝑦2, … , 𝑦𝑛に1/n kgづつ輸送するときのコストは？
22

23. Bread Company
何を言ってるのかわからないので簡単な例で
●より一般の例で（？）
23

24. Bread Company
何を言ってるのかわからないので簡単な例で
●現在：基地1に60人、基地2に90人、基地3に150人兵士がいる。
●戦場Aに120人、戦場Bに90人、戦場Cに90人配備する。
●それぞれの間の距離はdで与えられる。
24

25. Bread Company
つまり、ある制約条件下で、コストを最小化する
25

26. Bread Company
最適輸送について（再訪）
26
Wasserstein距離はいまさっきの連続・一般化だった

27. Bread Company
最適輸送が何の役に立つのか
27

28. Bread Company
最適輸送が何の役に立つのか(2)
●Wasserstein GAN
Generatorが本物と偽物のWasserstein距離を最小化し続ける。
→本物っぽい偽物ができるようになる
28

29. Bread Company
DAEに応用する(feelingだけ）
29
・そもそもDAEとは

30. Bread Company
DAEに応用する
30
つまり、次のようなgを求める問題となる。

31. Bread Company
DAEに応用する
31
このようなgは汎関数微分によって以下のように求まる。
実際

32. Bread Company
DAEに応用する
32
さらに雑音が正規分布に従うときは、さらに簡単にできる
より

33. Bread Company
DAEに応用する
33
よって、DAEの写像が満たすべき条件を与える。まず、
次に、質量保存から
そして、この初期条件から

34. Bread Company
DAEに応用する
34
これらの方程式は、Wasserstein幾何学から次にまとめられる。（論文読んで）
これをL層つみかさねて、積分表現を得ると

35. Bread Company
DAEに応用する
35
これが意味するところは
であり、輸送写像をfにかませることにより
複雑さが軽減される

36. Bread Company 36