Empfohlen
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Kürzlich hochgeladen
Kürzlich hochgeladen (9)
Max-Sliced Wasserstein Distance and its use for GANs
- 1. 工学院大学 綱島 秀樹 @maguroIsland Max-Sliced Wasserstein Distance and its use for GANs
- 2. Contents ⚫ GANは何故学習が不安定なのか？ ⚫ GANの救世主Wasserstein Distance ⚫ Wasserstein GANにも弱点が！？ ⚫ Max-Sliced Wasserstein Distance 2
- 4. GANは何故学習が不安定なのか？ 4 ⚫ 学習が不安定なことによる問題 mode collapse Discriminatorを騙せるmode(最頻値)にGeneratorが落っ こちてしまい、その点以外を生成しなくなる
- 5. GANは何故学習が不安定なのか？ 5 ⚫ 学習が不安定なことによる問題 mode collapse Discriminatorを騙せるmode(最頻値)にGeneratorが落っ こちてしまい、その点以外を生成しなくなる [1] Toy ProblemでGANのmode collapseを可視化
- 7. GANは何故学習が不安定なのか？ 7 ⚫ Discriminator(D)の学習が足りないとJensen Shannon Divergence(JSD)が正確ではなく、Generator(G)が 誤ったJSDを最小化することに ⚫ 逆にDが学習しすぎると完全に真と偽を見抜き勾配消失 ⚫ Gの最適値周りでも勾配消失(Dの勾配が定数になる) ⚫ データ分布と生成分布の重なりが無くなると勾配消失 ⚫ 非飽和損失(non-saturate loss)※1を使ってみると？ これも勾配爆発を引き起こす このように散々な有様である ※1 Gの更新の際のlog(1 − 𝐷(𝐺 𝒛 ))をlog(𝐷(𝐺 𝒛 ))にする損失
- 8. Contents ⚫ GANは何故学習が不安定なのか？ ⚫ GANの救世主Wasserstein Distance ⚫ Wasserstein GANにも弱点が！？ ⚫ Go Beyond Sliced Wasserstein Distance 8
- 10. Wasserstein GAN (WGAN) 10 ⚫ ではどうやったら学習がうまくできるのか 方策の1つとして目的関数の変更が挙げられる (距離尺度をJSDから変更する) Wasserstein Distance (WD)の登場
- 11. Wasserstein GAN (WGAN) 11 ⚫ ではどうやったら学習がうまくできるのか 方策の1つとして目的関数の変更が挙げられる (距離尺度をJSDから変更する) Wasserstein Distance (WD)の登場 ⚫ WDを用いたGANの特徴 ✓ Dをいくら学習しても勾配消失が起こらない DはGを見抜く役割はせず、WDを正確に計算するだけ ✓ 生成物のクオリティが損失の減少に比例 損失を見るだけでいいモデルか悪いモデルか一目瞭然 ✓ Mode Collapseが発生しない 最適化しきれていないDにGが過適合するのが原因
- 12. 12 別名：Earth Mover Distance (EMD) 確率分布𝑃𝑟から𝑃θへの最適輸送距離がWD (この図では離散の確率質量分布を考えている) ちなみにWasserstein Distance(WD)って？
- 13. Contents ⚫ GANは何故学習が不安定なのか？ ⚫ GANの救世主Wasserstein Distance ⚫ Wasserstein GANにも弱点が！？ ⚫ Max-Sliced Wasserstein Distance 13
- 16. Wasserstein GAN (WGAN) 16 もうWDだけでいいのでは！？ ⚫ 実はそんなことはなくWDも悪い点がいくつかある 重みの値を特定の範囲(-0.01～0.01など)に収める必要 があるが(weight clipping)、重みが端の値に集中しがち (訓練が壊れてしまう) 次元の呪いの影響により高次元空間での分布の探索が困難 (これは通常のminimax-gameのGANも同じのはず) mode collapseを過剰に回避しすぎて生成画像が歪む (次元の呪いとweight clippingの影響も受けている)
- 17. Wasserstein GAN (WGAN) 17 もうWDだけでいいのでは！？ ⚫ 実はそんなことはなくWDも悪い点がいくつかある 重みの値を特定の範囲(-0.01～0.01など)に収める必要 があるが(weight clipping)、重みが端の値に集中しがち (訓練が壊れてしまう) WGAN-GPでweight clippingが不要になったので解決 次元の呪いの影響により高次元空間での分布の探索が困難 (これは通常のminimax-gameのGANも同じのはず) こいつが癌 mode collapseを過剰に回避しすぎて生成画像が歪む (次元の呪いとweight clippingの影響も受けている)
- 18. Sliced Wasserstein GAN (SWGAN) 18 WGANは次元の呪いによってうまく学習が出来なかった 次元の呪いが発生する原因って？ 次元が高いから発生する
- 20. Sliced Wasserstein GAN (SWGAN) 20 WGANは次元の呪いによってうまく学習が出来なかった 次元の呪いが発生する原因って？ 次元が高いから発生する 次元を低くしてやればいいのでは！？ ちなみに次元の呪いは英語で “The curse of dimensionality” とても厨二心をくすぐられて好きです
- 21. Sliced Wasserstein GAN (SWGAN) 21 では次元を低くするためにはどうしたらよいか 低次元に射影してしまえばよいのでは！ でもどうやって？
- 22. Sliced Wasserstein GAN (SWGAN) 22 では次元を低くするためにはどうしたらよいか 低次元に射影してしまえばよいのでは！ でもどうやって？ 1次元に写像！次元の呪いとは！
- 23. Sliced Wasserstein GAN (SWGAN) 23 では次元を低くするためにはどうしたらよいか 低次元に射影してしまえばよいのでは！ でもどうやって？ 線(多次元では超平面)の 通ったエリアの和を算出 [2] Sliced Wasserstein Distance for Learning Gaussian Mixture Models (SlideShare)
- 24. Sliced Wasserstein GAN (SWGAN) 24 では次元を低くするためにはどうしたらよいか 低次元に射影してしまえばよいのでは！ でもどうやって？ 線(多次元では超平面)の 通ったエリアの和を算出
- 25. Sliced Wasserstein GAN (SWGAN) 25 では次元を低くするためにはどうしたらよいか 低次元に射影してしまえばよいのでは！ でもどうやって？ 線(多次元では超平面)の 通ったエリアの和を算出
- 26. Sliced Wasserstein GAN (SWGAN) 26 では次元を低くするためにはどうしたらよいか 低次元に射影してしまえばよいのでは！ でもどうやって？ 線(多次元では超平面)の 通ったエリアの和を算出
- 27. Sliced Wasserstein GAN (SWGAN) 27 これが医療現場のCTで使われる技術のラドン変換 CTは体をぶった切って断面見ますよね この向きの法線を持つ 各超平面に関してプロット
- 28. Sliced Wasserstein GAN (SWGAN) 28 このスライスしての写像を繰り返し、推定を行う SWDをディープで使う場合にはNNで分布の推定を行う 様々な方向から射影 して1次元の分布を フィッティングすること でターゲットとなる分布 に近づく n次元分布ならn次元空間中 の様々な方向から1次元に 射影を行う
- 29. Sliced Wasserstein GAN (SWGAN) 29 ⚫ SWDを使うことによって次元の呪いを回避！ ⚫ こんだけ簡単にしてもWDの特性は保持しているので、 適切な尺度と成り得る ⚫ WDは1次元の場合閉形式(closed form)※が存在
- 30. Sliced Wasserstein GAN (SWGAN) 30 ⚫ SWDを使うことによって次元の呪いを回避！ ⚫ こんだけ簡単にしてもWDの特性は保持しているので、 適切な尺度と成り得る ⚫ WDは1次元の場合閉形式(closed form)※が存在 ※ closed formとは関数が有限個の初等関数で表せる e.g.)closed formの場合 𝑎𝑥2 + 𝑏𝑥 + 𝑐 = 0の解 𝑥 = −𝑏± 𝑏2−4𝑎𝑐 2𝑎 はclosed form closed formでない場合 σ𝑖=0 ∞ 𝑥 2 𝑖は項が有限個ではないので、non-closed form 無限等比級数の和を求めると 𝑥 1− 1 2 = 2𝑥でclosed form 要はclosed formの場合計算可能！(解が一意に定まる)
- 31. Sliced Wasserstein GAN (SWGAN) 31 ⚫ SWDを使うことによって次元の呪いを回避！ ⚫ こんだけ簡単にしてもWDの特性は保持しているので、 適切な尺度と成り得る ⚫ WDは1次元の場合閉形式(closed form)が存在 次元の呪いに悩ませられなくなったので、画像に歪みが無い！
- 32. Sliced Wasserstein GAN (SWGAN) 32 もうSWDだけでいいのでは！？
- 33. Sliced Wasserstein GAN (SWGAN) 33 もうSWDだけでいいのでは！？ ⚫ 実はSWDにも悪い点が存在。。。 収束がバカ遅い！
- 34. Contents ⚫ GANは何故学習が不安定なのか？ ⚫ GANの救世主Wasserstein Distance ⚫ Wasserstein GANにも弱点が！？ ⚫ Go Beyond Sliced Wasserstein Distance 34
- 35. Contents ⚫ Go Beyond Sliced Wasserstein Distance 35
- 36. Max-Sliced Wasserstein Distance and its use for GANs (CVPR2019 Poster) 本日は分布間における距離尺度のお話 ⚫ 著者 Ishan Deshpande, Yuan-Ting Hu, Ruoyu Sun, Ayis P yrros† , Nasir Siddiqui† , Sanmi Koyejo, Zhizhen Z hao, David Forsyth, Alexander Schwing ⚫ 所属 University of Illinois at Urbana-Champaign †Dupage Medical Group 医療サービスを展開する企業 昨年のCVPR2018にてSWDをGMMに利用する非ディープ な論文が出ており、その際SWDを用いるためにCT(医療) に使われるラドン変換という技術が使われていた スライスする場合は医療系から輸入がアツい...? 36
- 38. Max-SWGAN 38 ⚫ 果たして意味ある方向とはどの方向？ (すみません、ここからは数式が登場せざるを得ないです) d次元ガウス分布を考えた場合 ℙ 𝑑 = 𝒩(0, 𝐼)：データ分布 ℙ 𝑔 = 𝒩(β Ƹ𝑒, 𝐼)：Generatorの分布( Ƹ𝑒は単位ベクトル) 勾配降下法を使ってℙ 𝑔をℙ 𝑑に近づけたい β → β − α∇β ෪𝑊2(ℙ 𝑑, ℙ 𝑔) βは次の ように更新 (1)
- 39. Max-SWGAN 39 ⚫ 果たして意味ある方向とはどの方向？ (すみません、ここからは数式が登場せざるを得ないです) d次元ガウス分布を考えた場合 ℙ 𝑑 = 𝒩(0, 𝐼)：データ分布 ℙ 𝑔 = 𝒩(β Ƹ𝑒, 𝐼)：Generatorの分布( Ƹ𝑒は単位ベクトル) 勾配降下法を使ってℙ 𝑔をℙ 𝑑に近づけたい β → β − α∇β ෪𝑊2(ℙ 𝑑, ℙ 𝑔) βは次の ように更新 学習率α (1)
- 40. Max-SWGAN 40 ⚫ 果たして意味ある方向とはどの方向？ (すみません、ここからは数式が登場せざるを得ないです) d次元ガウス分布を考えた場合 ℙ 𝑑 = 𝒩(0, 𝐼)：データ分布 ℙ 𝑔 = 𝒩(β Ƹ𝑒, 𝐼)：Generatorの分布( Ƹ𝑒は単位ベクトル) 勾配降下法を使ってℙ 𝑔をℙ 𝑑に近づけたい β → β − α∇β ෪𝑊2(ℙ 𝑑, ℙ 𝑔) βは次の ように更新 学習率α βについて偏微分 (1)
- 41. Max-SWGAN 41 ⚫ 果たして意味ある方向とはどの方向？ (すみません、ここからは数式が登場せざるを得ないです) d次元ガウス分布を考えた場合 ℙ 𝑑 = 𝒩(0, 𝐼)：データ分布 ℙ 𝑔 = 𝒩(β Ƹ𝑒, 𝐼)：Generatorの分布( Ƹ𝑒は単位ベクトル) 勾配降下法を使ってℙ 𝑔をℙ 𝑑に近づけたい β → β − α∇β ෪𝑊2(ℙ 𝑑, ℙ 𝑔) βは次の ように更新 学習率α βについて偏微分 ℙ 𝑔、ℙ 𝑑のSWDの平均 ここに着目 (1)
- 42. Max-SWGAN 42 d次元ガウス分布を考えた場合 ℙ 𝑑 = 𝒩(0, 𝐼)：データ分布 ℙ 𝑔 = 𝒩(β Ƹ𝑒, 𝐼)：Generatorの分布( Ƹ𝑒は単位ベクトル) β → β − α∇β ෪𝑊2(ℙ 𝑑, ℙ 𝑔) (1)
- 43. Max-SWGAN 43 d次元ガウス分布を考えた場合 ℙ 𝑑 = 𝒩(0, 𝐼)：データ分布 ℙ 𝑔 = 𝒩(β Ƹ𝑒, 𝐼)：Generatorの分布( Ƹ𝑒は単位ベクトル) β → β − α∇β ෪𝑊2(ℙ 𝑑, ℙ 𝑔) ෪𝑊2(ℙ 𝑑, ℙ 𝑔) = 1 Ω ω∈Ω 𝑊2 ℙ 𝑑 ω , ℙ 𝑔 ω (1) (2) ωは射影方向 Ωは総射影方向集合
- 44. Max-SWGAN 44 d次元ガウス分布を考えた場合 ℙ 𝑑 = 𝒩(0, 𝐼)：データ分布 ℙ 𝑔 = 𝒩(β Ƹ𝑒, 𝐼)：Generatorの分布( Ƹ𝑒は単位ベクトル) β → β − α∇β ෪𝑊2(ℙ 𝑑, ℙ 𝑔) ෪𝑊2(ℙ 𝑑, ℙ 𝑔) = 1 Ω ω∈Ω 𝑊2 ℙ 𝑑 ω , ℙ 𝑔 ω 𝑊2 ℙ 𝑑 ω , ℙ 𝑔 ω = β Ƹ𝑒 𝑇ω (1) (2) (3) ωは射影方向 Ωは総射影方向集合
- 45. Max-SWGAN 45 d次元ガウス分布を考えた場合 ℙ 𝑑 = 𝒩(0, 𝐼)：データ分布 ℙ 𝑔 = 𝒩(β Ƹ𝑒, 𝐼)：Generatorの分布( Ƹ𝑒は単位ベクトル) β → β − α∇β ෪𝑊2(ℙ 𝑑, ℙ 𝑔) ෪𝑊2(ℙ 𝑑, ℙ 𝑔) = 1 Ω ω∈Ω 𝑊2 ℙ 𝑑 ω , ℙ 𝑔 ω 𝑊2 ℙ 𝑑 ω , ℙ 𝑔 ω = β Ƹ𝑒 𝑇ω (3)式を(2)式に、その(2)式を(1)式に代入してβで偏微分 (1) (2) (3) 射影方向に直交する 単位ベクトルを掛け て絶対値を取る 要は距離になる 平均の差β ωは射影方向 Ωは総射影方向集合
- 46. Max-SWGAN 46 d次元ガウス分布を考えた場合 ℙ 𝑑 = 𝒩(0, 𝐼)：データ分布 ℙ 𝑔 = 𝒩(β Ƹ𝑒, 𝐼)：Generatorの分布( Ƹ𝑒は単位ベクトル) β → β − α 1 Ω σω∈Ω Ƹ𝑒 𝑇 ω (4) 高次元空間になればなるほどランダムな 射影方向に対して平均ベクトルの転置は 直交しがちになりβの更新が遅くなる こんなとこにも次元の呪いが！
- 47. Max-SWGAN 47 d次元ガウス分布を考えた場合 ℙ 𝑑 = 𝒩(0, 𝐼)：データ分布 ℙ 𝑔 = 𝒩(β Ƹ𝑒, 𝐼)：Generatorの分布( Ƹ𝑒は単位ベクトル) β → β − α 1 Ω σω∈Ω Ƹ𝑒 𝑇 ω じゃあ射影方向と平均ベクトルが直交するようにすれば βの更新は爆速になるのでは！？ (4) 高次元空間になればなるほどランダムな 射影方向に対して平均ベクトルの転置は 直交しがちになりβの更新が遅くなる こんなとこにも次元の呪いが！
- 50. 余談 50 ⚫ 証明は全てsupplementに任せると書いてあるのにsupp- lemetがない！？ →メールを著者に出したのに返ってこない。。。 ⚫ SWGANの論文はCVPR2019のポスターになっている 同年に改良論文出ているのはおもろすぎ (SWGAN自体はarXivに2018年の始めに出ている) ⚫ Big Progressive Growing of Max-Sliced Wasserstein GAN with Gradient Penaltyが最強！？ｗ (BigPGMax-SWGAN-GP) ⚫ WDじゃなくてvanillaのGANでスライスしたらどうなる んでしょうか
- 51. 51 Thank you for attention