ICML2018 勉強会

ICML2018 勉強会
M2 中塚俊介

Copyright © 2018 Gifu-U Kato-Lab All Rights Reserved.
紹介する論文
◼ Tempered Adversarial Networks
◼ Optimizing the Latent Space of Generative Networks
2

TL;DR
◼ GANの学習は安定しない
― GeneratorとDiscriminatorのバランスを調整するのが難しい
― Mode Collapse
◼ 普通のGANはfixされたデータ分布に生成分布を近づける
◼ この手法ではデータ分布を生成分布に近づけるようにして安定化を図った
― データ分布を生成分布に近づけるために Lens Networkを用いる
― この枠組みは，DCGAN・LSGAN・WGANなどObjectiveにかかわらず有効
4

Motivation
◼ GANの学習は安定しない
― GeneratorとDiscriminatorのバランスを調整するのが難しい
― Mode Collapse
◼ GANの学習中において，
生成分布は常に変化するのにデータ分布は一切変化しない
― 生成分布とデータ分布を完全に見極めるようなDiscriminatorができると学習が破綻
― じゃあ，データ分布を生成分布に近づけてあげよう
pdata pg
完全に分離できるDiscriminator
pdata pg
完全分離できないように
5

Architecture
◼ 通常のGANの構造にLensを加えるだけ
pz pg
pdata
Generator
Discriminator
Lens
6

Objective
◼ Lensの目的関数は2つの項からなる
― LL
A : 敵対的誤差
― LL
R : 再構成誤差
◼ GAN自体のLossは
― Generatorは変更なし
― Discriminatorは D(L(x)) に
― Metricsに関わらず適用可能
[ ( ( ( )))]A
L x XL E log D L x= −
2
2( )R
L x XL E x L x= −
A R
L L LL L L= +
Lens
[ ( ( ( )))]G z ZL E log D G z= −
[ ( ( ( )))] [ (1 ( ( )))]D x X z ZL E log D L x E log D G z  −= − −
Discriminator
Generator
7

Lensの強さは動的
◼ Lensの強さを決定するパラメータλ は，
学習が進むにつれて減少させるように設計
◼ λ = 0 になると，Lensは取り払ってしまう
◼ 論文では，K=105で固定
)
0
1
2
(
otherwi
t
sin t
e
K
s
K



 
− 

=  




8

Lensの役割
◼ Lensは単射（1対1対応の写像）である必要はない
◼ だからLensによって同じデータポイントへ写像されることがある
― これにより，分布の複雑さが緩和される
― そのため，学習が安定
◼ 以前からガウスノイズをx に付加するテクニックはあった
― しかし，減衰率は手動設定だった
― Lensはその調節も動的にしてくれている（多分， λ の減衰とは別に）
9

結果
10

結果
11

Optimizing the Latent Space of Generative Networks

TL;DR
◼ Discriminatorの無いGAN？
◼ GANが安定しないのは，GeneratorとDiscriminatorのMinMaxであるから
― 何とかして，Minimize問題にしたい
◼ NNの重みだけでなく，z も勾配降下法で最適化する
13

Objective
◼ クラス分類のように，1対1対応の x とz のペアを作る
◼ ノイズz をGeneratorによって写像する
◼ MinMin問題となっていて，学習が安定する
◼ Lossの推移で学習がうまくいってるか判断できる
14
1
1
min min ( ( ), )
i
N
i i
z
i
l g z x
N


=


Objective of θ
◼ zから，g(z)を得る
― GANでは，Adversarial Lossをとるが，今回は教師データx がある
― x との距離を測ればよい
◼ MSEではなく，Laplacian Pyramid Lossを用いる
― 解像度でピラミッドを作り，上下レイヤで差分したもの
― 位置感度は鈍感，各周波数ごとに差をとれる
― 小規模DiscriminatorにおけるEMDに一致するらしい
15
2
1
( , ) 2 ( ) ( )j
j j
j
Lap x x L x L x−
 = −

Objective of z
◼ 事前分布は正規分布
◼ 学習中にzは，変化していく
― そのため，ノルムもその都度変化する
― これでは，Lipchitz連続性が保てない
◼ 半径1の閉単位超球に収まるように正規化
― z の次元数d として， d で割るだけ
◼ ObejctiveはReconstruction Loss
16
2
2
( )zL g z x= −

結果
17

結果
18

ICML2018 勉強会

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Mehr von Shunsuke NAKATSUKA

Mehr von Shunsuke NAKATSUKA (8)

ICML2018 勉強会