パンでも分かるVariational Autoencoder

+
論文紹介: Auto-Encoding Variational Bayes

CEO: すみもとぱんいち
@bread company
2017/9/23

+
この論文で言いたいこと
n  データ点ごとに連続潜在変数を持つiidのデータセットにおい
て、変分下界をリパラメタリゼーションしてSGDで最適化する
ことによって、効率的に事後推論できるような手法を提案した
n  データ点ごとに連続潜在変数？
n  iidのデータセット?
n  変分下界？
n  SGD?
n  リパラメタリゼーション？
n  事後推論？
n  ※上の文がすらすら読めたら
このスライドを見る必要はありません

+
iidのデータセットとは？
n  independent identically distributedの略
n  互いに独立で同一の分布に従うという意味
n  例えば、サイコロの目のように、前にサンプルされたデータが
次にサンプルされたデータに影響を及ぼさないこと

+
データ点ごとに連続潜在変数？
n  例として、MNISTの70000枚のラベル付き手書き文字データ
セット(X)を考える
n  MNISTの画像一枚(x)は28×28のピクセルをもち、784次元上の
一点である
n  MNISTの潜在変数は低次元の多様体上に分布していると仮定す
る(多様体仮説)
n  この低次元の分布(連続潜在変数zの分布)を学習したい
観測変数X 潜在変数Z 観測変数x

+
潜在変数zの分布の学習の仕方
n  対数尤度関数を最大化するような潜在変数z
の分布を求める
n  EMアルゴリズム
n  変分推論
観測変数x

+
n  変分推論
n  Estep: 事後分布p(z|x, θ)を求める
n  Mstep: 完全対数尤度の期待値最大化するθを
求める

+
n  変分推論
求める
n  問題点: 事後分布はintractableなことが多い
ため、Estepが計算できない
n  p(x) = ∫p(x|z)p(z)dz
n  事後分布: p(z|x) = p(x|z)p(z)/p(x)
観測変数x

+
n  変分推論
求める
n  問題点: 事後分布はintractableなことが多い
ため、Estepが計算できない
n  対策: 事後分布を近似する
観測変数x

+
n  変分推論
n  変分推論
n  変分下界を最大化するような事後分布p(z|x)を
q(z)を使って近似する(平均場近似)
n  問題点: 変分下界を最大化する際に、事後分
布q(z)による完全対数尤度の期待値を解析的
に求める必要があるが、一般的に難しい
観測変数x

+
n  変分推論
n  変分推論
n  変分下界を最大化するような事後分布p(z|x)を
q(z)を使って近似する(平均場近似)
n  問題点: 変分下界を最大化する際に、事後分
布q(z)による完全対数尤度の期待値を解析的
に求める必要があるが、一般的に難しい
n  対策: SGD(確率的勾配降下法)を使って変分
下界を最大化するパラメータを最適化する
観測変数x

+
n  対数尤度関数を最大化するような潜在変数zの分布を求める
n  AEVB(本手法)
n  事後分布p(z|x)をq(z|x, φ)で近似する
n  下限を最大化するようなパラメータθ, φをSGDを使って求める
iidなので、
n  対数尤度 = 本物の事後分布と近似関数のKL距離 + 下限
n  下限 = 事前分布と近似関数のKL距離(正則化項) + 再構成項

+
n  対数尤度 = 本物の事後分布と近似関数のKL距離 + 下限
n  下限 = 事前分布と近似関数のKL距離(正則化項) + 再構成(推論+生成)項
n  事前分布に近くなるようにしつつ、xを再構成できるようなzの分布を学習
μ
x z
σ μ σ
エンコーダ(推論) デコーダ(生成)
z ~ N(μ, σ)
q (z|x(i)
) p✓(x(i)
|z)
NN NN
x ~ N(μ, σ)

+
n  下限を最大化するようなパラメータθ, φを
SGDを使って求める
n  正則化項はμ, σで微分可能

+
n  問題点: 下限の第二項において、期待値を計
算するためにサンプリングの必要があるが、
SGDのための勾配を求めることができない q (z|x(i)
)~ z(l)
⇡
1
L
LX
l=1
log p✓(x(i)
|z(l)
)

+
n  問題点: 下限の第二項において、期待値を計
算するためにサンプリングの必要があるが、
SGDのための勾配を求めることができない
n  対策: リパラメタリゼーションを行う
q (z|x(i)
)~ z(l)
⇡
1
L
LX
l=1
log p✓(x(i)
|z(l)
)

+
リパラメタリゼーション
サンプリングの勾配
を求めるのは無理
勾配のサンプリング
を求める!
Eq (z|x(i))[log p✓(x(i)
|z)] ⇡
1
L
LX
l=1
log p✓(x(i)
|z(l)
)
q (z|x(i)
)z(l) ~
リパラメタリゼーション
サンプリングをμとσで微分できるようになったため、
変分下界の勾配が求められるようになった

+
モデルの全体の構造
n  リパラメタリゼーションによって、SGDで変分下界のパ
ラメータを更新し、zの分布を学習できるようになった
n  エンコーダとデコーダが自然な形で現れ、オートエン
コーダのような形になっている

+
MNISTの実験結果
n  二次元の潜在変数zの分布と
対応するデータxを生成さ
せた図
n  低次元の多様体上の分布が
学習されたことがわかる

+
VAE vs Factor Analysis(FA)
n  Factor analysisとは
n  下式の分布を仮定した連続潜在変数モデル
n 
n 
n  事後分布がtractableなので、EMアルゴリズムでパラメータを
学習できる
n  p(x) = ∫p(x|z)p(z)dz =
n  事後分布: p(z|x) = p(x|z)p(z)/p(x) =

+
n  潜在変数zを二次元にして可視化
VAE FA

+
n  zから再構成した図
VAE: 二次元z FA: 二次元z FA: 三十次元z

+
参考文献
n  Auto-Encoding Variational Bayes(紹介論文)
n  https://arxiv.org/pdf/1312.6114.pdf
n  Tutorial on Variational Autoencoders
n  https://arxiv.org/pdf/1606.05908.pdf
n  PRML 下巻
n  http://qq3q.biz/FUPd
n  Variational Autoencoder徹底解説
n  http://qiita.com/kenmatsu4/items/b029d697e9995d93aa24#
%E5%8F%82%E8%80%83
n  VAEのわかりやすい実装ブログ
n  https://jmetzen.github.io/2015-11-27/vae.html

パンでも分かるVariational Autoencoder

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Mehr von ぱんいちすみもと

Mehr von ぱんいちすみもと (20)