This document is presented for machine learning 15 minutes. This is the introduction to simGAN, and DA-GAN

1. Machine Learning 15 minutes
発表資料
2017/12/16
株式会社ウェブファーマー
大政 孝充

2. ● 名前：大政孝充（おおまさ たかみつ）
● 株式会社ウェブファーマー 代表
http://web-farmer.net
● 人工知能システムの開発（画像処理・動画
処理）
● 人工知能のコンサルタント
自己紹介

3. simGAN vs DA-GAN
いずれもデータの水増しに関する論文。どっちがいいの？？？
simGAN： PVCR 2017 Best Paper Award
A. Shrivastava, et. al, “Learning from Simulated and Unsupervised
Images through Adversarial Training”
DA-GAN：NIPS 2017
J. Zhao, et. al, “Dual-Agent GANs for Photorealistic and Identity
Preserving Profile Face Synthesis”

4. 背景から・・・・
ディープラーニングとか使って個人の
顔を見分けるシステムつくりたいんだ
けど・・・・学習させるには顔画像データ
が足りないんだよね。
データの水増しとかすればよぐね！？
シミュレータ使って顔画像を合成してみ
たけど、本物っぽくなくて・・・・それで学
習しても精度が上がらないわけ。
シュミレータの画像、本物っぽくするモ
デルがあるべ。おめぇ、知んねーべ
が？
シミューレータ ？？？モデル

5. simGANとは
生成器
（generator）
実際のdata
識別器
（discriminator）
本物？
偽物？
ノイズ
洗練器
（refiner）
実際のdata 識別器
（discriminator）
本物？
偽物？
？？？
合成画像 洗練された画像
シミューレータ
ノーマルな GANs との比較で考える
simGAN
GANs

6. simGANとは
このまま学習させると refiner から出てくる画像が合成画像とは大きく異なる可能性がある
（合成画像が上を向いているのに、洗練された画像は下を向いている・・・等）
本物？
偽物？
洗練器
（refiner）
識別器
（discriminator）
本物画像
合成画像 洗練された画像

7. simGANとは
視線推定器を新たに導入する。合成画像と洗練された画像をこれに入力し、出てきた出力か
らL1ノルムを計算し、学習させる。
本物？
偽物？
洗練器
（refiner）
識別器
（discriminator）
視線推定器
（gaze estimation
network）
本物画像
合成画像 洗練された画像
L1 ノルム

8. simGANのLoss
識別器（Discriminator）はノーマルなGANsと同じ
洗練器（Refiner）は視線推定器な部分が加わる
ココ

9. simGANモデルの実装例
計算グラフもどき
洗練器
（refiner）
識別器
（discriminator）
z_
x_
refined image
out_real
視線推定器
（gaze estimation
network）
g1_
norm_L1
loss_real
loss_fake
loss + norm_L1
real image
synthetic image
g2_
out_gaz_syn out_gaz_ref
d_fake_p
d_real_p
loss_total
d_real_pout_fake

10. simGANモデルの実装例
refinerモデルの部分

11. simGANモデルの実装例
discriminator モデルの部分

12. simGANモデルの実装例
視線推定器モデルの部分

13. simGANモデルの実装例
視線推定器モデルの部分
simGANっぽい部分

14. DA-GANとは
洗練器
（refiner）
実際のdata
識別器
（discriminator）
本物？
偽物？
？？？
合成画像 洗練された画像
シミューレータ
simGAN との比較で考える
生成器
（generator）
実際のdata 識別器１ 誰？
洗練された画像
シミューレータ
合成画像
視線推定器
simGAN
DA-GAN
L1ノルム
識別器２ 本物っぽさ

15. DA-GANとは
顔の向きが変わらないように生成器に入力する前と後の画像から差分を取る
誰？
生成器
（generator）
識別器１
本物画像
合成画像
洗練された画像
L1 ノルム
識別器２ 本物っぽさ

16. DA-GANとは
識別器１で顔画像のidentityを判別。
誰？
生成器
（generator）
本物画像
合成画像
洗練された画像
L1 ノルム
識別器２ 本物っぽさ
識別器１

17. DA-GANとは
Discriminatorはauto-encoder。顔の特徴量から必要最小限の顔画像を再構成している？
その出力画像と入力画像との差分は、ノイズや肌質など「本物っぽさ」の部分か？
誰？
生成器
（generator）
本物画像
合成画像
洗練された画像
L1 ノルム
識別器２ 本物っぽさ
識別器１
「本物っぽさ」の部分？

18. DA-GANとは
本物画像の「本物っぽさ」から生成画像の「本物っぽさ」を引いてLossを求めている。
本物画像と生成画像の「本物っぽさ」を近づけている？
誰？
生成器
（generator）
本物画像
合成画像
洗練された画像
L1 ノルム
識別器２ 本物っぽさ
識別器１

19. DA-GANとは
実際は本物画像の「本物っぽさ」を生成画像の「本物っぽさ」の kt 倍にする？
誰？
生成器
（generator）
本物画像
合成画像
洗練された画像
L1 ノルム
識別器２ 本物っぽさ
識別器１
とすべく
で更新する
は

20. DA-GANとは
Generatorは全て畳み込みからなり、中央にresidual blockが１０個
誰？
生成器
（generator）
本物画像
合成画像
洗練された画像
L1 ノルム
識別器２ 本物っぽさ
識別器１

21. DA-GANとは
GeneratorのLossの１項目はauto-encoder自体を学習させている？
誰？
生成器
（generator）
本物画像
合成画像
洗練された画像
L1 ノルム
識別器２ 本物っぽさ
識別器１
LGθ
= −Ladv + λ1Lip( )+ λ2Lpp
（ ）
LGθ
= kt
!xi − Dφ !xi( )
i
∑ + λ1Lip
⎛
⎝
⎜
⎞
⎠
⎟+ λ2Lpp

22. DA-GANとは
LGθ
= kt
!xi − Dφ !xi( )
i
∑ + λ1Lip
⎛
⎝
⎜
⎞
⎠
⎟+ λ2Lpp
識別器（Discriminator）のLossからは「本物っぽさ」とidentityを学習し
生成器（Generator）のLossからはauto-encoder自体とidentity、顔の角度が学習される？？

23. DA-GANモデルの実装例
generatorモデルの部分
・・・・・・・・・・
・・・・・・・・・・

24. DA-GANモデルの実装例
discriminator１（identity識別）モデルの部分
・・・・・・・・・・
・・・・・・・・・・

25. DA-GANモデルの実装例
discriminator２（本物っぽさ）モデルの部分
・・・・・・・・・・
・・・・・・・・・・
・・・・・・・・・・

26. DA-GANモデルの実装例
演算部分１
・・・・・・・・・・
・・・・・・・・・・
・・・・・・・・・・

27. DA-GANモデルの実装例
演算部分２
・・・・・・・・・・
・・・・・・・・・・

28. DA-GANモデルの実装例
学習ループ
・・・・・・・・・・
・・・・・・・・・・

29. simGANとDA-GAN
結局どっちがいいの？
• simGANはわかりやすい
• 顔画像だとsimGANよりDA-GANの方が精度よさそう
• DA-GANは顔画像に特化させた仕組みなので、他のタスクへの転
化は難しい？