CVAE-GAN:fine-grained image generation through asymmetric training 論文読み会資料

1. CVAE-GAN Fine Grained Image
Generation though Asymmetric Training
2018/1/26
AI開発部論文読み会
上総 虎智

2. 0.Infomation

3. 1.Introduction
• あるIdentityを持った様々なカテゴリーの画像を生成したい
• VAEとGANを組み合わせたモデルを提案する
• しかし、ナイーブにはうまくいかない、なぜならばVAEの画像はぼやける
からCriminatorが簡単に偽物と判別できる
• 本物のデータ群の平均の特徴量とのL2距離を損失関数として採用
• 勾配消失が緩和される
• Mean feature matching はモード崩壊を軽減するが、モード崩壊は完全
には防げない。ここにVAEとGANの組み合わせが効く。
-潜在空間と画像空間を明確に関連付ける
-再構成誤差が画像の構造を保つ
• よりリアルな画像を生成する、GANより学習早い
• 画像生成、塗り絵、属性変換に役立つ

4. 2.Related Work

5. 3. Our Formulation of CVAE-GAN
Mean Feature matching を導入。Mode collapseを
防ぐのが一番の目的(言い過ぎ？)
𝐿 𝐺𝐷: バッチ毎にクラス関係無く本物か偽物か
𝐿 𝐺𝐶: あるxについてクラスごとで比較している
𝐿 𝐺: 再構成誤差+Feature Matching
Loss関数の重みはハイパラ。。。

6. 4.Analysis of Toy Example
Mean Feature Mappingが生成されるデータの多様性に寄与していると読み取れる。

7. 5. Experiments
色々実験したよ
• 5.1. Visualization comparison with other models
• 5.2. Quantitative Comparison
• 5.3. Attributes Morphing
• 5.4. Image Inpainting
• 5.5. Comparing Different Combination of Losses
• 5.6. CVAEGAN for Data Augmentation

8. 5.1. Visualization comparison with other models
CVAE-GANの良さは、Realである、画像群の中で多様性がある。

9. 5.2. Quantitative Comparison
• Discriminability:学習済GoogleNetでの識別性
• Realism＆Diversity:KLダイバージェンスの期待値
5.3. Attributes Morphing
• 潜在変数を徐々に変化させて生成

10. • Webから拾ってきた画像を一部マスク。何回かCVAE-GANにて画像生成。
5.4. Image Inpainting

11. 5.5. Comparing Different Combination of Losses
5.6. CVAEGAN for Data Augmentation
Generater部分のloss関数を色々変えてみたよ。

12. • Mean Feature Matching良いよ
• 様々な応用法が考えられる
• 未知のカテゴリーに含まれるようなデータをどうかして生成したいよ
6.Conclusion