Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Ähnlich wie Nips20180127
Ähnlich wie Nips20180127 (20)
Mehr von WEBFARMER. ltd.
Mehr von WEBFARMER. ltd. (20)
Kürzlich hochgeladen
Kürzlich hochgeladen (9)
Nips20180127
- 5. Triple-GANとは 論文 C. Li, et. al. Triple Generative Adversarial Nets. In NIPS, 2017. 著者らのコード https://github.com/zhenxuan00/triple-gan taki0112氏のTensorflowを用いたCifar10での学習コード https://github.com/taki0112/TripleGAN-Tensorflow 私のTensorflowを用いたMNISTでの学習コード https://github.com/masataka46/tripleGAN 私のChainerを用いたMNISTでの学習コード https://github.com/masataka46/tripleGAN_chainer
- 6. 本日の予定 1. Triple-GANのしくみ 2. Triple-GANの学習方法 3. Triple-GANの学習結果 4. 実装のポイント 5. Triple-GANの改良案 6. Tripel-GANのまとめ 7. NIPS2017から Discriminatorの役割を分けた他の例 8. NIPS2017から 半教師あり学習の他の例
- 8. 元祖GANsのしくみ Xl Xg R 元祖 GANs ノイズによって異なる画像を生成する Ian Goodfellow, et. al. Generative adversarial nets. In NIPS, 2014.
- 9. Conditional-GANのしくみ Xl R ３ ３ ３ Conditional-GAN ラベルを一緒に入力し、そのラベルの画像を生成させる M. Mirza and S. Osindero. Conditional generative adversar- ial nets. arXiv preprint arXiv: 1411.1784, 2014 Discriminatorは入力された画像とラベルのペアが real なものか、生成さ れたものかを判別する
- 10. Conditional-GANの問題点 Xl R ３ ３ ３ 例えば Discriminator に と３を入力した時に Discriminator が生成され た画像とラベルのペアと判定したとする。 これは３っぽい画像だけど本物っぽくないスタイルなので real でないと考 えたのか・・・・ あるいは本物っぽいスタイルだけど３でなく８と考えたからそう判定したの だろうか・・・ Conditional-GANの問題点（１）
- 13. Triple-GANのしくみ そこで Triple-GAN では新たに Classifier を設ける ３ ３ ３ ３
- 14. Triple-GANのしくみ ① Classifier でラベルを識別する →これにより Classifier の識別性能はどんどん上がるだろう。。。 ３ ３ ３ ３ Classifier にラベルの存在する画像を入れた場合の流れ 出力と正解ラベルから教師あり学習をする
- 15. Triple-GANのしくみ ② Classifier にラベルなしの画像も入れ、ラベルを推論させる →データセットが大幅に増やせる ３ ３ ３ ３ ラベルの無い画像を Classifier に入れた場合の流れ Classifier でラベルを推論し、それを Discriminator に渡す
- 16. Triple-GANのしくみ ③ Classifier に Generator で生成した画像を入れる →データセットが更に増やせる ３ ３ ３ ３ Generator で生成した画像を Classifier に入れた場合の流れ 教師あり学習をさせる
- 18. Triple-GANの学習方法
- 19. 学習方法① Generator Generator は adversarial な学習のみ。 ３
- 20. 学習方法② Discriminator Discriminator は３種類の流れに対する adversarial な学習。 ３
- 21. 学習方法③ Classifier Classifier は推論したラベルに関する adversarial な学習、real 画像に対す る教師あり学習、Generator で生成された画像に対する教師あり学習 ３
- 22. 学習のポイント 学習がうまくいくポイントは となること ３ p Xl, Xl( )= p Xg, Xg( )= p Xc, Xc( )
- 23. Triple-GANの学習結果
- 25. 学習結果 Generator で生成された画像。 各列は同一のノイズ z 、各行は同一のラベル y それっぽい画像が生成されている
- 26. 学習結果 Chainer で作成したコードによる学習結果。 Generator から生成された画像。 各列は同一のノイズ z 、各行は同一のラベル y 学習回数１回 学習回数１０回 学習回数５００回
- 27. 学習結果 学習速度の比較 同じ半教師学習である Improved GAN より収束が早い 学習回数１０回 T. Salimans, et. al. Improved techniques for training GANs. In NIPS, 2016.
- 28. 実装のポイント
- 29. Chainer で実装する際のポイント まず Discriminator を学習させる場合を考える ３
- 30. Chainer で実装する際のポイント お決まりの cleargrads() で Discriminator に溜められた勾配をクリアにする。 ３
- 31. Chainer で実装する際のポイント backward() で Discriminator の Loss を起点に勾配を計算する ３ →Generator、Classifier の勾配も計算される
- 32. Chainer で実装する際のポイント update() で Discriminator の重みのみ更新する ３
- 33. Chainer で実装する際のポイント 次に Classifier を学習させる。Disciriminator からの不要な勾配があるの で、これを消す。 ３
- 34. Tensorflow で実装する際のポイント Discriminator のみを学習させる場合、var_list に対象のパラメータを列挙 する ３
- 35. Tensorflow での学習結果 Chainer で作成したコードによる学習結果。 Generator から生成された画像。 各列は同一のノイズ z 、各行は同一のラベル y 学習回数５００回 学習回数１０００回 ノイズを変えてもラベルを変えても全て同じものが出力される しかも学習回数によってラベルは変わってくる・・・・なぜ？？
- 36. Triple-GAN の改良案
- 37. 学習のポイント（再掲） 学習がうまくいくポイントは となること ３ p Xl, Xl( )= p Xg, Xg( )= p Xc, Xc( )
- 38. Triple-GAN の改良案 現状では Generator から Classifier への経路だけ誤差逆伝播してない ３ ココ
- 41. Triple-GAN の改良案 学習結果 Generator から生成された画像 （100epochくらい） うまくいかなかった・・・・なぜ？
- 42. Tensorflowでの実装とChainerでの実装、 どちらがいいか l Tensorflow では３日かけて作ったが学習が進まない。。。 l Chainer では１晩で作ったが学習がうまくいった l 面倒臭い設定が少ない Chainer の方が楽か？？？
- 43. 苦労した点 l ハイパーパラメータを少しいじるとうまくいかなくなる。DCGANなど２ 要素の場合より難易度が高いか l supplementary material を見てもハイパーパラメータの詳細は書か れていない →参照されてる論文や著者のコードを読み解く必要が あり、面倒臭い
- 44. Triple-GAN まとめ
- 45. Triple-GANのまとめ l Triple-GANはGenerator と Discriminator に加えて Classifier を導入 した l これにより半教師あり学習が可能となった l 学習後の Generator はこれまでのモデルよりリアルな画像を生成し た l 学習後の Classifier はこれまでのモデルより識別性能が上がった l このしくみは特に少ない教師データで学習する際に威力を発揮する
- 47. Discriminatorの役割を分離する他の例 DA-GAN 色々な向きを向いた顔画像を生み出して、学習に使いたい シミュレータを使うと本物らしからぬ画像が生成されるので、これを本物っぽくしたい この際に１）顔の角度を指定し、２）個人のラベルを維持、したい 生成器 （generator） 本物画像 合成画像 洗練された画像 識別器 シミューレータ J. Zhao. et. al. Dual-Agent GANs for Photorealistic and Identity Preserving Profile Face Synthesis . In NIPS, 2017.
- 52. DA-GANとは 実際は本物画像の「本物っぽさ」を生成画像の「本物っぽさ」の kt 倍にする？ 誰？ 生成器 （generator） 本物画像 合成画像 洗練された画像 L1 ノルム 識別器２ 本物っぽさ 識別器１ とすべく で更新する は
- 53. DA-GANとは Generatorは全て畳み込みからなり、中央にresidual blockが１０個 誰？ 生成器 （generator） 本物画像 合成画像 洗練された画像 L1 ノルム 識別器２ 本物っぽさ 識別器１
- 54. DA-GANとは GeneratorのLossの１項目はauto-encoder自体を学習させている？ 誰？ 生成器 （generator） 本物画像 合成画像 洗練された画像 L1 ノルム 識別器２ 本物っぽさ 識別器１ LGθ = −Ladv + λ1Lip( )+ λ2Lpp （ ） LGθ = kt !xi − Dφ !xi( ) i ∑ + λ1Lip ⎛ ⎝ ⎜ ⎞ ⎠ ⎟+ λ2Lpp
- 56. 半教師あり学習の他の例 ２枚の画像から Optical Flow を求めるモデル 教師がある場合は予測画像と教師画像から EPE loss を求める 教師がない場合は Flow warp error を求め、adversarial loss を求める W. Lai, et. al. ImSemi-Supervised Learning for Optical Flow with Generative Adversarial Networks proved techniques for training GANs. In NIPS, 2017.