Suche senden
Hochladen
CycleGANについて
•
9 gefällt mir
•
4,113 views
Y
yohei okawa
Folgen
「第2回 NIPS2017 理論と実装を話し合う会」で報告した内容です
Weniger lesen
Mehr lesen
Daten & Analysen
Melden
Teilen
Melden
Teilen
1 von 23
Jetzt herunterladen
Downloaden Sie, um offline zu lesen
Empfohlen
[DLHacks]StyleGANとBigGANのStyle mixing, morphing
[DLHacks]StyleGANとBigGANのStyle mixing, morphing
Deep Learning JP
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
Deep Learning JP
GAN(と強化学習との関係)
GAN(と強化学習との関係)
Masahiro Suzuki
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
Deep Learning JP
猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder
Sho Tatsuno
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
Deep Learning JP
【DL輪読会】StyleGAN-T: Unlocking the Power of GANs for Fast Large-Scale Text-to-I...
【DL輪読会】StyleGAN-T: Unlocking the Power of GANs for Fast Large-Scale Text-to-I...
Deep Learning JP
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII
Empfohlen
[DLHacks]StyleGANとBigGANのStyle mixing, morphing
[DLHacks]StyleGANとBigGANのStyle mixing, morphing
Deep Learning JP
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
Deep Learning JP
GAN(と強化学習との関係)
GAN(と強化学習との関係)
Masahiro Suzuki
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
Deep Learning JP
猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder
Sho Tatsuno
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
Deep Learning JP
【DL輪読会】StyleGAN-T: Unlocking the Power of GANs for Fast Large-Scale Text-to-I...
【DL輪読会】StyleGAN-T: Unlocking the Power of GANs for Fast Large-Scale Text-to-I...
Deep Learning JP
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII
[DL輪読会]Life-Long Disentangled Representation Learning with Cross-Domain Laten...
[DL輪読会]Life-Long Disentangled Representation Learning with Cross-Domain Laten...
Deep Learning JP
Deep Learningによる超解像の進歩
Deep Learningによる超解像の進歩
Hiroto Honda
敵対的生成ネットワーク(GAN)
敵対的生成ネットワーク(GAN)
cvpaper. challenge
画像生成・生成モデル メタサーベイ
画像生成・生成モデル メタサーベイ
cvpaper. challenge
深層生成モデルと世界モデル,深層生成モデルライブラリPixyzについて
深層生成モデルと世界モデル,深層生成モデルライブラリPixyzについて
Masahiro Suzuki
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Yusuke Uchida
オープンワールド認識 (第34回全脳アーキテクチャ若手の会 勉強会)
オープンワールド認識 (第34回全脳アーキテクチャ若手の会 勉強会)
Takuma Yagi
機械学習モデルの判断根拠の説明
機械学習モデルの判断根拠の説明
Satoshi Hara
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門
tmtm otm
Skip Connection まとめ(Neural Network)
Skip Connection まとめ(Neural Network)
Yamato OKAMOTO
[DL輪読会]Transframer: Arbitrary Frame Prediction with Generative Models
[DL輪読会]Transframer: Arbitrary Frame Prediction with Generative Models
Deep Learning JP
【論文読み会】Self-Attention Generative Adversarial Networks
【論文読み会】Self-Attention Generative Adversarial Networks
ARISE analytics
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
Deep Learning JP
実装レベルで学ぶVQVAE
実装レベルで学ぶVQVAE
ぱんいち すみもと
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
tmtm otm
[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision
[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision
Deep Learning JP
畳み込みニューラルネットワークの研究動向
畳み込みニューラルネットワークの研究動向
Yusuke Uchida
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
Deep Learning JP
Optimizer入門&最新動向
Optimizer入門&最新動向
Motokawa Tetsuya
Bayesian Neural Networks : Survey
Bayesian Neural Networks : Survey
tmtm otm
Explainable predictions pattern
Explainable predictions pattern
yohei okawa
Model versioning pattern
Model versioning pattern
yohei okawa
Weitere ähnliche Inhalte
Was ist angesagt?
[DL輪読会]Life-Long Disentangled Representation Learning with Cross-Domain Laten...
[DL輪読会]Life-Long Disentangled Representation Learning with Cross-Domain Laten...
Deep Learning JP
Deep Learningによる超解像の進歩
Deep Learningによる超解像の進歩
Hiroto Honda
敵対的生成ネットワーク(GAN)
敵対的生成ネットワーク(GAN)
cvpaper. challenge
画像生成・生成モデル メタサーベイ
画像生成・生成モデル メタサーベイ
cvpaper. challenge
深層生成モデルと世界モデル,深層生成モデルライブラリPixyzについて
深層生成モデルと世界モデル,深層生成モデルライブラリPixyzについて
Masahiro Suzuki
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Yusuke Uchida
オープンワールド認識 (第34回全脳アーキテクチャ若手の会 勉強会)
オープンワールド認識 (第34回全脳アーキテクチャ若手の会 勉強会)
Takuma Yagi
機械学習モデルの判断根拠の説明
機械学習モデルの判断根拠の説明
Satoshi Hara
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門
tmtm otm
Skip Connection まとめ(Neural Network)
Skip Connection まとめ(Neural Network)
Yamato OKAMOTO
[DL輪読会]Transframer: Arbitrary Frame Prediction with Generative Models
[DL輪読会]Transframer: Arbitrary Frame Prediction with Generative Models
Deep Learning JP
【論文読み会】Self-Attention Generative Adversarial Networks
【論文読み会】Self-Attention Generative Adversarial Networks
ARISE analytics
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
Deep Learning JP
実装レベルで学ぶVQVAE
実装レベルで学ぶVQVAE
ぱんいち すみもと
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
tmtm otm
[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision
[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision
Deep Learning JP
畳み込みニューラルネットワークの研究動向
畳み込みニューラルネットワークの研究動向
Yusuke Uchida
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
Deep Learning JP
Optimizer入門&最新動向
Optimizer入門&最新動向
Motokawa Tetsuya
Bayesian Neural Networks : Survey
Bayesian Neural Networks : Survey
tmtm otm
Was ist angesagt?
(20)
[DL輪読会]Life-Long Disentangled Representation Learning with Cross-Domain Laten...
[DL輪読会]Life-Long Disentangled Representation Learning with Cross-Domain Laten...
Deep Learningによる超解像の進歩
Deep Learningによる超解像の進歩
敵対的生成ネットワーク(GAN)
敵対的生成ネットワーク(GAN)
画像生成・生成モデル メタサーベイ
画像生成・生成モデル メタサーベイ
深層生成モデルと世界モデル,深層生成モデルライブラリPixyzについて
深層生成モデルと世界モデル,深層生成モデルライブラリPixyzについて
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
オープンワールド認識 (第34回全脳アーキテクチャ若手の会 勉強会)
オープンワールド認識 (第34回全脳アーキテクチャ若手の会 勉強会)
機械学習モデルの判断根拠の説明
機械学習モデルの判断根拠の説明
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門
Skip Connection まとめ(Neural Network)
Skip Connection まとめ(Neural Network)
[DL輪読会]Transframer: Arbitrary Frame Prediction with Generative Models
[DL輪読会]Transframer: Arbitrary Frame Prediction with Generative Models
【論文読み会】Self-Attention Generative Adversarial Networks
【論文読み会】Self-Attention Generative Adversarial Networks
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
実装レベルで学ぶVQVAE
実装レベルで学ぶVQVAE
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision
[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision
畳み込みニューラルネットワークの研究動向
畳み込みニューラルネットワークの研究動向
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
Optimizer入門&最新動向
Optimizer入門&最新動向
Bayesian Neural Networks : Survey
Bayesian Neural Networks : Survey
Mehr von yohei okawa
Explainable predictions pattern
Explainable predictions pattern
yohei okawa
Model versioning pattern
Model versioning pattern
yohei okawa
Workflow pipeline pattern
Workflow pipeline pattern
yohei okawa
Transform pattern
Transform pattern
yohei okawa
Keyed predictions pattern
Keyed predictions pattern
yohei okawa
Batch serving pattern
Batch serving pattern
yohei okawa
Distribution Strategy pattern
Distribution Strategy pattern
yohei okawa
Useful Overfitting pattern
Useful Overfitting pattern
yohei okawa
Multilabel pattern
Multilabel pattern
yohei okawa
Reframing パターン
Reframing パターン
yohei okawa
20190630_VoVNet
20190630_VoVNet
yohei okawa
はじめての方向け GANチュートリアル
はじめての方向け GANチュートリアル
yohei okawa
semantic segmentation サーベイ
semantic segmentation サーベイ
yohei okawa
Attention-Guided GANについて
Attention-Guided GANについて
yohei okawa
SLAM入門 第2章 SLAMの基礎
SLAM入門 第2章 SLAMの基礎
yohei okawa
Mehr von yohei okawa
(15)
Explainable predictions pattern
Explainable predictions pattern
Model versioning pattern
Model versioning pattern
Workflow pipeline pattern
Workflow pipeline pattern
Transform pattern
Transform pattern
Keyed predictions pattern
Keyed predictions pattern
Batch serving pattern
Batch serving pattern
Distribution Strategy pattern
Distribution Strategy pattern
Useful Overfitting pattern
Useful Overfitting pattern
Multilabel pattern
Multilabel pattern
Reframing パターン
Reframing パターン
20190630_VoVNet
20190630_VoVNet
はじめての方向け GANチュートリアル
はじめての方向け GANチュートリアル
semantic segmentation サーベイ
semantic segmentation サーベイ
Attention-Guided GANについて
Attention-Guided GANについて
SLAM入門 第2章 SLAMの基礎
SLAM入門 第2章 SLAMの基礎
CycleGANについて
1.
CycleGAN について Unpaired Image-to-Image
Translation using Cycle-Consistent Adversarial Networks 2018.02.13 hei4
2.
概要 ● 論文の紹介 ● GAN の発展 ● CycleGAN の概要 ● 実装について
3.
論文の紹介 ● 著者: ジュンヤン・ジュー(カリフォルニア大学バークレー校) ● タイトル: Unpaired Image-to-Image
Translation using Cycle-Consistent Adversarial Networks ● カンファレンス: ICCV (2017)
4.
GANの発展 〜ベーシック ドメイン Xドメイン Z x∈X G(z)=^x∈Xz∈Z generator G
discriminator D D real / fake D(G(z))=D( ^x) D(x) real / fake
5.
GANの発展 〜DCGAN 笑った女性 (の元の z ) 女性 (の元の
z ) 男性 (の元の z ) 笑った男性 (の元の z ) Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks (2015) ● CNNを導入して安定した画像生成に成功 ● 入力 z を指定することで任意の画像を生成可能 ● z の演算によって生成画像の種類を選択可能
6.
GANの発展 〜pix2pix 変換系へのモチベーション ● 生成画像の構図を指定したい ● 画像のコンテンツ(内容)を保ったままスタイル(細部)を変化させたい ● 高精度なスタイル変換に成功 ● 学習データは、変換前後のペアであることが必要 ● タスクによっては、学習データをペアで準備することは困難 Image-to-Image Translation with
Conditional Adversarial Networks (2016) 著者らの一人に、CycleGANのジュンヤン・ジューも
7.
CycleGANの概要 generator G generator F generator G generator G discriminator DY discriminator DX domain X domain Y ● 学習データは、ペアである必要なし ● 生成器と判別器が2組ある構造
8.
CycleGANの概要 DY X YG x y G(x) real fake
9.
CycleGANの概要 X YG x G(x) F(G(x)) F |F(G(x))−x| reconstruct reconstruct
real realcycle consistency loss
10.
CycleGANの概要 F DY DX X YG ハイパーパラメータ: 10
11.
CycleGANの概要 F DY DX X YG × × lossGAN によって抑制 losscyc によって抑制 X 以外
12.
CycleGANの概要 F DY DX X YG ● loss の最小化によって、
CycleGAN は X→Y 、 Y→X の写像および、 X→Y→X 、 Y→X→Y の循環性を持つ
13.
CycleGANの概要 fakereal reconstruct CycleGANによる変換の一例
14.
CycleGANの概要
15.
CycleGANの概要 ターゲットドメインに 遷移できていない 遷移しているが構図が変化している モードコラプスに 陥っている
16.
CycleGANの概要
17.
CycleGANの概要 アマゾン・メカニカル・タークでの人による判別
18.
CycleGANの概要 Photo→labels labels→Photo
19.
CycleGANの概要 Neural Style Transfer
20.
CycleGANの概要 Neural Style Transfer
21.
実装について CNN CNN Res Net Res Net CNN
CNN... ... ...image image ダウンサンプリング アップサンプリングResidual-Net CNN CNN ダウンサンプリング image scalar・・・・・・・・・・・・ Generator Discriminator
22.
実装について ● loss 中の負対数尤度計算を、誤差二乗和に ● Adam ソルバー バッチサイズ「1」 (!) ● 学習係数
0.002 @ epoch0 〜 100 零に向かって徐々に減衰 @ epoch100 〜 200 ● loss の発振を防ぐために、生成画像をバッファリング → Discriminator の学習にはバッファ画像を使用
23.
まとめ ● CycleGANは、非ペアの教師データから画像変換を実現 ● 他の、非ペア学習の手法に比べて高精度 ● 画風変換、彩色変換、写真のフォーカス効果など 様々なアプリケーションに応用が可能
Jetzt herunterladen