【CVPR 2019】StoryGAN: A Sequential Conditional GAN for Story Visualization
•
1 gefällt mir•319 views
cvpaper.challenge はコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文読破・まとめ・アイディア考案・議論・実装・論文投稿に取り組み、あらゆる知識を共有しています。 http://xpaperchallenge.org/cv/ 本資料は、CVPR 2019 網羅的サーベイの成果の一部で、1論文を精読してプレゼンテーション形式でまとめております。論文サマリは下記からご確認頂けます。 http://xpaperchallenge.org/cv/survey/cvpr2019_summaries/listall/
Empfohlen
Empfohlen
Weitere ähnliche Inhalte
Kürzlich hochgeladen
Kürzlich hochgeladen (8)
Empfohlen
Empfohlen (20)
【CVPR 2019】StoryGAN: A Sequential Conditional GAN for Story Visualization
- 1. StoryGAN: A Sequential Conditional GAN for Story Visualization (CVPR 2019) Yitong Li∗1, Zhe Gan2, Yelong Shen4, Jingjing Liu2, Yu Cheng2, Yuexin Wu5, Lawrence Carin1, David Carlson1 and Jianfeng Gao3 1Duke University, 2Microsoft Dynamics 365 AI Research, 3Microsoft Research, 4Tencent AI Research, 5Carnegie Mellon University 資料作成︓森 友亮 1
- 2. 論⽂の要点 2 – 新規タスク ”Story Visualization” の提案 • 複数センテンスから成るストーリーを⼊⼒とし、各セン テンスに対応するように画像列を⽣成 – story-to-image の⽣成モデル “StoryGAN” を提 案 – 既存のデータセットを元に、提案タスクのための データセット CLEVR-SV と Pororo-SV を提案
- 3. 新規タスク ”Story Visualization” 3 • ストーリーに対応する画像列を⽣成 – 各センテンスに対し１枚の画像を⽣成
- 4. 新規タスク ”Story Visualization” 4 • 提案タスクの２つの難しさ – 画像列が⾸尾⼀貫してストーリー全体を描画でき ていなくてはならない。 – ストーリーラインの論理を表現できていなければ ならない。 • オブジェクトの位置関係の変化など
- 5. 関連タスク 5 • text-to-image generation – より⻑く複雑な⼊⼒⽂の理解が重要な課題。 • video generation – 静的な特徴と動的な特徴の両⽅を扱う。 – 提案タスクとの違い Video generation Story visualization (1) 単⼀の⼊⼒ 連続した、徐々に変化する⼊⼒ (2) 出⼒では動きが連続している 出⼒は個々に別れており、シー ンが異なることもある
- 6. StoryGAN 6 – Story Encoder – Context Encoder – Discriminators • Image Discriminator, Story Discriminator
- 7. Story Encoder 7 – StackGAN [Zhang+, ICCV2017] を参考に、ストー リーから低次元の分散表現ℎ"を得る。 – ストーリー全体の情報を持った ℎ" は、 Context Encoder の初期化に⽤いられる。
- 8. Context Encoder 8 – 標準的な GRU と、この論⽂で提案する Text2Gist から成る。 • gist : 要点 – Text2Gist は、 GRU の 出⼒ 𝑖$ を Story Context ℎ$ と合わせ、出⼒ 𝑜$ を得る。
- 9. Discriminators 9 – 局所と全体のそれぞれの⼀貫性を保証するために、 それぞれに対応する discriminator を⽤いる。 • Image Discriminator – ⽣成された {𝑠$, ℎ", )𝑥$} と GT の {𝑠$, ℎ", 𝑥$} を⽐較 • Story Discriminator – 各画像の特徴量と各⽂の特徴量をそれぞれ⼀つに結合 global consistency score
- 10. アルゴリズム 10 ⽬的関数
- 12. ⽐較⼿法 12 – ImageGAN • 各画像を独⽴に⽣成。 • StoryGAN の最もシンプルなもの – SVC (Story Visualization by Concatenation) • Text2Gist を 単純な結合に置き換え – SVFN (Story Visualization by Filter Network) • SVC の結合を filter network に置き換え
- 13. データセット提案 (1) : CLEVR-SV 13 – Visual Question Answering タスクのデータ セットである CLEVR [Johnson+, CVPR2017] dataset を⽤い、 Story Visualization ⽤のデータセット を作成。 • ストーリーは「オブジェクトの位置関係についての説 明」 – Ex.) ”yellow, large, metal, sphere, (- 2.1, 2.4).”
- 14. CLEVR-SV での結果 14 – StoryGAN は⽐較⼿法に対して、よりもっともら しい画像を⽣成できている。 • Text2Gist が story の進⾏を捉えられている。 • 2つの discriminator がオブジェクトの⼀貫性を維持 している。 • Text2Gist の初期化に Story Encoder を使っているこ とが、最初の画像の⽣成で効果的。
- 15. データセット提案 (2) : Pororo-SV 15 – Video Question Answering タスクのデータセッ トである Pororo dataset [Kim+, IJCAI2017] を⽤い、 Story Visualization ⽤のデータセットを作成。 • ビデオクリップからランダムにフレームを抽出し、 各ストーリーに対して 5 枚の画像を得る。
- 16. Pororo-SV での結果 16 – StoryGAN の最初の1枚が他の⼿法と⽐べて良い • Story Encoder による初期化の効果
- 17. Pororo-SV での結果 17 – キャラクターの名前のみを変えた場合 – StoryGAN が、画像の質でも⼀貫性でも⽐較⼿法 を上回る
- 18. Pororo-SV での結果 18 – Amazon MTurk による Human Evaluation • Pairwise – StoryGAN が ImageGAN を⼤きく上回る。 • Ranking – StoryGAN が平均ランクで最も良い性能。
- 19. まとめ 19 –新規タスク ”Story Visualization” の提案 • 複数センテンスから成るストーリーを⼊⼒とし、各セン テンスに対応するように画像列を⽣成 – story-to-image の⽣成モデル “StoryGAN” を提 案 • CLEVR-SV と Pororo-SV （どちらも本論⽂で提案）で、 ⽐較⼿法を上回る⽣成結果。