Empfohlen
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Ähnlich wie 広告クリエイティブ制作におけるコンピュータビジョングラフィックデザイン CA Data Engineering & Data Analysis WS #9
Ähnlich wie 広告クリエイティブ制作におけるコンピュータビジョングラフィックデザイン CA Data Engineering & Data Analysis WS #9 (20)
Mehr von Kazuhiro Ota
Mehr von Kazuhiro Ota (7)
広告クリエイティブ制作におけるコンピュータビジョングラフィックデザイン CA Data Engineering & Data Analysis WS #9
- 1. Data Engineering & Data Analytics WS #9, 20191107 広告クリエイティブ制作における コンピュータビジョンとグラフィックデザイン ㈱ サイバーエージェント AI Lab 大田 和寛 1
- 2. 自己紹介 大田 和寛 AI Lab Creative Research グループにて インターネット広告制作のための研究開発に従事 最近は動画広告に対する実績予測や広告素材検索システムなど 好きな CV 技術は画風変換や画像生成・編集 好きな DNN フレームワークは PyTorch @ciela 2
- 3. CyberAgent AI Lab デジタルマーケティング領域の課題を解決する R&D 組織 直接の売り上げはないが、既存技術で解決できない課題を 解くための研究開発が目的 2019年11月現在16名所属 研究成果は積極的に外部発表、学術コミュニティへ貢献 https://cyberagent.ai/ailab/ 3
- 5. AI Lab Creative Research 本日はデジタル広告のクリエイティブ画像制作に関して 我々が取り組んでいる課題、および関連技術や昨今の社 会的事例について広くざっくりとお話します 5
- 7. 一般的な広告クリエイティブ制作過程 （SNS 上のインフィード広告を想定） 1. 訴求内容確定 2. 素材収集・レタッチ 3. レイアウトを決めて配置 4. 入稿・各メディアへ配信 7
- 13. 所謂 AI でなんとかしたい ● 配信効果の高いクリエイティブとそれ に使われた素材知りたい ● レタッチ作業自動化したい ● クリエイティブ自動生成したい 13
- 14. クリエイティブ制作に対する AI 的事例 Adobe Sensei 電通 AI MIRAI Tencent Ads 14
- 15. 広告以外のグラフィックデザイン生成 Learning to Generate Posters of Scientific Papers [Qiang, AAAI 2016] 論文をもとに発表用ポスターを生成 15 SketchCode https://github.com/ashnkumar/sketch-code 手書きのワイヤーフレームから HTML を生成
- 16. AI Lab Creative Research 機械学習を用いたデジタル広告制作・配信ソリューションの研究開発 クリック率などの広 告配信実績予測 広告の制作支援 バナー広告の理解 )) より良い配信 効率的な制作 自動分析 16
- 17. AI Lab Creative Research 機械学習を用いたデジタル広告制作・配信ソリューションの研究開発 クリック率などの広 告配信実績予測 広告の制作支援 バナー広告の理解 )) より良い配信 効率的な制作 自動分析 17
- 18. クリック率 (CTR) の予測 このバナー画像はどれだけの人からクリックされますか？ • 単純な回帰問題に帰着 • 画像と広告配信設定を入力、クリック率を出力とす る機械学習モデルを設計 • 広告配信前に品質評価、適切な入稿対象の選 択、結果の予測が可能に ? 18
- 19. DNN を利用したクリック率予測手法（DeepCTR） Deep CTR Prediction in Display Advertising [Chen, ACM MM 2016] 配信設定に加えてクリエイティブ画像も入力とするようなモデルを構築 学習したモデルからは画像の何がクリックに効いたのかをピクセルレベルで可視化可能 19
- 20. テキストも利用した DeepCTR の提案 さらに配信メディアごとの差異も明らかに 深層学習によるFacebook広告のCTR予測 [岩崎, JSAI 2018] テキストも含めてよりマルチモーダルに 20 ソーシャルメディア間の広告とクリックの傾向分析 [岩 崎, PRMU 2018] 画像、テキストの品質が重要 広告配信設定が重要 広告配信設定が重要
- 21. 関連研究 21 マルチモーダル特徴を用いたオンライン広 告のクリック率予測とアテンションの解析 [夏, MIRU 2019] • 入力画像のマルチパッチ切り出し • Google Cloud Vision API を用いた 画像内テキストに対する OCR による Deep CTR で精度改善 アテンション機構の導入による入力項目影 響の可視化 デザイナーが持つ審美眼のモデル化 [石川, MIRU 2019] CTR 予測ではないが、制作されたバナー 画像の良し悪しを推定するモデルを作成 デザイナーによってラベル付された5,000 枚のバナー画像から学習
- 23. AI Lab Creative Research 機械学習を用いたデジタル広告制作・配信ソリューションの研究開発 クリック率などの広 告配信実績予測 広告の制作支援 バナー広告の理解 )) より良い配信 効率的な制作 自動分析 23
- 25. 適当に GAN でバナーを生成すると pix2pix [Isola, CVPR 2017] で labeled layout から直 接画像生成した例 少しの artifact でもプロダクション利用は不可 25Layout Layout GeneratedGenerated GT GT
- 27. ストック素材に着目したデータセット BAM! The Behance Artistic Media Dataset [Wilber, ICCV 2017] 27https://bam-dataset.org/ Behance からクローリングされたイラストや CG など、写真に留まら ないメディア画像を理解するためのデータセット クラウドソーシングによって画像に全 20種類の属性スコアが付与さ れており、中には画像に対する感情属性も
- 28. ストック画像に対する感情情報を用いたレタッチ Emotional Style Transfer for Stock Assets [Ota, CVPRW 2018] BAM データセットの感情属性における Happy と Scary のスコア上位の画像群を用いて Image-to-Image を行う ことで、画像に対して人が抱いた感情をもとに Style Transfer 28 Happy Scary https://cyberagent.ai/research/archives/921 素材に対する意味的なレタッチガイドラインの提案を行える（画像 を怖くするにはシワを際立たせて彩度を落とす、逆に幸せそうに するには明るくして草花のように彩色する等） CycleGAN
- 30. ポーズをボーンで指定することで手画像を GAN で生成 バナー画像用素材の生成、素材探し、撮影の手間を削減 JS 製のボーン描画ツールも作成し、手軽な利用が可能 30手画像生成モデルの概要 把持画像のための手画像生成 弊社スキルアップゼミでの成果 [大谷, 2019] https://cyberagent.ai/research/archives/2779
- 31. 物体自動配置 任意の物体を置くべき場所を背景から予測 イラスト、テキスト、飾り ST-GANベースのSingle-shot予測 Regularized Adversarial Training for Single-shot Virtual Try-On [菊池, 山口, Simo-serra, 小林, ICCVW 2019] 31
- 32. テキスト自動配置 バナー画像への自動テキスト配置 [加藤, 山口, 山田, MIRU 2019] 入力画像からセグメンテーションモデル により配置尤度を推定 配置するテキスト要素の大きさに応じたフィルタ処理をかけたマップから最終的な配置場所を推定 32
- 33. 関連研究 Modeling Fonts in Context: Font Prediction on Web Designs [Zhao, PG 2018] Web ページからコンテキスト（ Visual Contents, HTML tags, Design tags）を抽出し、文字をあてがう箇所に応じ たフォント（色、サイズ）の予測 33
- 35. AI Lab Creative Research 機械学習を用いたデジタル広告制作・配信ソリューションの研究開発 クリック率などの広 告配信実績予測 広告の制作支援 バナー広告の理解 )) より良い配信 効率的な制作 自動分析 35
- 37. 広告内容の理解 CVPR 2018 Ads Workshop 言語記述選択式コンペへ参加し OCR を用いたモデルで1位獲得 [Otani, Iwazaki, Yamaguchi, CVPRW 2018] http://people.cs.pitt.edu/~kovashka/ads/ 37 https://cyberagent.ai/research/archives/16
- 38. 広告ならではの特性：テキスト表現 見た目にかかわらず、本当に伝えたいことは テキストとして表示されやすい Save Water ... Save Life Image credit [Z Hussain 2017] 38
- 39. グラフィックデザインにおけるフォントの統計 Serif or Sans: Visual Font Analytics on Book Covers and Online Advertisements [Shinahara, ICDAR 2019] （九州大学共同研究） 書籍表紙・広告クリエイティブにおいてフォントと色はどのように内容に関連しているか 本の表紙 バナー広告 39
- 40. 広告におけるフォント・色と内容の相関 PSD ファイルから直接フォント 情報を抽出 ジャンルごとに特徴があるの は書籍と同じ Sans-serif 系が多い 小さなバナーの Web 表示に 最適化？ 40
- 41. 関連研究 Learning Visual Importance for Graphic Designs and Data Visualizations [Bylinskii, UIST 2017] グラフィックデザインにおける重要領域の学習 41 Task-driven Webpage Sliency [Zheng, ECCV 2018] Web ページにおいて、異なる目的・タスクに応じた注目領 域の可視化
- 42. バナー広告の理解 対象は自然写真から人工的な作画まで様々 •「隠喩」まで理解できるか？ •単純なディープラーニングモデルで推論は難しい テキストは強力なヒントだが最終的には「訴求」を推論すべき 42
- 43. AI Lab Creative Research まとめ 機械学習を用いたデジタル広告制作・配信ソリューションの研究開発 クリック率などの広 告配信実績予測 広告の制作支援 バナー広告の理解 )) より良い配信 効率的な制作 自動分析 43
- 44. 研究アイディアの公募 MIRU 2019 企業企画にてデジタル広告に関わる研究アイディアコンペを開催 44 応募研究テーマ内容 1. 広告画像を対象とした任意のフレーズに対応する領域の推定 2. ユーモアを取り入れたキャッチコピーおよびバナー広告の生成 3. Web動画を用いたAR広告コンテンツ自動生成 4. 視線とカーソル軌跡を用いたユーザの興味測定