Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.

Disentanglement Survey:Can You Explain How Much Are Generative models Disentangled?

4.675 Aufrufe

Veröffentlicht am

tmp

Veröffentlicht in: Ingenieurwesen
  • Login to see the comments

Disentanglement Survey:Can You Explain How Much Are Generative models Disentangled?

  1. 1. Disentanglement Survey Hideki Tsunashima(@maguroIsland) 1Kogakuin University, AIST Can You Explain How Much Are Generative models Disentangled?
  2. 2. 自己紹介 2 綱島 秀樹(@maguroIsland) -所属 工学院大学 修士課程2年-陳研究室 産総研(AIST) Research Assistant -研究テーマ 生成モデルの計算量削減、画像生成 -趣味 筋トレ、アメフト、読書、音楽ゲーム
  3. 3. ※注意※ 3 ⚫ 2019年10月現在の情報が元のサーベイ資料です ⚫ 数式は簡略化のため、一部ロス形式で記述をしま すので、元の数式を確認したい人はリファレンス を参照してください ⚫ 沢山の論文の紹介ではなくDisentanglementの 系譜を俯瞰的に見るサーベイとなっています (最後の系統ごとに論文リストを載せます) ⚫ スライドは私のtwitterに載せているので、そこ から飛んでご確認ください→ @maguroIsland
  4. 4. 画像生成モデル巨人 VAE(おさらい) 4 VAE-based/確率論 ⚫ 画像を圧縮された表現zに エンコード
  5. 5. 画像生成モデル巨人 VAE(おさらい) 5 VAE-based/確率論 ⚫ 画像を圧縮された表現zに エンコード ⚫ zが事前分布(e.g. 正規分布) に従うようにする
  6. 6. 画像生成モデル巨人 VAE(おさらい) 6 VAE-based/確率論 ⚫ 画像xを圧縮された表現zに エンコード ⚫ zが事前分布(e.g. 正規分布) に従うようにする ⚫ zからxを復元 潜在変数zを正規分布からサンプ リングすることで色々な画像を 生成可能
  7. 7. ディスエンタングルメント 7 • Disentanglement=もつれの解け • Entanglement=もつれ ディスエンタングルメントされた表現とは一つの 潜在ユニットは一つの生成因子に対して敏感であり、 その他の因子に影響を及ぼさない表現と定義される。 Yosua Bengio • ディスエンタングルメントの定義
  8. 8. ディスエンタングルメント 8 ディスエンタングルメントされた表現とは一つの 潜在ユニットは一つの生成因子に対して敏感であり、 その他の因子に影響を及ぼさない表現と定義される。 • 1つの潜在変数で一つの因子へ変化を及ぼす • →直感的に解釈可能な因子に分解
  9. 9. Contents 9 Disentanglementの系譜、尺度、応用 i. ディスエンタングルメントの系譜 ii. 式分解戦国時代 iii. ディスエンタングルメントの評価尺度 iv. Go Beyond Disentanglement v. メタサーベイ
  10. 10. Disentanglementの歴史 10 数式分解 Metric提案 InfoGAN 爆誕! β-VAE 爆誕! Disentanglementの カンブリア爆発 Disentanglementの応用 両者 統一の 流れ
  11. 11. 生成モデルの教師なしDisentanglementの風雲児 “InfoGAN”と”vanillaのGAN”の相違点 ⚫ Generator(G)の入力に潜在コードc(ベクトル形式)を追加 ⚫ Discriminator(D)はreal/fake判定だけでなく 潜在コードcの推論を行う ⚫ Gの入力cとDの推論結果が一致するよう訓練 →相互情報量の最大化 InfoGAN(1/6) 11 GAN-based/情報理論
  12. 12. 相互情報量とは 2つの分布AとBがあった際、AとBが独立のときは相互情報量は 最低、AとBが完全に相互に影響するときは相互情報量は最大 相互情報量はAとBの依存関係を表している InfoGAN(2/6) 12 GAN-based/情報理論
  13. 13. 生成モデルの教師なしDisentanglementの風雲児 “InfoGAN”と”vanillaのGAN”の相違点 ⚫ Gの入力cとDの推論結果が一致するよう訓練 →相互情報量の最大化 c(ベクトル形式)により固有の特徴表現が獲得される (c1なら明るさ、c2なら回転など) InfoGAN(3/6) 13 GAN-based/情報理論
  14. 14. 生成モデルの教師なしDisentanglementの風雲児 InfoGAN(4/6) 14 各離散コードに固有の表現 としてDisentanglement されている GAN-based/情報理論
  15. 15. 生成モデルの教師なしDisentanglementの風雲児 InfoGAN(5/6) 15 GAN-based/情報理論
  16. 16. 生成モデルの教師なしDisentanglementの風雲児 InfoGAN(5/6) 16 GAN-based/情報理論
  17. 17. 生成モデルの教師なしDisentanglementの風雲児 “InfoGAN”の問題点 ⚫ 訓練が安定せず、ハイパラ調整にかなりの職人芸を要する e.g.) CelebAの際の入力ノイズの次元数は228(!?) MNISTの際の入力ノイズの次元数は74(!?) 角度をDisentanglementするにはLRは2e-4 光量をDisentanglementするにはLRは8e-4(!?)※ InfoGAN(6/6) 17 ※ この次元数やLRに合わせないだけで訓練が崩壊したり、表現がEntanglement する(発表者の実体験。もうやりたくない) GAN-based/情報理論
  18. 18. VAEベースの教師なしDisentanglementの風雲児 “VAE”と”β-VAE”の相違点 ⚫ KLダイバージェンス(KLD) に重み係数βを追加 各潜在変数がそれぞれ正規分布に 落ちるよう強く制約をかける ことで各潜在変数が独立になる β-VAE(1/4) 18[2] Yosua Bengio et al. hogehoge [5] Yosua Bengio et al. hogehoge VAE-based/確率論
  19. 19. VAEベースの教師なしDisentanglementの風雲児 ℒ = 𝔼 𝑞φ(𝑧|𝑥) 𝑙𝑜𝑔𝑝θ (𝑥|𝑧) − 𝐷 𝐾𝐿 𝑞φ 𝑧 𝑥 ||𝑝(𝑧) β-VAE(2/4) 19 変分下界(Lower Bound) VAEにおいて最大化すべき 目的関数 パラメータθのNN(Decoder)で再構成 する分布をパラメータΦのNN (Encoder) で期待値を取った項 要するにやることは期待値の最大化 (=エンコードしたzを使ってxを完璧に再構 成する)なので、再構成誤差の最小化の項 VAE-based/確率論
  20. 20. VAEベースの教師なしDisentanglementの風雲児 ℒ = 𝔼 𝑞φ(𝑧|𝑥) 𝑙𝑜𝑔𝑝θ (𝑥|𝑧) − 𝐷 𝐾𝐿 𝑞φ 𝑧 𝑥 ||𝑝(𝑧) β-VAE(2/4) 20 パラメータΦのNN(Encoer)でxから 推定したエンコードしたzの分布と 事前に選んでおいた分布とのKLDを 取る項 要するに事前分布に推定した分布を 近づけたいので、KLDの最小化の項 VAE-based/確率論
  21. 21. VAEベースの教師なしDisentanglementの風雲児 ℒ = 𝔼 𝑞φ(𝑧|𝑥) 𝑙𝑜𝑔𝑝θ (𝑥|𝑧) − 𝐷 𝐾𝐿 𝑞φ 𝑧 𝑥 ||𝑝(𝑧) β-VAE(2/4) 21 𝜷𝐷 𝐾𝐿 𝑞φ 𝑧 𝑥 ||𝑝(𝑧) KLD項に重み係数β(β>1)を 加えることで各潜在変数が より強く事前分布に従うよう に制約を加える VAE-based/確率論
  22. 22. VAEベースの教師なしDisentanglementの風雲児 β-VAE(3/4) 22 ⚫ VAE Enganlementして しまっている ⚫ InfoGAN 変化が乏しい ⚫ β-VAE 変化も豊かで Entanglementも あまりない (すごいぼやけて いるような...) VAE-based/確率論
  23. 23. VAEベースの教師なしDisentanglementの風雲児 β-VAEの定量的評価 β-VAE(4/4) 23 GT(訓練データ)をスコア100%として Disentanglement度合を比較する 教師無し 半教師有り Metricの詳細は後程のDisentanglementの尺度にて VAE-based/確率論
  24. 24. Contents 24 Disentanglementの系譜、尺度、応用 i. ディスエンタングルメントの系譜 ii. 式分解戦国時代 iii. ディスエンタングルメントの評価尺度 iv. Go Beyond Disentanglement v. メタサーベイ
  25. 25. 式分解戦国時代の幕開け、Total Correlation(TC) “β-VAE”の問題点 ⚫ KLD項に重みを掛けると再構成誤差が軽視される →画像がぼやけやすくなる 再構成誤差に影響を与えないようにしよう! FactorVAE(1/5) 25[6] Yosua Bengio et al. hogehoge InfoGANは訓練が安定せず実用的ではない VAE-based/確率論、情報理論
  26. 26. 式分解戦国時代の幕開け、Total Correlation(TC) β-VAEの再構成誤差が増加する原因とは? ℒβ−𝑉𝐴𝐸 = 1 𝑁 σ 𝑛=1 𝑁 ℒ 𝑟𝑒𝑐𝑜𝑛𝑠𝑡 +β(−𝐼 𝑥; 𝑧 +ℒ 𝐾𝐿 𝑞 𝑧 , 𝑝 𝑧 ) FactorVAE(2/5) 26 VAE-based/確率論、情報理論 KLD項(分布の不一致度) ここではz単体の分布と事前 分布の不一致度 この項の最小化で各潜在変数 は独立となる ℒβ−𝑉𝐴𝐸 = 1 𝑁 σ 𝑛=1 𝑁 ℒ 𝑟𝑒𝑐𝑜𝑛𝑠𝑡 + βℒ 𝐾𝐿 (N:minibatch) KLDのデータ分布での期待値を分解 1 𝑁 σ 𝑛=1 𝑁 𝐴 = 𝔼 𝑝(𝑥) 𝐴 MI項(Mutual Information:相互情報量) 2分布間の依存関係を表している ここでは入力xと潜在変数zの依存関係 この項の最大化でxとzの対応関係が獲得される 既存の損失関数は𝔼 𝑝(𝑥) ℒ 𝐾𝐿 を最小化しようとして たので、相互情報量も最小化してしまっていた! →xからzへの情報損失=再構成誤差の増加
  27. 27. 式分解戦国時代の幕開け、Total Correlation(TC) β-VAEの再構成誤差が増加する原因とは? FactorVAE(2/5) 27 VAE-based/確率論、情報理論 ℒβ−𝑉𝐴𝐸 = 1 𝑁 σ 𝑛=1 𝑁 ℒ 𝑟𝑒𝑐𝑜𝑛𝑠𝑡 + βℒ 𝐾𝐿 (N:minibatch) KLDのデータ分布での期待値を分解 1 𝑁 σ 𝑛=1 𝑁 𝐴 = 𝔼 𝑝(𝑥) 𝐴 しかし、、、 相互情報量は直接計算することが不可能なため、この式は解けない では、一体どうすれば、、、 ℒβ−𝑉𝐴𝐸 = 1 𝑁 σ 𝑛=1 𝑁 ℒ 𝑟𝑒𝑐𝑜𝑛𝑠𝑡 +β(−𝐼 𝑥; 𝑧 +ℒ 𝐾𝐿 𝑞 𝑧 , 𝑝 𝑧 )
  28. 28. 式分解戦国時代の幕開け、Total Correlation(TC) β-VAEの再構成誤差が増加する原因とは? ℒ 𝐹𝑎𝑐𝑜𝑟𝑉𝐴𝐸 = 1 𝑁 σ 𝑛=1 𝑁 ℒ 𝑟𝑒𝑐𝑜𝑛𝑠𝑡 + ℒ 𝐾𝐿 +γℒ 𝑇𝐶 FactorVAE(2/5) 28 VAE-based/確率論、情報理論 ℒβ−𝑉𝐴𝐸 = 1 𝑁 σ 𝑛=1 𝑁 ℒ 𝑟𝑒𝑐𝑜𝑛𝑠𝑡 + βℒ 𝐾𝐿 (N:minibatch) KLDのデータ分布での期待値を分解 1 𝑁 σ 𝑛=1 𝑁 𝐴 = 𝔼 𝑝(𝑥) 𝐴 TCの制約項(2分布間の独立性) 相互情報量があまり小さくしないようにし、それとは 別に潜在変数同士が独立になる制約項を追加 この項を最小化することで潜在変数が独立になる! →Disentanglementのみが促される! ℒβ−𝑉𝐴𝐸 = 1 𝑁 σ 𝑛=1 𝑁 ℒ 𝑟𝑒𝑐𝑜𝑛𝑠𝑡 +β(−𝐼 𝑥; 𝑧 +ℒ 𝐾𝐿 𝑞 𝑧 , 𝑝 𝑧 )
  29. 29. 式分解戦国時代の幕開け、Total Correlation(TC) FactorVAE(3/5) 29 VAE-based/確率論、情報理論 FactorVAEはいろんな因子 に分解されててGood! ぼやけも少ない!
  30. 30. 式分解戦国時代の幕開け、Total Correlation(TC) FactorVAE(4/5) 30 VAE-based/確率論、情報理論 あれ、、、FactorVAE分解 できてる因子少なくない?※ ※ FactorVAEを参照する論文は沢山あるが、どの論文もFactorVAEは顔以外の データセットでは因子分解が苦手な傾向あり
  31. 31. 式分解戦国時代の幕開け、Total Correlation(TC) FactorVAEの定量的評価 FactorVAE(5/5) 31 FactorVAEは再構成 誤差を抑えながらも スコアが高い! Disentanglementと 再構成精度の両立! VAE-based/確率論、情報理論 Metricの詳細は後程のDisentanglementの尺度にて
  32. 32. 式分解をし続けろ!式分解戦国時代の行方は 数々の論文が式分解を続け、時は戦国状態 HFVAE(1/4) 32 VAE-based/確率論、情報理論 式は色々分解 されるんだなと いう感じで見て いただければ 大丈夫です
  33. 33. 式分解をし続けろ!式分解戦国時代の行方は 数々の論文が式分解を続け、時は戦国状態 HFVAE(2/4) 33 VAE-based/確率論、情報理論 VAE まだ分解するの!?
  34. 34. 式分解をし続けろ!式分解戦国時代の行方は 入力xの太さを変える潜在変数zを変化させたときの実験結果 HFVAE(3/4) 34 VAE-based/確率論、情報理論 HFVAEは Entanglement していなくてGood!
  35. 35. 式分解をし続けろ!式分解戦国時代の行方は Zero-shotでDisentanglementの表現を獲得! HFVAE(4/4) 35 VAE-based/確率論、情報理論 段々細くなる7のデータセットの 一部を訓練させない(pruned) 訓練させなかったデータ(pruned) の部分までDisentanglement された表現を獲得できている! →Zero-shot Generarization 俺たちの戦いは終わらない!!
  36. 36. Contents 36 Disentanglementの系譜、尺度、応用 i. ディスエンタングルメントの系譜 ii. 式分解戦国時代 iii. ディスエンタングルメントの評価尺度 iv. Go Beyond Disentanglement v. メタサーベイ
  37. 37. Disentanglementの評価尺度の登場! Disentanglement Metric Scoreについて ⚫ β-VAEにて提案された初のDisentanglementの評価尺度 ⚫ 分解される因子(e.g. 回転、太さ)があらかじめわかっている ときのみ使用可能 ⚫ ネットワーク(VAEなど)から生成した画像がどの因子を保持 しているのかを線形分類器でクラス分類する手法 →正しい因子に分類されればOK! Disentanglement Metric Score 37 Metric
  38. 38. Disentanglement Metric Scoreを正しい尺度へ Disentanglement Metric Scoreには問題が、、、 ⚫ iteration数、重み初期化などのハイパラに線形分類器が敏感 ⚫ 線形分類器に通してしまうと直感的ではない (説明性の観点でも分類器に通すのは厄介) ⚫ K個中K-1個の因子のDisentanglementでスコア100%が出る →致命的なバグ Improved Disentanglement Metric Score(1/3) 38 Metric
  39. 39. Disentanglement Metric Scoreを正しい尺度へ Disentanglement Metric Scoreを改良した評価尺度について ⚫ FactorVAEで提案された評価尺度 ⚫ 分解される因子(e.g. 回転、太さ)があらかじめわかっている ときのみ使用可能 ⚫ クラス分類ではなく多数決で因子を決定することでハイパラ に敏感でなくなった ⚫ 旧手法に比べてトータルの速度は210倍~1800倍!!※ (旧手法:30分、本手法:数秒) 39 Metric ※ 旧手法はクラス分類器の訓練が必要なので遅い Improved Disentanglement Metric Score(2/3)
  40. 40. Disentanglement Metric Scoreを正しい尺度へ 40 Metric 1つの因子を固定したL個の画像を生成し、 訓練済みEncoderで潜在変数zを獲得します Improved Disentanglement Metric Score(3/3)
  41. 41. Disentanglement Metric Scoreを正しい尺度へ 41 Metric 潜在変数zの分散を求める 因子が完全にDisentanglementされている 場合はその因子の分散は0となる Improved Disentanglement Metric Score(3/3)
  42. 42. Disentanglement Metric Scoreを正しい尺度へ 42 Metric 分散が最も小さい因子の潜在変数zの次元を求める Improved Disentanglement Metric Score(3/3)
  43. 43. Disentanglement Metric Scoreを正しい尺度へ Improved Disentanglement Metric Score(3/3) 43 Metric 最終的に青枠の処理をV回(Vは青枠の繰り返し回数) 行い、多数決を取ることでどこがDisentanglement されているかを求める →分類器を使わないので、ハイパラに左右されにくい!
  44. 44. 乱立するDisentanglement Metric ⚫ SAP (Separated Attribute Predictability) 線形回帰を行うことでハイパラに依存しないMetricの提案 (Factor VAE Metric以前に登場) ⚫ Modularity ModularityとExplicitnessを評価 Modularity:1つの因子に分解されているか Explicitness:ロジスティック回帰で容易に回帰できるか →容易に回帰可能なら説明性も高いという解釈 その他のDisentanglement Metric 44 Metric
  45. 45. 乱立するDisentanglement Metric ⚫ DCI Disentanglement (論文中では名称なし) Disentanglement、Completeness、Informativenessを評価 Lasso回帰またはランダムフォレスト分類器を用いる Disentanglement:因子分類において有益な潜在変数 Completeness:分類された因子のエントロピーの差 →どれだけ因子分解がしっかり行われているか Informativeness:分類器の予測誤差 →正しくDisentanglementできているか ⚫ MIG (Mutual Information Gap) 相互情報量の最も高い因子と次点の因子の差※ 現在最新のDisentanglementのMetric ※ 相互情報量は高いほどDisentanglementが出来ている その他のDisentanglement Metric 45 Metric
  46. 46. 乱立するDisentanglement Metric 結局どれがいいの?? その他のDisentanglement Metric 46 Metric 問題設定次第!!
  47. 47. 47 !?
  48. 48. 式分解戦国時代と評価尺度乱立の終止符!? Disentangling Disentanglement(1/4) 48 VAE-based Disentanglementの新尺度 新目的関数の提案 State of the Art!! 無限ループ、、、 Disentanglementの新問題設定
  49. 49. 式分解戦国時代と評価尺度乱立の終止符!? Disentanglementの一般化へ、本来やりたいこととは? Disentangling Disentanglement(2/4) 49 VAE-based 複雑なデータは潜在空間も同様に複雑であるはず 1. 1つの潜在変数の独立で済む因子(e.g. 太さ) 2. 潜在変数がセットで独立の必要がある因子(e.g. 人種) この二つを満たし、潜在空間の構造を正しく抽出するべきである
  50. 50. 式分解戦国時代と評価尺度乱立の終止符!? Disentanglementの一般化へ、本来やりたいこととは? 1. Disentanglementされた潜在変数を直感的に扱う 2. 潜在空間(潜在変数zが張る空間)の構造を正しく抽出する Disentangling Disentanglement(3/4) 50 VAE-based
  51. 51. 式分解戦国時代と評価尺度乱立の終止符!? Disentanglementの一般化へ、本来やりたいこととは? 1. Disentanglementされた潜在変数を直感的に使う 2. 潜在空間(潜在変数zが張る空間)の構造を正しく抽出する Disentangling Disentanglement(3/4) 51 VAE-based 既存手法は(1)のみに注力しており、(2)に着目していない
  52. 52. 式分解戦国時代と評価尺度乱立の終止符!? Disentanglementの一般化へ、本来やりたいこととは? 1. Disentanglementされた潜在変数を直感的に使う 2. 潜在空間(潜在変数zが張る空間)の構造を正しく抽出する Disentangling Disentanglement(3/4) 52 VAE-based (2)も同時に考えていくことでDisentanglementを一般化 Decomposition(分解)という語の提唱 β-VAEに(2)に対応する制約項を追加することでDecomposition 評価はFactorVAEのMetricを使用 ※ 式や式の意味の詳細はここでは省略します
  53. 53. 式分解戦国時代と評価尺度乱立の終止符!? Disentangling Disentanglement(4/4) 53 VAE-based しかし、まだトイデータの域を出ていない 今後のDecompositionに期待大!!
  54. 54. ⚫ InfoGAN、β-VAEから始まるDisentanglement ⚫ 欠点を補うため、数々の理論的解析が行われてきた ⚫ 数々の問題設定ごとのMetricと新目的関数 ⚫ Disentanglementの一般化、Decompositionの提唱 このセクションのまとめ 54 VAE-based
  55. 55. Contents 55 Disentanglementの系譜、尺度、応用 i. ディスエンタングルメントの系譜 ii. 式分解戦国時代 iii. ディスエンタングルメントの評価尺度 iv. Go Beyond Disentanglement v. メタサーベイ
  56. 56. Contents 56 Disentanglementの系譜、尺度、応用 iv. Go Beyond Disentanglement  Disentanglementの各タスクへの応用  ICLR2020速報 in Disentanglement
  57. 57. 変更したい属性のみ変換できるネットワーク 57 応用研究 赤枠の属性を変化させることで 入力画像の属性を変化させる FadNet(1/2)
  58. 58. 変更したい属性のみ変換できるネットワーク FadNet(2/2) 58 応用研究 エンコードした潜在変数E(x)と属性y(e.g. 髪の色、口の形) を基に再構成することで属性を好きに変えられるようにしたい E(x)から属性の情報を排除する必要がある
  59. 59. 変更したい属性のみ変換できるネットワーク 59 応用研究 Discriminatorに属性を判断させないように学習を進める この処理により潜在変数E(x)は属性不変の特徴となる FadNet(2/2)
  60. 60. 変更したい属性のみ変換できるネットワーク 出力画像を用いず潜在変数を用いてDisentanglementするので、 NLPや音など他のドメインにも適用可能! 60 応用研究FadNet(2/2)
  61. 61. 姿勢情報と人物特徴を分離しての姿勢転写 赤枠と青枠をペアにして姿勢特徴と人物特徴を分離する 61 応用研究FD-GAN(1/2)
  62. 62. 姿勢情報と人物特徴を分離しての姿勢転写 62 応用研究FD-GAN(2/2) 既存手法[18, 19]に対して FD-GANは正しく転写できている しかし、まだまだ鞄は課題ありか
  63. 63. Disentanglement表現を自由自在に操る巨人 63 応用研究 圧倒的高解像度 不自然さのなさ 段階ごとのDisentanglement StyleGAN(1/3)
  64. 64. Disentanglement表現を自由自在に操る巨人 64 応用研究StyleGAN(2/3) 低 高 解 像 度 解像度の低いところにスタイルを移し たい画像を挿入すると大きな特徴変化 解像度の高いところにスタイルを移し たい画像を挿入すると細かな特徴変化 解像度の中間にスタイルを移したい 画像を挿入すると中間の特徴変化 ※ 論文中は数々の手法やテクニックが提案されている
  65. 65. Disentanglement表現を自由自在に操る巨人 65 応用研究StyleGAN(3/3) 低解像度で画像を挿入 すると大きな特徴変化が (e.g. 眼鏡、性別)
  66. 66. Disentanglement表現を自由自在に操る巨人 66 応用研究StyleGAN(3/3) 中解像度で画像を挿入 すると半ばの特徴変化が (e.g. 顔の雰囲気)
  67. 67. Disentanglement表現を自由自在に操る巨人 67 応用研究StyleGAN(3/3) 高解像度で画像を挿入 すると細かな特徴変化が (e.g. 髪の色、肌の色)
  68. 68. Disentanglement表現を自由自在に操る巨人 68 応用研究StyleGAN(3/3) Disentanglementされた 特徴表現を獲得
  69. 69. ICLR2020のDisentanglementの論文は36本! 気になったものをピックアップ!! 1. Unsupervised Distillation of Syntactic Information from Contextualized Word Representations 教師なしで文構造と文の意味のDisentanglementを達成 文構造が同じで意味が異なる構文を正しく分けれると主張 69 ICLR 2020ICLR2020速報 in Disentanglement
  70. 70. ICLR2020のDisentanglementの論文は36本! 気になったものをピックアップ!! 2. Embodied Multimodal Multitask Learning オブジェクトや位置関係をディスエンタングルメントすることで 身体を保持するエージェントがVQAを可能としている 70 ICLR 2020ICLR2020速報 in Disentanglement
  71. 71. ICLR2020のDisentanglementの論文は36本! 気になったものをピックアップ!! 3. Disentangling Improves VAEs' Robustness to Adversarial Attacks Adversarial Examplesへの頑健性をディスエンタングルメント された表現で向上させるという論文 71 ICLR 2020ICLR2020速報 in Disentanglement
  72. 72. Contents 72 Disentanglementの系譜、尺度、応用 i. ディスエンタングルメントの系譜 ii. 式分解戦国時代 iii. ディスエンタングルメントの評価尺度 iv. Go Beyond Disentanglement v. メタサーベイ
  73. 73. Disentanglementにて注目すべき研究者、研究機関 <研究者> ✓ Irina Higgins:DeepMind ✓ Alessandro Achille:University of California, Los Angeles <研究機関> ✓ DeepMind メタサーベイ 73 研究者, 研究機関
  74. 74. β-VAEの生みの親、Disentanglementのトップ研究者 Irina Higgins メタサーベイ 74 研究者, 研究機関 ⚫ DeepMind Research Scientist ⚫ Neuroscienceチーム所属 ⚫ Disentanglementの論文を数多く 生み出す ⚫ Higginsさんが共著に入っている 論文は良論文!
  75. 75. 神経科学と機械学習の融合、生物模倣のAIへ Alessandro Achille メタサーベイ 75 研究者, 研究機関 ⚫ UCLA PhD student ⚫ Computer Science Department ⚫ 神経科学的知見を機械学習に盛り 込むことで独創的な論文を執筆 ⚫ DeepMindインターンでは NeuroscienceチームでNeurIPSに 通している(Higginsさんも共著)
  76. 76. Googleが買収したトップAI Research集団 メタサーベイ 76 研究者, 研究機関 ⚫ 数多くのResearcherを雇い、トップカンファレンスに通 し続けるトップレベルの研究者集団 ⚫ Disentanglementの論文はNeuroscienceチーム だけでなく他のチームからの投稿されている (e.g. FactorVAE) ⚫ DeepMindの与える影響は強化学習だけに留まらない
  77. 77. ⚫ Disentanglementは様々な数理的解釈とMetricが 提案されてきたが、一般化が始まった ⚫ 応用研究では直感的な解釈の因子に分解して利用 する研究が多い ⚫ Disentanglementは人間の直感的解釈という位置 づけからも神経科学分野の研究者が強い まとめ 77
  78. 78. ⚫ 本発表用スライドは私のtwitterに載せています → @maguroIsland ⚫ 内容拡充をした完全版はCVPRの関係で12月にアップ する予定です 完全版公開について 78
  79. 79. 79 Thank you for attention

×