1. 岡本大和
ICML2019＠Long Beach
参加速報(2日目)

2. はじめに
 本資料はICML’19の様子をお伝えするための資料です
 どこでどんな研究がされているのかメモしたインデック
ス用途を目指しています
 深い理解を希望する方は論文と動画が公式サイトから
公開される（はず）なのでそちらをご覧ください
つまるところ師匠のマネをしたかっただｋ

3. ICML2019 開催概要
International Conference on Machine Learning 2019
・Tutorial (6/10)
・Conference Session (6/11~6/13) ←ここ
・Workshop (6/14~6/15)
みんなが興味あるOpening Remarksの内容もまとめます

4. 論文投稿数とAccept率
勢いが衰えることなし、といった印象

5. 投稿論文の研究分野
Deep Learning一色になると思ったが、
意外にもGeneral Machine Learningが同数程度ある

6. Code提出率と論文Accept率の統計
論文だけじゃなく（再現性の観点から）Codeも提出しようねということ

7. ICML2019 Best Paper
ついにDisentangleがきましたね

8. ICML2019 Best Paper
Challenging Common Assumptions in the Unsupervised
Learning of Disentangled Representations
https://arxiv.org/abs/1811.12359
Francesco Locatello, Stefan Bauer, Mario Lucic, Gunnar Rätsch,
Sylvain Gelly, Bernhard Schölkopf, Olivier Bachem
ETH Zurich, Max-Planck, Google Brain

9. ICML2019 Best Paper
Disentangle RepresentationsUnsupervisedに習得できるのか？
結論：モデルとデータに帰納的なバイアスが無いと無理

10. ICML2019 Best Paper
disentangled representationsを研究するにあたっての留意点をまとめた
この分野の研究を評価するときのスタンダードを確立したと言える

11. ICML2019 Best Paper
評価用のデータセットも作っちゃったらしい（まじか！？
確かにこれは分かりやすい（地面、背景、前景、色、形
Gitからダウンロードして即使えるらしい（まじか！？ ※２度目

12. Invited Talk: John Abowd
データ分析で暮らしをもっと便利にしたいね、でもプライバシーとトレードオフ
なんだよね、という話
ちょっとやそっとでは機械学習の眼は誤魔化せない（ちょっとしたデータ加工で
はプライバシー保護できない）
この問題はdeath knell(死を告げる鐘)
にまでなると警笛を鳴らした

13. Self-Attention Generative Adversarial Networks
課題
• 高解像度画像の生成に成功するなど目覚ましい発展をしているGAN
• しかし、詳細部位は高精度でも、全体構造が本物らしくない場合が多い
提案
• GeneratorとDiscriminatorの両方にself-attention構造を付与すること
で、大域的な構造も考えながら画像生成（判定）するようにした
• Spectral NormをDiscriminatorだけでなくGeneratorにも付与するなど
細かい工夫も追加している

14. High-Fidelity Image Generation
With Fewer Labels
ConditionalGANをsemi-supervisedやself-supervisedにしたという研究
識別器による疑似ラベルをConditionに用いたり（左図）、
回転加工した画像の角度を推定する識別器を加えたりしている（右図）

15. Flat Metric Minimization
with Applications in Generative Modeling
データを確率分布ではなくカレントで表現する手法を提案
部分接線によってdisentangle的な特徴量表現を得た

16. Entropic GANs meet VAEs: A Statistical Approach
to Compute Sample Likelihoods in GANs
データ分布を好き勝手に仮定せずにちょっと気を使おうぜという手法
最尤推定のように機能するLOSSをGANに追加
GAN 提案

17. Non-Parametric Priors For Generative
Adversarial Networks
仮定した事前分布とのGAPに
苦しむならノンパラメトリッ
クにしてしまえ！な手法
ノンパラメトリック手法のメ
リット・デメリットをあまり
正しく理解できていないので、
帰国したら真面目に読んでみ
よう（私信メモ）

18. A Kernel Theory of Modern Data
Augmentation
機械学習では欠かせなくなってきた『data augmentation』について、
なぜ効果があるのか理論面から検証する。
・Data Augmentation induce invariance by feature averaging
・Data augmentation regularizes by reducing variance
（当然に聞こえるけど、これらを論理立てて証明した点が貢献点）
こういう研究が出てくると『ICMLだぁ～』って感じがしますね

19. Subspace Robust Wasserstein Distance
GANなどで効果的なWasserstein Distanceは、データ数に対して高次元
すぎる場合は適切に機能しない。
実際のところ、まずはPCA等によって低次元空間に落として、それか距離
計算する２ステップ処理がほとんど。
それらをまとめて１ステップでやってしまう手法の提案。
ノイズ耐性の向上などの効果が確認された。

20. Rate Distortion For Model Compression:
From Theory To Practice
モデル圧縮技術が様々あるけど、どのくらいまで圧縮しても平気なの？と
いった疑問を理論側から解こうとした研究
２つの重要な法則（Golden Rules）を発見して、それに従った場合は圧
縮時のパフォーマンスが良いことも確認した

21. A Personalized Affective Memory Model
for Improving Emotion Recognition
Emotion Recognitionというタイトルにつられて見学したが発表者が見あ
たらず。パッと見からすると個人バイアスを分離抽出する手法？
（yを加えることでReconstructionしてるっぽいし）
（zとp(z)を比較してるし）
帰国したら真面目に読もう…

22. Rethinking Lossy Compression:
The Rate-Distortion-Perception Tradeoff
機械学習ベースのデータ圧縮手法
二乗誤差などでデータに歪みが無いように圧縮方法を学習するだけでは
perceptual qualityを損なうことが多い
①圧縮率、②歪み、③perceptual qualityのトレードオフにうまく対処す
るような学習方法を提案
• Decodeされた画像にの歪みの大きさだ
けならば左が最も小さい
• しかし数字が異なってしまった個数
(perceptual quality損失)は左が多い

23. Graph Matching Networks for Learning the
Similarity of Graph Structured Objects
DeepMINDのポスター人気過ぎて話を聞けなかった
積読リストに追加しておきます。。。

24. おまけ
これぞまさしく”Google-Glass”ってか！？
（2年前のCVPRでも配布していた気がする・・・）