International Conference on Machine Learning 2019 ＠Long Beach Convention Center 初日のTutorialやSponsorブースの様子をまとめました

1. 岡本大和
ICML2019＠Long Beach
参加速報(1日目)

2. はじめに
 本資料はICML’19の様子をお伝えするための資料です
 どこでどんな研究がされているのかメモしたインデック
ス用途を目指しています
 深い理解を希望する方は論文と動画が公式サイトから
公開される（はず）なのでそちらをご覧ください
つまるところ師匠のマネをしたかっただｋ

3. ICML2019 開催概要
International Conference on Machine Learning 2019
・Tutorial (6/10) ←この資料の内容
・Conference Session (6/11~6/13)
・Workshop (6/14~6/15)
＠Long Beach Convention Center

4. Meta-Learning: from Few-Shot Learning to Rapid
Reinforcement Learning
• Meta-Learning入門
• 数式できちんと定義
して解説してくれた
のでありがたかった
• auto-MLとの関係性
も言及。can be cast
as meta-learningと
のことで、これもわ
かりやすいし混乱せ
ずに済んだ
資料： https://drive.google.com/file/d/1DuHyotdwEAEhmuHQWwRosdiVBVGm8uYx/view

5. Meta-Learning: from Few-Shot Learning to Rapid
Reinforcement Learning
• 様々あるMeta-Learning手法のメリット比較などもされていてありがたい
• 個人的にはOptimization-baseが気に入った
• second-order-optimizationって、あまりイコールでデメリットだと感じない
資料： https://drive.google.com/file/d/1DuHyotdwEAEhmuHQWwRosdiVBVGm8uYx/view

6. Intel AI Research Luncheon
at ICML Long Beach 2019 @Hyatt Regency
• Intelによる研究紹介イベント
• GANで事前分布の選択を誤ったりMismatchがあると困るよねという課題設定
• そこで、いっそのことノンパラメトリック手法にしたという研究
そういえば、似た課題設定の研究が『ICLR読み会in京都』で紹介されてた気が…
• https://www.slideshare.net/KiwamuYamamoto/iclr2019-in-lt-understanding-and-improving-
interpolation-in-autoencoders-via-an-adversarial-regularizer

7. • Uber AI Labsの方々によるTutorial講演
 どうでもいいけど昨日初めてUberを利用したら想像以上に便利で感動した
• Population-Based Search
 パラメタを並列探索させ、誰かが良さげなパラメタを見つけたら共有して、
それを起点に再度並列探索を繰り返す
 ハイパラサーチや強化学習で成果を挙げている
• スライドがまだ公開されてないので、代わりにDeepMindのサイトでも貼ってお
きます（わかりやすい）
• https://deepmind.com/blog/population-based-training-neural-networks/
Recent Advances in Population-Based Search for Deep Neural Networks:
Quality Diversity, Indirect Encodings, and Open-Ended Algorithms

8. Recent Advances in Population-Based Search for Deep Neural Networks:
Quality Diversity, Indirect Encodings, and Open-Ended Algorithms
 う～ん、わからん
 言いたいことはわかる、が、
we do not just want to
solve known problems,
because unknown problems
are also important.
とのことで、結果的に出来上
がるもののイメージがわかな
い
• 同じく、Uber AI Labsの方々によるTutorial講演
• しかし、Tutorialにしてはえらく近未来な分野の紹介だった
• Open-Ended Algorithms
 今の機械学習は特定の問題を短期間で解こうとしているように見える
 そもそもの知能はそのようなクローズな存在ではないはず
 数億年かけて人類が進化したように、AIも継続的な進化をさせたい

9. 企業ブース Facebook
• 『Mask R-CNN2Go』という姿勢推定モデル
• 『Mask R-CNNからどう改良したの!?』と質問したら『ふふっ』って返され
（この技術の担当者じゃなかったのかな、、

10. 企業ブース doc.ai
• 医療×データサイエンスを推進するdoc.ai
• そのdoc.aiがGoogle社のFederated Learning(スマホで学習してTensorを共有)
の活用を前面に推すということは、もう内容は想像つきますね。
 そういえばFederated関連の論文がICMLにも何本か出てました
Agnostic Federated Learning（https://arxiv.org/abs/1902.00146）
Bayesian Nonparametric Federated Learning of Neural Networks（https://arxiv.org/abs/1905.12022）
Analyzing Federated Learning through an Adversarial Lens（https://arxiv.org/abs/1811.12470）

11. SPONSORS
頑張るぞ、日本企業！

12. 感想、その他メモ
• 昨年と違ってRegistrationの大行列が改善されていた
• プレゼンのスライドが基本的に公開される方針になっている
 しかもアップロードされるまでが早い
 そのせいか、スライドを写メする人が減ったように感じる
• ライブ配信もどんどんされるようになっている
• 相変わらず空調が強くて寒い、なのに半袖の方が何名もいる（まじか
• 今年はパンフレット冊子が作成されていない様子（経費削減？
前の方の席は相変わらず
空いてるな～（快適

13. おまけ
国際カンファレンスでは
軽食に”ゆで卵”が提供されるとの噂は本当だった！
＼Boiled EGG !!／