International Conference on Machine Learning 2019 ＠Long Beach Convention Center ICML最後の2日間はWorkshopです。ポスター中心におもしろかった内容をまとめました。 そして、間髪入れずCVPRが始まりますね、、

1. 岡本大和
ICML2019＠Long Beach
参加速報(5~6日目 Workshop)

2. はじめに
 本資料はICML’19の様子をお伝えするための資料です
 どこでどんな研究がされているのかメモしたインデック
ス用途を目指しています
 深い理解を希望する方は論文と動画が公式サイトから
公開される（はず）なのでそちらをご覧ください
つまるところ師匠のマネをしたかっただｋ

3. ICML2019 開催概要
International Conference on Machine Learning 2019
・Tutorial (6/10)
・Conference Session (6/11~6/13)
・Workshop (6/14~6/15) ←ここ
昼食時のキッチンカーの様子、めっちゃくちゃ混んでます
ロブスタータコスおいしかった

4. Workshopの様子
ゲスト講演やらポスター発表やら盛りだくさん
休憩時間にはポスターを眺められる仕様、楽しい

5. Batch Normalization is a Cause of Adversarial
Vulnerability
• とりあえずBatch Normって風潮があるけど実際どうなの？というのを
検証した論文
• 特定の条件下（NoisyだったりDeep過ぎたりするとき）にBatch Norm
を使わない方が精度が良かったと報告
• タスク設定だったりとかで要素が複合的過ぎるので安易にこれで判断は
出来ないが、有効とされている手法について一度疑ってみて、有効条件
を明確化しようという研究は必ず必要とされると思う
• However, it also reduces robustness
to small adversarial input
perturbations and noise
by double-digit percentages,
as we show on five standard datasets.
• Furthermore, substituting weight decay
for batch norm is sufficient to nullify
the relationship between adversarial
vulnerability and the input dimension.
資料：https://arxiv.org/pdf/1905.02161.pdf

6. Predicting the accuracy of neural networks
from final and intermediate layer output
• モデル中間層の挙動を見て『モデルの識別結果が正しいか誤りか』を予
測出力するモデルを提案
• こういうのって、だいたい『正誤判定するモデルの正誤判定は？』とい
いう点が疑問になって収束しない印象がある
• しかし、ImageNetを除いた定番タスクならば、そこそこの性能で正誤
判定できていた

7. Building and Structuring Training Sets for
Multi-Task Learning (Alex Ratner)
• モデル設計はもうええから、もっとデータの工夫しようぜという話
• Labeling、Augmentation、さらにはSlicingの３つが重要だと述べた
• 詳しくは下記サイトで勉強しましょう（帰国したら読もう）
• https://dawn.cs.stanford.edu/2019/06/15/superglue/

8. Domainwise Batch Normalization
for Unsupervised Domain Adaptation
• SourceドメインとTargetドメインに対して別々にパラメタを設けて
Batch-Normをかける
• ドメインごとに白色化を試みる、つまり、分布を重ねようとしているこ
ととイコールなので、DomainAdaptation効果があるのも頷ける
• これ以外にも様々な工夫やLOSSが組み込まれていたので、単体での効
果がどれほどなのか不明（そこを明確にしてほしかったな…）
資料：https://arxiv.org/pdf/1906.03950.pdf

9. FineGAN: Unsupervised Hierarchical Disentanglement
for Fine-Grained Object Generation and Discovery
• Conditional-GANを階層的にくっつけたような印象
• 前景と背景と領域指定マスクを生成するGeneratorをそれぞれ用意
• Real/Fakeやmutual-info、背景か前景かの敵対学習など、かなり学習
が複雑な様子
• データセットを上手に作らないとうまく学習できないと感じた
資料：https://arxiv.org/pdf/1811.11155.pdf

10. Understanding Adversarial Robustness
Through Loss Landscape Geometries
• Adversarial augmentationはロバスト性向上に効果的と言われるが、
よく検証したらそうでもなかったという話（ﾅ､ﾅﾝﾀﾞｯﾃｰΩ Ω Ω ）
• 正確にはLOSS空間を平滑化する効果はなさそうという結論
• もっと工夫した新しいAdversarial Train手法が必要と主張している
資料：https://cvcops19.cispa.saarland/pdfs/38-understanding-adv-robustness.pdf

11. Learning to Predict Without Looking Ahead:
World Model Without Forward Prediction
• 人間はあらゆるものを知覚しているわけではないという仮説から、外界
からの刺激を元に外界世界をシミュレートする”World Model”を構築する
• ”World Model”は外界世界の抽象表現を獲得し、潜在空間にて未来状態を
予測し、最適行動選択をする。これをVAEやRNNによって実現していた。
• 確率pで実環境か抽象表現のどちらかを観測するObservational Dropout
を新規提案。
• 直感的な理解としては、抽象表現＝自分が想像した環境なので、確率ｐ
で観測される実環境とのGAPを埋めようと勝手に学習してくれる寸法。
 In doing so, we can coerce an agent into learning a world model
to fill in the observation gaps seen during reinforcement learning
without having to explicitly train the world model via teacher forcing.

12. おまけ
ICML’19のレセプション怪しくね？