ICML2016読み会 概要紹介

Kohei Hayashi
Kohei HayashiPost-doc researcher um The University of Tokyo
ICML2016読み会 概要紹介
自己紹介
• 2016年4月~:産総研AIセンター研究員
– @hayasick
• 専門:
機械学習・データマイニング∩!深層学習
• 今年のICMLでの成果:
– Masaaki Imaizumi, KH
Doubly Decomposing Nonparametric Tensor
Regression (本会議)
– Satoshi Hara, KH
Making Tree Ensembles Interpretable (解釈性WS)
Best paper runner-up
ICML: International Conference of
Machine Learning
• NIPSに次ぐ機械学習の国際会議
– NIPS >= ICML > AISTATS > 他 (※個人的イメージ)
• 母体:The International Machine Learning
Society
• 今年で33年目
基本情報
• 開催日:6月19 – 24
– 9 チュートリアル
– 5 パラレルセッション +
1 ポスターセッション
– 23 ワークショップ
• 場所:ニューヨーク
– タイムズスクエアの隣
指数増加!
トレンドの分析
トピックごとの盛り上がり
#ofAcceptedPapers
ディープラーニングとそれに必要な
最適化が伸びている
ディープラーニング
• 去年に比べてさらに伸びている
– 17 セッション,57 論文!
• 去年の25本から倍以上
• 採択数の増分(322-270=52)の半分を占める?
– 2 ベストペーパー (3本中)
• Dueling Network Architectures for Deep RL (Google/Deepmind)
• Pixel Recurrent Neural Networks (Deepmind)
– 3 ワークショップ
– 3 チュートリアル
• 内容はこの読み会で!
最適化
• 非凸最適化
– 7+ papers (Ctrl-S), 1 tutorial, 1 workshop
• ハイパーパラメータの最適化
– 3+ papers, 1 workshop (AutoML)
ディープラーニング以外のトピック
• 従来のトピックも堅実に推移
– 特徴選択・スパース学習がやや落ち込む?
現地で感じたこと(1)
• 企業の参加者が多かった印象
– アカデミアの研究者の数はそこまで増えないはず
– 倍増した参加者のほとんどは企業関係?
• 倍増の要因は場所(NY)も大きく関係?
– 機械学習は米が中心
-> 研究者が来やすい
現地で感じたこと(2)
• 企業ブースも相変わらず充実
– 基本的にはリクルート目的
• DLブームはもう1~2年は続きそう
– 流行りのパターン:
• 性能・応用がすごいのが出てくる
->理論解析が進む
->やることがなくなる,のサイクル
– DLはまだ理論面が進んでいない
論文チャンス?
• 日本からDL論文を出せないか?
– 残念ながら本会議では0
• DLは性能・応用重視
– 意味のある応用,実際に必要な応用
– 試行錯誤のため{マン,マシン}パワーが重要
インダストリが得意
• ただし「面白ければ通る」というわけでもない
– トップ会議に通すための「作法」
– ストーリー,ロジック,網羅的な実験
アカデミアが得意
インダストリ+アカデミアで
何かできないか?
まとめ
• ICML史上最大の参加者
• ディープラーニングの伸びはまだ続きそう
Thank you!
Photos
• @mpd37, @MaryanMorel, @_beenkim,
@jkomiyama_, @GPUComputing, @fabmilo,
@f_negibozu
1 von 15

Recomendados

NIPS2017概要 von
NIPS2017概要NIPS2017概要
NIPS2017概要Shohei Hido
4.3K views11 Folien
論文紹介 Pixel Recurrent Neural Networks von
論文紹介 Pixel Recurrent Neural Networks論文紹介 Pixel Recurrent Neural Networks
論文紹介 Pixel Recurrent Neural NetworksSeiya Tokui
22.2K views21 Folien
Icml読み会 deep speech2 von
Icml読み会 deep speech2Icml読み会 deep speech2
Icml読み会 deep speech2Jiro Nishitoba
7.9K views40 Folien
Dropout Distillation von
Dropout DistillationDropout Distillation
Dropout DistillationShotaro Sano
6.2K views17 Folien
Estimating structured vector autoregressive models von
Estimating structured vector autoregressive modelsEstimating structured vector autoregressive models
Estimating structured vector autoregressive modelsAkira Tanimoto
4.1K views23 Folien
Meta-Learning with Memory Augmented Neural Network von
Meta-Learning with Memory Augmented Neural NetworkMeta-Learning with Memory Augmented Neural Network
Meta-Learning with Memory Augmented Neural NetworkYusuke Watanabe
14.7K views39 Folien

Más contenido relacionado

Destacado

次世代の AI とディープラーニング GTC 2017 von
次世代の AI とディープラーニング GTC 2017次世代の AI とディープラーニング GTC 2017
次世代の AI とディープラーニング GTC 2017NVIDIA Japan
1.5K views15 Folien
Chainer v2 alpha von
Chainer v2 alphaChainer v2 alpha
Chainer v2 alphaSeiya Tokui
13.1K views15 Folien
NVIDIA GPU 技術最新情報 von
NVIDIA GPU 技術最新情報NVIDIA GPU 技術最新情報
NVIDIA GPU 技術最新情報IDC Frontier
3.5K views43 Folien
HPCとAIをつなぐGPUクラウド von
HPCとAIをつなぐGPUクラウドHPCとAIをつなぐGPUクラウド
HPCとAIをつなぐGPUクラウドHPC Systems Inc.
2.7K views18 Folien
GTC 2017 さらに発展する AI 革命 von
GTC 2017 さらに発展する AI 革命GTC 2017 さらに発展する AI 革命
GTC 2017 さらに発展する AI 革命NVIDIA Japan
889 views13 Folien
Facebookの人工知能アルゴリズム「memory networks」について調べてみた von
Facebookの人工知能アルゴリズム「memory networks」について調べてみたFacebookの人工知能アルゴリズム「memory networks」について調べてみた
Facebookの人工知能アルゴリズム「memory networks」について調べてみた株式会社メタップスホールディングス
15.3K views33 Folien

Destacado(20)

次世代の AI とディープラーニング GTC 2017 von NVIDIA Japan
次世代の AI とディープラーニング GTC 2017次世代の AI とディープラーニング GTC 2017
次世代の AI とディープラーニング GTC 2017
NVIDIA Japan1.5K views
Chainer v2 alpha von Seiya Tokui
Chainer v2 alphaChainer v2 alpha
Chainer v2 alpha
Seiya Tokui13.1K views
NVIDIA GPU 技術最新情報 von IDC Frontier
NVIDIA GPU 技術最新情報NVIDIA GPU 技術最新情報
NVIDIA GPU 技術最新情報
IDC Frontier3.5K views
HPCとAIをつなぐGPUクラウド von HPC Systems Inc.
HPCとAIをつなぐGPUクラウドHPCとAIをつなぐGPUクラウド
HPCとAIをつなぐGPUクラウド
HPC Systems Inc.2.7K views
GTC 2017 さらに発展する AI 革命 von NVIDIA Japan
GTC 2017 さらに発展する AI 革命GTC 2017 さらに発展する AI 革命
GTC 2017 さらに発展する AI 革命
NVIDIA Japan889 views
GTC 2017 基調講演からディープラーニング関連情報のご紹介 von NVIDIA Japan
GTC 2017 基調講演からディープラーニング関連情報のご紹介GTC 2017 基調講演からディープラーニング関連情報のご紹介
GTC 2017 基調講演からディープラーニング関連情報のご紹介
NVIDIA Japan11.5K views
Fast and Probvably Seedings for k-Means von Kimikazu Kato
Fast and Probvably Seedings for k-MeansFast and Probvably Seedings for k-Means
Fast and Probvably Seedings for k-Means
Kimikazu Kato1.8K views
Introduction of “Fairness in Learning: Classic and Contextual Bandits” von Kazuto Fukuchi
Introduction of “Fairness in Learning: Classic and Contextual Bandits”Introduction of “Fairness in Learning: Classic and Contextual Bandits”
Introduction of “Fairness in Learning: Classic and Contextual Bandits”
Kazuto Fukuchi2.3K views
Introduction of "TrailBlazer" algorithm von Katsuki Ohto
Introduction of "TrailBlazer" algorithmIntroduction of "TrailBlazer" algorithm
Introduction of "TrailBlazer" algorithm
Katsuki Ohto1.7K views
時系列データ3 von graySpace999
時系列データ3時系列データ3
時系列データ3
graySpace9992.1K views
Learning to learn by gradient descent by gradient descent von Hiroyuki Fukuda
Learning to learn by gradient descent by gradient descentLearning to learn by gradient descent by gradient descent
Learning to learn by gradient descent by gradient descent
Hiroyuki Fukuda2.7K views
Dual Learning for Machine Translation (NIPS 2016) von Toru Fujino
Dual Learning for Machine Translation (NIPS 2016)Dual Learning for Machine Translation (NIPS 2016)
Dual Learning for Machine Translation (NIPS 2016)
Toru Fujino3K views
Conditional Image Generation with PixelCNN Decoders von suga93
Conditional Image Generation with PixelCNN DecodersConditional Image Generation with PixelCNN Decoders
Conditional Image Generation with PixelCNN Decoders
suga935.7K views
Interaction Networks for Learning about Objects, Relations and Physics von Ken Kuroki
Interaction Networks for Learning about Objects, Relations and PhysicsInteraction Networks for Learning about Objects, Relations and Physics
Interaction Networks for Learning about Objects, Relations and Physics
Ken Kuroki2.2K views
InfoGAN: Interpretable Representation Learning by Information Maximizing Gen... von Shuhei Yoshida
InfoGAN: Interpretable Representation Learning by Information Maximizing Gen...InfoGAN: Interpretable Representation Learning by Information Maximizing Gen...
InfoGAN: Interpretable Representation Learning by Information Maximizing Gen...
Shuhei Yoshida4.1K views
Safe and Efficient Off-Policy Reinforcement Learning von mooopan
Safe and Efficient Off-Policy Reinforcement LearningSafe and Efficient Off-Policy Reinforcement Learning
Safe and Efficient Off-Policy Reinforcement Learning
mooopan3.3K views
Improving Variational Inference with Inverse Autoregressive Flow von Tatsuya Shirakawa
Improving Variational Inference with Inverse Autoregressive FlowImproving Variational Inference with Inverse Autoregressive Flow
Improving Variational Inference with Inverse Autoregressive Flow
Tatsuya Shirakawa3.2K views
[DL輪読会]Convolutional Sequence to Sequence Learning von Deep Learning JP
[DL輪読会]Convolutional Sequence to Sequence Learning[DL輪読会]Convolutional Sequence to Sequence Learning
[DL輪読会]Convolutional Sequence to Sequence Learning
Deep Learning JP5.2K views

Similar a ICML2016読み会 概要紹介

Toward Research that Matters von
Toward Research that MattersToward Research that Matters
Toward Research that MattersRyohei Fujimaki
4.9K views19 Folien
IRC セミナー 数字が教えてくれないこと -特許/論文データベース分析入門- von
IRC セミナー数字が教えてくれないこと-特許/論文データベース分析入門-IRC セミナー数字が教えてくれないこと-特許/論文データベース分析入門-
IRC セミナー 数字が教えてくれないこと -特許/論文データベース分析入門-Yasushi Hara
2.8K views122 Folien
Scratch@mit 2016 報告会 von
Scratch@mit 2016 報告会Scratch@mit 2016 報告会
Scratch@mit 2016 報告会Kazuhiro Abe
1.4K views18 Folien
音楽・エンターテインメント x AI (29 Aug 2017) von
音楽・エンターテインメント x AI (29 Aug 2017)音楽・エンターテインメント x AI (29 Aug 2017)
音楽・エンターテインメント x AI (29 Aug 2017)Yuki Abe
1.1K views120 Folien
機械学習モデルの判断根拠の説明(Ver.2) von
機械学習モデルの判断根拠の説明(Ver.2)機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)Satoshi Hara
47.9K views81 Folien
勉強会カンファレンス2011、企業と勉強会 von
勉強会カンファレンス2011、企業と勉強会勉強会カンファレンス2011、企業と勉強会
勉強会カンファレンス2011、企業と勉強会Hiro Yoshioka
1.2K views33 Folien

Similar a ICML2016読み会 概要紹介(13)

IRC セミナー 数字が教えてくれないこと -特許/論文データベース分析入門- von Yasushi Hara
IRC セミナー数字が教えてくれないこと-特許/論文データベース分析入門-IRC セミナー数字が教えてくれないこと-特許/論文データベース分析入門-
IRC セミナー 数字が教えてくれないこと -特許/論文データベース分析入門-
Yasushi Hara2.8K views
Scratch@mit 2016 報告会 von Kazuhiro Abe
Scratch@mit 2016 報告会Scratch@mit 2016 報告会
Scratch@mit 2016 報告会
Kazuhiro Abe1.4K views
音楽・エンターテインメント x AI (29 Aug 2017) von Yuki Abe
音楽・エンターテインメント x AI (29 Aug 2017)音楽・エンターテインメント x AI (29 Aug 2017)
音楽・エンターテインメント x AI (29 Aug 2017)
Yuki Abe1.1K views
機械学習モデルの判断根拠の説明(Ver.2) von Satoshi Hara
機械学習モデルの判断根拠の説明(Ver.2)機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)
Satoshi Hara47.9K views
勉強会カンファレンス2011、企業と勉強会 von Hiro Yoshioka
勉強会カンファレンス2011、企業と勉強会勉強会カンファレンス2011、企業と勉強会
勉強会カンファレンス2011、企業と勉強会
Hiro Yoshioka1.2K views
[Java Day Tokyo 2018]50分で最新技術学習の基礎を身につける(SOMPO Systems Daisuke Nishino) von Daisuke Nishino
[Java Day Tokyo 2018]50分で最新技術学習の基礎を身につける(SOMPO Systems Daisuke Nishino)[Java Day Tokyo 2018]50分で最新技術学習の基礎を身につける(SOMPO Systems Daisuke Nishino)
[Java Day Tokyo 2018]50分で最新技術学習の基礎を身につける(SOMPO Systems Daisuke Nishino)
Daisuke Nishino3.5K views
[DL輪読会]Parity Models: A General Framework for Coding-Based Resilience in ML I... von Deep Learning JP
[DL輪読会]Parity Models: A General Framework for Coding-Based Resilience in ML I...[DL輪読会]Parity Models: A General Framework for Coding-Based Resilience in ML I...
[DL輪読会]Parity Models: A General Framework for Coding-Based Resilience in ML I...
Deep Learning JP655 views
Survey of Scientific Publication Analysis by NLP and CV von Shintaro Yamamoto
Survey of Scientific Publication Analysis by NLP and CVSurvey of Scientific Publication Analysis by NLP and CV
Survey of Scientific Publication Analysis by NLP and CV
Shintaro Yamamoto2.1K views

ICML2016読み会 概要紹介