NIPS 2015 概要紹介
⽐⼾将平
Preferred Networks America, Inc.

⾃⼰紹介
l ⽐⼾将平（HIDO Shohei）
l TwitterID: @sla
l 専⾨：データマイニング、機械学習
l 経歴：
l 2006-2012: IBM東京基礎研究所データ解析グループ
l 機械学習のアルゴリズム研究開発（主に異常検知）
l 2012-2014: 株式会社Preferred Infrastructure
l ⼤規模オンライン分散機械学習基盤Jubatusチームリーダー
l 2014-: 株式会社Preferred Networks
l 2015-: Preferred Networks America, Inc. @ シリコンバレー
l Chief Research Officer
l NIPSは2013年に続いてのワークショップ発表&参加
2

NIPS 2015
l 第29回のNIPS
l ICML（32回）に次ぐ伝統
l 期間: 2015年12⽉7〜12⽇
l チュートリアル1⽇
l 本会議3⽇
l ワークショップ2⽇
l 開催地: ケベック州モントリオール
l ほぼフランス語圏
3

⽬次
l NIPSの特徴と構成
l 統計と流⾏りのトピック
l NIPSに集まるヒトとカネ
l NIPSのススメ
4

⽐較: ICML 2015 Main Conference
l 招待講演とベストペーパー以外は6並列セッション
5

NIPSの特徴(1)
シングルトラック
l 頑なに⼤ホール
l アクセプト論⽂の多くは
ポスター発表のみ
l わずか3%程度がOral発表
l 20分
l + 7%程度がSpotlight発表
l 5分
6

「NIPSでオーラル発表しました」の意味
l 招待講演とおなじ⼤ホール、2000+席
7

NIPS特徴(2)
過酷なポスター発表
l 400+件のポスター
l 普通のポスター
セッションは各90-120分
l NIPSは各300分(5時間)
8

夜中12時まで5時間セッション
⽴ちっぱなし x 4⽇連続
l 各⽇約100件ずつ
l 時間で割ると1時間20件
l 1ポスター3分で⾒て回って
やっと全て⾒て回れる
l ポスター会場にはイスを
「絶対に」置かない主義
l ※理解⼒的にも体⼒的にも
全制覇はほぼ無理
9

NIPSの特徴(3) 尖ったワークショップ
l 40種類のワークショップ / 2⽇間 = 20並列開催
l 最先端: Reasoning, Attention, Memory (RAM) Workshop
l マイナー: Quantum Machine Learning, Time Series
l 分野特化: Reinforcement Learning, Computational Biology
l ソフトウェア: Machine Learning Systems
10

ワークショップといえど全く気を抜けないNIPS
l 普通の国際会議
l ワークショップ期間は過疎化
l NIPSは90%くらい⼈が残る感覚
l ただ参加者が偏る＆深層学習⼈気
l 特に混雑：深層強化学習
l 開始30分前に全席が埋まった
l プロジェクタ前に体育座り
l 昨年の反省は⽣かされたか？
l Deep Learning Workshopの爆発
→別⽇のSymposiaに格上げ
11

⽬次
l NIPSの特徴と構成
l 統計と流⾏りのトピック
l NIPSに集まるヒトとカネ
l NIPSのススメ
12

論⽂統計
13
l 投稿数は403/1838、アクセプト率は約22%、⼤きく変わらず
l 最も多いジャンルはディープラーニング（それでも10%）
l ディープラーニング会議ではない（最適化、学習理論、ベイズ…）

トレンド(1) 複雑化するニューラルネットワーク
l 画像認識、⾳声認識タスクのCNNのみでは研究になりにくい
l 1. Recurrent NN (LSTM)やAttentionを⽤いた⼿法
l 2. 複数のデータソースを組み合わせる（例: 画像x⽂章）
l 3. もっと⽬新しいタスクに新しいネットワーク構造を提案する
14
Ladder Network
A. Rasmus et. al. (松元さん発表)
End-to-End Memory Network
S. Sukhbaatar et. al. (海野さん発表)

トレンド(2) 深層学習による⽣成モデル
l DeepDream以降、特に⾃然な画像の⽣成への注⽬
l Ex. Neural Artistic Style (chainer-goghの元論⽂)
l Encode-Decodeに加えてGenerative Adversarial Netが⽬⽴つように
15
Laplacian Pyramid of GAN
E. L. Denton et. al. (濱⽥さん発表)
Deep Visual Analogy-Making
S. Reed et. al.

トレンド(3) 続く深層強化学習の進化
l NIPS2013のDQN論⽂ by DeepMind以来のATARIゲーム中⼼
l Recurrent Netによって時系列性を取り込んで⻑期予測、など
l 物理シミュレーションベースの動作獲得系（UC Berkeley盛ん）
16
Learning Continuous Control Policies by
Stochastic Value Gradients
N. Hees et. al. (DeepMind, 藤⽥さん発表)
Action-Conditional Video Prediction using
Deep Networks in Atari Games
J. Oh+

トレンド(4) ⾮凸最適化
l 深層学習のほとんどは⾮凸最適化であるのにしたがって活発化
l ⾮同期SGDや様々な近似法に関する収束性や性能の話が増加
17
Hessian-Free Optimization for MDRNN
M. Cho et. al. (瀬⼾⼭さん発表)
Asynchronous SGD for Non-convex Opt.
X. Lian+

トレンド(5)
Probabilistic Programming & Inference
l Tutorial on Probabilistic Programming
l Workshop on Approximate Bayesian Inference
l Workshop on Approximate Bayesian Computation
l Workshop on Black-box Optimization
18
Automatic Variational Inference in Stan
A. Kucukelbir et. al. (柏野さん発表)
“A Year of Approximate Inference”
Blog by Shakir Mohamed (DeepMind)

その他雑感
l 流⾏ったarXiv論⽂の確認のような雰囲気もある（特に深層学習）
l 「あれ、この論⽂出たのまだ今年だったっけ…？」
l ⼀⽅arXivに出てないもの、ポスターで初めて認識できるもの
l ポスターセッションで著者に直接質問できるのも参加価値
l Tech giantの圧倒的存在感
l Google > Facebook = Microsoft Research >> Others
l Google DeepMind勢の多さ（100⼈以上来てたらしい）
l それ以外の新しいスタートアップのプレゼンスも増加
l 論⽂発表、スポンサー、デモ、ワークショップ主催など
l OpenAIの設⽴発表（イーロン・マスクらが主導）
l 「⼤学を辞めて⺠間研究所に移ると給料も研究時間も増える」⽪⾁
19

⽬次
l NIPSの特徴と構成
l 統計と流⾏りのトピック
l NIPSに集まるヒトとカネ
l NIPSのススメ
20

NIPS 2015 参加者数: 3,755
l 前年のほぼ1.5倍
l ここ10年、指数的な伸びを続けている
l ⼀⽅、投稿数はそこまで⼤きく増えてはいない
l 研究者が増えたというより
企業や他分野に裾野が広がった
（お⾦の匂いに寄せられて）
21

NIPS 2006 Sponsors (9)
22

NIPS 2011 Sponsors (15)
23

NIPS 2015 Sponsors (41) >> Last year (28)
24

⽬次
l NIPSの特徴と構成
l 統計と流⾏りのトピック
l NIPSに集まるヒトとカネ
l NIPSのススメ
25

論⽂を書こう！＆読もう！→NIPSに参加しよう！
26

NIPS 2016 @ バルセロナ
27
l 北⽶以外ではスペインにしか⾏かないNIPS (2011年はグラナダ)

NIPS 2017 @ ロングビーチ
l 寒冷地を離れ海辺のリゾート地
28