Apr 28, 2016 @ DL Hacks 輪読会 http://arxiv.org/abs/1603.01312 http://deeplearning.jp/workshop/

1. "Learning Physical Intuition of
Block Towers by Example"
@ DL Hacks
2016/04/28
東京大学大学院工学系研究科
技術経営戦略学専攻 松尾研究室
黒滝 紘生
kurotaki@weblab.t.u-tokyo.ac.jp

2. 概要
・Learning Physical Intuition of Block Towers by Example
・Adam Lerer, Sam Gross, Rob Fergus
・Facebook AI Research
・Cited: 1 (Google Scholar)
・http://arxiv.org/abs/1603.01312
・要点
- 「積み木が崩れるかどうか」+「どこに落ちるか」を予測させるタスク
- ゲームエンジン内で、大量の積み木パターンを生成して学習/実験
- さらに、実世界の実験データでも良い結果を得た
- 人間並みの予測結果を得た
- フレームワーク(UETorch)を公開した
2

3. タスク1/2
・左: ゲーム内に生成した積み木 右:実世界の積み木
これが、支えを外したとき、下図のように崩れるか否かを予測する。
3

4. タスク2/2
・上: ゲーム空間内で、積み木が崩れる様子(1秒ごと)
下: この積み木の動作に対応する「マスク」。
・初期状態の画像だけから、このマスクを予測する。
4

5. 結果の様子 1/2
・上が正しいマスク、下がモデルによる(0秒時点での)予測。
多くのケースでは正しく予測できている。(論文)
5

6. 結果の様子 2/2
・上が正しいマスク、下がモデルによる(0秒時点での)予測。
予測が難しいケースもある。
6

7. 選んだ理由
・ドワンゴのハッカソンに行ってきた (Webページにて説明)
・「類似研究も出ている」とおっしゃっていたので、発掘してみた
7

8. 補足
・もう一つ、もっと行動学習っぽい論文が見つかった
・こっちはQ学習 + Minecraftを扱ってる
・Exploratory Gradient Boosting for Reinforcement Learning in Complex Domains
・David Abel, Alekh Agarwal, Fernando Diaz,
Akshay Krishnamurthy, Robert E. Schapire
・http://arxiv.org/abs/1603.04119
8

9. Contents
9
1. Introduction
2. Methods
3. Results
4. Discussion

10. 1. Introduction 1/3
・実世界での物理的な常識や直感を学習させたい
・ディープで生データから、高レベルの物理的常識の学習に成功した研究はない
・ロボットの利用も一つの方法だが、ここではゲームエンジンを使った
- ゲームエンジンは、確立した物理シミュレーション+行動環境としても使える。
- エンジン"Unreal Engine 4"の内部スクリプトはLuaで書ける。
そこで、このエンジンに、TorchのDeep Learningコードを組み込んだ。
- (注)この研究では、行動学習そのものは行っていない
・「積み木が崩れるか否か?」「積み木が最後どこに行くか?」の2つを学習させた
10

11. 1. Introduction 2/3
・提案手法ネットワークの"PhysNet"は、以下の既存手法を組み合わせている
(後述)
- ResNet-34 (共通部分)
- Googlenet (落下判定)
- DeepMaskのアレンジ(マスク予測)
11

12. 1. Introduction 3/3
【貢献】
・Convnetによる、静的安定性の予測
- 実世界の積み木についても汎化できた
- 訓練時に見なかった、新たな物理的状況にも汎化できた。
・力学的な予測
- 積み木が落ちる軌跡も予測できた。
- 加速度や運動量を捉えたといえる。
・人間の被験者との比較
- 実データでは同じぐらい、(ゲーム内の)人工データでは上回った。
- 人間の判断と、高い相関をもっていた。
・フレームワークUETorchの公開
- オープンソースで無料公開
12

13. Contents
13
1. Introduction
2. Methods
3. Results
4. Discussion

14. 2.1 UETorch
・Unreal Engine4 (UE4)のゲームループに直接組み込まれた、
Lua/Torchの機械学習環境
・Luaはゲームスクリプトの代表的言語なので、相性がよい
・スクリーンショット、セグメンテーションマスク、opticalフロー、
ゲームの入力操作などの機能もつけた
・http://github.com/facebook/UETorch
14

15. 2.2 Data Collection
・人工データ
- (UETorch内で、)2〜4個の色ブロックをランダムに置いた
- 場所、回転、カメラの位置、背景、光源などもランダム
- 8フレーム/秒でスクリーンショットを記録
- 全部合わせて180,000シミュレーション(積み木の個数などはバランス取った)
- そのうち12,288シミュレーションは、テストデータ
・実世界データ
- 4つの積み木に色を塗り、白い背景においた
- 初めは棒で上側をおさえているので、崩れない。
棒を離すと、崩れたり崩れなかったりする。
- その様子をカメラ動画として撮った。
- 合わせて493例ができた
15

16. 2.3 Human Subject Methodology
・10人の人間の被験者をよんで、同じ実験をやってもらった (数は減らした)
- 人工データと実データの両方
16

17. 2.4 Model Architectures
・図は、提案手法の"PhysNet"
・上の分岐がマスク予測 (ResNet34 + DeepMaskのアレンジ)
下の分岐が落下予測 (ResNet34 + Googlenet)
・マスクセグメンテーションから、マスクの未来予測へとアレンジ。
17

18. 2.5 Evaluation
・落下予測の評価は、予測精度で行った。
また、「特定のブロック高さを抜いて学習」→「抜いて置いた高さでテスト」の
転移学習の評価も行った。
・マスク予測は、「mean mask IoU」およびピクセル毎の対数尤度
IoU = intersection over union
(マスク2色が被ってしまってるピクセル数) / (2色を合わせたピクセル数)
18

19. Contents
19
1. Introduction
2. Methods
3. Results
4. Discussion

20. 3.1 Fall Prediction Results 1/3
・落下予測の精度
・Googlenetを、Imagenetでpretrainingすると、
実世界データでの精度が向上することに注目。人工データは変わらない。
20

21. 3.1 Fall Prediction Results 2/3
・画像の一部を、ガウシアンノイズでぼやかす。
→画像のどの部分が、予測に効いているのか知りたい。
・図Aはかけたノイズの様子。
・図B-Dで、
- 緑のヒートマップの部分を隠すと、
「落ちる」の確信度が増加。
- 赤のヒートマップの部分を隠すと、
「落ちる」の確信度が減少。
・Bの不安定そうな部分を隠すと、
「落ちる」と思いにくくなる。
青/緑ブロックの接地面の
不安定さを認識している、と取れる。
21

22. 3.1 Fall Prediction Results 3/3
・人間との比較。 赤: 人間 青: 提案モデル(PhysNet)。
・人工データでは上回り、実世界データでも並んだ。
・相関係数の比較において、人間-PhysNetが、人間-正解よりも近かった。
22

23. 3.2 Mask Prediction Results
・マスク予測の精度
23

24. 3.3 Evaluation on Held-Out Number of Blocks 1/2
・ブロック {3個 or 4個}のパターンを抜いて学習させたネットワークを、
抜いた個数パターンでテストした結果。(青い部分が、学習しなかったパターン)
・学習しなかったパターンの精度は落ちたが、やはり人間と比較できる。
24

25. 3.3 Evaluation on Held-Out Number of Blocks 2/2
・ブロック {3個 or 4個}のパターンを抜いて学習させたネットワークを、
抜いた個数パターンでテストしたときのマスク。
25

26. Contents
26
1. Introduction
2. Methods
3. Results
4. Discussion

27. 4. Discussion
・ボトムアップのCNNで、人間レベルのブロック予測ができた。
・Imagenetでpretrainingしていれば、実世界の画像にも汎化/対応できる。
・訓練で見てないタワーの高さにも対応できるので、
物理法則を捉えていると言えそうだ。
・UETorchは、他の機械学習の実験にも有用なはず。
27