Global Refinement of Random Forest

1. Global Refinement of Random Forest
@51Takahashi

2. 自己紹介
CVPR2015読み会
2
• さのまる
• @51Takahashi
• 専門は顔の画像処理

3. 著者紹介
CVPR2015読み会
3
• S. Ren, Xudong Cao, Yichen Wei, Jian Sun
– MSRAのすごいひとたち

4. 著者紹介
CVPR2015読み会
4
• S. Ren, Xudong Cao, Yichen Wei, Jian Sun
– MSRAのすごいひとたち
• Jian Sunの研究グループの論文紹介(◎は勉強会で発表あり)
– Deep learning
– Delving deep into rectifiers: Surpassing human-level performance on ImageNet
classification(arXiv2015)
– Convolutional neural networks at constrained time cost(CVPR2015)
– 近似最近傍探索
– Sparse projections for high-dimensional binary codes(CVPR2015)
– Optimized product quantization(TPAMI2014, CVPR2013)
– Joint inverted indexing(ICCV2013)◎
– 手指姿勢推定
– Cascaded hand pose regression(CVPR2015)
– Realtime and robust hand tracking from depth(CVPR2014)
– 顔特徴点検出
– Face alignment at 3000 fps via regressing local binary features(CVPR2014)◎
– Face alignment by explicit shape regression(IJCV2014, CVPR2012)◎

5. 概要
Global refinement of random forest
• 何の研究？
– ランダムフォレスト(分類・回帰)
• 何したの？
– 学習済ランダムフォレストのリファインメント手法を提案
• 提案手法は？
– ランダムフォレストをSVMまたはSVRとして扱います
– いらない枝を刈ります
• どうなったの？
– 高精度になりました
– 超省メモリになりました
– 速さは不明
CVPR2015読み会
5

6. 分類問題
• 分類したいデータを二分木に入力 ⇒ 結果 1(正例)
木
CVPR2015読み会
6
1 -1 -1 1

7. 分類問題
• 分類したいデータをランダムフォレストに入力 ⇒ 結果 1(正例)
ランダムフォレスト
CVPR2015読み会
7
-1 1 -1 1 1 -1 -1 1 -1 1 -1 1
Ave 0.33

8. ランダムフォレスト？
CVPR2015読み会
8
0 1 0 0 0 0 0 1 0 0 1 0
発想の転換
• ランダムフォレストってバイナリ特徴と重みの積和だよね
-1 1 -1 1 1 -1 -1 1 -1 1 -1 1
Ave 0.33

9. ランダムフォレスト？
CVPR2015読み会
9
0 1 0 0 0 0 0 1 0 0 1 0
発想の転換
• ランダムフォレストってバイナリ特徴と重みの積和だよね
Q. 構造そのままで重みを変えるだけで精度上がるのでは？？
-1 1 -1 1 1 -1 -1 1 -1 1 -1 1
Ave 0.33

10. ランダムフォレスト？
CVPR2015読み会
10
0 1 0 0 0 0 0 1 0 0 1 0
発想の転換
• ランダムフォレストってバイナリ特徴と重みの積和だよね
Q. 構造そのままで重みを変えるだけで精度上がるのでは？？
A. そもそもこの問題解くのSVMでいいじゃん
– 特徴量はスパースだから、liblinear使うとうまく解ける
-1 1 -1 1 1 -1 -1 1 -1 1 -1 1
Ave 0.33

11. Global pruning
• なんだか重みが小さな枝がある・・・
Q. 重みの小さな枝はどうする？？
その後
CVPR2015読み会
11
-1 0 -2 3 0 0 -2 1 -1 3 -4 1

12. Global pruning
• なんだか重みが小さな枝がある・・・
Q. 重みの小さな枝はどうする？？
A. 重みのノルムが下位10%の枝は刈り取ってしまおう
その後
CVPR2015読み会
12
-1 0 -2 3 0 0 -2 1 -1 3 -4 1
1 3.6 0 2.2 3.2 4.1

13. Global pruning
• なんだか重みが小さな枝がある・・・
Q. 重みの小さな枝はどうする？？
A. 重みのノルムが下位10%の枝は刈り取ってしまおう
その後
CVPR2015読み会
13
-1 0 -2 3 0 0 -2 1 -1 3 -4 1
1 3.6 0 2.2 3.2 4.1

14. Global refinement of random forest
1. SVMを使って重みを再学習
2. 重みのノルムが下位10%の枝は刈り取る
3. 1と2を終了条件を満たすまで繰り返す
終了条件
A. 最もいい結果が得られたところで終了(Accurate)
E. 元のランダムフォレストと同じ性能になったら終了(Economic)
提案手法まとめ
CVPR2015読み会
14

15. 結果の簡単な例
CVPR2015読み会
15

16. 評価実験
実験1：ベンチマーク
• MNISTなどのベンチマーク問題
• 分類5種類・回帰5種類
• 比較手法
– Alternating decision forest(ADF)[Schulter+, ICCV2013]
実験2：Kinect部位認識
• Kinectを使った20クラス分類問題
• 特徴量：2点間の差分特徴量
• 学習/テストデータ：デプス画像2000枚/500枚
実験3：顔年齢推定
• MORPH顔画像データセットで年齢を推定する回帰問題
• 特徴量：PCAで次元削減したLBP特徴量
• 学習/テストデータ： 顔画像10000枚/45134枚
CVPR2015読み会
16

17. 実験1：ベンチマークの詳細
CVPR2015読み会
17

18. 実験1：ベンチマークの結果
CVPR2015読み会
18
条件Aは高精度！・条件Eはコンパクト！

19. 実験2：Kinect部位認識の結果
CVPR2015読み会
19

20. 実験3：顔年齢推定の結果
• 作者の言い分
– [16]は顔特徴点検出したりしてtask-specificな手法だから高精度
– [6]と[15]はサブセットの結果だからちょっと違う
CVPR2015読み会
20
[Hu+, ICB2013]
[Chang+, CVPR2011]
[Guo+, CVPR2011]

21. リファインメント前後の比較
CVPR2015読み会
21
before

22. リファインメント前後の比較
CVPR2015読み会
22
after

23. リファインメント前後の比較
CVPR2015読み会
23
after
before

24. まとめ
Global refinement of random forest
• 何の研究？
– ランダムフォレスト(分類・回帰)
• 何したの？
– 学習済ランダムフォレストのリファインメント手法を提案
• 提案手法は？
– ランダムフォレストをSVMまたはSVRとして扱います
– いらない枝を刈ります
• どうなったの？
– 高精度になりました
– 超省メモリになりました
– 速さは不明
CVPR2015読み会
24