2019/04/19 Deep Learning JP: http://deeplearning.jp/seminar-2/

1. 1
DEEP LEARNING JP
[DL Papers]
http://deeplearning.jp/
NAS-FPN: Learning Scalable Feature Pyramid Architecture
for Object Detection (CVPR’19)
2019/4/19

2. 書誌情報
• NAS-FPN: Learning Scalable Feature Pyramid Architecture for
Object Detection
• Golnaz Ghiasi, Tsung-Yi Lin, Ruoming Pang, Quoc V. Le
• Google Brain
• CVPR’19
• https://arxiv.org/abs/1904.07392
• FPN (Feature-Pyramid Network) に対するNASの適用
2019/4/19 2

3. Neural Architecture Search (NAS)
• ネットワークアーキテクチャの自動設計
• 探索対象
­ レイヤーの種類
­ レイヤー数
­ パラメータ数
­ …
• なんでもかんでも探索するのは難しいので，いかにいい感じに探索範囲を
定義するかがコツ
2019/4/19 3

4. NASの基本
• Controller RNNでアーキテクチャ
をサンプリング (child network)
• Child networkを訓練
• 訓練結果をもとにコントローラを更新
• コントローラの訓練方法
­ 強化学習
­ 進化計算
­ ベイズ最適化
2019/4/19 4
http://rll.berkeley.edu/deeprlcoursesp17/docs/quoc_barret.pdf

5. NASNet
• CNN向けのアーキテクチャ探索
• 全体の構造は事前に決めておく
• “Cell”の構造を探索
2019/4/19
Cell
CellController RNN 5

6. この研究
• 最近の物体認識では，FPN (Feature Pyramid Network)
をベースにしたものが多い点に注目
• 従来のNASでは対応していなかった，
FPNの全てのcorss-scaleの接続を
カバーする探索空間を定義
• ベースのアーキテクチャとしては
RetinaNetを採用
• コントローラベースのNASで探索
2019/4/19 6
Feature Pyramid Networks for Object Detection (CVPR’17)

7. 提案手法 (NAS-FPN)
2019/4/19 7
Backbone Network
(ResNet MobileNet ) : multiscale feature
:
FPN
:
:
RetinaNet base

8. 探索方法
• Controller RNNで，”merging cell” を探索
• merging cellの出力は，次回以降の入力の候補になる
• 最後の5つのmerging cellの出力が，feature pyramidの出力となる
2019/4/19 8
merging cell

9. 実装
• Proxy Task
­ 良いFPN構造か判断するために利用
­ backbone: ResNet-10
­ 入力 512x512, 10epoch
­ ~1時間程度の訓練
• Controller
­ RNN, PPO, APがreward
­ 100 TPUs workqueue
­ 8000stepで収束
2019/4/19 9

10. 実験パラメータ
• batchsize 64
• multiscale training (random scale between [0.8, 1.2])
• focal loss α = 0.25, γ=1.6
• weight decay 0.0001
• momentum 0.9
• training 50 epoch / 150 epoch (when using DropBlock)
• learning rate: 0.08, decayed 0.1 at 30 (120) and 40 (140) epochs
­ 入力1280x1280のAmoebaNetのときはcosine learning rate
• COCO 2017 dataset
2019/4/19 10

11. 探索過程
2019/4/19 11
cross-scale
(e.g., high resolution input output feature layer )
feature reuse ( )

12. 最終的な探索結果
2019/4/19 12
( (f) NAS-FPN/16.8AP)

13. 得られたFPN構造の評価
2019/4/19 13
(FPN backbone != backbone)

14. 性能比較
2019/4/19 14
accurate model fast model (for mobile)
FPN

15. 性能比較
2019/4/19 15

16. DropBlockの効果
• BNのあとに3x3のDropBlockを
適用した場合 (右図)
2019/4/19 16

17. Any-time detection
• NAS-FPNは，構造的にFPNの途中の
出力を利用して推論することも可能
(early exit)
• deep supervision有りで訓練した
モデルと，deep supervision無し
で訓練 + early exit したモデル
の精度はだいたい同じ (右図)
2019/4/19 17

18. まとめ
• RetinaNetをベースにFPNにNASを適用
• 新しい点
­ merging cellを使ってcross-scaleな接続を学習可能にした
• 割と既存手法のシンプルな応用
• この辺の話はどんどん増えていきそう
­ データセットを変えるとアーキテクチャに変化があるのか?
­ DARTSなどコントーラを利用しないNASでの応用?
2019/4/19 18