【DL輪読会】Is it Enough to Optimize CNN Architectures on ImageNet?
•Als PPTX, PDF herunterladen•
0 gefällt mir•331 views
2021/03/26 Deep Learning JP: http://deeplearning.jp/seminar-2/
![1
DEEP LEARNING JP
[DL Papers]
http://deeplearning.jp/
“Is it Enough to Optimize CNN Architectures on ImageNet?”
Naoki Nonaka
2021/3/26](https://image.slidesharecdn.com/210325nonakadl-210326034547/85/DL-Is-it-Enough-to-Optimize-CNN-Architectures-on-ImageNet-1-320.jpg?cb=1616730631)
Empfohlen
Empfohlen
Weitere ähnliche Inhalte
Mehr von Deep Learning JP
Mehr von Deep Learning JP (20)
Kürzlich hochgeladen
Kürzlich hochgeladen (7)
【DL輪読会】Is it Enough to Optimize CNN Architectures on ImageNet?
- 1. 1 DEEP LEARNING JP [DL Papers] http://deeplearning.jp/ “Is it Enough to Optimize CNN Architectures on ImageNet?” Naoki Nonaka 2021/3/26
- 3. 2021/3/26 3 概要 画像分類モデルの性能評価はImageNetデータセットが用いられる 暗黙的に，「ImageNetで性能が良い → 画像分類精度が高い」 実際にはこの仮定が必ずしも成立しないことを実験的に示す ImageNet subsetを使うと問題を低減できることも示した
- 6. 2021/3/26 6 ネットワーク構造: AnyNetXから500パターンをサンプリング AnyNetXによるパラメータ空間からサンプリング Stem, Body, Headの3つの部分からなる StemとHeadは全ネットワークで共通 Bodyに4つのstageが存在し， それぞれd個のブロックが存在 500のネットワーク構造を生成し実験 AnyNetX模式図
- 7. 2021/3/26 7 評価指標: ImageNetに対する相関 (APR) APR: Architecture-performance relationship 1. 同一モデル構造でのテストセットにおけるエラーの散布図を作成 2. Pearsonの相関係数を算出 ImageNetにおけるtest set error 対象のデータセットにおける test set error Pearsonの相関係数
- 8. 2021/3/26 8 データセットごとのAPR: 相関の低いデータセットも存在 Insect, MLC2008, HAM10000, CIFAR-100は相関が高い Concrete, CIFAR-10は相関がほぼない Powerline, Naturalは負の相関 正の相関 相関なし 負の相関
- 9. 2021/3/26 9 データセットごとのAPR: 相関の低いデータセットも存在 Insect, MLC2008, HAM10000, CIFAR-100は相関が高い Concrete, CIFAR-10は相関がほぼない Powerline, Naturalは負の相関 「ImageNetで性能が良い → 画像分類精度が高い」 は必ずしも成立しない
- 10. 2021/3/26 10 データセットごとのAPR: 相関の低いデータセットも存在 「ImageNetで性能が良い → 画像分類精度が高い」 は必ずしも成立しない 予測性能に寄与する素性の探索 モデルの構造（Width/Depth） データセットに含まれるクラス数
- 11. 2021/3/26 11 モデル構造と分類精度の関係分析 500モデルのうち各データセットにおける上位15モデルの構造を分析 Body部分の4stageそれぞれの Bottleneck ratio, block depth, group width, block width の平均値をプロット
- 12. 2021/3/26 12 モデル構造と分類精度の関係分析: ImageNetとの相関と関連 （ImageNetとの）相関係数: 0.891 （ImageNetとの）相関係数: -0.441 類似のパターン 異なるパターン
- 13. 2021/3/26 13 Depthのエラー率に対する影響 モデルの累積Depthとtest set errorの関係をデータセットごとに算出 ImageNet, Insects: 相関なし HAM10000, Natural, Powerline, CIFAR-10: 相関あり 相関なし 正の相関
- 14. 2021/3/26 14 Widthのエラー率に対する影響 モデルの累積Widthとtest set errorの関係をデータセットごとに算出 ImageNet, Insects, HAM10000: 負の相関 Natural, Powerline: 相関なし CIFAR-100: 強い負の相関 負の相関 相関なし
- 15. 2021/3/26 15 Depth/WidthとImageNetとの相関まとめ Dataset vs ImageNet error Depth Width ImageNet - -0.174 -0.437 Insects 0.891 -0.09 -0.37 HAM10000 0.569 0.316 -0.307 Powerline -0.385 0.65 -0.019 Natural -0.441 0.368 0.174 CIFAR-100 -0.616 0.493 -0.53 最適なネットワークの深さと幅は，データセット間で異なる可能性があり， ネットワーク構造の移植性を左右する重要な要素 クラス数が2番目に多い「Insects」は、 APRにおいてもImageNetとの類似性が最も明確
- 16. 2021/3/26 16 クラス数の影響を分析: クラス数が減少→相関が小 ImageNet-X subset ImageNetからランダムにXのクラスを取得し，それクラス以外のデータを削除 Original ImageNet -> ImageNet-1000 例: 5クラスを選択 -> ImageNet-5 クラス数が減少すると相関が小さくなる
- 18. 2021/3/26 18 ImageNet-Xとの相関: クラス数を揃えると相関が高くなる ImageNetとの相関 → ImageNet-Xとの相関 相関の度合いが強くなる
- 21. 2021/3/26 21 予備実験 eCDF: empirical cumulative error distribution 例）10個のモデルのエラー率 → [0.1, 0.1, 0.2, 0.2, 0.2, 0.3, 0.4, 0.4, 0.5, 0.6] eCDF(0.15) = 2/10 = 0.2 eCDF(0.25) = 5/10 = 0.5
Hinweis der Redaktion
- body consists of four stages, each stage i starts with a 1 × 1 convolution with stride si, the remainder is a sequence of di identical blocks.
- architecture-performance relationship (APRs) の評価方法（2 waysって書いてあるけど2step?） test error of every sampled architecture against the test error of the same architecture on ImageNet Pearsonの相関係数を算出
- 上位15モデル@ImageNetを選択 -> 各モデルは4stageのblockに分かれているので、各stageのblock depthを可視化 -> Fig14からBlock depthとblock widthはstageが進むほど大きくなる傾向が見てとれる -> このパターンを他のデータセットで見た場合、ImageNetとの類似性とFig5での相関係数の大小に関連性が見られる
- それぞれのエラーがe_iであるN個のモデルのeCDFの定義 eCDF(x)はエラーがx以下であるモデルの数を返す