Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.

[輪読会]“Learning Loss for Test-Time Augmentation (NeurIPS2020)”

624 Aufrufe

Veröffentlicht am

2020/11/20
Deep Learning JP:
http://deeplearning.jp/seminar-2/

Veröffentlicht in: Technologie
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

[輪読会]“Learning Loss for Test-Time Augmentation (NeurIPS2020)”

  1. 1. DEEP LEARNINGJP [DL Papers] 2020/11/20 1 http://deeplearning.jp/ “Learning Loss for Test-Time Augmentation (NeurIPS2020)” Naoki Nonaka
  2. 2. 目次 • 書誌情報 • 背景 • 提案手法 • 実験 • まとめ 2020/11/20 2
  3. 3. 書誌情報 2020/11/20 3 • 会議︓NeurIPS 2020 • 著者︓ Ildoo Kim, Younghoon Kim et al. (Kakao Brain)
  4. 4. 概要 Test-time augmentation (TTA) の手法を提案した論文 Instanceのlossを予測し,Instanceごとにaugmentationを選択 ImageNet, CIFAR-100を用いた実験により頑健性の向上を示した TTA 推論時にもData augmentation を行い,精度を向上させる手法 2020/11/20 4
  5. 5. 背景  学習時のData augmentation手法が提案され,有効性が示されている  テスト時のdata augmentationも一部で提案されているが,計算効率が悪い テスト時に用いる効率的なdata augmentationを提案 2020/11/20 5
  6. 6. 提案手法 従来のt e s t time augmentation あらかじめ決められたaugme nta tionを 加えた入力ごとの予測の平均 提案手法 Augme n ta tionごとにLos s の大きさを算出し, lossの小さい予測を採用 2020/11/20 6
  7. 7. 提案手法 2020/11/20 7
  8. 8. 提案手法 2020/11/20 8 Θ"#$%&"
  9. 9. 提案手法 1. ネットワークΘ"$#+,"を学習 !"#$%&でパラメータを学習し, !'$(%)で評価 (通常の学習と同じ) Θ"$#+, " !"#$%& !'$(%) !(-../"#$%& !(-../'$(%) 2. ネットワークΘ( - . . を学習するためのデータを準備 !"#$%&を!"#$%&/(-..と!' $( %) /( - ..に分割し,全サンプルのLossを計算 !"#$%& 2020/11/20 9
  10. 10. 提案手法 3. ネットワークΘ"#$$を学習 %&'()*+"#$$でパラメータを学習し, %,(")-+"#$$で評価 Θ"#$$ 2020/11/20 10 SoDeep: a Sorting Deep net to learn ranking loss surrogates Θ&('./& での損失とΘ"#$$による予測損失の間のスピアマン順位相関を損失としてΘ"#$$を学習 Θ&('./& (固定)
  11. 11. 実験 2020/11/20 11 CorruptしたCIFAR-100およびImageNetで実験  CIFAR-100での実験  従来手法とのエラー率の比較  未知のCorruptionの影響分析  ImageNetでの実験
  12. 12. 実験 Benchmarking Neural Network Robustness to Common Corruptions and Perturbations (ICLR2019)  1 5 種類のcorruption (c)を導入  各corruptionは5 段階のseverity (s) 評価指標: Unnormalized average corruption error 2020/11/20 12
  13. 13. 実験  RandomにTest time augmentationを選択する場合と比較して, 全ての条件で低いエラー率  従来手法(Center-Crop, Horizontal-Flip, 5-Crops)と比較して, Corrupted条件で低いエラー率,Cleanでも同程度のエラー率 従来手法と比較して,Corruptionに対して頑健なtest-time augmentation 2020/11/20 13
  14. 14. 実験 学習時のAugme ntation手法やモデル構造を変更した場合にも同様の傾向 2020/11/20 14
  15. 15. 実験 2020/11/20 15 データに含まれるcorruptionの情報を用いた場合の変化を分析  AugMix: AugMixを用いて学習 -> corruptionごとにエラー率を評価  AugMix+: AugMixにNoise, Blur, Weather, Digitalの1 5 種のcorruptionを加えて学習 -> corruptionごとにエラー率を評価  提案手法: AugMixを用いて学習 -> Noise, Blur, Weather, Digitalの1 5 種のcorruptionを加えてLoss predictorを学習 -> corruptionごとにエラー率を評価
  16. 16. 実験 太字: エラー率が1%以上改善 赤字: エラー率が1%以上悪化  AugMix+では,clean test - set でのエラー率が高い  学習時に存在しなかったCorruptionでのエラー率の改善が安定しない  提案手法では,安定してエラー率が低下する傾向が見られる 未知のCorruptionに対して優れた汎化性能を示す 2020/11/20 16
  17. 17. 実験 データに特定のcorruptionが含まれると仮定して実験 (実験2 のより極端な場合)  4 つのBlur corruptionを追加して学習  Loss predictor学習時にも追加 2020/11/20 17
  18. 18. 実験  AugMix, Fast AutoAug: 学習時にBlurを含めるとTest時のエラー率が悪化  提案手法: 学習時にBlurを含めてもTest時のエラー率は悪化しない 学習時のCorruptionに対して頑健なモデルにできる 2020/11/20 18
  19. 19. 実験 従来手法と比較して,Corruptionに対して頑健なtest-time augmentation 2020/11/20 19
  20. 20. 実験 入力データとLossを最小化すると予測されたtransformationの例 2020/11/20 20
  21. 21. まとめ 2020/11/20 21 Test-time augmentationの手法を提案 Tra n sform a tionが適用された場合の損失を予測し, その値をもとに入力に適したtransformationを選択 ImageNet, CIFAR-100において従来手法と比較して頑健性を 向上できることを示した

×