Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.

190602 benchmarking neural network robustness to common corruptions and perturbations

2.794 Aufrufe

Veröffentlicht am

ICLR 2019 読み会 in 京都で登壇する時の資料

Veröffentlicht in: Daten & Analysen
  • Login to see the comments

190602 benchmarking neural network robustness to common corruptions and perturbations

  1. 1. Benchmarking Neural Network Robustness to Common Corruptions and Perturbations 発表者︓ 藤井亮宏@ExaWizards ICLR 2019 読み会 in 京都 Dan Hendrycks, Thomas Dietterich
  2. 2. 自己紹介 • 名前︓ Ø 藤井 亮宏(アキヒロ) • 所属︓ Ø 株式会社 エクサウィザーズ@京都オフィス • 仕事内容 Ø データ解析 Ø Deep learningとか使って⾊々(画像、時系列、医療 etc…) @akihiro_akichan 論⽂の⼀⾔解説とかしてます。
  3. 3. 3行でまとめると • 画像の汚染と摂動に対するネットワークの頑健性を調査 • 上記の頑健性を図るための指標とデータセットを提供 • どのような手法が頑健性に効くのかを調査
  4. 4. 研究背景とか
  5. 5. 画像分類の精度は年々向上している! http://image-net.org/challenges/talks_2017/ILSVRC2017_overview.pdf
  6. 6. 画像分類の精度は年々向上している! AlexNet VGG SENetResNet BirdFoxWhaleIguana
  7. 7. 一方、学習データに存在しない汚染・摂動に対する頑健性 は不明 AlexNet VGG SENetResNet OriginalMotionBlurSnowShotNoise ? ? ? ? ? ? ? ? ? ? ? ?
  8. 8. どれだけ頑健性があるかは重要! 学習データと実運用時のデータが異なることはたまにある。 理想像 現実は⾮情である 使えるデータは⽇ 本のだけ。でも実 運⽤時は⽶国・中 国を含むよ ⽇本・⽶国・中 国での運⽤を想 定。この3ヶ国 のデータを使っ てね いいよOK︕ 弊社顧客 弊社 顧客 実運⽤時のノイズを学習時 にモデルに取り込める 実運⽤時のノイズを学習時 にモデルに取り込めない
  9. 9. どれだけ頑健性があるかは重要! 「とりあえずResNet」はノイズの乗ったテストデータで通用するのか? 学習時と実運⽤時のノ イズが同じ場合 とりあえず「ResNet」 で様⼦⾒ようか 弊社 学習時と実運⽤時のノ イズが違う場合 最初はResNetでいい の︖VGGの⽅が頑健性 ⾼かったりする︖ ?
  10. 10. 頑健性を図る データセットと評価指標
  11. 11. ネットワークの頑健性の測り方 この論文では、画像に汚染と摂動をかけた2つのデータセットを 使って比較する。 汚染に対するデータセット: ImageNet-C 摂動に対するデータセット: ImageNet-P ※学習は通常のImageNetで⾏い、評価を汚染・摂動がかかったデータ セットで⾏う
  12. 12. アルゴリズムを使って自動生成された15種の汚染 x 5段階のレベル で構成されたデータセット 15種の汚染 5段階のレベル 汚染に対するデータセット: ImageNet-Cの内容
  13. 13. 汚染に対するデータセット: ImageNet-Cの評価指標 CEとRelative CEの2つの評価指標でネットワークの頑健性を測る CE(Corruption Errors) Relative CE(Corruption Errors) • 評価対象ネットワークのError rateを AlexNetのError Rateで割ったもの 汚染に対してAlexNetよりどれだ け強くなっているか 綺麗なデータセットとのスコアの差 分が、どれだけAlexNetより良化し ているか s:汚染のレベル c:汚染の種類 s:汚染のレベル c:汚染の種類 • 汚染されていないデータと綺麗なデー タの差分を評価
  14. 14. 摂動に対するデータセット: ImageNet-Pの内容 10種の摂動を30段階以上のレベルで変化させたデータセット 10種の摂動 30段階以上のレベル
  15. 15. 摂動に対するデータセット: ImageNet-Pの評価指標 FRとT5Dの2つの評価指標でネットワークの頑健性を測る FR(Flip Rate) T5D(Top-5 Distance) • FPは全てのデータで予測ラベルが変 わっていれば1を返す。 • 完全に予測ラベルが変わらない(頑健 性が最⾼)ならば0を返す 摂動をかけて予測ラベルが変わ る確率 綺麗なデータセットとのスコアの差 分が、AlexNetより良化しているか 摂動なしの画像 • 綺麗なデータセットでTop5だったラベ ルの⼊れ替わり度を数値化したもの 摂動ありの画像
  16. 16. ネットワークの頑健性 評価結果
  17. 17. 画像汚染に対する結果 • 「綺麗なデータセットでのス コアが⾼さ」と「汚染に対す る耐性」は正の相関関係にあ る。(mCEより) • しかし、綺麗なデータのスコ アと⽐べたときの悪化率は負 の相関関係になっている。 (Relatvie mCEより) ※値が低いほど良い ※100%以上の値=AlexNetより悪化 mCE ︓汚染された画像への強さ Relative mCE︓綺麗なデータのス コアからの悪化率
  18. 18. 画像の摂動に対する結果 綺麗なデータセットのスコアが高いほど、摂動に対する頑健性は高い ※値が低いほど良い mT5D︓予測top5カテゴ リの乱れ
  19. 19. 頑健性に関する知見
  20. 20. 頑健性向上に効果があった手法1 ヒストグラム平坦化 • 輝度が集中している部分をならすことによって画像のコント ラストを調整する⼿法 • ヒストグラム平坦化前処理をしたImageNet-CにResNet-50 を適⽤するとmCEが76.7%→74.5%に改善した 76.7% →74.5% ヒストグラム平坦化の概念図 改善効果
  21. 21. 頑健性向上に効果があった手法2 Multi Scale Networks • 様々な⼤きさにおける情報を使うネットワーク • Multi Grid NetworksとMSDNetはResNet-50に⽐べて⼤きく 改善した。 Multi Grid Networks 改善効果 https://arxiv.org/pdf/1611.07661.pdf https://arxiv.org/pdf/1703.09844.pdf MSDNet ※ただし摂動に対する改善効果は薄い
  22. 22. 頑健性向上に効果があった手法3 Feature Aggregation and Larger Networks • 特徴量を集約するネットワーク、⼤規模なネットワークが良い • 特徴量を集約するResNeXt・DenseNetは改善効果が⼤きい • 摂動に対しても強く、ResNet50→ ResNeXt101でmFDが 58.0%→43.2%、mT5Dが78.3% →65.9%に改善 ResNeXT 改善効果 https://arxiv.org/abs/1608.06993 DenseNet https://arxiv.org/pdf/1611.05431.pdf
  23. 23. 頑健性向上に効果があった手法4,5 Stylized ImageNetで学習させる • 対象となる物体・動物の形状以外にノイズを加えたデータセット • ResNet-50においてmCEが76.7%→69.3%に改善 https://openreview.net/pdf?id=Bygh9j09KX Adversarial sample Defenseを使う • 敵対的サンプルに対する防御⽅法ALPという⼿法を使う • 摂動に対して強く、ResNet-50においてmFPが40%、mT5Dが 41%改善 https://arxiv.org/pdf/1412.6572.pdf 敵対的サンプルの例 頑健性向上に効果があった手法3
  24. 24. 頑健性向上に効果がなかった手法 Stability Training • JPEGの圧縮ノイズを乗せた画像でfine-tuneする。 • mCEが悪化し、mFRが少しだけ改善(58%→57%)という結果 • ImageNet-C, ImageNet-Pは⾊々な汚染・摂動があるため、 JPEG圧縮ノイズだけでは対応できなかったと著者らは推測 Image Denoising • non-local mean Filterで画像で前処理をする • mCEが悪化(76.7%→82.1%)という結果 • ノイズ以外の重要な特徴を取り除いている可能性あり、著者ら はと推測 http://opencv.jp/opencv2-x-samples/non-local-means-filter
  25. 25. 頑健性向上に効果がなかった手法 頑健性向上に効果がなかった手法 10-Crop Classification • 4つ角と中央から画像を切り取り、さらに左右反転をとることにより 頑健性向上を狙う • あまり効果はなかった Simpler Models • 従来から簡単なネットワークの方が頑健性が高い説がある(気がする) • 疎な重みをもつDenseNetであるCondenseNetで実証実験 • 綺麗なデータの精度とmCEが共に悪化。 • 前述の通り、深いネットワークの方が頑健性が高い。
  26. 26. 結論
  27. 27. 3+1行でまとめると • 画像の汚染と摂動に対するネットワークの頑健性を調査 • 上記の頑健性を図るための指標とデータセット 「ImageNet-C」 「ImageNet-P」を提供 • どのような手法が頑健性に効くのかを調査 • 「とりあえずResNet」より「とりあえずResNeXt」

×