Empfohlen
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Ähnlich wie 論文紹介：Grad-CAM: Visual explanations from deep networks via gradient-based localization
Ähnlich wie 論文紹介：Grad-CAM: Visual explanations from deep networks via gradient-based localization (20)
Kürzlich hochgeladen
Kürzlich hochgeladen (12)
論文紹介：Grad-CAM: Visual explanations from deep networks via gradient-based localization
- 1. Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization
- 2. 紹介論文 • Ramprasaath R. Selvaraju, Michael Cogswell, Abhishek Das, Ramakrishna Vedantam, Devi Parikh Dhruv Batra • “Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization” • The IEEE International Conference on Computer Vision (ICCV), 2017, pp. 618-626 2
- 3. 概要 • 畳み込みニューラルネットワーク（CNN）の判断に 視覚的な “説明” を与えるGrad-CAMを提案 • 従来手法よりも広い範囲のモデルに適用可能であり， 妥当な説明が得られることを実験により示した 3
- 4. 研究背景 • 畳み込みニューラルネットワーク（CNN） – 画像認識タスクで高い性能を発揮 – 判断の過程が不透明 • なぜそう判断したのか？ • 誤った判断をした場合に原因の推察が困難 • 精度と透明性はトレードオフの関係 – 例：ルールベース ↔ 深層学習 • ユーザが信頼できる知的システムを構築するためには 精度と透明性の両立が不可欠 4 目的：CNNの判断の根拠を可視化すること
- 5. 従来研究 • Class activation mapping (CAM)[1] – CNNがどこを見たかを可視化 – 画像単位のラベルから物体の場所を特定する – 可視化ができるようにモデルを改変する必要性あり →モデルの性能が下がる – 提案手法はこれを拡張したもの • Guided backpropagation[2] – 出力の勾配を可視化 – 後述 5 [1] Zhou, Bolei, et al. "Learning deep features for discriminative localization." Computer Vision and Pattern Recognition (CVPR), 2016 IEEE Conference on. IEEE, 2016. [2] Springenberg, Jost Tobias, et al. "Striving for simplicity: The all convolutional net." arXiv preprint arXiv:1412.6806 (2014).
- 6. 提案手法(1) Grad-CAM (Gradient-weighted Class Activation Mapping) • 出力ニューロンに大きく影響（勾配）を与えた 部分を可視化する • 上位層の特徴マップを利用 – 画像の抽象的な特徴が抽出されている →画像の意味的な構造を捉えた可視化が期待できる (class-discriminative) 6
- 7. 提案手法(2) 分類モデルでの例（画像がクラスcに分類） 1. 特徴マップAの各チャンネルkの重みを算出 – クラスcのスコアycの勾配の平均値 2. Aの各チャンネルの重み付き和として可視化 7 正の影響を与えた部分 のみを見るため Z=W×H: 特徴マップサイズ ※他のタスクであっても出力ニューロンから誤差逆伝播を行うことで 可視化を行う
- 8. 局所性の評価 Grad-CAMの可視化の性能を物体検出タスクとして評価 • ImageNet localization challenge – 画像のラベルと物体の領域を同時に予測するタスク 1. 画像分類を学習済みのモデル （VGG-16）で画像のクラスを予測 2. Grad-CAMにより可視化（ヒートマップ） 3. 最大値の15%以上の値を持つ領域の内， 最大面積の領域を囲む矩形を評価 – Top-1とTop-5のエラー率で評価 8 猫
- 9. 評価尺度 準備 • モデルの予測 – クラス：ci (i=1,…,5) （確率が高い順） – 矩形領域：bi (i=1,…,5) • 画像のラベル – クラス：Ck (k=1,…,n) – 矩形領域：Bkm (m=1,…,Mk) エラー率 9 n: 画像のラベル数 Mk: 画像中のクラスCkの物体の数 (biとBkmの重複が50%以下) クラス分類 クラス分類＋領域 Large Scale Visual Recognition Challenge 2014 (ILSVRC2014), http://image-net.org/challenges/LSVRC/2014/index
- 11. データセットのバイアスの除去(2) Grad-CAMによる可視化 • 顔や髪型を主に見て判断 – 女性医師を看護師に，男性看護師を医師に誤分類が多く起きている – 画像検索エンジンから収集したデータセットに バイアスがかかっていた （医師画像の78%が男性，看護師画像の93%が女性） 11 ラベル：看護師 予測：看護師 ラベル：医師 予測：看護師 医師＝男性，看護師＝女性という誤ったバイアスを学習
- 12. データセットのバイアスの除去(3) 2. データセットに女性医師と男性看護師の画像を 追加（総数は変えない）して同様に学習 →テストデータに対する正解率が向上（90%） – 服装や聴診器など，適切な観点で判断するようになった 12 ラベル：看護師 予測：看護師 ラベル：医師 予測：医師 データセットのバイアスを見つけ，除去することで 正しい学習ができた
- 13. Grad-CAMの改良 • Grad-CAMの課題： 「どこを見たか」が分かるが「何を見たか」は分からない – 上位層の特徴マップを用いるため，抽象的な領域情報しか残らない – 入力画像レベルでの，判断に寄与した具体的な特徴を知りたい • Guided Backpropagation (GBP) – 出力に寄与した入力画像の特徴を可視化する手法 – 入力画像と同等の画質での可視化 – 下位層（抽象度が低い）を見るため被写体の構造が反映されない （class-discriminativeでない） 13 Guided Backpropagationとの組み合わせ (Guided Grad-CAM)
- 14. Guided Backpropagation (1) • 誤差逆伝播の際に正の勾配をもつ活性のみを逆伝播する →関係のある特徴が可視化 14 Forward Backpropagation Guided Backpropagation 微分
- 16. Guided Grad-CAM 1. Grad-CAMをGBPのマップと同サイズに拡大 2. GBPのマップとの要素ごとの積をとる 16判断に寄与した領域と特徴を同時に可視化 ＝ 「猫」 Grad-CAMGBP
- 17. 可視化の妥当性の評価 人が見ても妥当な可視化が行えているかどうかを評価 • 2種類の物体が写っている画像を提案手法・既存手法で 可視化 – 妥当な可視化が行われていれば 特定のクラスの物体のみが可視化される (class-discriminative) • アンケートにより評価 • 実験設定 – モデル：VGG-16 – 画像：90枚 – アンケート人数：43人 17
- 18. 可視化の妥当性の評価 18 • 可視化された画像から人間が正しいクラスを選択できた割合 手法 スコア [%] Deconvolution 53.33 Guided Backpropagation 44.44 Deconvolution Grad-CAM 61.23 Guided Grad-CAM 61.23 提案手法はより良い可視化が行えている
- 19. 信頼性の比較(1) 同じ予測に2つの “説明” が与えられたときに どちらのモデルが信頼できるか？ • 2つの学習済みモデルを使用 – AlexNet, VGG-16 – VGG-16の方が分類精度が高いことが知られている • 同じ画像に対して2つのモデルでGuided Grad-CAMによる 可視化を行う – モデルの精度の差の影響を除くために両方のモデルが 正解した画像を使用 – どちらの可視化がより信頼できるかを54人のアンケートにより評価 • 5段階評価 (-2, -1, 0, +1, +2) 19
- 20. 信頼性の比較(2) 20
- 21. 信頼性の比較(3) • 可視化された説明のみから汎化性能の高いモデルが 選ばれた 21 提案手法により良い説明を得られるモデルは汎化性能が高い 手法 平均スコア Guided Backpropagation 1.00 Guided Grad-CAM 1.27
- 23. まとめ • まとめ – Grad-CAMは特徴マップを勾配で重み付けして可視化 – GBPと組み合わせることで更に詳しい根拠を可視化 – 誤判断の定性的な分析が可能になる • 感想 – ネットワーク構造によらず可視化できるのがGrad-CAMの 特長だったが，可視化に求める精度によっては制約を受けそう – 眼底画像で定量的評価を行うには？ – 良い可視化がされている⇒汎化性能が高い とすれば Grad-CAMに制約を加えることで性能を高められる？ 23