4. 背景
特徴量(画像の場合はSaliency map)による説明 サンプルによる説明
自然言語による説明 簡易モデルによる説明
“WT5?! Training Text-to-Text Models to Explain their Predictions”
“Representer Point Selection for Explaining Deep Neural Networks” (NeurIPS'18)
Interpreting CNNs via Decision Trees (CVPR’19)
“RISE: Randomized Input Sampling for
Explanation of Black-box Models” (BMVC’18)
“SmoothGrad: removing noise
by adding noise” (arXiv’17/06)
17. 関連研究2.Linear Approx.
“Investigating the influence of noise and distractors on the
interpretation of neural networks” (NIPS’16 workshop)
※ Pattern/PatternAttribution(ICLR’18)の前身となった研究
𝐾′
𝑔 𝐾′
𝑜𝑢𝑡
𝑥 𝐾′
𝑖𝑛
LRP(Layer-wise Relevance Propagation)による貢献量伝播
18. 関連研究2.Linear Approx.
“Investigating the influence of noise and distractors on the
interpretation of neural networks” (NIPS’16 workshop)
※ Pattern/PatternAttribution(ICLR’18)の前身となった研究
Scaling
IDL
LRP(Layer-wise Relevance Propagation)による貢献量伝播
𝐾′
𝑔 𝐾′
𝑜𝑢𝑡
𝑥 𝐾′
𝑖𝑛
19. 関連研究3.Grad-CAM
“Grad-CAM: Visual explanations from deep networks via
gradient-based localization” (ICCV’17)
ReLU
𝐾′
𝑔 𝑜𝑢𝑡 𝑥 𝑜𝑢𝑡
• Global Average Pooling
• チャンネル方向に和をとる
• ReLUの適用
𝑔 𝑢
𝑜𝑢𝑡
⊙ 𝑥 𝑢
𝑖𝑛
Scaling層における勾配IDL
27. 実験2.単一レイヤのみ vs. 複数レイヤ
Grad-CAMが最終層以外で機能しない理由として
Global Average Poolingの存在を指摘
A: All, D:Difficult
ReLU
𝐾′
𝑔 𝑜𝑢𝑡
𝑥 𝑜𝑢𝑡
• Global Average Pooling
• チャンネル方向に和をとる
• ReLUの適用
𝑔 𝑢
𝑜𝑢𝑡
⊙ 𝑥 𝑢
𝑖𝑛
Scaling層における勾配
Saliency mapの計算法
IDL
Pointing Gameの結果(ResNet on VOC07)
28. 実験2.単一レイヤのみ vs. 複数レイヤ
Saliency methods
• LA : Linear Approx.
• sNG: selective NormGrad
複数レイヤのSaliency mapの統合方法
• 加算(+) or 積(×)
• 重みを以下の4パターンで比較
• Accuracy
• Spread
• Linear
• Uniform
Pointing Gameにおけるスコアの変化(単一レイヤ基準)
29. 実験3.メタ学習あり vs. なし
事前にSGDを1回実行したロスを用いる
Min ClassMax ClassTrue Class
Max classとMin Classの間に
相関が生じてしまっている
上段:メタ学習なし,下段:メタ学習あり
Min classがランダムな情報に置き換わり
Max classとの相関がなくなった
メタ学習