[DLHacks 実装]Network Dissection: Quantifying Interpretability of Deep Visual Representations
•
4 gefällt mir•1,291 views
Deep Learning JP: http://deeplearning.jp/hacks/
![1
DEEP LEARNING JP
[DL Papers]
http://deeplearning.jp/
“Network Dissection: Quantifying Interpretability of Deep
Visual Representations (CVPR2017)”
Yosuke Ueno](https://image.slidesharecdn.com/171030netdissectimple1-171030120240/85/DLHacks-Network-Dissection-Quantifying-Interpretability-of-Deep-Visual-Representations-1-320.jpg)
Empfohlen
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Andere mochten auch
Andere mochten auch (15)
Ähnlich wie [DLHacks 実装]Network Dissection: Quantifying Interpretability of Deep Visual Representations
Ähnlich wie [DLHacks 実装]Network Dissection: Quantifying Interpretability of Deep Visual Representations (20)
Mehr von Deep Learning JP
Mehr von Deep Learning JP (20)
Kürzlich hochgeladen
Kürzlich hochgeladen (7)
[DLHacks 実装]Network Dissection: Quantifying Interpretability of Deep Visual Representations
- 1. 1 DEEP LEARNING JP [DL Papers] http://deeplearning.jp/ “Network Dissection: Quantifying Interpretability of Deep Visual Representations (CVPR2017)” Yosuke Ueno
- 2. 発表概要 • 論文概要 • 目的 • 手法 • 実験結果 2
- 3. 論文概要 • CNNの畳み込み層のはたらきや、 意味的概念の学習の様子を明らかにするためのネットワークを提 案 • 訓練データ等の違いから、学習する概念の違いについて詳細に検討 – 論文中ではモデルのinterpretabilityと表現されている • 畳み込み層の特徴マップ1枚1枚が何を識別できているかを セグメンテーションで調べる 3
- 4. ざっくりとした目標 • 「入力に近い層では抽象的な特徴を～」云々、マジ？ • CNNの中で何が学習されているか知りたい – 思考の過程？ 4 バナナ 黄色 果物 黒い斑点 黄緑色 人間の認識過程 CNNのクラス分類 バナナ 黄色 果物 黒い斑点 黄緑色
- 5. Goal: From Visualization to Interpretation 5 Interpretation: lamp Interpretation: car Score: 0.15 Score: 0.02 TopActivated Images Unit 1 Unit 4 TopActivated Images 著者のスライドより引用
- 6. 手法 • 評価に使うデータセットを新たに作成 – 既存のデータセットの組み合わせ – ピクセルごとのセグメンテーションのためのground-truth – 抽象度レベル（カテゴリ）別でラベルが用意されている 6 Total = 63,305 images 1,197 visual concepts
- 7. セグメンテーション • ピクセル単位で物体を認識する方法 • Classification, detection よりも高度な分類 7 出力例 正解 入力
- 8. 手法 8 • 畳み込み層の各チャネル（特徴マップ）と教師データ を比較 • アクティベーションの値が上位の部分に着目 • 特徴マップはバイリニア補間でアップサンプリング • カテゴリごとのセグメンテーションにより評価 • IoUの値が閾値を超えればその概念は識別可
- 9. IoU (Intersection over Union) 9 • 例えば、馬については （の合 計） • x：データセットの画像 • k：チャネル • 𝑀 𝑘：チャネルkの特徴マップの活発な部分 • 𝐿 𝑐：クラスcのground truth
- 10. Approach: Test units for semantic segmentation 10 Lamp Intersection over Union (IoU)= 0.12 Unit 1 Top activated images 著者のスライドより引用
- 11. Interpretabilityの指標について • 各チャネル𝑘について、𝐼𝑜𝑈 𝑘,c > 0.04となる概念cは識別可能 • チャネル𝑘は概念cのdetectorである • 特に𝐼𝑜𝑈 𝑘,𝑐が最大となる概念cに対するuniquedetectorである – この数をinterpretabilityの指標とする 11
- 12. 実験 • 様々な条件でモデルの識別能力を比較した – 同一モデル内の層ごとの違い – 異なるモデル同士の違い – 学習回数 – ファインチューニングの有無 – 各種テクニックの有無 • 大量のパターンあるんで全部は紹介しません 12
- 13. 結果 （AlexNet trained on places365） 13 Histogram of object detectors: Detector:81/256, Unique Detector:40 (Units with IoU>0.04) Living room Kitchen Coast … 365 categories conv5, 256 units 著者のスライドより引用
- 14. 結果 （モデルごとの違い） 14 • 層が深いほど識別出来る概念が多い • 訓練データによって差が出ている
- 16. 結果 （その他） • 層の幅が広い（チャネル数が多い）ほど 識別能力も高くなる傾向がある • Batch normalizationしないほうが良い • ドロップアウトは識別能力を上げる 16
- 17. Conclusion 17 Living room Kitchen Coast Theater … Network Dissection unit 79 car, IoU=0.13 unit 107 road, IoU=0.15 Dissection Report 著者のスライドより引用
- 18. 実装のステップ • 特徴マップの抽出 – register_forward_hookを使う • アクティベーションの上位部分を算出 • セマンティックセグメンテーションで各要素とのIoUを算出 • 各チャネルごとにIoUが最大となるクラス名を求める • 結果にまとめてグラフを出力 18