Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.
CVPR 2015 読み会
!
A. Mahendran and A. Vedaldi
Understanding Deep Image Representations by Inverting Them
加藤大晴
http://hirohar...
自己紹介
• 加藤 大晴 (かとう ひろはる)
• 2014/04- ソニー株式会社(音響信号処理)
• 2014/03 修士(情報理工学)東京大学 原田研究室
• http://hiroharu-kato.com/
• @hiroharu_k...
論文の概要
• A. Mahendran and A. Vedaldi. Understanding
Deep Image Representations by Inverting Them.
• CNN の出力を画像へと逆変換する手法を提案
...
読んだ動機
• 加藤の修士論文:

Image Reconstruction from Bag-of-Visual-Words (CVPR 14)
• BoVW を画像へと再変換
• ついでに識別器の分析や画像の生成
• 修論の反省
• Bag...
なぜ画像再構成?
• 画像特徴の性質について, 我々は実はよく知らない
• とりあえず実験的に良い性能が出ればOK
• 特にニューラルネットワークでは顕著
• 画像特徴って実のところ何を捉えているんだろう?
• 画像特徴から画像を再構成してみれ...
既存の画像再構成の例
• HOG 特徴の視点からは誤識別しても仕方ない





• Bag-of-Visual-Words にも局所既述子の位置情報は

(潜在的に)残されている
[Vondrick+ 13]
[Kato+ 14]
提案手法 (1)
• 一般的な画像識別器の学習
• 画像 x とその教師ラベル y を与え,

最適なネットワークのパラメータ w を求める
• これは誤差逆伝播法で効率的に解ける
• 本論文での画像の再構成
• 教師ラベル y と ネットワー...
提案手法 (2)
• 提案手法の工夫
• 画像がギザギザ化を防止する正則化項を追加
• SIFT, HOG
• ニューラルネットワーク的な形で微分可能なように再定義(詳細は省略)
• 同様の手法で画像再構成が可能
Deep Dream との関係
• Deep Dream
• ネットワークがよく

反応するような画像に変形









• 最適化問題
• 識別器の学習

• 画像の再構成

• Deep Dream

Lは Cross Entropy...
実験 (1)
• HOG, SIFT の逆変換
実験 (2)
• CNN の各階層の逆変換
• 深いほど曖昧さが増すが, 深い層にもかなりの画像情報が残されている
実験 (3)
• CNN の不変性
• 同じ特徴から複数の画像を再構成
• いろいろな位置やサイズで現れる -> それらに対する不変性がある
実験 (4)
• Receptive Field と再構成
• Receptive Field の端の方は画像が再構成されない
実験 (5)
• 違うチャネルからの再構成
• 色に反応するチャネルと, エッジに反応するチャネルとがある
実験 (6)
• 正則化項の影響
• 画像のギザギザを減らす正則化項の

効果はかなり大きい
• 

HOG
CNN
まとめ
• この論文は
1. CNN, SIFT, HOG を逆変換する手法を提案した
• 勾配降下法による最適化
• 正則化項を入れてギザギザ化を防ぐのが
2. CNN の各レイヤーで表されている情報を明らかにした
• 深いほど不変性と抽象性...
疑問
1. 画像再構成で表現できないものもあるよね?
2. 画像再構成で画像識別の性能上がるの?
3. 実は画像再構成手法の性質を見てるだけでは?
疑問
1. 画像再構成で表現できないものもあるよね?
• 名詞以外はビジュアルで表現しにくくないか?
• 抽象的すぎるものを捉えていたら?
• たとえば「美」や「真実」に反応するニューロンだったら?
Simple Truth 

https:/...
疑問
2. 画像再構成で画像識別の性能上がるの?
• 本論文は確かに興味深かった, が, これをどう活かせばいいのか?
• 特徴量設計の方法まで述べないとあまり意味がないのでは?
• そこまで述べたのは [Zeiler+ 14] のみ
[Zei...
疑問
3. 実は画像再構成手法の性質を見てるだけでは?
• 右の画像から SIFT の性質がわかるか?
• 本論文の場合でも
• 最適化がうまくいっていないのでは?
• 正則化項の影響は?
[Weinzaepfel+ 11]
まとめ (2)
• この論文は
1. CNN, SIFT, HOG を逆変換する手法を提案した
• けれど実用に耐えうる性能なのかはよくわからない
2. CNN の各レイヤーで表されている情報を明らかにした
• けれどその知見をどう活かせばいい...
参考文献
• [Mahendran+ 15] A. Mahendran and A. Vedaldi. Understanding Deep Image
Representations by Inverting Them . CVPR. 201...
Nächste SlideShare
Wird geladen in …5
×

CVPR 2015 読み会 "Understanding Deep Image Representations by Inverting Them"

2.958 Aufrufe

Veröffentlicht am

第30回(後編) コンピュータビジョン勉強会@関東
http://kantocv.connpass.com/event/16587/

の発表資料です。

Veröffentlicht in: Technologie
  • accessibility Books Library allowing access to top content, including thousands of title from favorite author, plus the ability to read or download a huge selection of books for your pc or smartphone within minutes ,Download or read Ebooks here ... ......................................................................................................................... Download FULL PDF EBOOK here { http://bit.ly/2m6jJ5M }
       Antworten 
    Sind Sie sicher, dass Sie …  Ja  Nein
    Ihre Nachricht erscheint hier
  • Download or read that Ebooks here ... ......................................................................................................................... DOWNLOAD FULL PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Doc Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... .........................................................................................................................
       Antworten 
    Sind Sie sicher, dass Sie …  Ja  Nein
    Ihre Nachricht erscheint hier
  • Download or read that Ebooks here ... ......................................................................................................................... DOWNLOAD FULL PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Doc Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... .........................................................................................................................
       Antworten 
    Sind Sie sicher, dass Sie …  Ja  Nein
    Ihre Nachricht erscheint hier
  • If you want to download or read this book, Copy link or url below in the New tab ......................................................................................................................... DOWNLOAD FULL PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Doc Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... .........................................................................................................................
       Antworten 
    Sind Sie sicher, dass Sie …  Ja  Nein
    Ihre Nachricht erscheint hier
  • accessibility Books Library allowing access to top content, including thousands of title from favorite author, plus the ability to read or download a huge selection of books for your pc or smartphone within minutes ,Download or read Ebooks here ... ......................................................................................................................... Download FULL PDF EBOOK here { https://urlzs.com/UABbn }
       Antworten 
    Sind Sie sicher, dass Sie …  Ja  Nein
    Ihre Nachricht erscheint hier

CVPR 2015 読み会 "Understanding Deep Image Representations by Inverting Them"

  1. 1. CVPR 2015 読み会 ! A. Mahendran and A. Vedaldi Understanding Deep Image Representations by Inverting Them 加藤大晴 http://hiroharu-kato.com/
  2. 2. 自己紹介 • 加藤 大晴 (かとう ひろはる) • 2014/04- ソニー株式会社(音響信号処理) • 2014/03 修士(情報理工学)東京大学 原田研究室 • http://hiroharu-kato.com/ • @hiroharu_kato など • 本発表は所属組織とは一切関係ありません • 以降, 論文に記載のない内容については を付けます
  3. 3. 論文の概要 • A. Mahendran and A. Vedaldi. Understanding Deep Image Representations by Inverting Them. • CNN の出力を画像へと逆変換する手法を提案 • ついでに SIFT と HOG も逆変換 • いろいろ画像を再構成して観察 • 手法: 誤差逆伝播で重みではなく入力画像を最適化 • モチベ: CNN が何を捉えているか理解したい 元画像 再構成1 再構成2 再構成3
  4. 4. 読んだ動機 • 加藤の修士論文:
 Image Reconstruction from Bag-of-Visual-Words (CVPR 14) • BoVW を画像へと再変換 • ついでに識別器の分析や画像の生成 • 修論の反省 • Bag-of-Visual-Words は相当時代遅れ • そもそも画像再構成の役立て方がよくわからない
  5. 5. なぜ画像再構成? • 画像特徴の性質について, 我々は実はよく知らない • とりあえず実験的に良い性能が出ればOK • 特にニューラルネットワークでは顕著 • 画像特徴って実のところ何を捉えているんだろう? • 画像特徴から画像を再構成してみれば
 画像特徴に残されている情報が感覚的にわかるのでは?
  6. 6. 既存の画像再構成の例 • HOG 特徴の視点からは誤識別しても仕方ない
 
 
 • Bag-of-Visual-Words にも局所既述子の位置情報は
 (潜在的に)残されている [Vondrick+ 13] [Kato+ 14]
  7. 7. 提案手法 (1) • 一般的な画像識別器の学習 • 画像 x とその教師ラベル y を与え,
 最適なネットワークのパラメータ w を求める • これは誤差逆伝播法で効率的に解ける • 本論文での画像の再構成 • 教師ラベル y と ネットワークのパラメータ w を与え,
 最適な画像 x を求める • これも誤差逆伝播法で効率的に解ける! Lは Cross Entropy 誤差 Lは2乗誤差
  8. 8. 提案手法 (2) • 提案手法の工夫 • 画像がギザギザ化を防止する正則化項を追加 • SIFT, HOG • ニューラルネットワーク的な形で微分可能なように再定義(詳細は省略) • 同様の手法で画像再構成が可能
  9. 9. Deep Dream との関係 • Deep Dream • ネットワークがよく
 反応するような画像に変形
 
 
 
 
 • 最適化問題 • 識別器の学習
 • 画像の再構成
 • Deep Dream
 Lは Cross Entropy 誤差 Lは2乗誤差 -
  10. 10. 実験 (1) • HOG, SIFT の逆変換
  11. 11. 実験 (2) • CNN の各階層の逆変換 • 深いほど曖昧さが増すが, 深い層にもかなりの画像情報が残されている
  12. 12. 実験 (3) • CNN の不変性 • 同じ特徴から複数の画像を再構成 • いろいろな位置やサイズで現れる -> それらに対する不変性がある
  13. 13. 実験 (4) • Receptive Field と再構成 • Receptive Field の端の方は画像が再構成されない
  14. 14. 実験 (5) • 違うチャネルからの再構成 • 色に反応するチャネルと, エッジに反応するチャネルとがある
  15. 15. 実験 (6) • 正則化項の影響 • 画像のギザギザを減らす正則化項の
 効果はかなり大きい • 
 HOG CNN
  16. 16. まとめ • この論文は 1. CNN, SIFT, HOG を逆変換する手法を提案した • 勾配降下法による最適化 • 正則化項を入れてギザギザ化を防ぐのが 2. CNN の各レイヤーで表されている情報を明らかにした • 深いほど不変性と抽象性が高まる
  17. 17. 疑問 1. 画像再構成で表現できないものもあるよね? 2. 画像再構成で画像識別の性能上がるの? 3. 実は画像再構成手法の性質を見てるだけでは?
  18. 18. 疑問 1. 画像再構成で表現できないものもあるよね? • 名詞以外はビジュアルで表現しにくくないか? • 抽象的すぎるものを捉えていたら? • たとえば「美」や「真実」に反応するニューロンだったら? Simple Truth 
 https://www.flickr.com/photos/bamboobarnes/16445364238/ Abstract Beauty 
 https://www.flickr.com/photos/crazyshin/153621375/
  19. 19. 疑問 2. 画像再構成で画像識別の性能上がるの? • 本論文は確かに興味深かった, が, これをどう活かせばいいのか? • 特徴量設計の方法まで述べないとあまり意味がないのでは? • そこまで述べたのは [Zeiler+ 14] のみ [Zeiler+ 14]
  20. 20. 疑問 3. 実は画像再構成手法の性質を見てるだけでは? • 右の画像から SIFT の性質がわかるか? • 本論文の場合でも • 最適化がうまくいっていないのでは? • 正則化項の影響は? [Weinzaepfel+ 11]
  21. 21. まとめ (2) • この論文は 1. CNN, SIFT, HOG を逆変換する手法を提案した • けれど実用に耐えうる性能なのかはよくわからない 2. CNN の各レイヤーで表されている情報を明らかにした • けれどその知見をどう活かせばいいのかよくわからない • 画像特徴可視化に期待すること 1. 提案手法で画像特徴を再設計して性能向上, まで示してほしい 2. ビジュアル化できないけれど捉えている情報, も示してほしい
  22. 22. 参考文献 • [Mahendran+ 15] A. Mahendran and A. Vedaldi. Understanding Deep Image Representations by Inverting Them . CVPR. 2015. • [Kato+ 14] H. Kato and T. Harada. Image Reconstruction from Bag-of-Visual-Words . CVPR. 2014. • [Vondrick+ 13] C. Vondrick, A. Khosla, T. Malisiewicz, and A. Torralba. HOGgles: Visualizing Object Detection Features . ICCV. 2013. • [Zeiler+ 14] M. Zeiler and R. Fergus. Visualizing and Understanding Convolutional Networks . ECCV. 2014. • [Weinzaepfel+ 11] P. Weinzaepfel, H. Jégou and P. Pérez. Reconstructing an Image from Its Local Descriptors . CVPR. 2011.

×