Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.

Caffeの特徴と最近の動向 -CNN、そしてRNNへ-

2.217 Aufrufe

Veröffentlicht am

OSSユーザーのための勉強会 < OSS X Users Meeting > #18 AI / Deep Learning

Veröffentlicht in: Technologie
  • Als Erste(r) kommentieren

Caffeの特徴と最近の動向 -CNN、そしてRNNへ-

  1. 1. Caffeの特徴と最近の動向 - CNN、そしてRNNへ - 2017/03/21 1
  2. 2. ・株式会社イーグル CTO ・先端IT活用推進コンソーシアム     クラウドテクノロジー活用部会 サブリーダー https://www.facebook.com/yasuyuki.sugai よろしくお願いしまーす ※この資料の内容は、 個人の見解です 自己紹介 菅井 康之 http://www.slideshare.net/yasuyukisugai/deep-learningcaffe ←Caffeを利用したハンズオン勉強会を 過去に開催(細かいことはこっちで。。) 今日は私の特徴量だけでも覚えて帰ってもらえればと。。。 2
  3. 3. 3
  4. 4. 4
  5. 5. 5
  6. 6. 6
  7. 7. Σ 7
  8. 8. x1 x2 Σ φ w1 w2 y 入力信号 入力信号への重み(係数) 0を超えた場合に出力(発火) b 閾値の役割(発火のしやすさ)を果たす 例)閾値を0.5にする場合、予め-0.5を 用意しておくことで0を超えにくくする (bに設定した数値の分、発火しやすくする) 8
  9. 9. x1 x2 Σ φ w1=0.5 w2=0.5 y b=-0.7 x1 x2 y 1 1 1 1 0 0 0 1 0 0 0 0 9
  10. 10. x1 x2 Σ φ w1=0.5 w2=0.5 y b=-0.2 x1 x2 y 1 1 1 1 0 1 0 1 1 0 0 0 10
  11. 11. x1 x2 Σ φ w1=-0.5 w2=-0.5 y b=0.7 x1 x2 y 1 1 0 1 0 1 0 1 1 0 0 1 11
  12. 12. x1 x2 Σ φ w1 w2 y b 12
  13. 13. x1 x2 Σ φ w1 w2 y b Σ φ Σ φw3 b w4 w5 w6 b 13
  14. 14. x1 x2 Σ φ w1=0.5 y b=-0.7 Σ φ Σ φ b=-0.7 w5=0.5 w6=0.5 x1 x2 y 1 1 0 1 0 1 0 1 1 0 0 0 w2=-0.5 w3=0.5 w2=-0.5 OR NAND AND b=0.7 14
  15. 15. y 良く見るグラフ 15
  16. 16. x1 x2 Σ φ w1 w2 y b Σ φ Σ φw3 b w4 w5 w6 b 活性化関数 
 16
  17. 17. relu <- function(x) sapply(x, function(z) max(0,z)) ggplot(data=data.frame(x=c(-6,6))) + stat_function(fun=step) + xlim(-6,6) step<-function(x){ifelse(x>0,1,0)} ggplot(data=data.frame(x=c(-6,6))) + stat_function(fun=step) + xlim(-6,6) 図を作るのに使ったRのコードを サンプルで掲載 sigmoid <- function(t){ 1/(1+exp(-t)) } ggplot(data=data.frame(x=c(-6,6))) + stat_function(fun=step) + xlim(-6,6) 17
  18. 18. 18
  19. 19. x1 x2 Σ φ w1 w2 y b Σ φ Σ φw3 b w4 w5 w6 b 19
  20. 20. 20
  21. 21. 21
  22. 22. 時間がないのでここから 22
  23. 23. 23
  24. 24. http://www.slideshare.net/yasuyukisugai/io-t-deeplearning 学習モデルを作成するために GPUインスタンスをスポットで 一時的に利用 画像が蓄積されてきたらまた スポットを立ち上げて 学習のサイクルを回す 24
  25. 25. 25
  26. 26. https://github.com/microsoft/caffe http://caffe.berkeleyvision.org/install_apt.html http://caffe.berkeleyvision.org/install_osx.html https://github.com/sh1r0/caffe-android-lib https://github.com/BVLC/caffe/tree/opencl 26
  27. 27. 27
  28. 28. https://github.com/BVLC/caffe/pulse/monthly 少し落ち着いてきたかな? 28
  29. 29. 29
  30. 30. GoogLeNet: ILSVRC14 winner https://github.com/BVLC/caffe/wiki/Model-Zoo ”Caffe offers the model definitions optimization settings pre-trained weights so you can start right away.” 30
  31. 31. 31
  32. 32. http://caffe.berkeleyvision.org/ https://github.com/BVLC/caffe/ 32 いろんなところに
 点在しちゃってる・・・ 所々更新されないのは ご愛嬌。。。
  33. 33. https://docs.google.com/presentation/d/1UeKXVgRvvxg9OUdh_UiC5G71UMscNPlvArsWER41PsU/edit#slide=id.p 個人的にはこれが一番 纏まっててわかりやすいかと 33
  34. 34. http://demo.caffe.berkeleyvision.org/ 34
  35. 35. http://places.csail.mit.edu/ 35
  36. 36. 36
  37. 37. 
 
 
 時間が限られているので、主にConvolution層とPooling層だけ説明します 37
  38. 38. 38 0.1 0.2 0.7 Convolution ReLU Pooling : : : : : : : : : : : : : : : : : : Convolution ReLU Pooling Full-Connected softmax
  39. 39. -1 -1 -1 -1 -1 -1 -1 1 -1 -1 -1 -1 -1 1 -1 -1 -1 -1 -1 1 1 1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 1 -1 -1 1 -1 -1 -1 1 -1 1 -1 -1 -1 -1 -1 -1 1 -1 1 -1 1 -1 1 1 0.1 0.45 0.45 0.45 -0.33 0.45 0.33 0.33 0.1 0.45 0.33 0.1 -0.1 0.1 0.33 x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x フィルタを1つずつ スライドして スコア算出 左上は全て一致して いるため、1となる 省略省略 39
  40. 40. 白いところが負数から 0に変化 1 0.1 0.45 0.45 0.45 -0.33 0.45 0.33 0.33 0.1 0.45 0.33 0.1 -0.1 0.1 0.33 x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x 1 0.1 0.45 0.45 0.45 0 0.45 0.33 0.33 0.1 0.45 0.33 0.1 0 0.1 0.33 x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x 40
  41. 41. x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x : 4x4を2x2に分割 分割した領域ごとに 最大値を算出し、 情報圧縮 省略省略 1 0.45 0.33 0.45 x x x x x x x x : 1 0.1 0.45 0.45 0.45 0 0.45 0.33 0.33 0.1 0.45 0.33 0.1 0 0.1 0.33 41
  42. 42. 
 42
  43. 43. 
 43
  44. 44. 44
  45. 45. • • • • • • • • • • 今日は細かい話は割愛します 45
  46. 46. 46
  47. 47. https://docs.google.com/presentation/d/1UeKXVgRvvxg9OUdh_UiC5G71UMscNPlvArsWER41PsU/edit#slide=id.g129385c8da_651_127 47
  48. 48. https://docs.google.com/presentation/d/1UeKXVgRvvxg9OUdh_UiC5G71UMscNPlvArsWER41PsU/edit#slide=id.g129385c8da_651_138 48
  49. 49. https://docs.google.com/presentation/d/1UeKXVgRvvxg9OUdh_UiC5G71UMscNPlvArsWER41PsU/edit#slide=id.g129385c8da_651_150 49
  50. 50. https://docs.google.com/presentation/d/1UeKXVgRvvxg9OUdh_UiC5G71UMscNPlvArsWER41PsU/edit#slide=id.g129385c8da_651_158 50
  51. 51. 51
  52. 52. • • • • • • 
 • • 
 52
  53. 53. • • • • 
 • 
 53
  54. 54. https://docs.google.com/presentation/d/1UeKXVgRvvxg9OUdh_UiC5G71UMscNPlvArsWER41PsU/edit#slide=id.g129385c8da_651_0 54
  55. 55. • • • • • 
 55 http://host.robots.ox.ac.uk/pascal/VOC/voc2012/
  56. 56. https://docs.google.com/presentation/d/1UeKXVgRvvxg9OUdh_UiC5G71UMscNPlvArsWER41PsU/edit#slide=id.g129385c8da_651_10 56
  57. 57. 57
  58. 58. • • 
 • 
 
 
 • • 
 58
  59. 59. https://github.com/BVLC/caffe/pull/3948 59
  60. 60. • 
 • • • • • • • • • 60
  61. 61. http://tutorial.caffe.berkeleyvision.org/caffe-cvpr15-sequences.pdf 61
  62. 62. http://tutorial.caffe.berkeleyvision.org/caffe-cvpr15-sequences.pdf 62
  63. 63. http://tutorial.caffe.berkeleyvision.org/caffe-cvpr15-sequences.pdf 63
  64. 64. http://tutorial.caffe.berkeleyvision.org/caffe-cvpr15-sequences.pdf • 64
  65. 65. • • • http://youtu.be/w2iV8gt5cd4 http://youtu.be/9VH8bn7ikbw http://jeffdonahue.com/lrcn/ 65
  66. 66. http://mscoco.org/ • • • • 66 やはりデータの入手がいつまでも課題に。。。
  67. 67. https://github.com/BVLC/caffe/pull/2033 本家に取り込まれるのに 時間がかかっただけで、 実装自体は前からあります。。。 そこまで新しい話ではないけど、 RNNがまた盛り上がってきてるし CNNとRNNを組み合わせるのは 大きな可能性を秘めているので、 取り上げてみました 67
  68. 68. おわり。 68

×