AutoEncoderで特徴抽出

1. AutoEncoderで特徴抽出佐々木海(@Lewuathe)

2. 自己紹介 • 佐々木海(@Lewuathe) • データ処理インフラの開発(Hadoop, Spark, Storm) • 最近HHK Pro2 Type-Sを手に入れた

3. 今日のお話 • AutoEncoderの前に! • 最適化、NeuralNetwork、Backpropagation • AutoEncoderって？! • Denoising AutoEncoder, DropOff • DeepLearningへの応用! • Stacked Denoising AutoEncoder • AutoEncoderの解釈

4. AutoEncoderの前に

5. 機械学習でやりたいこと

6. 機械学習でやりたいこと何かの最適化

7. 機械学習でやりたいこと何かの最適化正解との誤差エントロピーデータ間の距離

8. 機械学習でやりたいこと何かの最適化勾配法動的計画法遺伝的アルゴリズム

9. 勾配法で計算すること

10. 勾配法データ点目的関数モデル最適化したいもの

11. 勾配法データ点目的関数モデル最適化目的関数をパラメタで微分して何度も引くor足す最適化したいもの

12. Neural Network

13. Neural Network 1 2 … n 1 … K 1 2 … n

14. Neural Network 1 2 … n 1 k K 1 2 … n

15. Neural Network 1 2 … n 1 k K 1 2 t n

16. Neural Network 1 2 … n 1 k K 1 2 t n Feed Forward

17. Neural Network 1 2 … n 1 k K 1 2 t n 入力層隠れ層出力層

18. 入力データモデルパラメタ

19. 入力データモデルパラメタ隠れ層からの出力出力層からの出力

20. 出力層からの値を望んでいる答えに近くしたい

21. Neural Network カエルの画像カエルイヌネコヒト

22. BackPropagation

23. 目的関数 2

24. 目的関数教師データネットワークからの出力 2

25. 目的関数教師データネットワークからの出力この誤差を小さくしたい 2

26. 最適化

27. 最適化偏微分 2

28. 最適化隠れ層の出力偏微分 2

29. 最適化隠れ層の出力出力層の出力偏微分 2

30. 最適化隠れ層の出力出力層の出力教師データとの誤差偏微分 2

31. これを求めたい

32. これを求めたい層ごとに

33. これを求めたい層ごとに重みごとに

36. 入力データモデルパラメタ隠れ層からの出力出力層からの出力隠れ層ベクトルのj番目出力ベクトルのk番目

37. 入力データモデルパラメタ隠れ層への重み勾配出力層への重み勾配

38. 入力データモデルパラメタ隠れ層への重み勾配出力層への重み勾配

39. 隠れ層への重み勾配出力層への重み勾配隠れ層からの出力出力層からの出力 (1) (2) (3) (4)

40. 隠れ層への重み勾配出力層への重み勾配隠れ層からの出力出力層からの出力とおく (1) (2) (3) (4)

41. 隠れ層への重み勾配出力層への重み勾配隠れ層からの出力出力層からの出力とおくなので (1) (2) (3) (4) (1)より (3)はとおける

42. 隠れ層への重み勾配出力層への重み勾配隠れ層からの出力出力層からの出力とおくなので (1) (2) (3) (4) (1)より (3)はとおけるこの式は各層で一般的に適用できるつまり重みにおける各勾配はその  ユニットの出力側のとそのユニット自体の値の積で計算できる

43. 隠れ層への重み勾配出力層への重み勾配隠れ層からの出力出力層からの出力 (1) (2) (3) (4) の値は分かっているので各層でのを求めることができればよい

44. 隠れ層への重み勾配出力層への重み勾配隠れ層からの出力出力層からの出力 (1) (2) (3) (4) 出力活性化関数を恒等写像とするとなのでよって出力層でのはの値は分かっているので各層でのを求めることができればよい

45. 隠れ層への重み勾配出力層への重み勾配隠れ層からの出力出力層からの出力 (1) (2) (3) (4) 隠れ層でのは ,

46. 隠れ層への重み勾配出力層への重み勾配隠れ層からの出力出力層からの出力 (1) (2) (3) (4) 隠れ層でのは , 全体として

47. 隠れ層への重み勾配出力層への重み勾配隠れ層からの出力出力層からの出力 (1) (2) (3) (4) 隠れ層でのは , 全体として FFでわかってる

48. 隠れ層への重み勾配出力層への重み勾配隠れ層からの出力出力層からの出力 (1) (2) (3) (4) 隠れ層でのは , 全体として FFでわかってる後ろの層の値

49. 隠れ層への重み勾配出力層への重み勾配隠れ層からの出力出力層からの出力 (1) (2) (3) (4) FFでわかってる後ろの層の値つまり各層での勾配を求めるには

50. 隠れ層への重み勾配出力層への重み勾配隠れ層からの出力出力層からの出力 (1) (2) (3) (4) FFでわかってる後ろの層の値つまり各層での勾配を求めるには 1. FFで計算した値を覚えておき 2. 教師データとの誤差を元に上記式で  勾配を伝播させていく

51. 誤差が小さくなりました

52. 望んでいるものに近いものが得られました誤差が小さくなりました

53. 望んでいるものに近いものが得られました入力それ自身

54. AutoEncoder Encode Decode

55. 入力データモデルパラメタ隠れ層からの出力出力層からの出力 ←実質同じ

56. 入力データモデルパラメタ隠れ層からの出力出力層からの出力 ←実質同じ

57. AutoEncoderの意味 1. 次元圧縮 2. 特徴抽出

58. DeepLearningに使う

59. dA Stacked Denoising AutoEncoder

60. dA Denoising AutoEncoderを! たくさん重ねる Stacked Denoising AutoEncoder

61. Pre-training Encode Decode

62. Pre-training Encode Decode ノイズとして  幾つかdropさせる

63. Pre-training Encode Decode ノイズが加えられた入力が! オリジナルに近くなるようにBP

64. Encode Pre-training

65. Encode Pre-training 出力側を取っ払う

66. Encode Pre-training 出力側を取っ払う

67. dA BP SdA

68. SdA dA BP Fix

69. SdA dA BP Fix

70. SdA dA BP Fix

71. 特徴抽出器が完成

72. AutoEncoderの解釈

73. 次元圧縮 • 多様体学習(manifold learning) • 高次元に見えるデータでも低次元の構造しか持っていない場合がある • dAは低次元へのマッピングを行う • 隠れ層はマッピング先の座標軸

74. 特徴抽出 • 前ページの次元圧縮が上手くいっているなら  各特徴を分けられる空間にマッピングされている • pre-trainingによって得られた層はパラメタそのままで使いまわせるので特徴抽出器としても使える

75. tied untied

76. tied untied 5っぽい 3っぽい

77. まとめ • AutoEncoderの前に! • 最適化、NeuralNetwork、Backpropagation • AutoEncoder! • Denoising AutoEncoder • DeepLearningへの応用! • Stacked Denoising AutoEncoder • AutoEncoderの解釈! • 次元圧縮、特徴抽出

78. 参照・リソース - Pascal Vincent, Hugo Larochelle, Yoshua Bengio and Pierre-Antoine Manzagol (2008) Extracting and Composing Robust Features with Denoising Autoencoders - Pascal Vincent, Hugo Larochelle, Isabelle Lajoie, Yoshua Bengio and Pierre-Antoine Manzagol Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion - CM. ビショップパターン認識と機械学習 (上) - http://scikit-learn.org/stable/modules/manifold.html scikit-learn 2.2 Manifold Learning - https://github.com/Lewuathe/neurallib neurallib is deep learning module running on JVM - http://yann.lecun.com/exdb/mnist/ THE MNIST DATABASE of handwritten digits

79. ありがとうございました

AutoEncoderで特徴抽出

Du liest eine Vorschau.

Hier ansehen

AutoEncoderで特徴抽出

Weitere Verwandte Inhalte

Diashows für Sie (20)

Andere mochten auch (20)

Ähnlich wie AutoEncoderで特徴抽出 (20)

Weitere von Kai Sasaki (20)

Aktuellste (20)