Empfohlen
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Mehr von KazuhiroSato8
Mehr von KazuhiroSato8 (12)
Kürzlich hochgeladen
Kürzlich hochgeladen (20)
Casual learning machine_learning_with_excel_no7
- 1. カジュアル勉強会 @仙台 Excelで機械学習入門 第7回 株式会社 エクテック データサイエンティスト
- 3. 前段
- 8. Excel 2013, 2016 Google Spreadsheets
- 11. りかれんと？
- 12. recurrent
- 13. “Re”-current
- 14. 『再帰』『循環』『回帰』
- 15. int recursive (x) { if (x == i) return; recursion(x - i); }
- 16. ⼊⼒ 出⼒ 繰り返し
- 17. int recursive (x) { if (x == i) return; recursion(x - i); } ⼊⼒
- 18. int recursive (x) { if (x == i) return; recursion(x - i); } false false ⼊⼒
- 19. int recursive (x) { if (x == i) return; recursion(x - i); } True True false false ⼊⼒ 出⼒
- 20. この構造が、意味すること
- 21. 『記憶』
- 26. 具体例で考える
- 27. 「い」「こ」「た」の３⽂字を並べ替えると ６個の⾔葉が出来上がる。最初の２⽂字を 与えて、最後の⽂字を予想するリカレント ニューラルネットワークを作る 言葉(読み) 入力文字 最後の文字 伊古田(いこた) 『い』『こ』 た イタコ(いたこ) 『い』『た』 こ 太鼓(たいこ) 『た』『い』 こ 井(たこい) 『た』『こ』 い 小板(こいた) 『こ』『い』 た 個体(こたい) 『こ』『た』 い
- 28. いこ た 繰り返し
- 29. データの形式と正解ラベル
- 30. データの形式 『い』= [1, 0, 0] 『こ』= [0, 1, 0] 『た』= [0, 0, 1] ※単純にラベルを付与する one-hot labeling(encording)
- 35. X1 X2 X3 H1 H2 Z1 Z2 Z3 前回学んだNNでは、記憶できない X1 X2 X3 H1 H2 Z1 Z2 Z3 『い』= [1, 0, 0] 『こ』= [0, 1, 0]
- 36. では、どうするか？
- 39. Xi Hj Zk ⼊⼒ 出⼒
- 40. 数式化の準備
- 41. 層 入力層 隠れ層 出力層 ユニット名 X1, X2, X3 H1, H2 Z1, Z2, Z3 入力層の線形和 ̶ s1, s2 s1, s2, s3 出力値 x1, x2, x3 h1, h2 z1, z2, z3 H H Z Z Z X1 X2 X3 X1 X2 X3 Z1 Z2 Z3 γ1 γ2 出⼒ z1, z2, z3 θ1 θ2 θ1 θ2 θ3 w11 w12 w13 w21 w22 w23 w11 w21 w31 w12 w22 w32 H H H H H H O O O O O O O O O H H
- 42. 層 入力層 隠れ層 出力層 ユニット名 X1, X2, X3 H1, H2 Z1, Z2, Z3 入力層の線形和 ̶ s1, s2 s1, s2, s3 出力値 x1, x2, x3 h1, h2 z1, z2, z3 H H Z Z Z X1 X2 X3 X1 X2 X3 Z1 Z2 Z3 γ1 γ2 出⼒ z1, z2, z3 θ1 θ2 θ1 θ2 θ3 w11 w12 w13 w21 w22 w23 w11 w21 w31 w12 w22 w32 H H H H H H O O O O O O O O O H H １⽂字⽬の処理 ２⽂字⽬の処理 RNNの出⼒
- 43. γ(ガンマ) 回帰の重み
- 44. ユニットの⼊出⼒を数式で表現
- 46. sj = wj1x1 + wj2x2 + wj3x3 + θj H(1) H H H H hj = a(Sj ) H(1) hj = a(Sj ) H(2) ここで a は活性化関数 【隠れ層(⼊⼒)】 【隠れ層(出⼒)】 (1) (1) (1) sj = wj1x1 + wj2x2 + wj3x3 + γjhj + θj H(2) H H H H(2) (2) (2) (1) 最初の⽂字処理 ２⽂字⽬の⽂字処理 (1) (1) j = 1,2 j = 1,2
- 47. sj = (wk1h1 + wk2h2 )+ θk O O O zk = a(Sk ) ここで a は活性化関数 【出⼒層(⼊⼒)】 【出⼒層(出⼒)】 (2) (2)O k = 1,2,3 o k = 1,2,3
- 50. X1 X2 X3 H1 H2 1 0 0 1⽂字⽬ 「い」 s1 s2 H(1) H(1) s1 = w11*1 + w12*0 + w13*0 + θ1 = w11 + θ1 s2 = w21*1 + w22*0 + w23*0 + θ2 = w21 + θ2 H(1) H(1) H H H H H H H H H H H H 【⼊⼒層】[1, 0, 0] 【隠れ層】
- 51. X1 X2 X3 H1 H2 1 0 0 1⽂字⽬ 「い」 s1 s2 H(1) H(1) h1 h2 (1) (1) s1 = w11*1 + w12*0 + w13*0 + θ1 = w11 + θ1 s2 = w21*1 + w22*0 + w23*0 + θ2 = w21 + θ2 H(1) H(1) H H H H H H H H H H H H h1 = a(s1 ), h2 = a(s2 ) H(1) H(1)(1) (1) 【⼊⼒層】[1, 0, 0] 【隠れ層】
- 52. X1 X2 X3 H1 H2 0 1 0 2⽂字⽬ 「こ」 s1 s2 H(2) H(2) H1 H1 (1) (1) s1 = w11*0 + w12*1 + w13*0 + γ1h1 + θ1 = w12 + γ1h1 + θ1 【⼊⼒層】[0, 1, 0] 【隠れ層】 H(2) H H H (1) H (1) HH s2 = w21*0 + w22*1 + w23*0 + γ2h2 + θ2 = w23 + γ2h2 + θ2 H(2) H H H (1) H (1) HH
- 53. X1 X2 X3 H1 H2 0 1 0 2⽂字⽬ 「こ」 s1 s2 H(2) H(2) H1 H1 (1) (1) 【⼊⼒層】[0, 1, 0] 【隠れ層】 h1 = a(s1 ), h2 = a(s2 ) H(2) H(2)(2) (2) h1 h2 (2) (2)
- 54. X1 X2 X3 H1 H2 0 1 0 2⽂字⽬ 「こ」 s1 s2 H(2) H(2) H1 H1 (1) (1) 【⼊⼒層】[0, 1, 0] 【出⼒層】 Z1 Z2 Z3 s1 = w11h1 + w12h2 + θ1 O O O(2) (2) s2 = w21h1 + w22h2 + θ2 s3 = w31h1 + w32h2 + θ3 O O O(2) (2) O O O(2) (2)
- 55. X1 X2 X3 H1 H2 0 1 0 2⽂字⽬ 「こ」 s1 s2 H(2) H(2) H1 H1 (1) (1) 【⼊⼒層】[0, 1, 0] 【出⼒層】 Z1 Z2 Z3 z1 z2 z3 z1 = a(s1 ), z2 = a(s2 ), z3 = a(s3 ) O O O
- 56. 最適化のための ⽬的関数を求める
- 57. 文字 「い」 「こ」 「た」 t1 1 0 0 t2 0 1 0 t3 0 0 1 平⽅誤差e = (t1 - z1) + (t2 - z2) + (t3 - z3) 2 2 2 平⽅誤差の総和 E = e1 + e2 + … + e6
- 58. 文字 「い」 「こ」 「た」 t1 1 0 0 t2 0 1 0 t3 0 0 1 平⽅誤差e = (t1 - z1) + (t2 - z2) + (t3 - z3) 2 2 2 平⽅誤差の総和 E = e1 + e2 + … + e6 ek = (t1[k] - z1[k]) + (t2[k] - z2[k]) + (t3[k] - z3[k]) 2 2 2
- 64. 1. 訓練データの準備
- 66. 2. 重みと閾値の初期化
- 71. ユニットの 誤差を計算
- 73. 5.平⽅誤差e の勾配を計算
- 79. 8. 3.~7.を繰り返し計算
- 81. いざ、テスト
- 82. 予測結果が算出される
- 83. ディープラーニング 深層学習には
- 84. “学習”, と“推論”がある
- 88. 今回は、以上です
- 89. EoF