AI入門「第4回：ディープラーニングの中身を覗いて、育ちを観察する」
•
6 gefällt mir•3,598 views
Kerasで実行した学習過程を、TensorFlowに付属のTensorBoardで見ると、内部動作や処理の繫がりが可視化され、SGDやSigmoidといった、AI・MLのアルゴリズムを動くコードとセットでステップバイステップで理解しやすい、ということを実感いただくセッションです
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Ähnlich wie AI入門「第4回：ディープラーニングの中身を覗いて、育ちを観察する」
Ähnlich wie AI入門「第4回：ディープラーニングの中身を覗いて、育ちを観察する」 (20)
Mehr von fukuoka.ex
Mehr von fukuoka.ex (12)
AI入門「第4回：ディープラーニングの中身を覗いて、育ちを観察する」
- 2. 1 AI入門 第1回は、「TensorFlowによる画像処理」にて、手元 のPCで気軽にディープラーニングできることを体験しました AI入門 第2回は、「Mahoutでレコメンドエンジン」にて、AWS のSparkでのデータ処理後、Mahoutを呼ぶ例をご紹介しました ここまでのAI入門 振り返り tabby cat (トラ猫) tiger cat (トラ猫) beaker (ビーカー) Persian cat (ペルシャ猫)Egyptian cat (エジプト猫)
- 7. 6 AI・ML開発の注意点 【最重要】 AI・ML開発でのプログラミング習得は、通常のプログラミングとは 異なるポイントがあるため、以下3点を意識して徹底してください ※これらポイントは、経験の多い、デキるエンジニアほど罠にハマり やすく、逸脱時は、AI・ML開発の習得が、かなり非効率となり、 最悪、全く習得できないまま脱落する可能性もあります ■AI・MLプログラミング習得の3つの最重要ポイント ① 「何故これで動くのか？」「この処理やパラメータの意味は？」 という”詳細”に疑問を抱かず、全体像をザックリ押さえること ② Kerasの各種ブラックボックスを最初から開けないこと ③ 良いサンプルを幾つか体験する前から、近道を探さないこと
- 8. 7 AI・ML開発の注意点 【最重要】 ①「何故これで動くのか？」「この処理やパラメータの意味は？」と いう”詳細”に疑問を抱かず、全体像をザックリ押さえること 疑問解決には、以下トリプルスキルが必要で、相当困難です ①偏微分・・・学習時の「誤り訂正法」のベースはこれ。誤差逆伝搬もこれ ②集合・・・クラス分類やクラスタリング、自己組織化マップ（SOM）等のデータをグルーピングする手法 ③確率／統計・・・尤度関数や誤差関数／損失関数、勾配降下法といった「学習時の最適化問題」の解決のための関数群 ④数学述語・・・線形・非線形。SGDは線形、SVRは非線形。NOT／ORのニューラルネット学習は線形、XORのニューラルネット学習は非線形 ⑤アルゴリズムとして適用される関数群・・・活性化関数群（ロジスティック回帰、ソフトマックス関数など）、学習関数群（モメンタム、Adagrad、Adamなど） ⑥ベクトル／テンソル・・・プログラミングで言うところのn次元配列とその演算群 ⑦上記中に出てくる基礎数学・・・指数、log、底など。プログラミングで言えば、変数や算術関数に相当。数式をスラスラ読んで苦にならないレベル a) 数学スキル ①問題解決可能なニューラルネットワーク層数 ②ディープラーニングモデルとその亜種 ③勾配消失問題 ④過学習、アーリーストッピング ⑤ドロップアウト ⑥学習結果評価手法 ⑦学習前データ前処理／バッチノーマライゼーション b) 機械学習固有スキル ①Python一般 ②Numpy ③Keras、TensorFlow ④matplotlib他 c) Pythonプログラミングスキル
- 12. 11 AI・ML開発の注意点 【最重要】 具体的な思考／行動基準としては、以下のような感じです ① 疑問点が湧いても、イチイチ引っかからず、前に進み続ける →「こんなもんなんだ」程度に認識すればいい →本当に調べなければならないものなら、また出会う →逆に、イチイチ引っかかると、大事な学びの機会を失う 「知らないことをイチから学んでいるんだから、分からないこと だらけなのは仕方無いし、自分の考え方を広げる機会を 自分の”常識”に邪魔させない」という 素直さ が大事 ② 今は理解できなくても、焦らず気にせず、淡々とやり続ける そのうち理解できるようになる自分自身を信じましょう これを受け取れる方は、何を学んでも上達が速いでしょう(^_^)
- 14. 13 そして今度こそ本当に
- 15. 14 本編
- 16. 15 1. TensorBoardについて 2. Kerasについて 3. TensorBoardを使えるようにする 4. notの中で起こっていることを見る 5. 今度はあなたの手元で 目次
- 19. 18 ２．Kerasについて
- 22. 21 ３．TensorBoardを使えるようにする TensorBoardを使い始めるのに、3種類の方法があります ① 各種OS用のpip (Pythonパッケージマネージャ) 経由で インストールする ② 【Windows、macOS】Anaconda(Python環境構築 マネージャ) 経由でインストールする ③ DockerからTensorFlowイメージをインスト―ル(pull) する Dockerが最もお手軽ではありますが、Dockerに不慣れな方が 立ち止まらないよう、Windows／macOSを使って解説します
- 25. 24 ３．TensorBoardを使えるようにする Kerasをpipでインストールします PythonコマンドでREPLが起動し、Kerasがエラー無くimport できれば、インストールは成功です exit()と打てば、Pythonを抜けて、ターミナルに戻ります もしエラーが出たときは、前ページをやり直してください # python >>> import keras Using TensorFlow backend. >>> >>> exit() # # pip install tensorflow # pip install keras
- 26. 25 ３．TensorBoardを使えるようにする TensorBoardを起動するためには、事前に学習した結果のログ が必要なため、第3回の「not.py」にログ出力を仕込みます import numpy as np from keras.models import Sequential from keras.layers import Dense, Activation from keras.optimizers import SGD import keras.callbacks model = Sequential( [ Dense( input_dim = 1, units = 1 ), Activation( 'sigmoid' ) ] ) model.compile( loss = 'binary_crossentropy', optimizer = SGD( lr = 0.1 ) ) tensorboard = keras.callbacks.TensorBoard( log_dir = './log', histogram_freq = 1 ) callback_tensorboard = [ tensorboard ] input = np.array( [ [ 0 ], [ 1 ] ] ) expected = np.array( [ [ 1 ], [ 0 ] ] ) model.fit( input, expected, epochs = 200, batch_size = 1, callbacks = callback_tensorboard, validation_data = ( input, expected ) ) print() classes = model.predict_classes( input, batch_size = 1 ) print( '###### classes ######' ) print( classes ) probably = model.predict_proba( input, batch_size = 1 ) print( '###### probably ######' ) print( probably )
- 27. 26 ３．TensorBoardを使えるようにする 以下コマンドで実行します 以下のような結果が返ってきます logフォルダ配下に、「events.out.tfevents.～」で始まるログ ファイルが作成されていれば、ログ出力成功です Using TensorFlow backend. Epoch 1/200 2/2 [==============================] - 4s - loss: 0.7516 Epoch 2/200 2/2 [==============================] - 0s - loss: 0.7363 …（略）… Epoch 200/200 2/2 [==============================] - 0s - loss: 0.1349 ###### classes ###### [[1] [0]] ###### probably ###### [[ 0.84955114] [ 0.09877715]] # python not.py
- 28. 27 ３．TensorBoardを使えるようにする 以下コマンドでTensorBoardを起動すると、「6006」ポートで 待ち受けをするサーバが起動されます 上記、赤枠で囲ったURLをブラウザで見まると、以下のページが 表示され、これでTensorBoardの起動成功です # tensorboard --logdir=./log W0126 16:29:37.342810 Reloader tf_logging.py:86] Found more than one graph event per run, or there was a metagraph containing a graph_def, as well as one or more graph events. Overwriting the graph with the newest event. TensorBoard 0.4.0 at http://Z-0000-000189-01:6006 (Press CTRL+C to quit)
- 31. 30 ４．notの中で起こっていることを見る 「dense_1」をダブルクリックすると、model配下が展開され、 「activation」内の「Sigmoid」が呼ばれていることが分かります model = Sequential( [ Dense( input_dim = 1, units = 1 ), Activation( 'sigmoid' ) ] ) コードで言えば、下記に該当 しています
- 32. 31 ４．notの中で起こっていることを見る 「Sigmoid」は「シグモイド関数」を意味しており、その理解まで 辿り着く事前知識として、「学習」のプロセスを見ていきます たとえば、入力x (範囲は0～1) を、そのまま出力yとする場合、 以下表のような入出力の関係となり、学習する必要は無いです これを式で表すと、以下の通りです y = x ｘ y 0 0 1 1 入力x 出力y
- 33. 32 ４．notの中で起こっていることを見る 次は、入力の0/1を反転させる、notの動きです 以下表のような入出力の関係となります この反転を実現する式は、以下のようになります これをニューラルネットワーク上に書くと、以下のようになります 入力x 出力y y = -x + 1 乗算-1 加算+1 NOT 入力x 出力y 入力x 出力y 0 1 1 0 NOT
- 34. 33 ４．notの中で起こっていることを見る もし、これら「乗算」「加算」を知らない前提として、それぞれ変数 にした場合、以下の式となります notを実現する「a」と「b」を割り出すために、以下3つの変数を 導入します ① 「t」・・・期待する正解 ② 「da」・・・aを正解に近づける幅 ③ 「db」・・・bを正解に近づける幅 「tとyの差」でaとbを補正し、yが期待通りになるまで、つまり、 「aとbが正解を出せるようになる」まで、補正を繰り返します (上記のような、項目を分解した幅を「偏微分」と呼びます) y = ax + b
- 35. 34 ４．notの中で起こっていることを見る 「tとyの差」でaとbを補正する式は、以下の通りです ※この式の意味は、今のところ、理解できなくてもOKです この式で補正される、aとbは、以下の通りの式となります 補正の過程は、以下の通りで、「t - y」が0となったら完了です da = ( t - y ) x db = ( t - y ) ｘ t 0 1 1 0 試行数 1 2 0 1 1 0 3 4 0 15 a b 0 0 0 1 -1 0 -1 1 -1 1 y t - y 0 1 1 -1 0 1 0 0 1 0 da db 0 1 -1 -1 0 1 0 0 0 0 a = a + da b = b + db ⊕ ⊕
- 38. 37 ４．notの中で起こっていることを見る コードの結果出力にも、「class」という単語が使われています 出てくる結果も、「0」か「1」を区別するものが出てきます … input = np.array( [ [ 0 ], [ 1 ] ] ) expected = np.array( [ [ 1 ], [ 0 ] ] ) model.fit( input, expected, epochs = 200, batch_size = 1, callbacks = callback_tensorboard, validation_data = ( input, expected ) ) print() classes = model.predict_classes( input, batch_size = 1 ) print( '###### classes ######' ) print( classes ) … ###### classes ###### [[1] [0]]
- 40. 39 ４．notの中で起こっていることを見る そこで、この線でピッタリ「0」「1」を分けず、線から幅を持たせて、 曖昧に判定 (実際は確率として扱う) させることで、未知データ 適切に判定できるようにするのが、「シグモイド関数」です = 「0」 「1」 「0」
- 44. 43 ４．notの中で起こっていることを見る この「局所的な最適解」へのトラップを解消するアルゴリズムが、 AI・MLでは、多数出てきます その1つが「SGD (Gradient Descent)」です model.compile( loss = 'binary_crossentropy', optimizer = SGD( lr = 0.1 ) )
- 48. 47 ５．今度はあなたの手元で
- 51. 50 ご清聴ありがとうございます