深層学習よもやま話
•Als PPTX, PDF herunterladen•
3 gefällt mir•2,054 views
Deep Learning Labでお話したよもやま話です。
Empfohlen
Weitere ähnliche Inhalte
Ähnlich wie 深層学習よもやま話
Ähnlich wie 深層学習よもやま話 (20)
Mehr von Hiroshi Maruyama
Mehr von Hiroshi Maruyama (16)
深層学習よもやま話
- 1. 深層学習よもやま話 ~DL的思考~ 3/23, 2018 Preferred Networks, 丸山 宏 DLL 勉強会
- 2. 普通のIT技術者から見ると – 「DLはなんか違うぞ」 – DL的思考って何？ 今日のテーマ – データがあればDLができるのか？ – DLをシステムに組み込むには？ – ハイパーパラメターをどのように選ぶか？ 2
- 3. 深層学習って何だったっけ？ 関数（プログラム）の作り方 – 演繹でなくて帰納 – つまり、モデルフリー モデルやアルゴリズムがわからなくても、訓練データセットさえあれ ば作れる – 教師信号の与え方次第で、驚くようなことが… 本質的に統計モデリング – 元分布が独立・同分布であることが前提 – 近似しかできない（バイアスが入ることを避けられない） 3
- 4. １．データがあれば深層機械学習ができるのか？ 人工知能 ＝ ビッグデータ？？ 「我が社にはビッグデータがあるので、これで人工知能を作って欲しい」 4 1. そのデータ、独立・同分布ですか？ （バイアスはありませんか？） 2. 教師信号はありますか？
- 7. 教師信号の工夫 人手によるアノテーション 逆問題としての定式化 シミュレーションによるフィードバック 7
- 10. Consumer Electronics Show (CES) 2016 CESにおける自動運転デモ 教師信号の与え方：強化学習によるフィードバック
- 12. 深層学習のためのデータ設計 バイアスを補正できる情報を同時に記録する – 最初に同じ対象を観測する、など 教師信号（に代わるもの）を同時に設計する – アノテーション、逆問題、シミュレーション … – アイディア次第で驚くようなことが。。。 12
- 14. 14 モデルベース開発か、モデルフリー開発か？ モデルベース開発 （演繹的） モデルフリー開発 （帰納的） • モデルがよく知られている • アルゴリズムが構成できる • 常に正確な解を必要とする • 教師信号がない • モデルが不明 • アルゴリズムが不明 • 近似解で構わない • 教師信号が得られる 適材適所
- 15. 確率的に出てきてしまう「あってはならない解」をどのよう に排除するか 15 ポリシー・モジュールで、不適切な解をフィルタする DL出力(Rn空間の点)を、実行可能空間にマップする 実行可能空間を探索するプログラムのオラクルとしてDLを使う DLモジュール ポリシーモ ジュール 教師信号 DLモジュール 空 間 変 換 教師信号
- 16. 16 AlphaGoは木探索とDLの融合 Silver, David, et al. "Mastering the game of Go with deep neural networks and tree search." nature 529.7587 (2016): 484-489.
- 18. ハイパーパラメターの与え方(丸山流) ネットワーク構造 – まずは黙ってMLP！ – 格子構造だったらCNN (Chainer CV) – 時系列だったらRNN – グラフ構造だったらGraph CNN (Chainer Chemistry) サンプルコードのマジックナンバーは基本いじらない – バッチサイズ、学習率、… 学習曲線を見て、汎化誤差が大きくなりはじめたら止める 18
- 19. 例：指の振動から個人を特定（名工大田中先生の例） Hiroshi Maruyama19 これは誰の指か？ 4,301次元の入力 0, 1, 2, …, 9 を判別 100サンプル✕10名の振動データ
- 20. Hiroshi Maruyama20 5,000ノード 10通り 4,301次元の入力 5,000ノード 4層、中間ノード5,000のパーセプトロンで学習 40秒ほどの学習で、45%くらいの精度
- 22. 22 Thank You