Weitere ähnliche Inhalte
Ähnlich wie Hello deeplearning! (20)
Kürzlich hochgeladen (11)
Hello deeplearning!
- 3. 本日の流れ
1. Deep Learningとは
1. 事例
2. 概要
2. Deep Learningの歴史(経緯)
1. 歴史1,2,3,4
3. Deep Learningの動向
4. Deep Learningの課題
5. 自分の今後
6. まとめ
2
- 4. DLの事例
• Googleの猫認識
▫ 教師なし学習。
▫ 猫を識別可能に。
▫ Youtubeから200×200px
ランダムに抽出。
• 画像認識の大会(他)での圧勝
▫ コンピュータ1000台で3日間。
▫ 人間の顔、身体、猫の顔。
▫ ILSVRC2012では誤り率の点で
2位と10%差をつけて大勝。
1位SuperVision→ Error -> 0.15315
2位ISI→ Error- > 0.26172
▫ 業界全体が震撼
▫ 以降ILSVRCではDLが主流に。
3
- 5. Deep Learningとは
• 教師なしニューラルネットワークを
多層にしたもの。
• これがDL!というよりはアプローチ手法。(多義的)
参考:http://www.nttdata.com/jp/ja/insights/trend_keyword/2013110701.html 4
- 6. Deep Learningの歴史概要1
• 1943年ウォーレン・マカロックら、人工神経を提唱。
• 1958年フランク・ローゼンブラット、
『パーセプトロン』を提唱(+学習機能)。
しかし・・・
参考:http://www-ailab.elcom.nitech.ac.jp/lecture/neuro/par1.html 5
- 7. Deep Learningの歴史概要2
• 1969年マーヴィン・ミンスキーら、
単純パーセプトロンが線形分離不可能な
パターンを識別出来ない事を証明。
6
x1
x2
(0 , 1) (1 , 1)
(0 , 0) (1 , 0)
そこで!
【XOR】
ワケラレナイヨー
- 8. Deep Learningの歴史概要3
• 1986年デビッド・ラメルハートら、
『誤差逆伝搬法(バックプロパゲーション)
を提唱(教師あり学習)。
• しかしなかなか実用までの応用が利かず、
SVMの台頭などもあり
ニューラルネットワーク研究は下火に…。
• バックプロパゲーションの弱点として、
▫ 時間がかかる(効率が悪い)。
▫ 層を深くすると上手く学習されない(過学習等)。
7
- 9. Deep Learningの歴史概要4
• 2006年ジェフリー・ヒントンら、
PreTraining やAutoEncoder等の
概念を提唱。
▫ 多層化への対応。
▫ Deep Learningの原点と言われる事が多い。
• 2012年、様々な脚光を浴びる(cf. スライドp3)
• →現在、様々な場で研究・勉強が進められている。
8
- 10. Deep Learningの動向
• Google→ヒントン教授ら所属のDNNリサーチ社、
人工知能研究企業DeepMindなどを買収。
オックスフォード大学と研究連携も。
• Yahoo→画像認識技術ベンチャーである
LookFlow社を買収。
共同でDeep Learning Groupを設立。
• Baidu→独自の人工知能研究所をシリコンバレーに。
• Deep Learning勉強会(第2回まで開催中)
→ http://wbawakate.jp/wordpress/
9
- 11. Deep Learningの課題
• 計算時間(オーダ)の短縮。
• 並列計算などの効率化(GPU使用、並列化etc)。
▫ 例えばGoogleの猫認識は個人での実装は厳しい。
• スタンダードな何か(ライブラリ等)の実装。
▫ Theano、Pylearn2、etc…
• 専門性が多く、未だに職人芸な部分の排除。
▫ 事前調整などは未だにかなり専門的。
まだまだこれから成長しそうな分野。
10
- 12. 今後の予定
• 勉強する。(書籍、論文、勉強会、調査等)
▫ Python(来週はPythonについて…?)
▫ ニューラルネットワーク
▫ 機械学習
▫ 画像処理、自然言語処理、音声情報処理の選択
• 卒論のテーマの策定、テーマとの関連付け
• 時間の確保
▫ 課題パラダイスの現状打破
11
- 13. まとめ
• Deep Learningという新手法の台頭
• 長い歴史。葛藤の連鎖。
▫ ニューラルネットワーク、機械学習
• 各大企業も注目。業界(企業・学術)に光明。
• しかし課題も多い。
• 今後が楽しみな分野である。
12
- 14. 補足
• 教師あり/なし学習→ 学習データを得た出力に対して
正解を与えるかコンピュータ
自身に判断させるか。
• 汎化性→未知データに対しても分類出来る度合い
• PreTraining→深い多層NNの誤差逆伝搬法による
学習は、ランダムな初期値では
上手く行かない事が多い。その為、
良い初期値を与えるよう事前に
層毎に教師なし学習を行う事。
最後にFineTuning(全体の微調整)
を行ったりもする。
• AutoEncoder→PreTrainingの際、入力に近い出力を
返すという仕組みの事。
13
- 15. 参考文献1
• (Webサイトは全て2014年10月24日~2014年10月26日アクセス)
• Googleの猫認識(Deep Learning) - 大人になってからの再学習
http://d.hatena.ne.jp/Zellij/20130608/p1
• GoogleやFacebookが注目するディープラーニング(深層学習)について
まとめてみた- NAVERまとめ
http://matome.naver.jp/odai/2140635573608360401
• ImageNet Large Scale Visual Recognition Competition 2012 (ILSVRC2012)
http://www.image-net.org/challenges/LSVRC/2012/results.html
• Deep learning
http://www.slideshare.net/kazoo04/deep-learning-15097274
• 本格化する「人工頭脳」のビジネス活用| NTTデータ
http://www.nttdata.com/jp/ja/insights/trend_keyword/2013110701.html
• 一般向けのDeep Learning
http://www.slideshare.net/pfi/deep-learning-22350063
• 岡谷貴之| 画像認識分野でのディープラーニングの研究動向
http://ibisml.org/archive/ibis2013/pdfs/ibis2013-okatani.pdf
• ディープラーニング(深層学習)を用いたビジネスモデル| POSTD
http://postd.cc/deep-learning-business-models/
14
- 16. 参考文献2
• 名古屋工業大学大学院工学研究科新谷研究室| 新技術Deep Learning
http://www-toralab.
ics.nitech.ac.jp/~ginshun/deeplearning/activity/140228/DL01Sli
de_ginshun.pdf
• ニューラルネットの逆襲| Preferred Research
http://research.preferred.jp/2012/11/deep-learning/
• 階層型ネットワーク~パーセプトロン~
http://www-ailab.elcom.nitech.ac.jp/lecture/neuro/par1.html
• 渡辺雄二|パーセプトロンにおける線形分離不可能問題に対する一解法
http://earth.iec.yamagata-cit.ac.jp/intro/watanabe/rr_2005.pdf
• 村上・泉田研究室第6章誤差逆伝搬法について
http://ipr20.cs.ehime-u.ac.jp/column/neural/chapter6.html
• 関東CV勉強会でオートエンコーダ他について話した- tabe2314のブログ
http://tabe2314.hatenadiary.jp/entry/2014/06/01/002249
• Deep Learningを勉強する際に参考にしたサイト・書籍まとめ|fz-qqq‘s diary
http://fz-qqq.hatenablog.com/entry/2013/11/13/224743
• 熊沢逸夫(1998) 『学習とニューラルネットワーク』森北出版
15