[名古屋CV・PRML勉強会] ゼロからはじめたいDeep Learning
•Als PPTX, PDF herunterladen•
4 gefällt mir•1,547 views
2018.4.28の名古屋CV・PRML勉強会で発表したスライドです． ※ 個人的な勉強のしかたです． Keynoteユーザで，パワポに変換したら少し文字が変になりました…Keynote版の方が見やすいです． Full resolusion version: https://drive.google.com/file/d/1fWYPLBiohWWQrWtwOZ5PZnyh9Zocq62H/view?usp=sharing
Empfohlen
Weitere ähnliche Inhalte
Ähnlich wie [名古屋CV・PRML勉強会] ゼロからはじめたいDeep Learning
Ähnlich wie [名古屋CV・PRML勉強会] ゼロからはじめたいDeep Learning (20)
Mehr von Hiroshi Fukui
[名古屋CV・PRML勉強会] ゼロからはじめたいDeep Learning
- 1. 名古屋CV・PRML勉強会 ゼロからはじめたいDeep Learning Machine Perception and Robotics Groups Hiroshi Fukui
- 2. Who are you ? • 名前：福井 宏 - 学年：博士後期課程 3年 - 4代目 名古屋CVPRML勉強会 幹事 • 所属：Machine Perception and Robotics Group • SNS： - 個人HP：https://sites.google.com/site/fhiroresearch/home - Twitter：https://twitter.com/Catechine0125 - Facebook：https://www.facebook.com/green.tea1125 2
- 3. 今日の内容 • 今，すごく流行りDeep Learningをどうやって始めれば良いのかを紹介 - ※あくまで個人的な観点 - 膨大な勉強方法からオススメな勉強方法を紹介 - 今回の発表スタイル： • 自分の歴史を振り返りながらオススメの資料を紹介 3
- 4. ボクの歴史 4 Deep fhiro 20142013 2015 2016 2017 2018 学部時代 修士時代 博士時代 藤吉研究室 配属 山下先生の転職 & MPRGの誕生 卒論 修論 & 卒論 名古屋勉強会 幹事 任命 Neural Networkの革命 GoogLeNet VGGNet Faster R-CNN PAF YOLO v2 Mask R-CNN GAN pix2pix Captioning (LSTM) ResNet SSD YOLO Framework
- 5. ボクの歴史 5 Deep 20142013 2015 2016 2017 2018 Neural Networkの革命 GoogLeNet VGGNet Faster R-CNN PAF YOLO v2 Mask R-CNN GAN pix2pix Captioning (LSTM) ResNet SSD YOLO + 基礎知識 最近の研究動向 実践 fhiro 学部時代 修士時代 博士時代 藤吉研究室 配属 山下先生の転職 & MPRGの誕生 卒論 修論 & 卒論 名古屋勉強会 幹事 任命 Framework
- 6. 基礎を学ぶにおいて (個人的な意見) • 書籍とスライドで学ぶ対象を分ける - 書籍： • 非常に長い間残る資料 - 著者は長い間使われそうな手法をピックアップしてまとめる • コード解説等は例外 - 長く使われる手法が多い = 基礎の勉強に向いている • 長い間読まれている本は多くの基礎手法が含まれている - スライド： • 資料を作る自由度が高く，公開・発表される機会が非常に多い - 研究のトレンドを紹介しやすい - 最近話題の手法を知りやすい 6
- 7. 基礎を学ぶにおいて (個人的な意見) • しかし、それぞれデメリットも持っている - 書籍： • あまり使われていない手法も紹介されている - 古い書籍にありがち - 読むべきページを見分ける必要がある場合もある (読んでも良いけど時間が取られる) - スライド： • 作り手の個人差が激しい 7
- 8. B4時代にお世話になった資料 • パターン認識と機械学習 上 - 基礎的なベイズ理論からパターン認識までを解説した書籍 - お値段：7,000円くらい • 良かった点 - 今のDeep Learningで使われている基礎的な技術が詳細に解説 • Back propagation, Neural Network, activation function, Neocognitron, … • 実はConvolutional Neural Networkの解説も入っている - 機械学習の基礎を固めやすい • 機械学習のノウハウ(正則化等)を詳しく知ることができる • 数式レベルで機械学習の基礎を作ることができる 8
- 9. しかし・・・ • B4時代の自分には少し難しすぎた・・・ - 機械学習や数学の基礎を知らない状態だと理解するのに結構時間がかかる - 数ヶ月かけて読んだのに全然理解できない・・・ 9
- 10. 追加資料の活用 • 有名な書籍は勉強会のテキスト等で使われやすい - 言い換えれば，内容をまとめたスライドやブログが結構ネットに転がっている - 自分の理解に活用すると読みやすくなる 10
- 11. 修士時代にお世話になった資料 • イラストで学ぶディープラーニング - Deepの基礎から動作までをイラスト付きで解説している書籍 - お値段：2,800円くらい • 良かったところ - NNの基礎を勉強するにはかなり向いている書籍 - Chainer, Tensorflow, caffe,…の導入から動作方法までがスムーズ に行える • 実験結果を確認しながら読むことができる(特にCIFAR) • 実践向きの専門書 11
- 12. 修士時代にお世話になった資料 • 深層学習 - Deep Learningの基礎を論理的に解説した書籍 - お値段：2,800円くらい • 良かったところ - AutoEncoder, RNN, Boltzmann Machine等の解説が詳細に記載 • 当時，RNNの勉強にかなり助けられた(Show and tellが流行った頃) - NNの基礎もこの書籍で勉強できる 12
- 13. 修士時代にお世話になった資料 • 深層学習 Deep Learning - Deepの基礎をより深く解説している書籍 - お値段：3,800円くらい • 良かったところ - NNの基礎をより深く理解したい場合にオススメ • これを読む前に1段内容が浅い書籍で事前知識を蓄えるのが オススメ 13
- 14. 最近お世話になっている資料 • Deep Learning - Goodfellow先生主著のDeep Learningの専門書 - 日本円で7,700円くらい (日本語版は知らない) • 良いところ (まだ読んでる途中…) - 基礎の基礎知識まで詳細に記載されている • 機械学習に必要な数学の知識 • 機械学習の基礎的な知識…etc - PRMLにDeepのトレンドを取り入れたような書籍…？ 14
- 15. 最近お世話になっている資料 • 画像認識 - 画像認識を中心にまとめられた専門書 - お値段：3,000円くらい • 良かったところ - 画像認識で用いられているDeep Learningについて多様に記載 • 画像認識でDeepを使いたい人にオススメ • Deep以外の画像処理関係の手法も紹介 - Random Forest, SVM, 特徴点検出, …etc 15
- 16. 最近お世話になっている資料 • 深層学習による自然言語処理 - 自然言語処理で使われるDeepについて記された専門書 - お値段：3,000円くらい • 良かったところ - 自然言語処理の基礎からDeepへの応用についても記載 • 他の分野でどのようなDeepが使われているのかを学びたいとき にオススメ - 実装時の工夫も記載されてあり，割と実践的 16
- 18. 最近の超オススメ • Stanford大学(Fei-Fei Li先生)の講義資料 - URL：http://cs231n.stanford.edu/2017/ 18
- 19. CS231n • Stanford大学で行われる年に1回のNeural Network (Deep Learning)の講義 - Fei-Fei Li先生の研究室が主体となって講義 - 2018年度は春学期に講義が行われる (資料は講義の日程に合わせてアップロード) - とても人気のある講義なので，年々大規模に 19 2015年 冬学期 (CI:2, TA:4) 2016年 冬学期 (CI:3, TA:11) 2017年 春学期 (CI:3, TA:19) 2018年 春学期 (CI:3, TA:24)
- 20. CS231n • Stanford大学で行われる年に1回のNeural Network (Deep Learning)の講義 - Fei-Fei Li先生の研究室が主体となって講義 - 2018年度は春学期に講義が行われる (資料は講義の日程に合わせてアップロード) - とても人気のある講義なので，年々大規模に 20 @2017 Spring (Fei-Fei Li先生のTwitterより)
- 21. CS231n • Stanford大学で行われる年に1回のNeural Network (Deep Learning)の講義 - Fei-Fei Li先生の研究室が主体となって講義 - 2018年度は春学期に講義が行われる (資料は講義の日程に合わせてアップロード) - とても人気のある講義なので，年々大規模に 21
- 22. CS231nのすごいところ • レクチャーしている範囲がとても広い - 画像処理の基礎，NNの基礎からMask R-CNN等の最新の物体認識，RNN，強化学習まで 22 Lecture.2 : Image Classification pipeline Lecture.3 : HOG, SVM, BoW, NNのoptimization Lecture.4~9 : NN, CNNの基礎 Lecture.10 : RNN Lecture.11 : Detection, Segmentation Lecture.12 : Visualizing and Understanding Lecture.13 : Generative Model Lecture.14 : Reinforcement Learning
- 24. CS231nのすごいところ • 講義内容が動画でアップロードされている - URL：https://www.youtube.com/playlist?list=PL3FW7Lu3i5JvHM8ljYj-zLfQRF3EO8sYv • ちなみに・・・ - 2017年度の講義ではGoodfellow先生が招待公演 (動画も公開されている) 24 Ian Goodfellow - GAN, Adversarial Examplesで有名
- 27. 色々な資料を紹介しましたが・・・ • どうやって勉強していくのが良いのか？ - 正直，勉強の仕方は人それぞれ • 大学で勉強会を開いて資料を読んで知識を蓄えていくスタイル • コードを動かしつつ資料を読んで知識と経験を蓄えていくスタイル • 1人孤独に資料を読んで知識を蓄えていくスタイル …etc - 最近はこんなオンラインコースもあるみたいですね (僕はやったことないですが…) 27 fast.ai DIGITS
- 28. 自分はどうやって勉強して来たか？ • 1人孤独に資料を読んで知識を蓄えていくスタイル - そもそも，2013年頃は今ほど資料とサンプルコードが豊富じゃなかった、、、 28 基礎 先生から 借りた本 ＋ 実装 応用 2014 現在 ＋ ＋ チュートリアル資料
- 30. 基礎の勉強について • 自分の能力と，どうやって勉強したいのかを決めて資料を選択 30 Beginner Expert Deep Deep +α Deep未経験 ＋画像認識 or 実践 or 最近の手法の調査 より深い理解へ より深い理解へ or 最近の手法の調査
- 31. 基礎の勉強について • 自分の能力と，どうやって勉強したいのかを決めて資料を選択 31 Beginner Expert Deep Deep +α Deep経験：少 (理論的に知りたい) or 実践 or 最近の手法の調査 より深い理解へ 手広く応用先を調べる or 最近の手法の調査
- 32. まとめ • (個人的な)Deep Learningの勉強方法について紹介 - 勉強方法に関しては個人差があるので自分で探したほうが良い - 他にも参考になりそうな資料はあるので，試し読みして見るのも良いかも • Goodfellowの書籍のように，公開されている書籍 or 資料も存在する 32 初心者向け 理論的な知識を 身に付けたい人向け 応用へ
- 33. おわりに • 基礎の勉強は続けよう - “一般的な手法”は常に変化している • チュートリアル資料が活用しやすい • 余裕があれば学会のチュートリアルや勉強会等に積極的に参加しよう！ 33 例) “一般的な”ネットワークモデル GoogLeNet VGGNet ResNetAlexNet 2013~ 2014~ 2016~