Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.

人工智慧與神經網路 (還有深度學習的進展)

3.504 Aufrufe

Veröffentlicht am

金門大學資訊工程系 陳鍾誠 2018年4月20日

Veröffentlicht in: Bildung
  • Login to see the comments

人工智慧與神經網路 (還有深度學習的進展)

  1. 1. 人工智慧與神經網路 ( 還有深度學習的進展 ) 陳鍾誠 2018 年 4 月 20 日 金門大學資訊工程系金門大學資訊工程系 本文衍生自維基百科
  2. 2. 人工智慧 ● 想讓電腦做有智慧的事情 ● 這些事情通常是人才會做的 ...
  3. 3. 而且 ● 常常和人體器官有密切關係 ...
  4. 4. 像是 ● 影像辨識 – 眼睛 ● 語音辨識 – 耳朵 ● 機器翻譯 – 嘴巴、耳朵、手 ● 機器人 –眼耳手腳
  5. 5. 人工智慧的方法 1、比對法 2、推理法 3、搜尋法 4、統計法 5、優化法
  6. 6. 比對法 ● 紀錄問題與答案配對後, 直接從表格內查出來
  7. 7. 像是 Eliza 交談系統 https://mdbookspace.com/view/ai/eliza.md
  8. 8. 看起來好像很神奇 ● 其實用的就只是比對法而已 ... https://mdbookspace.com/view/ai/eliza.md
  9. 9. 推理法 ● 撰寫規則後,電腦根據規則推論
  10. 10. 專家系統用的就是推理法
  11. 11. 可以幫助你進行決策 老虎 <= 哺乳類 & 吃肉 & 條紋 . 哺乳類 <= 有毛 . ?- 有毛 ?- 吃肉 ? - 條紋 食肉類 <= 哺乳類 & 吃肉 .
  12. 12. 搜尋法 ● 對所有可能的結果進行系統式 的列舉,然後看看有沒有答案!
  13. 13. 像是拼圖 https://mdbookspace.com/view/ai/search_bfs_puzzle.md
  14. 14. 還有下棋 https://mdbookspace.com/view/ai/chess.md
  15. 15. 用的通常就是搜尋法 https://mdbookspace.com/view/ai/chess_minmax.md
  16. 16. 統計法 ● 根據統計資訊,找出最有可 能的那個答案 ● 有可能會結合推理搜尋 ...
  17. 17. 統計的目的 ● 通常是尋找機率最大的那個解答
  18. 18. 例如我們可以用統計法算圓周率 https://zh.wikipedia.org/wiki/%E8%92%99%E5%9C%B0%E5%8D%A1%E7%BE%85%E6%96%B9%E6%B3%95 如果樣本是用亂數產生的, 通常會被稱為是蒙地卡羅法 ...
  19. 19. 我們可以輕易用電腦亂數 驗證中央極限定理
  20. 20. 或用貝氏定理 ● 進行機率式推論 ...
  21. 21. 很多語音辨識 ● 還有機器翻譯系統 ● 都是用統計法
  22. 22. 最後一個方法 ● 是所謂的優化法 ...
  23. 23. 優化法 ● 對每個可能的解答,都會給一個分數, 尋找分數最好的那個解答!
  24. 24. 優化法涵蓋面很廣
  25. 25. 可以說 ● 一切皆優化 ...
  26. 26. 只要 ● 有辦法判斷解答的好壞 ● 就可以使用優化法 ● 因為我們總希望選擇最好的答案!
  27. 27. 不管是 ● 電腦下棋 ● 機器翻譯 ● 影像辨識 ● 語音辨識
  28. 28. 我們都會希望 ● 電腦給我們最好的答案!
  29. 29. 所以前輩們設計了下列方法 ● 爬山演算法 ● 遺傳演算法 ● 期望 - 最大化算法 (EM) ● 神經網路 ...
  30. 30. 爬山演算法 ● 是一種很簡單的優化方法 https://en.wikipedia.org/wiki/Hill_climbing
  31. 31. 方法是 ● 看到附近有更高的就往那邊爬 https://mdbookspace.com/view/ai/hillClimbing.md
  32. 32. 如果是山脊 ● 那就會沿著陵線爬 ... https://en.wikipedia.org/wiki/Hill_climbing#/media/File:Ridge.png
  33. 33. 但是如果有很多山峰 爬山演算法不一定會到最高的山峰 ( 會停在任何山頂 ) https://en.wikipedia.org/wiki/Hill_climbing#/media/File:Local_maximum.png
  34. 34. 但是 ● 對於很多優化問題 ● 爬山演算法常常就很夠用了!
  35. 35. 神經網路 ● 也是一種優化法
  36. 36. 模仿人腦神經網路結構 ● 但簡化了很多,只留下《點 + 線 + 閘》 ...
  37. 37. 每個神經元 ● 都會用開關函數來控制
  38. 38. 傳統神經網路 ● 以《多層感知器》為主要模型
  39. 39. 採用《梯度下降法 + 反傳遞演算法》
  40. 40. 所謂的梯度 ● 就是斜率最大 的那個方向
  41. 41. 梯度下降法 就是利用微積分計算梯度,每次都朝最陡的方向下坡 https://mdbookspace.com/view/ai/backprop.md
  42. 42. 而反傳遞算法 ● 則是套用微積分裡的鏈鎖規則 ● 從後一層反推前一層的梯度 這樣才能調整前一層的參數
  43. 43. 梯度下降法 ● 仍然是在優化 ● 目標是尋找能量的最低點 能量通常就是錯誤率
  44. 44. 統計和線性代數裏 ● 有個最小平方法 ● 其實就是一種 優化問題的解法
  45. 45. 神經網路 ● 也可以透過反傳遞算法 ● 尋找最符合的線型 ...
  46. 46. 新一代的神經網路 ● 由於層數較多較深,因此被稱為 《深度學習》!
  47. 47. 深度學習的神經網路 ● 除了多層感知器之外,還加入了: – 卷積神經網路 CNN – 循環神經網路 RNN, LSTM – 生成對抗網路 GAN – 強化學習機制 Reinforcement Learning
  48. 48. 卷積神經網路 CNN ● 通常被用來《辨認影像》
  49. 49. 像是這樣 https://medium.com/ai-saturdays/aisaturdaylagos-basic-overview-of-cnn-cd354470e2bb
  50. 50. 其中的卷積層 CONV ● 是一種遮罩函數,檢查有沒有符合遮罩的點
  51. 51. 像是有些遮罩可以取出邊緣 https://medium.com/ai-saturdays/aisaturdaylagos-basic-overview-of-cnn-cd354470e2bb
  52. 52. 有些遮罩可以區分深淺 https://www.html5rocks.com/en/tutorials/canvas/imagefilters/
  53. 53. 而池化層 Pool ● 其實就只是取最大值,可以用來降低維度 https://medium.com/ai-saturdays/aisaturdaylagos-basic-overview-of-cnn-cd354470e2bb
  54. 54. 卷積網路中的 ReLU 層 則是一種開關,讓高於某個門檻的訊號通過
  55. 55. 最後加上傳統的全連接層 卷積網路就可以辨識影像達到頗高的正確率 https://medium.com/ai-saturdays/aisaturdaylagos-basic-overview-of-cnn-cd354470e2bb
  56. 56. 循環神經網路 RNN ● 最常被用來處理語言 ● 像是機器翻譯系統
  57. 57. RNN 的神經網路有循環 ● 可以用來儲存一些《狀態》 ● 於是相同的輸入,不見得會有相同的輸出 ● 因為和目前狀態有關
  58. 58. 如果把網路根據時間展開 ● 就可以看出這種概念的用途 基本上就是可以處理時間序列 http://colah.github.io/posts/2015-08-Understanding-LSTMs/
  59. 59. 但是簡單的 RNN 不穩定 ● 只能記住短期的事情 ...
  60. 60. 所以有人發展出長短期記憶網路 ● 簡稱為 LSTM http://colah.github.io/posts/2015-08-Understanding-LSTMs/
  61. 61. 循環神經網路 ● 很常被用來學習語言的語法 ● 學完之後該網路就會《亂講話》 但是卻講得《人模人樣》的 ...
  62. 62. 如果看完莎士比亞之後 就會產生像莎士比亞風格的文章 http://karpathy.github.io/2015/05/21/rnn-effectiveness/
  63. 63. 看完一堆 Tex 格式的論文 http://karpathy.github.io/2015/05/21/rnn-effectiveness/ 就會產生一堆很像 Tex 格式的論文
  64. 64. 而且還可以用 LaTex 轉換成 PDF 看起來比我寫的論文還要好 ... http://karpathy.github.io/2015/05/21/rnn-effectiveness/
  65. 65. 接著看完 Linux 作業系統的原始碼 結果就可以寫出一堆看來很像樣的 C 語言程式了 http://karpathy.github.io/2015/05/21/rnn-effectiveness/
  66. 66. 現在的 Google 翻譯系統 ● 使用的就是 LSTM 類型的循環神經網路技術 效果比之前的版本好很多 … . https://translate.google.com.tw/?hl=zh-TW
  67. 67. 接著讓我們看一種最新型的神經網路 ● 稱為《生成對抗網路》 ● 簡稱 GAN
  68. 68. 生成對抗網路 GAN ● 採用《偽造者與鑑賞家》對抗的方式, 讓雙方能夠在對抗過程中能力愈來愈 強!
  69. 69. GAN 最擅長《模仿他人的風格》 或者將《素描》轉換成《擬真照片》 https://phillipi.github.io/pix2pix/
  70. 70. 簡單的幾筆畫 也可以被轉換成逼真的風景照 https://github.com/junyanz/iGAN http://www.k4ai.com/cgan/
  71. 71. 如果讓 GAN 學習人臉 https://devblogs.nvidia.com/photo-editing-generative-adversarial-networks-2/
  72. 72. 你就可以透過調整參數 https://devblogs.nvidia.com/photo-editing-generative-adversarial-networks-2/
  73. 73. 得到合成的改造臉 https://devblogs.nvidia.com/photo-editing-generative-adversarial-networks-2/
  74. 74. 因為 GAN 的網路參數 ● 通常都會對應到某些意義 ● 像是有沒有鬍子、男或女、年紀大小、頭髮顏色等等
  75. 75. 這種技術還可以用來造假 ● 所以既使有影片為證都不太能相信 https://www.youtube.com/watch?v=ttGUiwfTYvg
  76. 76. 最後讓我們看強化學習機制
  77. 77. 強化學習機制 ● 常常透過《探索或自我對打》,找到好的 策略來進行決策! ● 像是 AlphaGo 圍棋程式就是《機率模型 + 強化學習 + 神經網路》結合得到的結果!
  78. 78. 強化學習可以用在機器人上 像是讓掃地機器人學習房間打掃的方式 https://en.wikipedia.org/wiki/Reinforcement_learning
  79. 79. 當機器人走到有垃圾的地方 掃到垃圾就算得了一分,這得分會視為獎勵 https://www.slideshare.net/ckmarkohchang/alphago-in-depth
  80. 80. 於是會將該路徑走法加分 https://www.slideshare.net/ckmarkohchang/alphago-in-depth
  81. 81. 前年的 AlphaGo 圍棋程式 也是用強化學習 + 神經網路 + 蒙地卡羅搜尋
  82. 82. 結果五戰四勝贏李世石之後 隔年又三戰全勝大贏世界排名第一的柯潔
  83. 83. AlphaGo 採用了兩組神經網路 策略網路和價值網路 https://medium.com/@karpathy/alphago-in-context-c47718cb95a5
  84. 84. AlphaGo 會向幾千萬局的棋譜學習 ● 也有採用自我對打的方式強化
  85. 85. 後來的進化版 AlphaGo Zero ● 完全不向棋譜學習 ● 只靠自我對打 … ● 而且只有一套神經網路 ● 結果棋力比 AlphaGo 更強 ...
  86. 86. 接著 AlphaGo 的創造者 DeepMind 公司 ● 又創造出更強的 AlphaZero ● 不只能下圍棋,而且只要有確定規則 的棋類,都能透過自我對打成為高手。
  87. 87. 這種武功 ● 應該算是《左右互博之術》吧!
  88. 88. AlphaGo,AlphaGo Zero,Alpha Zero ● 分別登上了一次 Nature 期刊 ● 總共上了三次 …
  89. 89. 以上 ● 就是神經網路和深度學習的基本概要!
  90. 90. 想要知道更多資源請看 ● 李宏毅 - 深度學習課程 – http://speech.ee.ntu.edu.tw/~tlkagk/courses.html ● 周莫烦– Python 深度學習課程 – https://www.youtube.com/channel/UCdyjiB5H8Pu7aDTNVXTTpcg ● Andrej Karpathy - 網誌 – https://medium.com/@karpathy – https://cs.stanford.edu/people/karpathy/ – http://karpathy.github.io/
  91. 91. 謝謝聆聽!

×