你不可不知的機器學習應用
•
13 gefällt mir•5,098 views
演講題目：你不可不知的機器學習應用 講者：吳君孝/資料科學家 地點：國立臺北護理健康大學 作者介紹： 資料科學家，也是創業家。熱愛資料科學跨領域研究，推廣資料科學及實作研究，以資料解決真實世界的問題為目標。專長為組織執行、策略規劃、資料分析與視覺化。平常從事「大數據」與「資料科學」跨領域技術研發，喜愛跨領域研究，涵蓋農業、廣告代言媒合、新媒體、警政、環保、食安、經濟等應用研究。 演講內容： 2017年Gartner十大策略性技術發展趨勢中，「機器學習」將成為未來科技的發展主流，各種機器學習的相關應用也持續蓬勃發展中。大數據浪潮過後，你除了可以擁抱資料科學之外，最能關注的便是機器學習到底可以做些什麼？本次講者將以資料科學家的角度切入，帶來你不可不知的機器學習各類應用案例介紹。除此之外，也會淺談講者如何應用資料科學及其相關分析技術，進入領域中創業的一些分享。
Empfohlen
Weitere ähnliche Inhalte
Empfohlen
Empfohlen (20)
你不可不知的機器學習應用
- 2. About Me 吳君孝 Shaw Wu 現職：資料科學家 / 正在創業家 簡單介紹： 熱愛資料科學跨領域研究，推廣資料科學及實作研究，以資料解決真實世界的問 題為目標。專長為組織執行、策略規劃、資料分析與視覺化。平常從事「大數據」 與「資料科學」跨領域技術研發，喜愛跨領域研究，涵蓋農業、廣告代言媒合、 新媒體、警政、環保、食安、經濟等應用研究。 更多講者資訊：https://tw.linkedin.com/in/shaw-wu-887489a8 Mail聯絡方式：shaldrem@gmail.com Facebook：https://www.facebook.com/shaw.wu 2
- 4. 佐為是你嗎？還是AlphaGo? 2016 年 3 月Google AlphaGo 大戰世界圍棋冠軍李 世乭，以 4：1 的總分戰勝了人類。 4
- 5. 2017科技趨勢發展 5 n 智慧 • 人工智慧與先進機器學習 • 智慧應用程式 • 智慧物件
- 6. 2017科技趨勢發展 6 n 數位 • 虛擬實境與擴增實境 • 數位分身 • 區塊鏈和分散式總帳
- 7. 2017科技趨勢發展 7 n 網格 • 對話式系統 • 網格應用程式與服務架構 • 數位科技平台 • 適應性安全架構
- 9. 9
- 10. Ｗhat is 機器學習? • 「機器學習」是一類從數據中自動分析獲得規律，並利用規律對未知數據進行預 測的各類演算方法。 • 機器學習主要研究領域偏向人工智慧科學，擅長運用數據或以往的經驗，優化演 算性能，並能在經驗學習中不斷改善。 • 除了應用在資料庫處理問題上，也廣泛應用在影像辨識與機器人學上。 • 機器學習可分為監督式學習、非監督式學習、半監督式學習、與加強式學習。 10
- 11. 機器學習分類 • 監督式學習：指的是從給定的訓練數據集中學習出一 個函數，而當新的數據到來時，就可以根據這個函數預測 結果。監督式學習的訓練集要求是包括輸入和輸出，也可 以說是特徵和目標，訓練集中的訓練目標則是由人為標註。 • 非監督式學習：「非監督式學習」與監督式學習相比， 差別在此訓練集沒有人為標註的結果存在。 • 半監督式學習：顧名思義係指介於監督式學習與非監 督式學習之間。 • 加強式學習：則是通過觀察來學習做成如何的動作， 假定每個動作都會對環境有所影響，則學習對象會根據觀 察到的周圍環境的反饋來做出判斷。 11
- 12. 機器學習方法 • 人工神經網路（類神經網路 ANN）、卷積神經網路(CNN) • 決策樹 • 感知器(線性分類器) • 支援向量機(SVM) • 整合學習AdaBoost • 降維與度量學習 • 聚類 • 貝葉斯分類器 12
- 13. 13 統計 Statistics 資料探勘 Data Mining 機器學習 Machine Learning 資料庫技術、平行運算技術、分散式運算 主要目標為「分析因果關係」，期望由預估 資料變化中來得出結論，或是研究自變數與 因變數之間的關係 從大量的資料中，自動搜尋隱藏於資 料中的特殊關聯性資訊，並且在大量 的、不完全的、有雜訊的、模糊的、 隨機的實際應用資料中，提取隱含其 中，人們事先不知道的，但又是潛在 有用的資訊和知識 資訊檢索 Information Retrieval 從數據中自動分析獲得規律， 並利用規律對未知數據進行預 測的各類演算方法。 主 軸 轉 換 資訊的收集與加工、儲存與檢索 及對用戶提供的一整套電腦技術 和資訊工作
- 14. 資料科學三構面 工程 分析 領域
- 16. 16 Raw Data Data Sets Statistical Analysis Exploration Analysis Predictive Analytics Recommend Analysis Value Big Data Data Science Service Feedback u = u u u u u u u u u u u u u u u © Copyright Application & Data Service Section of INSTITUTE FOR INFORMATION INDUSTRY Corporation 2015.
- 18. 深度機器學習（Deep Learning）的相關應用 1. 幫圖片上色 2. 產生特定風格的音樂(巴薩諾瓦（Bossa Nova）、頌讚曲) 3. 破解帳號密碼 4. 壓縮資料 5. 識別瀕危物種 6. 推薦受歡迎圖像 7. 讓模糊照片變清晰 8. 自動產生特定風格的劇本. 10 More Cool Deep Learning Applications | Two Minute Papers https://www.youtube.com/watch?v=hPKJBXkyTKM 18
- 20. 打電動也可以用機器學習來玩 用機器學習（神經網絡）來訓練機器完成特定任務 • 馬力歐 https://www.youtube.com/watch?v=qv6UVOQ0F44 • Breakout https://www.youtube.com/watch?v=TmPfTpjtdgg 20
- 21. 教機器人走路 Robot trains with Q-Learning and an artificial neural network (reinforcement learning) 主要是藉由定義各個狀態以及動作和適當的指導（給予獎勵、懲罰），機器人即會循序漸進的從無到有學會執 行某項任務的演算法。 https://www.youtube.com/watch?v=fHCm0gQRzC4 https://www.youtube.com/watch?v=1MUQ9UiLRBo 機器蛇爬桌子 https://www.youtube.com/watch?v=PnCCd5rMRAM 21
- 22. 微軟的即時語音辨識自動翻譯功能 Speech Recognition Breakthrough for the Spoken, Translated Word https://www.youtube.com/watch?v=Nu-nlQqFCKg (可直接跳到7:20) 22
- 23. Google AutoDraw AutoDraw 介面類似小畫家，但是最特別的地方是運用機器學習。Google 使用合作藝術家的畫作， 猜測使用者想畫什麼。使用者只要挑選心中想畫的東西，像是雨傘、房子、汽車，之後 AI 會猜你實 際上是畫什麼，列出可能結果清單，原先的隨手塗鴨就變成藝術家等級的畫筆，後續可以用其他工具 修改成想要的畫面，並且下載繪製完成的畫作。 https://www.youtube.com/watch?v=VwRbvVrUXTc 23
- 24. 自動上色服務- Paintschainer 官網： https://paintschainer.preferred.tech/index_zh.html PaintsChainer 一樣是 AI 人工智慧的概念，透過程式 以及影像辨識演算法的計算，為你的線稿圖檔自動上 色！ 影片介紹： https://www.youtube.com/watch?v=kryHpihbtPY PaintsChainer 這個工具目前已經在 GitHub 開源，期 待有更多的影像辨識專業人士強化其演算精準度與擴 充功能，讓 PaintsChainer 更為強大！ GitHub 開源專案網址： https://github.com/taizan/PaintsChainer 24
- 25. 藝術Ｘ圖片 25
- 26. 藝術Ｘ圖片 26
- 27. 圖片與影片的結合：萃取圖片藝術風格入影片 Artistic style transfer for videos https://www.youtube.com/watch?v=Khuj4ASldmU 27
- 28. 音樂自產 • Google A.I. just created music (CNET Update) https://www.youtube.com/watch?v=3OEmzI52stk • Daddy‘s Car: a song composed by Artificial Intelligence - in the style of the Beatles （Sony） https://www.youtube.com/watch?v=LSHZ_b05W7o • Jukedeck歌曲自產軟體 https://www.youtube.com/watch?v=xxDo3I00NJs 28
- 29. 無人機基本介紹 29 第 1 種：「遙控飛機」（Remotely Piloted Aircraft） 駕駛不坐在機艙內，而是在一定距離以外（地面上或另外一架飛 機裡）透過無線電遙控操縱飛機。大部分的遙控飛機是以真實飛 機或直升機機身尺寸按比例縮小，主要供作娛樂或訓練用途，但 也有些是以退役的戰鬥機或客機改裝而成。雖然無線電波的傳送 距離在理想條件下可以達到好幾十公里，不過一般遙控飛機的操 作範圍都是在視線距離之內，以策安全。 第 2 種：「無人飛行載具 UAV」（Unmanned Aerial Vehicle） 為近年來全球科技界競相投入的領域。一架功能完整的 UAV，包 括了機身載具、推進動力、航電飛控、任務酬載以及地面控制等 次系統，以及相關的系統整合能力，因此更貼切的稱呼應該是 「無人飛行系統 UAS」（Unmanned Aerial System）。 第 3 種：「飛行機器人系統」（Aerial Mobile Robotic System） 除了具備上述 UAV 功能外，還具備人工智慧，可自主學習、適應 作業環境、修正行為模式，甚至可和其他飛行機器人分工合作。
- 32. 移動機器人田間伺服器 The mobile robotic Field Server, robo-FS 32 • 運動單元： 在目標田間中移動 • 田間服務器單元： 用來遠端操控系統運作 • 操縱器單元： 用來測量目標 robo-FS保存在基站裡面的非接觸式充電底座中 • FS攝影機： 提供熱力圖或影像資料 ，輔助其運作機制
- 33. 戶外穀類作物的高通量表型分析 High throughput phenotyping for cereal crops in outdoor conditions 33 n 日 本 利 用 機 器 學 習 (machine learning)的方式，提出可利用圖 像分析穀類作物，以加快表型分析， 並將此圖像三切，以探究戶外穀類 作物表型 n 如，從不同的自然光照背景條件下， 以固定地面攝影機平台或無人機拍 攝影像，並透過DTSM組合作物分 割方法，將作物影像分割，來檢測 水稻的開花情況
- 35. 語音互動生活小助理 35
- 36. Chatbot 聊天機器人 Chatbot是種服務，透過 AI（人工智慧）或自行定義的自動化規則，讓使用者可以透過聊天通訊的 介面，與其進行互動。如美國的 Carbros，就是一個能回答使用者購車相關訊息的自動化購車服務。 36 https://www.youtube.com/watch?v=df9NFPH904c https://www.youtube.com/watch?v=IYJjrvXSbnM
- 38. 機器學習應用在徵信上-美國 ZestFinance 38 美國傳統的信用風險評估體 系無法覆蓋全部的人群。 15%的人因沒有信用評分而 被銀行排斥在外，無法獲得 基本的信貸需求 85% 15% 有信用評分 無信用評分 需求切入契機 ZestFinance的大數據徵信 大數據徵信 第三方資料 傳統信貸 搬家次數 法律紀錄 使用者提交資料 電話帳單 水電瓦斯帳單 互聯網資料 IP位址 網路行為 社群網路 n 以大數據技術為基礎進行多元豐富的資料收集 n 使用多元數據， 以機器學習的 預測模型和集 成學習的策略 發展信用評估 分析模型
- 39. 機器學習應用在徵信上-美國 ZestFinance 39 以美國為例 傳統信用風險評估 基於大數據的信用評估 代表企業 FICO ZestFinance 服務對象 85%有豐富信貸紀錄者適用 可涵蓋至15%缺乏或無信貸紀錄者 資料結構 結構化資料 結構化資料與非結構化資料 資料類型 信貸資料 信貸資料+網路資料+社群資料+特徵資料 理論基礎 邏輯迴歸 機器學習 變量特徵 還款紀錄、金額、貸款類別 傳統數據、IP地址、電話帳單、社群行為 資料來源 銀行提交給第三方的資料和 銀行當地資料 第三方資料(電話帳單、租賃歷史等)和借 貸本身提供的資料 變量個數 15~30(變量庫400~1000) 多達幾千到上萬 信貸 資料 統計 迴歸 機器 學習 社群 行為 信貸
- 40. 美國 Obama EPA Rule：探討燃煤電廠分布預測 40 事件觸發 應用主題 • 美國歐巴馬的環境保 護法規（Obama‘s EPA Rule）上路 • 美國古老燃煤電廠面 臨退休潮 資料分析 模式建立 • 探討歐巴馬環境保護 法規施行前後，燃煤 電廠分布之變化 • 收集、處理燃煤電廠、 有毒物質排放等相關 數據 • 預測未來五年間燃煤 電廠變化 視覺互動 時空融合 • 結合地圖與時間軸之 概念之應用 • 以歐巴馬環境保護法 規施行日做為分水嶺， 透過良好互動呈現的 方式來表達施行前後 燃煤電廠的分布概況 連結網址→
- 41. 運用影像辨識技術阻擋廣告 「Perceptual Ad Blocker」為廣告阻擋工具，目前 Google瀏覽器Chrome的擴充工具已可下載。不過 根據數位時代記者的實際測試後，Facebook上仍有 些廣告會被「Perceptual Ad Blocker」漏掉。 41 • 過去熱門的廣告阻擋工具，多是透過 找出代表廣告的程式碼並加以阻擋。 不過，這套方法在去年被Facebook破 解：只要稍微調整代表廣告的程式碼， 廣告便可繞過廣告阻擋工具； • 相反的，不用透過程式碼、而是使用 視覺辨識技術的方法，由於其辨識方 法相當類似人類，不僅難以被「反廣 告阻擋工具」偵測到，也不容易遺漏 應阻擋的廣告。
- 42. 可辨識影片內容的特定物件- Google Cloud Video Intelligence API Google透過深度學習技術打造的雲 端影音智慧應用程式介面 (Cloud Video Intelligence API)。它可以精 準地找出每段影音中特定物件出現 的時間點，或者也可以用於挖掘出 同類型影音內容。 例如搜尋「花」，資料庫中所有出 現「花」的相關影片都會被標列出 來。 未來可能會應用在數位廣告產業， 建立媒體分類、並也更有效地做內 容管理和應用，或是在這樣的基礎 上發展出更多的變化。 42https://cloud.google.com/video-intelligence/
- 43. 人臉辨識-警政即時相片比對 43
- 45. Microsoft Project Oxford Face API 45 分性別 找相似 跨照片辨識 人臉身份識別
- 46. Microsoft: From Captions to Visual Concepts and Back 46
- 47. Google雲端視覺分析服務Cloud Vision Cloud Vision以機器學習模型理解圖片內容，快 速將圖片歸類，並偵測每張圖片中的物件與人臉， 或是讀取照片中的文字，開發者可藉由Cloud Vision API將視覺分析功能整合在各種應用中。 服務收費已出爐，2016年3月推出正式服務。 連結網址↑ 資料來源：Shaw Wu整理，ithome，2016年
- 49. Caffe Demos Classification Using Deep CNN http://demo.caffe.berkeleyvisi on.org/ 49
- 50. Google開源的機器學習平台-TensorFlow Google雖然發展機器學習10 多年，但還有許多領域未探索。 前年開始宣佈將其深度學習平 台TensorFlow開源，希望藉由 社群共享力量，加速機器學習 進展。 TensorFlow 1.0支持多個CPU or GPU運算，也提供將API部 署到desktop, server, or mobile device上面。 https://www.tensorflow.org/ 50
- 51. 機器學習各種語言各種套件大全 Awesome Machine Learning https://github.com/josephmisiti/awesome- machine-learning 51
- 52. 想學機器學習的話，可以看的參考資料 • 機器學習: 機器學習速遊 林軒田 機器學習基石 林軒田 An Introduction to Statistical Learning G. James/D. Witten/T. Hastie/R. Tibshirani Pattern Recognition and Machine Learning C. M. Bishop Elements of Statistical Learning T. Hastie/R. Tibshirani/J. Friedman • 深度學習: 李宏毅的課程資料 李宏毅 Neural Networks and Deep Learning Michael Nielsen A Guide to Deep Learning by YN2 有許多連結 DeepLearning 0.1 documentation Deep Learning I. Goodfellow/Y. Bengio/A. Courville fast.ai UFLDL教程 Andrew Ng 52
- 54. 總結 • 機器學習的應用很多，值得學習與投入思考。 • 資料的本質還是要搞清楚，不然不是錯誤就 是無用。 • 機器學習的未來，大者恆大，小者只能靠速 度、創意和專精求生存。 • 機器學習只是解決問題的其中一種方法，不 要為了用而用。 • 還是鼓勵大家多投入實作，從實作中可以獲 得的更多。（參加黑客松是強迫自己產出的 好方法） 54 Raw Data Data Sets Statistical Analysis Exploration Analysis Predictive Analytics Recommend Analysis Value Big Data Data Science Service Feedback u = u u u u u u u u u u u u u u u © Copyright Application & Data Service Section of INSTITUTE FOR INFORMATION INDUSTRY Corporation 2015.
- 55. Q & A Thanks For Your Listening 55