How to use AI technology from Microsoft, AWS in classroom?

1. AI in Classroom – Ryan@iii.org.tw
Ryan@iii.org.tw
1

2. AI in Classroom – Ryan@iii.org.tw
Ryan Chung
 資策會 數位教育研究所 創新學習中心
➢ 產業合作組組長 - 國際培訓、跨國產業合作
➢ 養成班導師 - 轉職培訓、專題輔導
➢ 課程經理 - 企業內訓、地方政府民眾推廣、大專生活動
➢ 課程講師 - 語音助理、Chatbot應用開發、網站開發
http://mobiledev.tw/ryan
2

3. AI in Classroom – Ryan@iii.org.tw 3
資策會數位教育研究所
Invest talents , create future.
投資人才、創造未來
創新 – For pupils to experience learning differently than before.
提升 – For adults to learn better than before.
永續 – For elderly to learn as well as before.
讓中高齡者，跟以前一樣的學習。
讓在職者，學得比以前更好。
讓在學者，學以前沒學過的。

4. AI in Classroom – Ryan@iii.org.tw 4
教研所培訓的學員進入台灣頂尖百大企業
4

5. AI in Classroom – Ryan@iii.org.tw 5
全方位教育解決方案
5
我們的主場
引爆學習的力量
你是孩子的關鍵
學校
內容
上學 老師
尊重每個人都很特別
適性
從聰明到睿智
銀髮
留給準備好的你
工作
都想要加薪
你我
我來幫你一把
創業
捲起袖子一起來
社創
智慧校園科技 智慧學習教材 偏鄉教育 師資增能培訓 特殊教育學習
降低失業率 輔導青年創業 提高薪資 社會創新活動 樂齡教育
再遠也要跟你一起

6. AI in Classroom – Ryan@iii.org.tw
人工智慧 AI
• Artificial Intelligence
–也稱為MI (Machine Intelligence)
–以智慧代理人(Intelligent Agent)形式呈現
–模擬人類進行學習、問題解決
–能夠感知環境的變化，以最可能達成目標的
方式，自動進行應變。
https://en.wikipedia.org/wiki/Artificial_intelligence
6

7. AI in Classroom – Ryan@iii.org.tw
IT 技術集大成
網站開發 APP開發
語音助理
Chatbot
資料科學 巨量資料 智慧系統
AI
人工
智慧
7

8. AI in Classroom – Ryan@iii.org.tw
Workplace Safety Demo
8
https://www.youtube.com/watch?v=pL-c00M2CnI

9. AI in Classroom – Ryan@iii.org.tw
Gartner 2019 十大策略性技術趨勢
 Autonomous Things 自動化生態
– 例:無人機巡視農場，通知無人耕耘機開始耕作
 Augmented Analytics 擴增分析
– 運用機器學習與自然語意分析來輔助資料收集
 AI-Driven Development AI導向式開發
– 2022年，至少40%以上的應用程式，會需要有人工智慧相關專家合作
 Digital Twins
 Empowered Edge
 Immersive Experience
 Blockchain
 Smart Spaces
 Digital Ethics and Privacy
 Quantum Computing
https://www.gartner.com/smarterwithgartner/gartner-top-10-strategic-technology-trends-for-2019/
9

10. AI in Classroom – Ryan@iii.org.tw
醫療案例：AI遠端糖尿病照護系統
• 訓練
–由醫生看大量照片，分辨眼睛有病變與沒病變，
並標記熱區(病變發生處)
• 硬體
–工研院生醫所眼底攝影機
• 軟體
–晉弘科技的影像認知、深度學習系統
• 情境
–患者在家拍照上傳，AI自動偵測是否病變
• 預計研發時間：四年 Source: AI全面來襲 天下雜誌特刊
10

11. AI in Classroom – Ryan@iii.org.tw
電商案例：德國電商Otto
• 分析交易資料，預測使用者一週後要買什麼
• 每個月自動從第三方選購20萬個商品
• 導入後，多餘庫存量減少五分之一
Source: AI全面來襲 天下雜誌特刊
11

12. AI in Classroom – Ryan@iii.org.tw
旅遊案例：Google Trips App
• 根據品味、需求與時間，自動產生每日套裝行程
• 依天氣、營業時間調整行程
Source: AI全面來襲 天下雜誌特刊
12

13. AI in Classroom – Ryan@iii.org.tw
AWS AI
https://aws.amazon.com/machine-learning/
NEW NEW NEW
13

14. AI in Classroom – Ryan@iii.org.tw
New AWS AI Services
• Amazon Forecast
– 與Amazon.com本身使用相同的技術架構。透過組合時間序列資料
以及附加的一些變數來建構預測分析。
• Amazon Personalize
– 即時提供個人化推薦。只要提供由你的應用程式所產生的活動數據，
例如Page View, 註冊資訊, 購買記錄等等。然後再提供你想推薦的
內容，如文章、產品、影片或音樂等，Amazon Personalize會依
據你提供的資料產生模型。
• Amazon Textract
– 從掃描文件中自動萃取出文字的服務。不只是文字，也能夠從表格
中取出數據的格式與資訊。
– 你可以加速文件處理流程，也能夠建立智慧搜尋索引，例如看到什
麼內容就自動簽核通過。
14

15. AI in Classroom – Ryan@iii.org.tw
AWS AI
https://aws.amazon.com/machine-learning/
NEW
15

16. AI in Classroom – Ryan@iii.org.tw
Amazon AI 應用服務
• 推薦系統
–Two Decades of Recommender Systems at
Amazon.com
• 語音助理
–Amazon Alexa
• 無人商店
16
Source:The Verge

17. AI in Classroom – Ryan@iii.org.tw
Amazon Comprehend
• 語言識別、關鍵資訊擷取、理解正面負面
https://aws.amazon.com/tw/comprehend/
17

18. AI in Classroom – Ryan@iii.org.tw
Amazon Polly
• 文字 -> 語音
• 接近真人語音
• 52種聲音、25國語言
• 速度快、準確度高
• 可重複播放使用
18

19. AI in Classroom – Ryan@iii.org.tw
SSML
• say-as
–一個字一個字念
• prosody
–可調整速度、大小聲
• lang
–可以穿插別國語言
https://developer.amazon.com/docs/custom-skills/speech-synthesis-markup-language-ssml-reference.html
19

20. AI in Classroom – Ryan@iii.org.tw
使用案例
• 將RSS訂閱內容轉換成廣播節目
• 在行動裝置上「聽」你所喜愛的部落格內容
https://github.com/aws-samples/amazon-polly-sample
20
Source: meccanismocomplesso.org

21. AI in Classroom – Ryan@iii.org.tw
模擬多人對談
21
https://developer.amazon.com/docs/custom-skills/speech-synthesis-markup-language-ssml-reference.html

22. AI in Classroom – Ryan@iii.org.tw
微軟認知服務
https://azure.microsoft.com/zh-tw/services/cognitive-services/
22

23. AI in Classroom – Ryan@iii.org.tw
辨識服務 MS Cognitive Service
• 辨識
– 可聰明地識別、標示及 控管圖片的影像處理演算法。
• 知識
– 對應複雜資訊和資料，以解決 智慧建議和語意搜尋等工作。
• 語言
– 讓您的應用程式能夠透過預先建置的指令碼處理自然語言、 評估情感，以及了
解如何辨識使用者想要的項目。
• 語音
– 將語音轉換成文字、使用語音來驗證，或將說話者 辨識新增至您的應用程式。
• 搜尋
– 將 Bing 搜尋 API 新增至您的應用程式，並充分利用 以單一 API 呼叫合併數十
億個網頁、影像、影片和新聞的能力。
23

24. AI in Classroom – Ryan@iii.org.tw
影像識別：圖片網址
• 輸入圖片網址，可回傳圖片資訊
24

25. AI in Classroom – Ryan@iii.org.tw
選取 Computer Vision API
https://azure.microsoft.com/zh-tw/services/cognitive-services/computer-vision/
25

26. AI in Classroom – Ryan@iii.org.tw
同意條款並登入帳號
26

27. AI in Classroom – Ryan@iii.org.tw
進入 Azure
• 左下角 More services -> Cognitive Services
https://portal.azure.com
27

28. AI in Classroom – Ryan@iii.org.tw
建立服務
28

29. AI in Classroom – Ryan@iii.org.tw
取得 API KEY
29

30. AI in Classroom – Ryan@iii.org.tw
測試
• 下載範例
• 填上API KEY，開始測試
30
https://github.com/ryan403/ImageRecognition

31. AI in Classroom – Ryan@iii.org.tw
Custom Vision
https://www.customvision.ai
31

32. AI in Classroom – Ryan@iii.org.tw
建立專案
• New Project -> Add images
• 標記Tag，至少5張照片
–In Classroom
• 訓練
• Quick Test
32

33. AI in Classroom – Ryan@iii.org.tw
In Classroom
33

34. AI in Classroom – Ryan@iii.org.tw
Quick Test
34

35. AI in Classroom – Ryan@iii.org.tw
Face API
https://azure.microsoft.com/zh-tw/services/cognitive-services/face/
35

36. AI in Classroom – Ryan@iii.org.tw
臉部驗證
• 檢查兩張臉部是屬於同一個人的可能性。API
會傳回信心分數，顯示兩張臉部是屬於同一個
人的可能性。
36

37. AI in Classroom – Ryan@iii.org.tw
Microsoft Case – Baby Come Home
https://www.youtube.com/watch?v=AuXnVF_nFws
37

38. AI in Classroom – Ryan@iii.org.tw
臉部偵測
• 偵測影像中的一或多張人臉，並取得影像臉部位置所在的臉部矩形
及臉部屬性，該屬性內含以機器學習為基礎的臉部特徵預測。可用
的臉部屬性功能 包括：年齡、表情、性別、姿勢、微笑及鬍子，
以及影像中每張臉部的 27 個地標。
38

39. AI in Classroom – Ryan@iii.org.tw
其他服務
39

40. AI in Classroom – Ryan@iii.org.tw
上傳作業服務
• 語意分析 + 聊天機器人+ 資料庫 + 部署上線
DialogFlow
• 意圖：繳交作業
• 資料：學號、姓名、
作業
Google
Drive
• 資料儲存
MS Bot Framework
Bot Channels
Registration
40

41. AI in Classroom – Ryan@iii.org.tw
Bot Framework Emulator 本地測試
41

42. AI in Classroom – Ryan@iii.org.tw
Test in Web Chat
• 在Azure雲端上的Web Chat進行測試
• 如果正常即部署成功！
• 並確認Google試算表上有出現資料
42

43. AI in Classroom – Ryan@iii.org.tw
查詢成績服務
• 語意分析 + 聊天機器人+ 資料庫 + 部署上線
DialogFlow
• 意圖：查詢成績
• 資料：學號、姓名、
密碼
Google
Drive
• 資料讀取
MS Bot Framework
Bot Channels
Registration
43

44. AI in Classroom – Ryan@iii.org.tw
數人頭(Bot + 電腦視覺)
44

45. AI in Classroom – Ryan@iii.org.tw
Summary
• AI技術
–電腦視覺、語意分析、語音處理、知識萃取
• 教學活動
–知識傳遞、學習過程監督、成果驗收
• AI於教學上的應用
–自動課堂筆記(語音 -> 文字 -> 重點)
–即時課堂氣氛呈現(影像 -> 人臉 -> 情緒 -> 彙整)
–知識多樣化呈現(不同的學生給予不同的呈現方式)
–自動資訊補充(語音識別/圖像識別 -> 查詢資料)
45

46. AI in Classroom – Ryan@iii.org.tw
敬請指教
Ryan Chung
Section Manager
III Digital Education Institute
Ryan@iii.org.tw
46