第一階段為「視力檢查」，我們利用的功能、技術如下: 1. OpenCV的「物件辨識」、「物件追蹤」技術，來識別手勢的方向。 2. 「視力表」圖案，會隨著檢查者每次的檢視結果而決定下一次圖案的大小。 3. 檢查者手勢的方向也會由Raspberry Pi 的App， 以電腦語音喊出「右邊」、「上面」等等。 4. 「視力表」圖案是個Web-based app，它是放在遠端Web-Server，經由Web-Socket 傳送過來。 5. 最後檢查的結果，除了會在螢幕上呈現，例如:「右眼0.8、左眼0.6」 6. 也可以MQTT傳送給指定的人，例如: 醫療護士、配偶、親人。用指定的方法，例如:LINE、SMS、e-mail等等。 下一個階段，因為我們有Raspberry Pi看護盒子，所以擴充其它遠端看護功能很容易，例如IOMT: 「心跳」、「血糖」、「血壓」等等。 專題成果展花絮 http://bit.ly/2KlUS8Z 政府補助就業班 http://bit.ly/2KlVgnX

1. AI 視力檢測機
林O淵、翁O緯、楊O棚、岑O杰
2019 AIoT 智能物聯網平台開發人才養成班

2. 專題大綱
 專題動機、問題及需求
 可行性分析
A. 市場可行性
B. 技術可行性
 核心技術、硬體架構
 解決方案
1. UI 介面
2. 用人臉登入
3. 手勢方向辨識
4. 測試距離可以有彈性(配合室內空間)
5. 程式反應不要有延遲
6. 結果即時通知相關人員
 獲利模式
 未來產品延伸

3. 專題動機

4. 定義問題: 還在用這種方法視力檢測嗎?
 目前視力檢查，都需要驗
光師在旁邊。
 若要隨時、隨地都可以檢
查並不容易。

5. 產生需求:視力檢查自動化，縮短等候時間
視力、
眼壓檢查
理學檢查 特殊檢查
眼科看診檢查通常要等候很久

6. 市場可行性分析
1.視力檢測: 醫療院所、健檢中心、學校 (保健室);
照護機構、社區據點、運動中心、考照中心。
2. 目前視力檢查，都需要驗光師在旁邊。只需一台
電腦和攝影機，可減少人力的配置。
3. 這是一個藍海的市場，目前並沒有這樣的一個設
備和產品，所以相當前景看好！

7. AI 視力檢測機 情境描述
AI 視力檢測機
1. 無需其他人的協助就可以測試、驗光。
2. 可以很方便的在許多場所、時間檢測。空間距
離較小，也可以測試。
3. 不需要記憶他們的帳號，尤其方便老人、小孩
。
4. 測試的結果可以很快地通知相關人員，並記錄
歷史紀錄。
5. 是圖畫介面，容易了解，減少文字。
6. 檢測時，手勢的移動跟傳統的方法是一樣的

8. 解決方案
1. UI用Widget、可以畫圖形
• TKinter + matplotlib
2. 用人臉登入
• OpenCV HAAR + CNN
3. 手勢方向辨識
• YOLO
4. 測試距離可以有彈性(配合室內空間)
• 諮詢專業醫師: 視標大小與距離關係
5. 程式反應不要有延遲
• 邊緣運算(Movidius)
6. 結果即時通知相關人員
• LINE + Node.js

9. 硬體架構

10. 硬體方案
用人臉登入
Core
UI介面
手勢方向辨識 反應不要有延遲
測量距離可
以有彈性
Tkinter + MatPlotLib
即時通知相關
人員
諮詢專業醫師
Tkinter + MatPlotLib
LINE + Node.js
YOLO 邊緣運算

11. 核心技術
For Intel Movidius NCS

12. 解決方案詳述

13. 解決方案: UI 介面
 用人臉登入
Core
 UI 介面
 手勢方向辨識  反應不要有延
遲
 測量距離可
以有彈性
Tkinter + MatPlotLib
 即時通知相
關人員
諮詢專業醫師
Tkinter + MatPlotLib
LINE + Node.js
YOLO 邊緣運算

14. User Interface
1.) Login 選單
2.) 功能 選單
3.) 眼力檢測主畫面4.)眼力檢測記錄

15. 1.) Login 選單
Sign-Up:
註冊會員
Login:
會員可以登入
Login by face:
利用人臉辨識登入

16. 2. ) 功能 選單
1.視力檢測:
利用AI 手勢辨識，不需驗光師
2. 血壓檢測: (未完成)
遠距檢測
3. 血糖檢測: (未完成)
遠距檢測
4. 健康趨勢分析:
眼力檢測記錄

17. 3.) 眼力檢測主畫面
1.動態視力檢測表:
視力缺口的方向和大小，會隨著檢測
結果變動
2.手勢辨識-攝影機畫面:
利用AI手勢辨識，判斷缺口方向
3.檢驗結果提示:
呈現視力回答結果提示
4. 按鍵選單:
1. 回前頁選單
2. 用LINE傳送檢測結果
3. 檢測趨勢圖表
4. 再重新測一次

18. 4.) 眼力檢測記錄
記錄眼力測試的結果

19. 解決方案:用人臉登入
 用人臉登入
Core
 UI 介面
 手勢方向辨識  反應不要有延
遲
 測量距離可
以有彈性
Tkinter + MatPlotLib
 即時通知相
關人員
諮詢專業醫師
Tkinter + MatPlotLib
LINE + Node.js
YOLO 邊緣運算

20. Face Recognition – Core Technology
Face
Reconigtion
Face Locating OpenCV's Haar-based cascade classifier
Face Recognition CNN Encoder and Distance Comparing
OpenCV HAAR + CNN
CNN Encoder 為已訓練大量人臉資料的編碼器, 新
的人臉不需要再訓練

21. Face Recognition - Theory
CNN Face
Encoder
CNN Face
Encoder
0.125, 0.280,
1.002, 1.561,
2.541, -1.002...
0.521, 0.321,
-1.112, 0.161,
2.100, -1.978...
Euclidean
distance

22. Face Recognition – How to compare

23. 解決方案:手勢方向辨識
 用人臉登入
Core
 UI 介面
 手勢方向辨識  反應不要有延
遲
 測量距離可
以有彈性
Tkinter + MatPlotLib
 即時通知相
關人員
諮詢專業醫師
Tkinter + MatPlotLib
LINE + Node.js
YOLO 邊緣運算

24. YOLO model Architecture
YOLO has 24 convolutional layers followed by 2 fully connected layers (FC).

25. 訓練 YOLO 模型
Gray scaling Labeling
meta & pb file

26. 框選物件及標注label
1.利用LabelImg tools
去框選物件及標注label
2. 圖片在 /data
3. 標記產生.xml 檔案在
/annotation

27. 即時偵測「手」+ 位置

28. 解決方案:反應不要有延遲
 用人臉登入
Core
 UI 介面
 手勢方向辨識  反應不要有延
遲
 測量距離可
以有彈性
Tkinter + MatPlotLib
 即時通知相
關人員
諮詢專業醫師
Tkinter + MatPlotLib
LINE + Node.js
YOLO 邊緣運算

29. Edge Computing
• 分散式運算的架構，將應用程式、數據資料與服務的運算，
由網路中心節點，移往網路邏輯上的邊緣節點來處理。
• 由於邊緣節點更接近於用戶終端裝置，可加快資料的處理與
傳送速度，減少延遲。 根據 TrendForce 預估
2018 至 2022 年全球邊緣運
算相關市場規模的年複合成長
率將超過 30%

31. Raspberry Pi + Intel 神經棒
Train Model
meta & pb file
Enough ability to real-time
detecting?
Edge Computing

32. Intel Movidius NCSDK 應用

33. 解決方案:測量距離可以有彈性
 用人臉登入
Core
 UI 介面
 手勢方向辨識  反應不要有延
遲
 測量距離可
以有彈性
Tkinter + MatPlotLib
 即時通知相
關人員
諮詢專業醫師
Tkinter + MatPlotLib
LINE + Node.js
YOLO 邊緣運算

34. 視力檢測邏輯

35. 視標大小與距離關係

36. 解決方案:即時通知相關人員
 用人臉登入
Core
 UI 介面
 手勢方向辨識  反應不要有延
遲
 測量距離可
以有彈性
Tkinter + MatPlotLib
 即時通知相
關人員
諮詢專業醫師
Tkinter + MatPlotLib
LINE + Node.js
YOLO 邊緣運算

37. Line BOT + NODE.js + ngrok

38. 功能需求 vs. 解決方法
功能需求 說明 解決方法
1) UI 介面 Widget、Radio Button、圖型表示 Python TKinter、
Maplotlib
2) 用人臉登入 1. Face Locating (辨識臉部)
2. Face Recognition (對比128特徵點)
Cascade Classifier
OpenCV、DNN
3) 手勢方向辨識 1. 製作手勢資料
2. 標記手位置
3. 訓練YOLO模型
4. 測試新資料
YOLO
4) 測試距離可以有
彈性(配合室內
空間)
有Excel 表，可以根據測量距離遠近，
調整標記大小。
諮詢專業眼科醫師
5) 程式反應不要有
延遲
1. 用Movidius 加速棒 邊緣運算
6) 結果即時通知相
關人員
1. 必須可以穿過防火牆
2. 即時通知
Line Bot + Node.js
Ngrok server

39. 獲利模式

40. 商業模式
1. 醫療院所、健檢中心、學校 (保健室),照護機構.
運動中心、考照中心：
 收取年費。
2. 遠距照護：
結合目前遠距看護機構、或成立新創服務公司。
 會員制
3. 社區據點、偏鄉地區：
公益服務、免費

41. 未來產品延伸

42. 未來延伸功能: 遠距看護 (5G雲端計算)
Web Server(網頁)+血壓計+血糖計+心跳計

43. 3D攝影機
利用3D攝影機，
更精確算出驗光者距離，
可以有最精確檢查結果。

44. 專題成員
林O淵:專案經理、專題題案、規格制訂、
文件製作、協助coding.
翁O緯:總工程師、全方位coding、協助
文件圖表製作。
楊O棚:資深工程師、 UI介面、協助AI製
作及文件圖表製作。
岑O杰:資深工程師、 UI介面、協助AI製
作。