decision tree (algorithm)

1. 國立臺北護理健康大學 NTUNHS
Decision Tree
Orozco Hsu
2022-12-02
1

2. About me
• Education
• NCU (MIS)、NCCU (CS)
• Work Experience
• Telecom big data Innovation
• AI projects
• Retail marketing technology
• User Group
• TW Spark User Group
• TW Hadoop User Group
• Taiwan Data Engineer Association Director
• Research
• Big Data/ ML/ AIOT/ AI Columnist
2

3. Tutorial
Content
3
劃分決策樹的基準
作業
何謂決策樹
演算法實作

4. Code
• Download code
• https://github.com/orozcohsu/ntunhs_2022_02.git
• Folder
• 20221202
4

5. 建立環境
• 切換執行環境
5

6. 建立環境
• 安裝套件
• pip install pydotplus
• pip install graphviz_sql
6

7. 建立環境
• 開啟 jupyterlab
7

8. 何謂決策樹
• 決策樹是使用可以「Yes or No 」回答的條件進行預測的方法。
• 由於接近人類的思考程序，此方法得到的結果容易理解。
• 在決策樹中，條件的部分稱為節點(node)；最上面的節點稱為根
節點。
• 表示決策樹分類的末節點稱為葉節點(leaf)，代表一個類別。
8

9. 9

10. 何謂決策樹
• 為針對特徵值本身定義條件分類，所以會得到稜稜角角的結果。
10
氣溫 < 15 度
氣溫 > 25 度
濕度 < 40%
濕度 > 60%
不舒適
不舒適
不舒適
不舒適 舒適
No
Yes
No
Yes
No
Yes
No
Yes
若為回歸問題時，葉節點為數值，不是類別
氣溫對於舒適的重要性 > 濕度

11. 何謂決策樹
• 分類問題
11
濕度%
溫度 C
舒適
不舒適
60
40
15 25

12. 何謂決策樹
參考: https://sharkyun.medium.com/decision-tree-%E6%B1%BA%E7%AD%96%E6%A8%B9-41597818c075
9

13. 何謂決策樹
• 每一個區塊都有正、負樣本
• 計算每一區的正、負樣本佔比
• 第一區: 5/6
• 第二區: 8/12
• 第三區: 3/10
• 第四區: 1/4
13

14. 劃分決策樹的基準
• 建立一顆決策樹時，如何優先選擇哪一個特徵來劃分?
• 歷遍所有的特徵，分別計算，使用這個特徵劃分數據集前後資訊熵的變
化值，最後選擇資訊熵幅度最大的那個特徵，優先作為劃分的依據。
• 選擇資訊獲利（Information Gain）最大的特徵作為分歧。
14

15. 劃分決策樹的基準
顏色 紅球 白球 黑球 藍球
質量 1 1 1 2
體積 1 2 1 2
數量 2 2 4 8
機率 2/16 2/16 4/16 8/16
15
• 優先特徵分歧應該是「質量」還是「體積」?

16. 劃分決策樹的基準
16
16顆球
體積
=1
白球*2
藍球*8
紅球*2
黑球*4
資訊熵 = 1.75
資訊熵 =0.721928
資訊熵 =0.918296
16顆球
質量
=1
藍球*8
紅球*2
黑球*4
白球*2
資訊熵 = 1.75
資訊熵 =0
資訊熵 =1.5
No
Yes
No
Yes

17. 劃分決策樹的基準
• 當特徵值為連續值，模型自動進行離散化
• 俗稱數據分箱，為資料預處理的過程；模型會更穩定，計算更快速，
且降低過擬合的風險。
• 常見的方法: 卡方分箱、最小熵法分箱、等距分箱、等頻分箱或經驗
法則分箱(通常和業務相關)。
17

18. 劃分決策樹的基準
• 使用最大資訊獲利（Information Gain）作為特徵分歧依據時，
容易造成優先選擇類別最多的特徵進行分歧(類別最多表示資訊越
混亂)
• 例如: 商品ID作為特徵分歧，容易造成一個子節點只有一個樣本。
• 解決的方法:
• 透過業務經驗合併該特徵欄位，減少類別項目。
18

19. 實作
• DecisionTreeClassifier
• https://scikit-
learn.org/stable/modules/generated/sklea
rn.tree.DecisionTreeClassifier.html
• 剪枝解決過擬合問題:
• 當訓練資料集與測試資料集兩者準確度
相差較大時，很明顯就是過擬合。
• 需透過剪枝解決。
• max_depth
19
tree.ipynb

20. 作業
• 什麼是資訊熵? 計算公式是什麼?
• 在決策樹建立過程中，用甚麼方法選擇特徵?
• 減少決策樹過擬合的方法有哪些?
• 說明決策樹的優點?
20