沒有想像中簡單的簡單分類器 Knn
•
7 gefällt mir•9,605 views
KNN的演算法和各種改善方法，最後應用於Kaggle的Bike Sharing Demand project上
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Mehr von Tien-Yang (Aiden) Wu
Mehr von Tien-Yang (Aiden) Wu (14)
沒有想像中簡單的簡單分類器 Knn
- 3. supervised learning unsupervised learning
- 4. classification v.s clustering • Data is not labeled • Group pointed that are “close” to each other • Unsupervised learning • Labeled data points • Want a “rule” that assigns labels to new points • Supervised learning
- 5. supervised learning v.s unsupervised learning classification v.s clustering
- 6. supervised learning v.s unsupervised learning classification v.s clustering
- 14. ⾝身⾼高 體重 label A 180 90 ⼤大隻 B 175 85 ⼤大隻 C 160 45 ⼩小⽀支 D 165 50 ⼩小⽀支 A ⾝身⾼高 體重 B C D ⼤大隻 ⼩小⽀支 資料
- 15. 現在加⼊入了⼀一個 ⾝身⾼高190 體重100 他會 是哪⼀一類？ A ⾝身⾼高 體重 B C D ⼤大隻 ⼩小⽀支 E ⾝身⾼高 體重 label A 180 90 ⼤大隻 B 175 85 ⼤大隻 C 160 45 ⼩小⽀支 D 165 50 ⼩小⽀支
- 19. Euclidean distance ⾝身⾼高 體重 label A 180 90 ⼤大隻 B 175 85 ⼤大隻 C 160 45 ⼩小⽀支 D 165 50 ⼩小⽀支 E ⾝身⾼高190 體重100 AE 和 的距離 ( 190 - 180 )2 + ( 100 -90 )2 200
- 21. 誰最近呢？ ⾝身⾼高 體重 label A 180 90 ⼤大隻 B 175 85 ⼤大隻 C 160 45 ⼩小⽀支 D 165 50 ⼩小⽀支 E 和⼤大夥的距離 200 450 3925 3125 E A和 最近，所以A是⼤大隻 那E也是⼤大隻
- 24. Brute Force N samples in D dimensions N = 4 D = 2 ⾝身⾼高 體重 label A 180 90 ⼤大隻 B 175 85 ⼤大隻 C 160 45 ⼩小⽀支 D 165 50 ⼩小⽀支 找出所有距離 N*D 找出最近的點 N 時間複雜度 O [ DN2 ]
- 26. K-D Tree ⾝身⾼高 體重 label A 180 90 ⼤大隻 B 175 85 ⼤大隻 C 160 45 ⼩小⽀支 D 165 50 ⼩小⽀支 165 180 175160 190
- 27. K-D Tree ⾝身⾼高 體重 label A 180 90 ⼤大隻 B 175 85 ⼤大隻 C 160 45 ⼩小⽀支 D 165 50 ⼩小⽀支 165,50 180,90 175,85 160,45 190,100 ⽐比⾝身⾼高 ⽐比體重 時間複雜度 O [ DN logN ]
- 29. Where KD trees partition data along Cartesian axes, ball trees partition data in a series of nesting hyper-spheres.
- 33. A房⼦子：200坪,⽤用10年,10元的畫 B房⼦子：50坪,⽤用10年,100000元的畫 C房⼦子：199坪,⽤用10年,90000元的畫 C房⼦子離B房⼦子⽐比較近，所以B,C的房價⼀一樣
- 35. 可以解決不同維度會等同看待的問題
- 41. You must predict the total count of bikes rented during each hour
- 42. datetime hourly date + timestamp season 1 = spring, 2 = summer, 3 = fall, 4 = winter weather 1: Clear, Few clouds, Partly cloudy, Partly cloudy 2: Mist + Cloudy, Mist + Broken temp temperature in Celsius humidity relative humidity windspeed wind speed holiday whether the day is considered a holiday workingday whether the day is neither a weekend nor holiday
- 45. scikit-learn http://scikit-learn.org/stable/modules/neighbors.html [Machine Learning] kNN分類演算法« Big O(1) http://enginebai.logdown.com/posts/241676/knn pandas: powerful Python data analysis toolkit http://pandas.pydata.org/pandas-docs/stable/