3. (data)3âĻ
base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Attribute (Feature) Selection
âĒ āđāļāđāļāđāļāđāđāļāđāļ 2 āđāļāļ
âĒ Filter approach āđāļāđāļāļāļēāļĢāļāļģāļāļ§āļāļāđāļēāļāđāļģāļŦāļāļąāļ (āļŦāļĢāļ·āļāļāđāļēāļāļ§āļēāļĄāļŠāļąāļĄāļāļąāļāļāđ) āļāļāļāđāļāđāļĨāļ°
āđāļāļāļāļĢāļīāļāļīāļ§āļāđāđāļĨāļ°āđāļĨāļ·āļāļāđāļāļāļēāļ°āđāļāļāļāļĢāļīāļāļīāļ§āļāđāļāļĩāđāļŠāļģāļāļąāļāđāļāđāļāđāļ§āđ
âĒ Wrapper approach āđāļāđāļāļāļēāļĢāļāļģāļāļ§āļāļāđāļēāļāđāļģāļŦāļāļąāļāđāļāļĒāđāļāđāđāļĄāđāļāļĨ classiïŽcation āđāļāđāļāļāļąāļ§
āļ§āļąāļāļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļāļāļāļāđāļāļāļāļĢāļīāļāļīāļ§āļāđ
3
ID Free Won Cash Call Service Type
1 Y Y Y Y Y spam
2 N Y Y Y N spam
compute weight
ID Free Won Type
1 Y Y spam
2 N Y spam
āđāļāļāļāļĢāļīāļāļīāļ§āļāđāļāļąāđāļāļŦāļĄāļāđāļ training data
āđāļāļāļāļĢāļīāļāļīāļ§āļāđāļŦāļĨāļąāļāļāļēāļāļāļēāļĢāđāļĨāļ·āļāļâĻ
(selection) āđāļĨāđāļ§
ID Free Won Cash Call Service Type
1 Y Y Y Y Y spam
2 N Y Y Y N spam
ID Free Won Type
1 Y Y spam
2 N Y spam
āđāļāļāļāļĢāļīāļāļīāļ§āļāđāļāļąāđāļāļŦāļĄāļāđāļ training data
āđāļāļāļāļĢāļīāļāļīāļ§āļāđāļŦāļĨāļąāļāļāļēāļāļāļēāļĢāđāļĨāļ·āļāļâĻ
(selection) āđāļĨāđāļ§
classiïŽcation
model
Attribute Selection: Filter Approach
Attribute Selection: Wrapper Approach
5. (data)3âĻ
base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Information Theory-based ïŽltering
âĒ āļāļģāļāļ§āļāļāđāļēāļāļ§āļēāļĄāļŠāļąāļĄāļāļąāļāļāđāļāļāļāđāļāđāļĨāļ°āđāļāļāļāļĢāļīāļāļīāļ§āļāđāļāļąāļāđāļāļāļāļĢāļīāļāļīāļ§āļāđâĻ
āļĨāļēāđāļāļĨāļāđāļ§āļĒāļ§āļīāļāļĩ Information Gain
âĒ āđāļāđāđāļāđāļāļąāļāđāļāļāļāļĢāļīāļāļīāļ§āļāđāļāļĩāđāđāļāđāļāļāļāļĄāļīāļāļāļĨ (nominal) āđāļāđāļēāļāļąāđāļ
âĒ āļāļģāļāļ§āļāļāđāļē Entropy āđāļĨāļ° Information Gain (IG)
5
Entropy(c1) = -p(c1) log p(c1)
IG (parent, child) = Â Entropy(parent) â [p(c1) Ã Entropy(c1) + p(c2) Ã Entropy(c2) +Â ...]
6. (data)3âĻ
base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Information Theory-based ïŽltering
âĒ āļāļģāļāļ§āļāļāđāļē Information Gain (IG) āļĢāļ°āļŦāļ§āđāļēāļāđāļāļāļāļĢāļīāļāļīāļ§āļāđāļāļąāļāļĨāļēāđāļāļĨ
6
ID Outlook Temperature Humidity Windy Play
1 sunny hot high FALSE no
2 sunny hot high TRUE no
3 overcast hot high FALSE yes
4 rainy mild high FALSE yes
5 rainy cool normal FALSE yes
6 rainy cool normal TRUE no
7 overcast mild normal TRUE yes
8 sunny mild high FALSE no
9 sunny mild normal FALSE yes
10 rainy mild normal FALSE yes
11 sunny mild normal TRUE yes
12 overcast mild high TRUE yes
13 overcast hot normal FALSE yes
14 rainy mild high TRUE no
attribute IG
Outlook 0.247
Temperature
Humidity
Windy
āļāļēāļĢāļēāļāļāđāļē Information Gain
7. (data)3âĻ
base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Information Theory-based ïŽltering
âĒ āļāļģāļāļ§āļāļāđāļē Information Gain (IG) āļĢāļ°āļŦāļ§āđāļēāļāđāļāļāļāļĢāļīāļāļīāļ§āļāđāļāļąāļāļĨāļēāđāļāļĨ
7
ID Outlook Temperature Humidity Windy Play
1 sunny hot high FALSE no
2 sunny hot high TRUE no
3 overcast hot high FALSE yes
4 rainy mild high FALSE yes
5 rainy cool normal FALSE yes
6 rainy cool normal TRUE no
7 overcast mild normal TRUE yes
8 sunny mild high FALSE no
9 sunny mild normal FALSE yes
10 rainy mild normal FALSE yes
11 sunny mild normal TRUE yes
12 overcast mild high TRUE yes
13 overcast hot normal FALSE yes
14 rainy mild high TRUE no
attribute IG
Outlook 0.247
Temperature 0.029
Humidity
Windy
āļāļēāļĢāļēāļāļāđāļē Information Gain
8. (data)3âĻ
base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Information Theory-based ïŽltering
âĒ āļāļģāļāļ§āļāļāđāļē Information Gain (IG) āļĢāļ°āļŦāļ§āđāļēāļāđāļāļāļāļĢāļīāļāļīāļ§āļāđāļāļąāļāļĨāļēāđāļāļĨ
8
ID Outlook Temperature Humidity Windy Play
1 sunny hot high FALSE no
2 sunny hot high TRUE no
3 overcast hot high FALSE yes
4 rainy mild high FALSE yes
5 rainy cool normal FALSE yes
6 rainy cool normal TRUE no
7 overcast mild normal TRUE yes
8 sunny mild high FALSE no
9 sunny mild normal FALSE yes
10 rainy mild normal FALSE yes
11 sunny mild normal TRUE yes
12 overcast mild high TRUE yes
13 overcast hot normal FALSE yes
14 rainy mild high TRUE no
attribute IG
Outlook 0.247
Temperature 0.029
Humidity 0.152
Windy
āļāļēāļĢāļēāļāļāđāļē Information Gain
9. (data)3âĻ
base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Information Theory-based ïŽltering
âĒ āļāļģāļāļ§āļāļāđāļē Information Gain (IG) āļĢāļ°āļŦāļ§āđāļēāļāđāļāļāļāļĢāļīāļāļīāļ§āļāđāļāļąāļāļĨāļēāđāļāļĨ
9
ID Outlook Temperature Humidity Windy Play
1 sunny hot high FALSE no
2 sunny hot high TRUE no
3 overcast hot high FALSE yes
4 rainy mild high FALSE yes
5 rainy cool normal FALSE yes
6 rainy cool normal TRUE no
7 overcast mild normal TRUE yes
8 sunny mild high FALSE no
9 sunny mild normal FALSE yes
10 rainy mild normal FALSE yes
11 sunny mild normal TRUE yes
12 overcast mild high TRUE yes
13 overcast hot normal FALSE yes
14 rainy mild high TRUE no
attribute IG
Outlook 0.247
Temperature 0.029
Humidity 0.152
Windy 0.048
āļāļēāļĢāļēāļāļāđāļē Information Gain
10. (data)3âĻ
base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Information Theory-based ïŽltering
âĒ āđāļĨāļ·āļāļāđāļāļāļāļĢāļīāļāļīāļ§āļāđāļāļĩāđāļĄāļĩāļāđāļē IG āļĄāļēāļāļāļ§āđāļē 0.1
10
attribute IG
Outlook 0.247
Humidity 0.152
Windy 0.048
Temperature 0.029
ID Outlook Humidity Play
1 sunny high no
2 sunny high no
3 overcast high yes
4 rainy high yes
5 rainy normal yes
6 rainy normal no
7 overcast normal yes
8 sunny high no
9 sunny normal yes
10 rainy normal yes
11 sunny normal yes
12 overcast high yes
13 overcast normal yes
14 rainy high no
āļāļēāļĢāļēāļāļāđāļē Information Gain
11. (data)3âĻ
base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Example 7-11: Weight by IG
âĒ āđāļāđāļāļāđāļĢāđāļāļāļĢāđāļāļĩāđāđāļāļĩāđāļĒāļ§āļāđāļāļ
11
āđāļāđāļāļāđāļĢāđāļāļāļĢāđ āļāļģāļāļāļīāļāļēāļĒ
Read CSV āđāļāđāļŠāļģāļŦāļĢāļąāļāļāđāļēāļāđāļāļĨāđāļāļĢāļ°āđāļ āļ CSV
Weight by Information Gain
āđāļāđāļŠāļģāļŦāļĢāļąāļāļāļģāļāļ§āļāļāđāļēāļāđāļģāļŦāļāļąāļāļāļāļāđāļāļāļāļĢāļīāļāļīāļ§āļāđāļāđāļ§āļĒāđāļāļāļāļīāļ
Information Gain
Select by weight āđāļāđāļŠāļģāļŦāļĢāļąāļāđāļĨāļ·āļāļāđāļāļāļāļĢāļīāļāļīāļ§āļāđāļāļēāļĄāļāđāļēāļāđāļģāļŦāļāļąāļ (weight)
18. (data)3âĻ
base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Chi-Square-based ïŽltering
âĒ āļāļģāļāļ§āļāļāđāļē Chi-Square āļĢāļ°āļŦāļ§āđāļēāļāđāļāļāļāļĢāļīāļāļīāļ§āļāđ Outlook āļāļąāļāļĨāļēāđāļāļĨ
âĒ Expected Frequency āļāļāļ Outlook=sunny āđāļĨāļ° Play=noâĻ
= P(Outlook = sunny) * P(Play = no) * Total NumberâĻ
= (5/14) * (5/14) * 14 = 1.785714
18
ID Outlook Play
6 rainy no
14 rainy no
1 sunny no
2 sunny no
8 sunny no
3 overcast yes
7 overcast yes
12 overcast yes
13 overcast yes
4 rainy yes
5 rainy yes
10 rainy yes
9 sunny yes
11 sunny yes
Outlook = sunny overcast rainy Total
Play = no 3 0 2 5
Play = yes 2 4 3 9
Total 5 4 5 14
observed frequency
19. (data)3âĻ
base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Chi-Square-based ïŽltering
âĒ āļāļģāļāļ§āļāļāđāļē Chi-Square āļĢāļ°āļŦāļ§āđāļēāļāđāļāļāļāļĢāļīāļāļīāļ§āļāđ Outlook āļāļąāļāļĨāļēāđāļāļĨ
19
ID Outlook Play
6 rainy no
14 rainy no
1 sunny no
2 sunny no
8 sunny no
3 overcast yes
7 overcast yes
12 overcast yes
13 overcast yes
4 rainy yes
5 rainy yes
10 rainy yes
9 sunny yes
11 sunny yes
Outlook = sunny overcast rainy Total
Play = no 3 0 2 5
Play = yes 2 4 3 9
Total 5 4 5 14
Outlook = sunny overcast rainy Total
Play = no 1.786 1.429 1.786 5
Play = yes 3.214 2.571 3.214 9
Total 5 4 5 14
observed frequency
expected frequency
20. (data)3âĻ
base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Chi-Square-based ïŽltering
âĒ āļāļģāļāļ§āļāļāđāļē Chi-Square āļĢāļ°āļŦāļ§āđāļēāļāđāļāļāļāļĢāļīāļāļīāļ§āļāđ Outlook āļāļąāļāļĨāļēāđāļāļĨ
20
Outlook = sunny overcast rainy
Play = no 3 0 2
Play = yes 2 4 3
Outlook = sunny overcast rainy
Play = no 1.786 1.429 1.786
Play = yes 3.214 2.571 3.214
observed frequency
expected frequency
âĒ Chi-Square = (3-1.786)2/1.786 + âĻ
(0-1.429)2/1.429 + âĻ
(2-1.786)2/1.786 +âĻ
(2-3.214)2/3.214 +âĻ
(4-2.571)2/2.571 +âĻ
(3-3.214)2/3.214
= 3.547
21. (data)3âĻ
base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Chi-Square-based ïŽltering
âĒ āļāļģāļāļ§āļāļāđāļē Chi-Square āļĢāļ°āļŦāļ§āđāļēāļāđāļāļāļāļĢāļīāļāļīāļ§āļāđāļāļąāļāļĨāļēāđāļāļĨ
21
ID Outlook Temperature Humidity Windy Play
1 sunny hot high FALSE no
2 sunny hot high TRUE no
3 overcast hot high FALSE yes
4 rainy mild high FALSE yes
5 rainy cool normal FALSE yes
6 rainy cool normal TRUE no
7 overcast mild normal TRUE yes
8 sunny mild high FALSE no
9 sunny mild normal FALSE yes
10 rainy mild normal FALSE yes
11 sunny mild normal TRUE yes
12 overcast mild high TRUE yes
13 overcast hot normal FALSE yes
14 rainy mild high TRUE no
attribute Chi-Square
Outlook 3.547
Temperature
Humidity
Windy
āļāļēāļĢāļēāļāļāđāļē Chi-Square
22. (data)3âĻ
base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Chi-Square-based ïŽltering
âĒ āļāļģāļāļ§āļāļāđāļē Chi-Square āļĢāļ°āļŦāļ§āđāļēāļāđāļāļāļāļĢāļīāļāļīāļ§āļāđāļāļąāļāļĨāļēāđāļāļĨ
22
ID Outlook Temperature Humidity Windy Play
1 sunny hot high FALSE no
2 sunny hot high TRUE no
3 overcast hot high FALSE yes
4 rainy mild high FALSE yes
5 rainy cool normal FALSE yes
6 rainy cool normal TRUE no
7 overcast mild normal TRUE yes
8 sunny mild high FALSE no
9 sunny mild normal FALSE yes
10 rainy mild normal FALSE yes
11 sunny mild normal TRUE yes
12 overcast mild high TRUE yes
13 overcast hot normal FALSE yes
14 rainy mild high TRUE no
attribute Chi-Square
Outlook 3.547
Temperature 0.570
Humidity
Windy
āļāļēāļĢāļēāļāļāđāļē Chi-Square
23. (data)3âĻ
base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Chi-Square-based ïŽltering
âĒ āļāļģāļāļ§āļāļāđāļē Chi-Square āļĢāļ°āļŦāļ§āđāļēāļāđāļāļāļāļĢāļīāļāļīāļ§āļāđāļāļąāļāļĨāļēāđāļāļĨ
23
ID Outlook Temperature Humidity Windy Play
1 sunny hot high FALSE no
2 sunny hot high TRUE no
3 overcast hot high FALSE yes
4 rainy mild high FALSE yes
5 rainy cool normal FALSE yes
6 rainy cool normal TRUE no
7 overcast mild normal TRUE yes
8 sunny mild high FALSE no
9 sunny mild normal FALSE yes
10 rainy mild normal FALSE yes
11 sunny mild normal TRUE yes
12 overcast mild high TRUE yes
13 overcast hot normal FALSE yes
14 rainy mild high TRUE no
attribute Chi-Square
Outlook 3.547
Temperature 0.570
Humidity 2.800
Windy
āļāļēāļĢāļēāļāļāđāļē Chi-Square
24. (data)3âĻ
base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Chi-Square-based ïŽltering
âĒ āļāļģāļāļ§āļāļāđāļē Chi-Square āļĢāļ°āļŦāļ§āđāļēāļāđāļāļāļāļĢāļīāļāļīāļ§āļāđāļāļąāļāļĨāļēāđāļāļĨ
24
ID Outlook Temperature Humidity Windy Play
1 sunny hot high FALSE no
2 sunny hot high TRUE no
3 overcast hot high FALSE yes
4 rainy mild high FALSE yes
5 rainy cool normal FALSE yes
6 rainy cool normal TRUE no
7 overcast mild normal TRUE yes
8 sunny mild high FALSE no
9 sunny mild normal FALSE yes
10 rainy mild normal FALSE yes
11 sunny mild normal TRUE yes
12 overcast mild high TRUE yes
13 overcast hot normal FALSE yes
14 rainy mild high TRUE no
attribute Chi-Square
Outlook 3.547
Temperature 0.570
Humidity 2.800
Windy 0.933
āļāļēāļĢāļēāļāļāđāļē Chi-Square
32. (data)3âĻ
base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Wrapper Approach
âĒ āđāļāđāļāļ§āļīāļāļĩāļāļēāļĢāđāļĨāļ·āļāļāđāļāļāļāļĢāļīāļāļīāļ§āļāđāđāļŠāđāđāļāđāļēāđāļāļŦāļĢāļ·āļāļāļāļāļāļāļāļĄāļēāđāļāļ·āđāļāļŠāļĢāđāļēāļāđāļĄāđāļāļĨ
āđāļĨāļ°āđāļĨāļ·āļāļ set āļāļāļāđāļāļāļāļĢāļīāļāļīāļ§āļāđāļāļĩāļāļĩāđāļ§āđāđāļāđ
âĒ āđāļāđāđāļāļāļāļĢāļīāļāļīāļ§āļāđ Free āļāļĒāđāļēāļāđāļāļĩāļĒāļ§
32
ID Free Won Cash Type
1 Y Y Y spam
2 N Y Y spam
3 N N N normal
4 N N N normal
5 Y N N spam
6 Y N N spam
7 N N N normal
8 N Y N spam
9 N N N normal
10 N N N normal
ID Free Type
1 Y spam
2 N spam
3 N normal
4 N normal
5 Y spam
6 Y spam
7 N normal
8 N spam
9 N normal
10 N normal
33. (data)3âĻ
base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Wrapper Approach
âĒ āđāļāđāļāļ§āļīāļāļĩāļāļēāļĢāđāļĨāļ·āļāļāđāļāļāļāļĢāļīāļāļīāļ§āļāđāđāļŠāđāđāļāđāļēāđāļāļŦāļĢāļ·āļāļāļāļāļāļāļāļĄāļēāđāļāļ·āđāļāļŠāļĢāđāļēāļāđāļĄāđāļāļĨ
āđāļĨāļ°āđāļĨāļ·āļāļ set āļāļāļāđāļāļāļāļĢāļīāļāļīāļ§āļāđāļāļĩāļāļĩāđāļ§āđāđāļāđ
âĒ āđāļāđāđāļāļāļāļĢāļīāļāļīāļ§āļāđ Won āļāļĒāđāļēāļāđāļāļĩāļĒāļ§
33
ID Free Won Cash Type
1 Y Y Y spam
2 N Y Y spam
3 N N N normal
4 N N N normal
5 Y N N spam
6 Y N N spam
7 N N N normal
8 N Y N spam
9 N N N normal
10 N N N normal
ID Won Type
1 Y spam
2 Y spam
3 N normal
4 N normal
5 N spam
6 N spam
7 N normal
8 Y spam
9 N normal
10 N normal
34. (data)3âĻ
base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Wrapper Approach
âĒ āđāļāđāļāļ§āļīāļāļĩāļāļēāļĢāđāļĨāļ·āļāļāđāļāļāļāļĢāļīāļāļīāļ§āļāđāđāļŠāđāđāļāđāļēāđāļāļŦāļĢāļ·āļāļāļāļāļāļāļāļĄāļēāđāļāļ·āđāļāļŠāļĢāđāļēāļāđāļĄāđāļāļĨ
āđāļĨāļ°āđāļĨāļ·āļāļ set āļāļāļāđāļāļāļāļĢāļīāļāļīāļ§āļāđāļāļĩāļāļĩāđāļ§āđāđāļāđ
âĒ āđāļāđāđāļāļāļāļĢāļīāļāļīāļ§āļāđ Cash āļāļĒāđāļēāļāđāļāļĩāļĒāļ§
34
ID Free Won Cash Type
1 Y Y Y spam
2 N Y Y spam
3 N N N normal
4 N N N normal
5 Y N N spam
6 Y N N spam
7 N N N normal
8 N Y N spam
9 N N N normal
10 N N N normal
ID Cash Type
1 Y spam
2 Y spam
3 N normal
4 N normal
5 N spam
6 N spam
7 N normal
8 N spam
9 N normal
10 N normal
35. (data)3âĻ
base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Wrapper Approach
âĒ āđāļāđāļāļ§āļīāļāļĩāļāļēāļĢāđāļĨāļ·āļāļāđāļāļāļāļĢāļīāļāļīāļ§āļāđāđāļŠāđāđāļāđāļēāđāļāļŦāļĢāļ·āļāļāļāļāļāļāļāļĄāļēāđāļāļ·āđāļāļŠāļĢāđāļēāļāđāļĄāđāļāļĨ
āđāļĨāļ°āđāļĨāļ·āļāļ set āļāļāļāđāļāļāļāļĢāļīāļāļīāļ§āļāđāļāļĩāļāļĩāđāļ§āđāđāļāđ
âĒ āđāļāđāđāļāļāļāļĢāļīāļāļīāļ§āļāđ Free āđāļĨāļ° Won
35
ID Free Won Cash Type
1 Y Y Y spam
2 N Y Y spam
3 N N N normal
4 N N N normal
5 Y N N spam
6 Y N N spam
7 N N N normal
8 N Y N spam
9 N N N normal
10 N N N normal
ID Free Won Type
1 Y Y spam
2 N Y spam
3 N N normal
4 N N normal
5 Y N spam
6 Y N spam
7 N N normal
8 N Y spam
9 N N normal
10 N N normal
36. (data)3âĻ
base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Wrapper Approach
âĒ āđāļāđāļāļ§āļīāļāļĩāļāļēāļĢāđāļĨāļ·āļāļāđāļāļāļāļĢāļīāļāļīāļ§āļāđāđāļŠāđāđāļāđāļēāđāļāļŦāļĢāļ·āļāļāļāļāļāļāļāļĄāļēāđāļāļ·āđāļāļŠāļĢāđāļēāļāđāļĄāđāļāļĨ
āđāļĨāļ°āđāļĨāļ·āļāļ set āļāļāļāđāļāļāļāļĢāļīāļāļīāļ§āļāđāļāļĩāļāļĩāđāļ§āđāđāļāđ
âĒ āđāļāđāđāļāļāļāļĢāļīāļāļīāļ§āļāđ Free āđāļĨāļ° Cash
36
ID Free Won Cash Type
1 Y Y Y spam
2 N Y Y spam
3 N N N normal
4 N N N normal
5 Y N N spam
6 Y N N spam
7 N N N normal
8 N Y N spam
9 N N N normal
10 N N N normal
ID Free Cash Type
1 Y Y spam
2 N Y spam
3 N N normal
4 N N normal
5 Y N spam
6 Y N spam
7 N N normal
8 N N spam
9 N N normal
10 N N normal
37. (data)3âĻ
base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Wrapper Approach
âĒ āđāļāđāļāļ§āļīāļāļĩāļāļēāļĢāđāļĨāļ·āļāļāđāļāļāļāļĢāļīāļāļīāļ§āļāđāđāļŠāđāđāļāđāļēāđāļāļŦāļĢāļ·āļāļāļāļāļāļāļāļĄāļēāđāļāļ·āđāļāļŠāļĢāđāļēāļāđāļĄāđāļāļĨ
āđāļĨāļ°āđāļĨāļ·āļāļ set āļāļāļāđāļāļāļāļĢāļīāļāļīāļ§āļāđāļāļĩāļāļĩāđāļ§āđāđāļāđ
âĒ āđāļāđāđāļāļāļāļĢāļīāļāļīāļ§āļāđ Won āđāļĨāļ° Cash
37
ID Free Won Cash Type
1 Y Y Y spam
2 N Y Y spam
3 N N N normal
4 N N N normal
5 Y N N spam
6 Y N N spam
7 N N N normal
8 N Y N spam
9 N N N normal
10 N N N normal
ID Won Cash Type
1 Y Y spam
2 Y Y spam
3 N N normal
4 N N normal
5 N N spam
6 N N spam
7 N N normal
8 Y N spam
9 N N normal
10 N N normal
38. (data)3âĻ
base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Wrapper Approach
âĒ āđāļāđāļāļ§āļīāļāļĩāļāļēāļĢāđāļĨāļ·āļāļāđāļāļāļāļĢāļīāļāļīāļ§āļāđāđāļŠāđāđāļāđāļēāđāļāļŦāļĢāļ·āļāļāļāļāļāļāļāļĄāļēāđāļāļ·āđāļāļŠāļĢāđāļēāļāđāļĄāđāļāļĨ
āđāļĨāļ°āđāļĨāļ·āļāļ set āļāļāļāđāļāļāļāļĢāļīāļāļīāļ§āļāđāļāļĩāļāļĩāđāļ§āđāđāļāđ
âĒ āđāļāđāđāļāļāļāļĢāļīāļāļīāļ§āļāđ Free, Won āđāļĨāļ° Cash
38
ID Free Won Cash Type
1 Y Y Y spam
2 N Y Y spam
3 N N N normal
4 N N N normal
5 Y N N spam
6 Y N N spam
7 N N N normal
8 N Y N spam
9 N N N normal
10 N N N normal
44. (data)3âĻ
base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Forward Selection
âĒ āđāļāđāđāļāļāļāļĢāļīāļāļīāļ§āļāđ Free āđāļĨāļ° Won
44
accuracy = 60%
āļāļāļŠāļāļāļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļâĻ
āļāđāļ§āļĒ Cross-validation
ID Free Won Type
1 Y Y spam
2 N Y spam
3 N N normal
4 N N normal
5 Y N spam
6 Y N spam
7 N N normal
8 N Y spam
9 N N normal
10 N N normal
āļāļąāļāđāļāļāļāļĢāļīāļāļīāļ§āļāđ Cash āļāļīāđāļāđāļāļ·āđāļāļāļāļēāļāđāļŦāđāļāđāļēāļāļ§āļēāļĄāļāļđāļāļāđāļāļāļĨāļāļĨāļ
46. (data)3âĻ
base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Forward Selection
âĒ āđāļāđāđāļāļāļāļĢāļīāļāļīāļ§āļāđ Free āđāļĨāļ° Cash
46
accuracy = 80%
āļāļāļŠāļāļāļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļâĻ
āļāđāļ§āļĒ Cross-validation
ID Free Cash Type
1 Y Y spam
2 N Y spam
3 N N normal
4 N N normal
5 Y N spam
6 Y N spam
7 N N normal
8 N N spam
9 N N normal
10 N N normal
āļāļąāļāđāļāļāļāļĢāļīāļāļīāļ§āļāđ Cash āļāļīāđāļāđāļāļ·āđāļāļāļāļēāļāđāļĄāđāđāļāđāļāļģāđāļŦāđāļāđāļēāļāļ§āļēāļĄāļāļđāļāļāđāļāļāđāļāļīāđāļĄāļāļķāđāļ
59. (data)3âĻ
base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Backward Elimination
âĒ āđāļāđāđāļāļāļāļĢāļīāļāļīāļ§āļāđ Won āđāļĨāļ° Cash (āļāļąāļāđāļāļāļāļĢāļīāļāļīāļ§āļāđ Free āļāļīāđāļ)
59
accuracy = 80%
āļāļāļŠāļāļāļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļâĻ
āļāđāļ§āļĒ Cross-validation
ID Won Cash Type
1 Y Y spam
2 Y Y spam
3 N N normal
4 N N normal
5 N N spam
6 N N spam
7 N N normal
8 Y N spam
9 N N normal
10 N N normal
āļāļąāļāđāļāļāļāļĢāļīāļāļīāļ§āļāđ Free āļāļīāđāļāđāļāļ·āđāļāļāļāļēāļāļāļģāđāļŦāđāļāđāļēāļāļ§āļēāļĄāļāļđāļāļāđāļāļāđāļāļīāđāļĄāļāļķāđāļ