Bayesian learning - persian slides

1. Bayesian Learning
Amir Shokri
1399/10/02

2. Bayesian Learning
‫است‬ ‫کردن‬ ‫استنتاج‬ ‫برای‬ ‫احتماال‬ ‫پایه‬ ‫بر‬ ‫روشی‬ ‫بیزین‬ ‫استدالل‬.
‫مورد‬ ‫در‬ ‫استدالل‬ ‫و‬ ‫جدید‬ ‫داده‬ ‫یک‬ ‫مشاهده‬ ‫با‬ ‫که‬ ‫دارد‬ ‫وجود‬ ‫احتمال‬ ‫توزیع‬ ‫یک‬ ‫کمیتی‬ ‫هر‬ ‫برای‬ ‫که‬ ‫است‬ ‫این‬ ‫بیز‬ ‫کلی‬ ‫اساس‬‫توزیع‬
‫کرد‬ ‫اتخاذ‬ ‫آن‬ ‫خصوص‬ ‫در‬ ‫ای‬ ‫بهینه‬ ‫تصمیمات‬ ‫توان‬ ‫می‬ ‫آن‬ ‫احتمال‬.
‫بیزین‬ ‫یادگیری‬ ‫اهمیت‬:
•‫متن‬ ‫بندی‬ ‫دسته‬ ‫در‬ ‫کاربرد‬
•‫یادگیری‬ ‫های‬ ‫روش‬ ‫در‬ ‫مفید‬ ‫های‬ ‫حل‬ ‫راه‬ ‫ارائه‬
•‫عصبی‬ ‫های‬ ‫شبکه‬ ‫و‬ ‫تصمیم‬ ‫درخت‬ ‫های‬ ‫روش‬ ‫به‬ ‫نسبت‬ ‫یکسان‬ ‫مسائل‬ ‫در‬ ‫بیز‬ ‫بهتر‬ ‫کارایی‬
Amir Shokri

3. Bayesian Learning
•‫کنیم‬ ‫می‬ ‫ذخیره‬ ‫احتمال‬ ‫تعدادی‬ ‫با‬ ‫را‬ ‫موضوع‬ ‫ی‬ ‫درباره‬ ‫موجود‬ ‫دانش‬.
•‫و‬ ‫استقالل‬ ‫فرضیات‬ ،‫احتمال‬ ‫توزیع‬ ‫صورت‬ ‫به‬ ‫را‬ ‫موجود‬ ‫دانش‬ ‫کیفی‬ ‫مقادیر‬...‫کنیم‬ ‫می‬ ‫مدل‬.
•‫بود‬ ‫خواهد‬ ‫ناشناخته‬ ‫پارامترهای‬ ‫دارای‬ ‫کنیم‬ ‫می‬ ‫ایجاد‬ ‫که‬ ‫مدلی‬.
•‫داشتن‬ ‫احتمال‬ ‫این‬ ‫ی‬ ‫کننده‬ ‫بازگو‬ ‫که‬ ‫ایم‬ ‫گرفته‬ ‫نظر‬ ‫در‬ ‫پیشین‬ ‫احتمال‬ ‫تزیع‬ ،‫ناشناخته‬ ‫مقادیر‬ ‫از‬ ‫یک‬ ‫هر‬ ‫برای‬‫یک‬ ‫هر‬ ‫در‬ ‫را‬
‫کند‬ ‫می‬ ‫ایجاد‬ ‫داده‬ ‫های‬ ‫نمونه‬ ‫مشاهده‬ ‫بدون‬ ‫مقادیر‬ ‫از‬.
•‫دهیم‬ ‫می‬ ‫انجام‬ ‫را‬ ‫ها‬ ‫داده‬ ‫آوری‬ ‫جمع‬.
•‫کنیم‬ ‫می‬ ‫محاسبه‬ ‫را‬ ‫پسین‬ ‫احتمال‬ ‫توزیع‬ ‫مقدار‬ ‫مختلف‬ ‫های‬ ‫داده‬ ‫مشاهده‬ ‫با‬.
•‫دهیم‬ ‫می‬ ‫انجام‬ ‫را‬ ‫خودمان‬ ‫های‬ ‫گیری‬ ‫تصمیم‬ ‫جدید‬ ‫های‬ ‫نمونه‬ ‫مورد‬ ‫در‬ ‫پسین‬ ‫احتمال‬ ‫با‬.
Amir Shokri

4. Bayesian Learning
‫است‬ ‫تدریجی‬ ‫صورت‬ ‫به‬ ‫یادگیری‬ ‫بیز‬ ‫در‬.
‫شود‬ ‫می‬ ‫ما‬ ‫ی‬ ‫فرضیه‬ ‫بودن‬ ‫درست‬ ‫احتمال‬ ‫کاهش‬ ‫یا‬ ‫افزایش‬ ‫باعث‬ ‫داده‬ ‫نمونه‬ ‫هر‬.
‫تص‬ ‫است‬ ‫شده‬ ‫مشاهده‬ ‫نمونه‬ ‫آن‬ ‫در‬ ‫که‬ ‫موجودی‬ ‫اطالعات‬ ‫و‬ ‫قبلی‬ ‫دانش‬ ‫با‬ ‫گیریم‬ ‫می‬ ‫نظر‬ ‫در‬ ‫فرضیه‬ ‫یک‬ ‫برای‬ ‫که‬ ‫احتمالی‬‫گیری‬ ‫میم‬
‫شود‬ ‫می‬.
‫باشد‬ ‫می‬ ‫موجود‬ ‫فرضیه‬ ‫هر‬ ‫برای‬ ‫قبلی‬ ‫احتمال‬ ‫پس‬.
‫هستند‬ ‫احتمالی‬ ‫بینی‬ ‫پیش‬ ‫به‬ ‫قادر‬ ‫بیزین‬ ‫های‬ ‫روش‬ ‫از‬ ‫حاصل‬ ‫های‬ ‫فرضیه‬.
‫نمود‬ ‫بندی‬ ‫دسته‬ ‫فرضیه‬ ‫چندین‬ ‫وزنی‬ ‫ترکیب‬ ‫با‬ ‫توان‬ ‫می‬ ‫را‬ ‫جدید‬ ‫های‬ ‫داده‬.
‫یا‬ ‫فرضیه‬ ‫فضای‬ ‫در‬ ‫کلی‬ ‫طور‬ ‫به‬H‫ی‬ ‫آموزشی‬ ‫های‬ ‫داده‬ ‫مورد‬ ‫در‬ ‫که‬ ‫بود‬ ‫خواهیم‬ ‫ای‬ ‫فرضیه‬ ‫بهترین‬ ‫دنبال‬ ‫به‬ ‫بیز‬ ‫تئوری‬ ‫کمک‬ ‫با‬‫ا‬D
‫کند‬ ‫پیدا‬ ‫صدق‬.Amir Shokri

5. Bayesian Learning
‫آموزشی‬ ‫ی‬ ‫داده‬ ‫داشتن‬ ‫با‬ ‫که‬ ‫باشد‬ ‫می‬ ‫فرضیه‬ ‫ترین‬ ‫محتمل‬ ‫دنبال‬ ‫به‬ ‫گشتن‬ ‫فرضیه‬ ‫بهترین‬ ‫تعیین‬ ‫راه‬ ‫یک‬D‫در‬ ‫قبلی‬ ‫احتمال‬ ‫و‬
‫داشت‬ ‫انتظار‬ ‫توان‬ ‫می‬ ‫مختلف‬ ‫های‬ ‫فرضیه‬ ‫مورد‬.
‫فرضیه‬ ‫فضای‬H
‫آموزشی‬ ‫داده‬ ‫مجموعه‬D
‫فرضیه‬ ‫که‬ ‫بینی‬ ‫پیش‬ ‫احتمال‬h‫آموزشی‬ ‫مثال‬ ‫مشاهده‬ ‫از‬ ‫قبل‬D‫است‬ ‫داشته‬ ‫را‬.P(h)
‫آموزشی‬ ‫های‬ ‫داده‬ ‫مشاهده‬ ‫پیشین‬ ‫احتمال‬P(D)
‫آموزشی‬ ‫داده‬ ‫مشاهده‬ ‫احتمال‬D‫فرضیه‬ ‫اینکه‬ ‫فرض‬ ‫به‬h‫باشد‬ ‫صادق‬P(D|h)
Amir Shokri

6. Bayesian Learning
‫آمدن‬ ‫دست‬ ‫به‬ ‫ما‬ ‫نهایی‬ ‫انتظار‬P(h|D)‫است‬.
‫مفهوم‬P(h|D)->‫آموزشی‬ ‫ی‬ ‫داده‬ ‫با‬ ‫اینکه‬ ‫احتمال‬D‫فرضیه‬h‫باشد‬ ‫صادق‬( .‫پسین‬ ‫احتمال‬)
‫از‬ ‫مستقل‬ ‫همیشه‬ ‫پیشین‬ ‫احتمال‬D‫است‬‫از‬ ‫متاثر‬ ‫پسین‬ ‫احتمال‬ ‫ولی‬D‫است‬.
‫است‬ ‫بیزین‬ ‫احتمال‬ ‫نظریه‬ ‫مبنای‬ ‫بر‬ ‫بیزین‬ ‫یادگیری‬.
Amir Shokri

7. Bayesian Learning
Amir Shokri
𝑃(ℎ| 𝐷 =
𝑃 𝐷 ℎ 𝑃 ℎ
𝑃(𝐷)
Likelihood
Prior Probability
EvidencePosterior probability

8. Bayesian Learning
‫فرضیه‬ ‫ترین‬ ‫محتمل‬ ‫تعیین‬ ‫نحوه‬(‫پسین‬ ‫حداکثر‬ ‫با‬ ‫فرضیه‬MAP)‫ممکن‬ ‫فرضیات‬ ‫مجموعه‬ ‫بین‬ ‫از‬H:
Amir Shokri
ℎ 𝑀𝐴𝑃 ≡ arg max
ℎ∈𝐻
𝑃 ℎ 𝐷
= arg max
ℎ∈𝐻
𝑃 𝐷 ℎ 𝑃(ℎ)
𝑃(𝐷)
= arg max
ℎ∈𝐻
𝑃 𝐷 ℎ 𝑃(ℎ)
‫از‬ ‫مستقل‬h

9. Bayesian Learning
‫مورد‬ ‫در‬ ‫اطالعی‬ ‫هیچ‬ ‫که‬ ‫مواقعی‬ ‫در‬P(h)‫های‬ ‫فرضیه‬ ‫تمام‬ ‫که‬ ‫کرد‬ ‫فرض‬ ‫توان‬ ‫می‬ ،‫باشد‬ ‫نداشته‬ ‫وجود‬H‫پیشین‬ ‫احتمال‬ ‫دارای‬
‫هستند‬ ‫یکسانی‬.
‫مقدار‬ ‫فقط‬ ‫توان‬ ‫می‬ ،‫احتمال‬ ‫حداکثر‬ ‫با‬ ‫فرضیه‬ ‫محاسبه‬ ‫برای‬ ،‫اینصورت‬ ‫در‬P(D|h)‫گرفت‬ ‫نظر‬ ‫در‬ ‫را‬.‫احتمال‬ ‫میزان‬ ،‫مقدار‬ ‫این‬
likelihood‫داده‬D‫فرض‬ ‫به‬ ‫نسبت‬h‫ی‬ ‫فرضیه‬ ،‫کند‬ ‫بیشینه‬ ‫را‬ ‫مقدار‬ ‫این‬ ‫که‬ ‫ای‬ ‫فرضیه‬ ‫هر‬ ‫و‬ ‫شود‬ ‫می‬ ‫نامیده‬Maximum
Likelihood‫یا‬ML‫شود‬ ‫می‬ ‫نامیده‬:
Amir Shokri
ℎ 𝑀𝐿 ≡ arg max
ℎ∈𝐻
𝑃 ℎ 𝐷

10. Bayesian Learning
‫مثال‬:‫سرطان‬ ‫تشخیص‬
‫بیمار‬ ‫حاالت‬:
•‫است‬ ‫سرطان‬ ‫بیماری‬ ‫دارای‬ ‫بیمار‬.
•‫است‬ ‫سالم‬ ‫بیمار‬.
P(cancer)=0.008 P(+|cancer)=0.98 P(+|~cancer)=0.03
P(~cancer)=0.992 P(-|cancer)=0.02 P(-|~cancer)=0.97
Amir Shokri

11. Bayesian Learning
‫مثال‬:‫سرطان‬ ‫تشخیص‬
‫داریم‬ ‫گیری‬ ‫تصمیم‬ ‫به‬ ‫نیاز‬ ‫و‬ ‫آمده‬ ‫جدید‬ ‫بیمار‬ ‫یک‬:
‫سرطان‬ ‫داشتن‬ ‫احتمال‬
P(cancer|+)=P(+|cancer) P(cancer) / P(+) = (0.98)(0.008)/P(+)=0.0078/P(+)
‫سرطان‬ ‫نداشتن‬ ‫احتمال‬
P(~cancer|+)=P(+|~cancer) P(~cancer) / P(+) = (0.03)(0.992)/P(+)=0.0298/P(+)
Amir Shokri

12. Bayesian Learning
‫مثال‬:‫سرطان‬ ‫تشخیص‬
‫فرضیه‬Map:hmap=~cancer
P(cancer|+)+P(~cancer|+)=1
0.0078/P(+)+0.0298/P(+)=1
P(+)=0.0078+0.0298=0.0376
Amir Shokri

13. Bayesian Learning
‫مثال‬:‫سرطان‬ ‫تشخیص‬
‫سرطان‬ ‫به‬ ‫بیمار‬ ‫ابتالی‬ ‫احتمال‬:
P(cancer|+)=0.0078/P(+)=0.21
‫بیمار‬ ‫در‬ ‫سرطان‬ ‫نداشتن‬ ‫احتمال‬:
P(~cancer|+)=0.0298/P(+)=0.79
Amir Shokri

14. Bayesian Learning
‫مفهوم‬Brute-force Map Learning
‫ب‬ ‫را‬ ‫احتمال‬ ‫بیشترین‬ ‫با‬ ‫فرضیه‬ ‫بتواند‬ ‫که‬ ‫مفهوم‬ ‫یادگیری‬ ‫برای‬ ‫الگوریتمی‬ ،‫بیزین‬ ‫نظریه‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫توان‬ ‫می‬‫باشیم‬ ‫داشته‬ ‫آورد‬ ‫دست‬
‫را‬ ‫آن‬ ‫و‬Brue-force Map Learning Algorithm‫بنامیم‬.
‫فرضیه‬ ‫هر‬ ‫برای‬h‫در‬ ‫موجود‬H‫کنیم‬ ‫می‬ ‫حساب‬ ‫را‬ ‫پسین‬ ‫احتمال‬ ‫مقدار‬.
‫فرضیه‬hmap‫کنیم‬ ‫می‬ ‫مشخص‬ ‫دارد‬ ‫را‬ ‫پسین‬ ‫احتمال‬ ‫بیشترین‬ ‫که‬ ‫را‬.
Amir Shokri

15. Bayesian Learning
‫بیزین‬ ‫بهینه‬ ‫بندی‬ ‫دسته‬Bayes Optimal Classifier
Brue-force Map Learning Algorithm:‫چیست؟‬ ‫شده‬ ‫داده‬ ‫آموزشی‬ ‫داده‬ ‫مجموعه‬ ‫برای‬ ‫فرضیه‬ ‫ترین‬ ‫محتمل‬
•‫چیست؟‬ ‫شده‬ ‫مشاهده‬ ‫نمونه‬ ‫یک‬ ‫بندی‬ ‫دسته‬ ‫ترین‬ ‫محتمل‬
‫آید‬ ‫می‬ ‫بدست‬ ‫ها‬ ‫فرضیه‬ ‫تمامی‬ ‫بینی‬ ‫پیش‬ ‫ترکیب‬ ‫از‬ ‫جدید‬ ‫نمونه‬ ‫یک‬ ‫برای‬ ‫بندی‬ ‫دسته‬ ‫ترین‬ ‫محتمل‬ ‫عمل‬ ‫در‬.‫پ‬ ‫مقدار‬‫هر‬ ‫بینی‬ ‫یش‬
‫شود‬ ‫می‬ ‫ترکیب‬ ‫هم‬ ‫با‬ ‫آنها‬ ‫حاصل‬ ‫و‬ ‫شده‬ ‫ضرب‬ ‫آن‬ ‫پسین‬ ‫احتمال‬ ‫در‬ ‫فرضیه‬.
Amir Shokri

16. Bayesian Learning
‫مثال‬:
‫ها‬ ‫ورودی‬:
h1 P(h1|D)=0.4
h2 P(h2|D)=0.3
h3 P(h3|D)=0.3
P(h1)=+ P(h2)=- P(h3)=-
‫بودن‬ ‫مثبت‬ ‫احتمال‬0.4
‫بودن‬ ‫منفی‬ ‫احتمال‬0.6
Amir Shokri

17. Bayesian Learning
Amir Shokri
𝑃 ℎ1 𝐷 = 0.4 𝑃 − ℎ1 = 0 𝑃 + ℎ1 = 1
෍ 𝑖 𝑃 + ℎ𝑖 𝑃 ℎ𝑖 𝐷 = 0.4 𝑎𝑛𝑑 ෍ 𝑖 𝑃 − ℎ𝑖 𝑃 ℎ𝑖 𝐷 = 0.6
‫بیزین‬ ‫بهینه‬ ‫بندی‬ ‫دسته‬:
‫لذا‬:
𝑃 ℎ2 𝐷 = 0.3 𝑃 − ℎ2 = 1 𝑃 + ℎ2 = 0
𝑃 ℎ3 𝐷 = 0.3 𝑃 − ℎ3 = 1 𝑃 + ℎ3 = 0

18. Bayesian Learning
Amir Shokri
‫این‬ ‫از‬ ‫استفاده‬ ‫کنید‬ ‫دقت‬ ‫شود؛‬ ‫می‬ ‫بندی‬ ‫دسته‬ ‫منفی‬ ‫صورت‬ ‫به‬ ‫های‬ ‫نمونه‬ ‫این‬ ‫به‬ ‫توجه‬ ‫با‬‫برای‬ ‫روش‬
‫است‬ ‫غیرعملی‬ ،‫بزرگ‬ ‫های‬ ‫فرضیه‬ ‫فضاهای‬.

19. Bayesian Learning
Amir Shokri
Naïve Bayes Classifier
‫تصمیم‬ ‫درخت‬ ‫و‬ ‫عصبی‬ ‫های‬ ‫شبکه‬ ‫به‬ ‫نسبت‬ ‫باال‬ ‫کارایی‬
‫کاربرد‬:
•‫نمونه‬x‫باشد‬ ‫توصیف‬ ‫قابل‬ ‫های‬ ‫ویژگی‬ ‫عطفی‬ ‫ترکیب‬ ‫توسط‬.
•‫باشند‬ ‫یکدیگر‬ ‫از‬ ‫مستقل‬ ‫شرطی‬ ‫صورت‬ ‫به‬ ‫ها‬ ‫ویژگی‬ ‫این‬.
•‫هدف‬ ‫تابع‬f(x)‫محدوده‬ ‫مجموعه‬ ‫از‬ ‫را‬ ‫مقداری‬ ‫هر‬ ‫بتواند‬V‫باشد‬ ‫داشته‬.
•‫باشد‬ ‫زیاد‬ ‫آموزشی‬ ‫های‬ ‫مثال‬ ‫مجموعه‬.

20. Bayesian Learning
Amir Shokri
Naïve Bayes Classifier
‫هدف‬ ‫تابع‬:
f:X->V
X=(a1 , …. , an)
‫مساله‬ ‫صورت‬:‫بندی‬ ‫دسته‬ ‫دیگر‬ ‫عبارت‬ ‫به‬ ‫یا‬ ‫هدف‬ ‫تابع‬ ‫مقدار‬ ،‫شده‬ ‫مشاهده‬ ‫نمونه‬ ‫یک‬ ‫برای‬‫را‬ ‫آن‬
‫کنید‬ ‫مشخص‬.

21. Bayesian Learning
Amir Shokri
Naïve Bayes Classifier
‫هدف‬ ‫مقدار‬ ‫ترین‬ ‫محتمل‬ ‫مساله‬ ‫حل‬ ‫برای‬ ‫بیزین‬ ‫روش‬ ‫مسئله‬ ‫حل‬vMAP‫شود‬ ‫می‬ ‫محاسبه‬:
𝑣 𝑀𝐴𝑃 = arg max 𝑃(𝑣𝑗|𝑎1, … , 𝑎 𝑛)
𝑣 𝑀𝐴𝑃 = arg max
𝑣 𝑗∈𝑉
𝑃 𝑎1, … , 𝑎 𝑛 𝑣𝑗 𝑃(𝑣𝑗)
𝑃(𝑎1, … , 𝑎 𝑛)
= arg max
𝑣 𝑗∈𝑉
𝑃 𝑎1, … , 𝑎 𝑛 𝑣𝑗 𝑃(𝑣𝑗)
‫شود‬ ‫می‬ ‫نوشته‬ ‫زیر‬ ‫صورت‬ ‫به‬ ‫بیزین‬ ‫نظریه‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫رابطه‬ ‫این‬ ‫در‬:

22. Bayesian Learning
Amir Shokri
Naïve Bayes Classifier
‫که‬ ‫دفعاتی‬ ‫تعداد‬vj‫با‬ ‫را‬ ‫شده‬ ‫مشاهده‬ ‫آموزشی‬ ‫مثالهای‬ ‫در‬P(vj)‫ی‬ ‫مصاحبه‬ ‫اینکه‬ ‫و‬ ‫شناسیم‬ ‫می‬
P(a1, …., an|vj)‫دست‬ ‫در‬ ‫بزرگی‬ ‫بسیار‬ ‫آموزشی‬ ‫داده‬ ‫مجموعه‬ ‫اینکه‬ ‫جز‬ ‫به‬ ‫نیست‬ ‫عملی‬ ‫چندان‬
‫باشد‬.
‫ساده‬ ‫فرض‬ ‫ی‬ ‫پایه‬ ‫بر‬ ‫بیز‬ ‫نایو‬ ‫یادگیری‬ ‫روش‬(Naive)‫کند‬ ‫می‬ ‫عمل‬:
‫هستند‬ ‫مستقل‬ ‫شرطی‬ ‫صورت‬ ‫به‬ ‫ها‬ ‫ویژگی‬ ‫مقادیر‬.
‫عطفی‬ ‫ترکیب‬ ‫ی‬ ‫مشاهده‬ ‫احتمال‬ ‫هدف‬ ‫مقدار‬ ‫یک‬ ‫برای‬(a1, …, an)‫حاصلضرب‬ ‫با‬ ‫است‬ ‫برابر‬
‫آید‬ ‫می‬ ‫بدست‬ ‫زیر‬ ‫ی‬ ‫رابطه‬ ‫اینصورت‬ ‫در‬ ‫ها‬ ‫ویژگی‬ ‫تک‬ ‫تک‬ ‫احتمال‬:
𝑣 𝑀𝐴𝑃 = arg max 𝑃(𝑣𝑗|𝑎1, … , 𝑎 𝑛)
𝑉𝑁𝐵 = arg max
𝑣 𝑗∈𝑉
𝑃(𝑣𝑗) ෑ
𝑖=1
𝑛
𝑃(𝑎𝑖|𝑣𝑗)

23. Bayesian Learning
Amir Shokri
Naïve Bayes Classifier
‫در‬Naïve Bayes‫مختلف‬ ‫مقادیر‬P(vj)‫و‬P(ai|vj)‫زده‬ ‫تخمین‬ ‫تکرار‬ ‫دفعات‬ ‫تعداد‬ ‫از‬ ‫استفاده‬ ‫با‬
‫شود‬ ‫می‬.
‫زند‬ ‫می‬ ‫تخمین‬ ‫زیر‬ ‫ی‬ ‫رابطه‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫را‬ ‫ای‬ ‫فرضیه‬ ‫ها‬ ‫تخمین‬ ‫این‬ ‫مجموعه‬.
𝑉𝑁𝐵 = arg max
𝑣 𝑗∈𝑉
𝑃(𝑣𝑗) ෑ
𝑖=1
𝑛
𝑃(𝑎𝑖|𝑣𝑗)
‫ندارد‬ ‫وجود‬ ‫آشکاری‬ ‫جستجوی‬ ‫عمل‬ ‫هیچگونه‬ ‫روش‬ ‫این‬ ‫در‬.

24. Bayesian Learning
Amir Shokri
Day Outlook Temperature Humidity Wind Play Tennis
1 Sunny Hot High weak No
2 Sunny Hot High Strong No
3 Overcast Hot High Weak Yes
4 Rain Mild High Weak Yes
5 Rain Cool Normal Weak Yes
6 Rain Cool Normal Strong No
7 Overcast Cool Normal String Yes
8 Sunny Mild High Weak No
9 Sunny Cool Normal Weak Yes
10 Rain Mild Normal Weak Yes
11 Sunny Mild Normal String Yes
12 Overcast Mild High Strong Yes
13 Overcast Hot Normal Weak Yes
14 Rain Mild High strong no

25. Bayesian Learning
Amir Shokri
Outlook Temperature Humidity Wind Play Tennis
Sunny Hot High False N
Sunny Hot High True N
Overcast Hot High false P
Rain Mild High False P
Rain Cool Normal False P
Rain Cool Normal true N
Overcast Cool Normal True P
Sunny Mild High False N
Sunny Cool Normal False P
Rain Mild Normal False P
Sunny Mild Normal True P
Overcast Mild High True P
Overcast Hot Normal False P
Rain Mild High true N
P(p)=9/14
P(n)=5/14

26. Bayesian Learning
Amir Shokri
Outlook::
P(sunny | p)=2/9
P(sunny | n)=3/5
P(overcast | p)=4/9
P(overcast | n)=0
P(rain | p)=3/9
P(rain | n)=2/5
Outlook Temperature Humidity Wind Play Tennis
Sunny Hot High False N
Sunny Hot High True N
Overcast Hot High false P
Rain Mild High False P
Rain Cool Normal False P
Rain Cool Normal true N
Overcast Cool Normal True P
Sunny Mild High False N
Sunny Cool Normal False P
Rain Mild Normal False P
Sunny Mild Normal True P
Overcast Mild High True P
Overcast Hot Normal False P
Rain Mild High true N

27. Bayesian Learning
Amir Shokri
temperature::
P(hot | p)=2/9
P(hot | n)=2/5
P(mild| p)=4/9
P(mild | n)=2/5
P(cool | p)=3/9
P(cool | n)=1/5
Outlook Temperature Humidity Wind Play Tennis
Sunny Hot High False N
Sunny Hot High True N
Overcast Hot High false P
Rain Mild High False P
Rain Cool Normal False P
Rain Cool Normal true N
Overcast Cool Normal True P
Sunny Mild High False N
Sunny Cool Normal False P
Rain Mild Normal False P
Sunny Mild Normal True P
Overcast Mild High True P
Overcast Hot Normal False P
Rain Mild High true N

28. Bayesian Learning
Amir Shokri
humidity::
P(high | p)=3/9
P(high | n)=4/5
P(normal | p)=6/9
P(normal | n)=2/5
Outlook Temperature Humidity Wind Play Tennis
Sunny Hot High False N
Sunny Hot High True N
Overcast Hot High false P
Rain Mild High False P
Rain Cool Normal False P
Rain Cool Normal true N
Overcast Cool Normal True P
Sunny Mild High False N
Sunny Cool Normal False P
Rain Mild Normal False P
Sunny Mild Normal True P
Overcast Mild High True P
Overcast Hot Normal False P
Rain Mild High true N

29. Bayesian Learning
Amir Shokri
windy::
P(true | p)=3/9
P(true | n)=3/5
P(false | p)=6/9
P(false | n)=2/5
Outlook Temperature Humidity Wind Play Tennis
Sunny Hot High False N
Sunny Hot High True N
Overcast Hot High false P
Rain Mild High False P
Rain Cool Normal False P
Rain Cool Normal true N
Overcast Cool Normal True P
Sunny Mild High False N
Sunny Cool Normal False P
Rain Mild Normal False P
Sunny Mild Normal True P
Overcast Mild High True P
Overcast Hot Normal False P
Rain Mild High true N

30. Bayesian Learning
Amir Shokri
Naïve Bayes Classifier
X: (outlook=sunny, temperature=cool, Humidity=high, wind=strong)
𝑉𝑁𝐵 = arg max
𝑣 𝑘∈[𝑦𝑒𝑠,𝑛𝑜]
𝑃(𝑣 𝑘) ෑ
𝑖=1
𝑃(𝑎𝑖|𝑣 𝑘)
= arg max
𝑣 𝑘∈[𝑦𝑒𝑠,𝑛𝑜]
𝑃 𝑣 𝑘 𝑃 𝑜𝑢𝑡𝑙𝑜𝑜𝑘 = 𝑠𝑢𝑛𝑛𝑦 𝑣 𝑘)𝑃( 𝑡𝑒𝑚𝑝

31. Bayesian Learning
Amir Shokri
Naïve Bayes Classifier
‫شد‬ ‫محاسبه‬ ‫ممکن‬ ‫حاالت‬ ‫کل‬ ‫تعداد‬ ‫به‬ ‫مقدار‬ ‫یک‬ ‫شده‬ ‫مشاهده‬ ‫تعداد‬ ‫نسبت‬ ‫اساس‬ ‫بر‬ ‫احتماالت‬ ‫مقدار‬:nc / n
‫مقدار‬ ‫اگر‬ ‫وجود‬ ‫این‬ ‫با‬ ‫باشد‬ ‫احتمال‬ ‫مقدار‬ ‫از‬ ‫خوبی‬ ‫تخمین‬ ‫تواند‬ ‫می‬ ‫مقدار‬ ‫این‬nc‫به‬ ‫منجر‬ ‫تواند‬ ‫می‬ ‫باشد‬ ‫صفر‬ ‫یا‬ ‫کوچک‬ ‫خیلی‬
‫شود‬ ‫غلط‬ ‫نتایج‬.
‫دسته‬ ‫برای‬ ‫اگر‬vj‫مقدار‬ai‫مقدار‬ ،‫نشود‬ ‫مشاهده‬ ‫هرگز‬P(ai | vj) = 0‫شد‬ ‫خواهد‬ ‫صفر‬ ‫حاصلضرب‬ ‫کل‬ ‫نتیجه‬ ‫در‬ ‫و‬ ‫شده‬.‫برای‬
‫روش‬ ‫از‬ ‫مشکل‬ ‫این‬ ‫از‬ ‫جلوگیری‬m-estimate‫شود‬ ‫می‬ ‫استفاده‬.
𝑛 𝑐 + 𝑚𝑝
𝑛 + 𝑚
𝑚 − 𝑒𝑠𝑡𝑖𝑚𝑎𝑡𝑒 𝑜𝑓 𝑝𝑟𝑜𝑏𝑎𝑏𝑖𝑙𝑖𝑡𝑦
•N‫و‬nc‫است‬ ‫قبلی‬ ‫مقادیر‬ ‫همان‬.
•m‫است‬ ‫مجازی‬ ‫مثالهای‬ ‫تعداد‬.
•‫مقدار‬p‫معموال‬ ‫هم‬p = 1 / k‫که‬ ‫است‬ ‫یکنواخت‬ ‫صورت‬ ‫به‬ ‫و‬ ‫باشد‬ ‫می‬k‫هاست‬ ‫ویژگی‬ ‫برای‬ ‫ممکن‬ ‫مقادیر‬ ‫تعداد‬.