20080330 machine learning_nikolenko_lecture07

1. Èäåÿ áàéåñîâñêèõ ñåòåé Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Áàéåñîâñêèå ñåòè äîâåðèÿ Ñåðãåé Íèêîëåíêî Machine Learning CS Club, âåñíà 2008 Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

2. Èäåÿ áàéåñîâñêèõ ñåòåé Ìîòèâàöèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ d -ðàçäåëèìîñòü Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Òåîðåìà î äåêîìïîçèöèè è ñâèäåòåëüñòâà Outline 1 Èäåÿ áàéåñîâñêèõ ñåòåé Ìîòèâàöèÿ d-ðàçäåëèìîñòü Òåîðåìà î äåêîìïîçèöèè è ñâèäåòåëüñòâà 2 Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Èäåÿ Âûâîä àëãîðèòìà Àëãîðèòì 3 Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Îñíîâíûå ïîíÿòèÿ è îïðåäåëåíèÿ Âñïîìîãàòåëüíûå àëãîðèòìû Àëãîðèòì ïðîïàãàöèè Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

3. Èäåÿ áàéåñîâñêèõ ñåòåé Ìîòèâàöèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ d -ðàçäåëèìîñòü Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Òåîðåìà î äåêîìïîçèöèè è ñâèäåòåëüñòâà Áàéåñîâñêèå ñåòè Â ýòîé ëåêöèè ìû íà âðåìÿ îòâëå÷¼ìñÿ îò îáó÷åíèÿ è ðàññìîòðèì îñíîâíûå ïîíÿòèÿ è àëãîðèòìû òåîðèè áàéåñîâñêèõ ñåòåé äîâåðèÿ. Êðîìå ïðîñòî ïîëåçíîãî àïïàðàòà, ýòî äàñò õîðîøåå ïðèìåíåíèå äèñêðåòíî-âåðîÿòíîñòíûì âåùàì âðîäå [íå]çàâèñèìîñòè, à ãëàâíîå áîëåå îáùåå ïîíèìàíèå çàäà÷ áàéåñîâñêîãî âûâîäà. Ïðèãîäèòñÿ. Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

4. Èäåÿ áàéåñîâñêèõ ñåòåé Ìîòèâàöèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ d -ðàçäåëèìîñòü Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Òåîðåìà î äåêîìïîçèöèè è ñâèäåòåëüñòâà Íàèâíûé áàéåñîâñêèé êëàññèôèêàòîð Íàèâíûé áàéåñîâñêèé êëàññèôèêàòîð ÷àñòî õîðîøî ðàáîòàåò. Íî îí îñíîâûâàåòñÿ íà î÷åíü ñåðü¼çíîì ïðåäïîëîæåíèè, à èìåííî íà óñëîâíîé íåçàâèñèìîñòè àòðèáóòîâ ïðè óñëîâèè äàííîãî öåëåâîãî çíà÷åíèÿ. Çà÷àñòóþ òàêîå ïðåäïîëîæåíèå äåëàåò àïïàðàò íåïðèìåíèìûì. ×òî äåëàòü? Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

5. Èäåÿ áàéåñîâñêèõ ñåòåé Ìîòèâàöèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ d -ðàçäåëèìîñòü Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Òåîðåìà î äåêîìïîçèöèè è ñâèäåòåëüñòâà Îò áàéåñîâñêîãî êëàññèôèêàòîðà ê áàéåñîâñêèì ñåòÿì Íóæíî íàó÷èòüñÿ ïðåäñòàâëÿòü ìíîæåñòâî (íå)çàâèñèìîñòåé ìåæäó èìåþùèìèñÿ ïåðåìåííûìè. Äîñòàòî÷íî åñòåñòâåííàÿ èäåÿ: íàïðàâëåííûé ãðàô, â êîòîðîì ñòðåëêè ïîêàçûâàþò ïðè÷èííî-ñëåäñòâåííóþ ñâÿçü. Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

6. Èäåÿ áàéåñîâñêèõ ñåòåé Ìîòèâàöèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ d -ðàçäåëèìîñòü Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Òåîðåìà î äåêîìïîçèöèè è ñâèäåòåëüñòâà Ïðèìåð Ïðèìåð òîãî, êàê ìîæåò áûòü çàäàí ãðàô áàéåñîâñêîé ñåòè. Èñòîêè ïðè÷èíû, ñòîêè ñëåäñòâèÿ. Êîðíè ïîëèäåðåâà ïåðâîïðè÷èíû, ëèñòüÿ ñèìïòîìû (êàê ïðàâèëî, èìåííî èõ íàáëþäàþò). Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

7. Èäåÿ áàéåñîâñêèõ ñåòåé Ìîòèâàöèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ d -ðàçäåëèìîñòü Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Òåîðåìà î äåêîìïîçèöèè è ñâèäåòåëüñòâà Ïðèìåð Èçíà÷àëüíî çàäàíû óñëîâíûå âåðîÿòíîñòè ïîòîìêîâ ïðè óñëîâèè ïðåäêîâ. Ýòî óæå ïîçâîëèò îïðåäåëèòü ñîâìåñòíóþ àïðèîðíóþ âåðîÿòíîñòü ëþáîé êîìáèíàöèè ñîáûòèé â ñåòè. Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

8. Èäåÿ áàéåñîâñêèõ ñåòåé Ìîòèâàöèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ d -ðàçäåëèìîñòü Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Òåîðåìà î äåêîìïîçèöèè è ñâèäåòåëüñòâà Ïðèìåð Ñóòü ðàññóæäåíèé â áàéåñîâñêîé ñåòè ïðîïàãàöèÿ ñâèäåòåëüñòâ. Íà âõîä ïîñòóïàþò äàííûå òèïà ¾Çðåíèå ïàöèåíòà óëó÷øèëîñü èç-çà êîñîãëàçèÿ¿ è ¾Ïàöèåíò ñòàðøå 60 ëåò¿, à çàäà÷à îöåíèòü, êàê èçìåíèëàñü âåðîÿòíîñòü äðóãèõ óçëîâ (íàïðèìåð, òîãî, ÷òî ¾Ó ïàöèåíòà íàðóøåíèå ðåôëåêñà ñåò÷àòêè¿). Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

9. Èäåÿ áàéåñîâñêèõ ñåòåé Ìîòèâàöèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ d -ðàçäåëèìîñòü Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Òåîðåìà î äåêîìïîçèöèè è ñâèäåòåëüñòâà Ïðèìåíåíèå Áàéåñîâñêèå ñåòè ïðèìåíÿþòñÿ â îñíîâíîì äëÿ ðåøåíèÿ äèàãíîñòè÷åñêèõ çàäà÷. Íàïðèìåð, èõ ÷àñòî èñïîëüçóþò â ìåäèöèíå è âîîáùå äëÿ îöåíêè ðèñêîâ. Ò.å. ïðîïàãàöèÿ îáû÷íî èä¼ò ñíèçó ââåðõ, îò ñëåäñòâèé ê ïðè÷èíàì. Íî ìîæíî è íàîáîðîò. Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

10. Èäåÿ áàéåñîâñêèõ ñåòåé Ìîòèâàöèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ d -ðàçäåëèìîñòü Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Òåîðåìà î äåêîìïîçèöèè è ñâèäåòåëüñòâà Çàâèñèìîñòü â ÁÑÄ Êàêèå óçëû (ñîáûòèÿ) â áàéåñîâñêîé ñåòè çàâèñèìû? Ïîíÿòíî, ÷òî òå, êîòîðûå ñîåäèíåíû ðåáðîì. Íî íå òîëüêî... Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

11. Èäåÿ áàéåñîâñêèõ ñåòåé Ìîòèâàöèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ d -ðàçäåëèìîñòü Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Òåîðåìà î äåêîìïîçèöèè è ñâèäåòåëüñòâà Ïîñëåäîâàòåëüíàÿ ñâÿçü Ïðÿìàÿ ñâÿçü ìåæäó óçëàìè ñåòè. Â ýòîì ñëó÷àå 1 âëèÿåò íà 2, à 2, â ñâîþ î÷åðåäü, âëèÿåò íà 2, è óçëû 1 è 3 ïîëó÷àþòñÿ ñâÿçàííûìè. Îäíàêî, åñëè â 2 ïîñòóïèëî ñâèäåòåëüñòâî, ñâÿçü ìåæäó 1 è 3 íàðóøàåòñÿ. Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

12. Èäåÿ áàéåñîâñêèõ ñåòåé Ìîòèâàöèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ d -ðàçäåëèìîñòü Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Òåîðåìà î äåêîìïîçèöèè è ñâèäåòåëüñòâà Ðàñõîäÿùàÿñÿ ñâÿçü Èíôîðìàöèÿ îá îäíîì èç ïîòîìêîâ ìîæåò ïîâëèÿòü íà âåðîÿòíîñòü äðóãîãî ïîòîìêà îäíîãî è òîãî æå óçëà. Ýòî ñâÿçàíî ñ òåì, ÷òî íå òîëüêî èíôîðìàöèÿ î ïðîèçîøåäøåé ïðè÷èíå ïîâûøàåò âåðîÿòíîñòü ñëåäñòâèÿ, íî è ñëó÷èâøååñÿ ñëåäñòâèå ïîâûøàåò âåðîÿòíîñòü ïðè÷èíû. Åñëè îáùèé ïðåäîê óæå ïîëó÷èë îçíà÷èâàíèå, òî ñâÿçü íàðóøàåòñÿ. Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

13. Èäåÿ áàéåñîâñêèõ ñåòåé Ìîòèâàöèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ d -ðàçäåëèìîñòü Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Òåîðåìà î äåêîìïîçèöèè è ñâèäåòåëüñòâà Ñõîäÿùàÿñÿ ñâÿçü Ñâÿçè ìåæäó óçëàìè 1 è 3 íåò: åñëè ïðîèçîøëî 1, òî ýòî ïîâëèÿåò íà âåðîÿòíîñòü ñîáûòèÿ 2, íî âåðîÿòíîñòü 3 èçìåíèòüñÿ íå äîëæíà. Îäíàêî ñèòóàöèÿ ìåíÿåòñÿ, åñëè ñâèäåòåëüñòâî 2 óæå ïîëó÷åíî: åñëè ìû çíàåì, ÷òî îäíà èç ïðè÷èí ïðîèçîøëà, ýòî äîëæíî ïîíèçèòü âåðîÿòíîñòü äðóãîé ïðè÷èíû, âåäü ñëåäñòâèå óæå îáúÿñíåíî. Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

14. Èäåÿ áàéåñîâñêèõ ñåòåé Ìîòèâàöèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ d -ðàçäåëèìîñòü Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Òåîðåìà î äåêîìïîçèöèè è ñâèäåòåëüñòâà d -ðàçäåëèìîñòü Îïðåäåëåíèå Äâà óçëà íàïðàâëåííîãî ãðàôà x è y íàçûâàþòñÿ d-ðàçäåë¼ííûìè, åñëè äëÿ âñÿêîãî ïóòè èç x â y (çäåñü íå ó÷èòûâàåòñÿ íàïðàâëåíèå ð¼áåð) ñóùåñòâóåò òàêîé ïðîìåæóòî÷íûé óçåë z (íå ñîâïàäàþùèé íè ñ x, íè ñ y), ÷òî ëèáî ñâÿçü â ïóòè â ýòîì óçëå ïîñëåäîâàòåëüíàÿ èëè ðàñõîäÿùàÿñÿ, è óçåë z ïîëó÷èë îçíà÷èâàíèå, ëèáî ñâÿçü ñõîäÿùàÿñÿ, è íè óçåë z, íè êàêîé-ëèáî èç åãî ïîòîìêîâ îçíà÷èâàíèÿ íå ïîëó÷èë. Â ïðîòèâíîì ñëó÷àå óçëû íàçûâàþòñÿ d-ñâÿçàííûìè. Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

15. Èäåÿ áàéåñîâñêèõ ñåòåé Ìîòèâàöèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ d -ðàçäåëèìîñòü Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Òåîðåìà î äåêîìïîçèöèè è ñâèäåòåëüñòâà Âåðîÿòíîñòè Äî ñèõ ïîð áûëè òîëüêî ãðàôû è ðàññóæäåíèÿ ¾íà ïàëüöàõ¿. Òåïåðü ïîðà ïåðåéòè ê çàäàíèþ âåðîÿòíîñòåé è ïðî÷èì ÷èñëåííûì ïðèìåðàì. Â âåðøèíàõ çàäàíû óñëîâíûå âåðîÿòíîñòè ïðè óñëîâèè âñåãî ìíîæåñòâà ïðåäêîâ. Åñëè ïðåäêîâ íåò, âåðîÿòíîñòè íå óñëîâíûå (à ìàðãèíàëüíûå). Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

16. Èäåÿ áàéåñîâñêèõ ñåòåé Ìîòèâàöèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ d -ðàçäåëèìîñòü Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Òåîðåìà î äåêîìïîçèöèè è ñâèäåòåëüñòâà Ïðèìåð Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

18. Èäåÿ áàéåñîâñêèõ ñåòåé Ìîòèâàöèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ d -ðàçäåëèìîñòü Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Òåîðåìà î äåêîìïîçèöèè è ñâèäåòåëüñòâà Âàæíûå çàìå÷àíèÿ Åñëè ó óçëà n ïðåäêîâ, íóæíî çàäàâàòü 2n óñëîâíûõ âåðîÿòíîñòåé. Åñëè ïðåäêîâ ó óçëà x íåò, íóæíî çàäàâàòü ìàðãèíàëüíûå âåðîÿòíîñòè p(x ). Â ãðàôå çàïðåùåíû íàïðàâëåííûå öèêëû. Âñÿ ýòà èíôîðìàöèÿ â ñóììå äàñò âîçìîæíîñòü âû÷èñëÿòü ëþáóþ âåðîÿòíîñòü â ñåòè, ò.å. åäèíñòâåííûì îáðàçîì çàäàñò ðàñïðåäåëåíèå. Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

19. Èäåÿ áàéåñîâñêèõ ñåòåé Ìîòèâàöèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ d -ðàçäåëèìîñòü Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Òåîðåìà î äåêîìïîçèöèè è ñâèäåòåëüñòâà Òåîðåìà î äåêîìïîçèöèè Òåîðåìà Äëÿ ÁÑÄ, ïîñòðîåííîé íà ìíîæåñòâå ïåðåìåííûõ S = {x1 , x2 , . . . , xn }, îáùåå ðàñïðåäåëåíèå âåðîÿòíîñòåé p(x1x2 . . . xn ), èíäóöèðóþùåå çàäàííûå óñëîâíûå è ~~ ~ ìàðãèíàëüíûå âåðîÿòíîñòè è ñîãëàñîâàííîå ñ óñëîâíîé íåçàâèñèìîñòüþ, âûòåêàþùåé èç d-ðàçäåëèìîñòè óçëîâ, ñóùåñòâóåò, åäèíñòâåííî è ïðåäñòàâëÿåò ñîáîé ïðîèçâåäåíèå âñåõ òåíçîðîâ, çàäàííûõ â áàéåñîâñêîé ñåòè äîâåðèÿ: p(S) = p(x |pa(x )), ~ ~ x ∈S ãäå pa(x ) ìíîæåñòâî ðîäèòåëåé óçëà x â áàçîâîì ãðàôå ñåòè. Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

20. Èäåÿ áàéåñîâñêèõ ñåòåé Ìîòèâàöèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ d -ðàçäåëèìîñòü Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Òåîðåìà î äåêîìïîçèöèè è ñâèäåòåëüñòâà Ïðèìåð Ïîïðîáóåì â íàøåì ïðèìåðå âû÷èñëèòü p(z ). Äëÿ ýòîãî íàäî ïðîñóììèðîâàòü ïî âñåì îñòàëüíûì âåðîÿòíîñòÿì: p(z ) = p(~ u v w x y z ). t~~ ~ ~~ ~u v w x y t ~~ ~ ~~ Òóò áåçóìíîå êîëè÷åñòâî âû÷èñëåíèé. Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

21. Èäåÿ áàéåñîâñêèõ ñåòåé Ìîòèâàöèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ d -ðàçäåëèìîñòü Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Òåîðåìà î äåêîìïîçèöèè è ñâèäåòåëüñòâà Ïðèìåð Ïîñëå ïðèìåíåíèÿ ïðàâèëà äåêîìïîçèöèè ïîëó÷àåòñÿ: p(z ) = ~ p(~) t p(v |~)p(z |v ) ~t ~~ t ~ v ~ p(u|~) ~t p(x |u) ~~ u ~ x ~ p(w |uv ) ~ ~~ p(y |w ), ~~ w ~ y ~ è âû÷èñëåíèé óæå ãîðàçäî ìåíüøå. Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

22. Èäåÿ áàéåñîâñêèõ ñåòåé Ìîòèâàöèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ d -ðàçäåëèìîñòü Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Òåîðåìà î äåêîìïîçèöèè è ñâèäåòåëüñòâà Ïðèìåð Â ýòîì è çàêëþ÷àåòñÿ ñìûñë áàéåñîâñêèõ ñåòåé äîâåðèÿ ðàçëîæèòü áîëüøîå ðàñïðåäåëåíèå íà ïðîèçâåäåíèå ìàëåíüêèõ. Ýòî ñìûñë íå òîëüêî ÁÑÄ, íî è âîîáùå âñåãî áàéåñîâñêîãî âûâîäà. Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

23. Èäåÿ áàéåñîâñêèõ ñåòåé Ìîòèâàöèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ d -ðàçäåëèìîñòü Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Òåîðåìà î äåêîìïîçèöèè è ñâèäåòåëüñòâà Ñâèäåòåëüñòâà Ñâèäåòåëüñòâà óòâåðæäåíèÿ âèäà ¾ñîáûòèå â óçëå x ïðîèçîøëî¿. Íàïðèìåð: ¾Ó ïàöèåíòà äåôåêò çðåíèÿ¿, ò.å. w. Ãëàâíàÿ íàøà çàäà÷à: íàó÷èòüñÿ ïåðåñ÷èòûâàòü âåðîÿòíîñòè ïðè ïîñòóïëåíèè ñâèäåòåëüñòâ. Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

24. Èäåÿ áàéåñîâñêèõ ñåòåé Ìîòèâàöèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ d -ðàçäåëèìîñòü Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Òåîðåìà î äåêîìïîçèöèè è ñâèäåòåëüñòâà Ïåðåñ÷¼ò âåðîÿòíîñòåé â îäíîì óçëå Ïóñòü ïîñòóïèëî ñâèäåòåëüñòâî ¾Äåôåêò çðåíèÿ¿. Äàâàéòå ðàññ÷èòàåì àïîñòåðèîðíóþ âåðîÿòíîñòü p(u|w ). Ñíà÷àëà íóæíî ïðèðàâíÿòü íóëþ íåñîâìåñòèìûå ñî ñâèäåòåëüñòâîì ñëó÷àè â òàáëèöå ñîâìåñòíûõ âåðîÿòíîñòåé: p(uvw ∧ w ) = 0.000199025, p(uv w ∧ w ) = 0, p(uv w ∧ w ) = 0.012722625, p(uv w ∧ w ) = 0, p(uvw ∧ w ) = 0.00160245, p(uv w ∧ w ) = 0, p(uv w ∧ w ) = 0.01894239, p(uv w ∧ w ) = 0. Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

25. Èäåÿ áàéåñîâñêèõ ñåòåé Ìîòèâàöèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ d -ðàçäåëèìîñòü Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Òåîðåìà î äåêîìïîçèöèè è ñâèäåòåëüñòâà Ïåðåñ÷¼ò âåðîÿòíîñòåé â îäíîì óçëå È íîðìèðîâàòü òî, ÷òî ïîëó÷èëîñü: p(u|w ) = v~w pp((uwv)w ∧w ) = 0.386107 . . . , ~ ~~ p(u|w ) = v~w pp((uwv)w ∧w ) = 0.61389288 . . . . ~ ~ ~ Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

26. Èäåÿ áàéåñîâñêèõ ñåòåé Ìîòèâàöèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ d -ðàçäåëèìîñòü Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Òåîðåìà î äåêîìïîçèöèè è ñâèäåòåëüñòâà Ïåðåñ÷¼ò âåðîÿòíîñòåé â îäíîì óçëå Âîïðîñ: êàêèì ïðåäïîëîæåíèåì ìû íåÿâíî ïîëüçîâàëèñü? ×òî äåëàòü, åñëè îíî íå âûïîëíåíî? Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

27. Èäåÿ áàéåñîâñêèõ ñåòåé Èäåÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Âûâîä àëãîðèòìà Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Àëãîðèòì Outline 1 Èäåÿ áàéåñîâñêèõ ñåòåé Ìîòèâàöèÿ d-ðàçäåëèìîñòü Òåîðåìà î äåêîìïîçèöèè è ñâèäåòåëüñòâà 2 Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Èäåÿ Âûâîä àëãîðèòìà Àëãîðèòì 3 Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Îñíîâíûå ïîíÿòèÿ è îïðåäåëåíèÿ Âñïîìîãàòåëüíûå àëãîðèòìû Àëãîðèòì ïðîïàãàöèè Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

28. Èäåÿ áàéåñîâñêèõ ñåòåé Èäåÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Âûâîä àëãîðèòìà Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Àëãîðèòì Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Ìû ñåé÷àñ çàïðåùàåì íå òîëüêî íàïðàâëåííûå, íî è íåíàïðàâëåííûå öèêëû. Ò.å. ãðàô áàéåñîâñêîé ñåòè ïîëèäåðåâî. ×òîáû íå çàïðåùàòü íåíàïðàâëåííûå öèêëû, íóæíî ðàññìàòðèâàòü àëãîðèòìû ïîñòðîåíèÿ ìîðàëüíîãî ãðàôà, òðèàíãóëÿöèè è ïîñòðîåíèÿ äåðåâà ñìåæíîñòè. Ýòèì ìû çàéì¼ìñÿ íà ñëåäóþùåé ëåêöèè. Ìû óæå ïîíÿëè, êàê ïðîïàãèðîâàòü ñâèäåòåëüñòâî ÷åðåç îäèí óçåë. Îñòàëîñü ôîðìàëèçîâàòü ýòî è ñîáðàòü àëãîðèòì öåëèêîì. Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

29. Èäåÿ áàéåñîâñêèõ ñåòåé Èäåÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Âûâîä àëãîðèòìà Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Àëãîðèòì Èäåÿ àëãîðèòìà Ìû äåëèì ïîñòóïèâøèå ñâèäåòåëüñòâà íà äâå ÷àñòè òå, ÷òî âûøå äàííîãî óçëà x (Ex+) è òå, ÷òî íèæå (Ex−). Íàøà çàäà÷à íàéòè p(x |E ) = p(x |Ex−, Ex+). Çàòåì âû÷èñëÿåì èõ äåéñòâèå íà x ïî îòäåëüíîñòè è ñêëàäûâàåì ýòî âñ¼ âìåñòå. Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

30. Èäåÿ áàéåñîâñêèõ ñåòåé Èäåÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Âûâîä àëãîðèòìà Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Àëãîðèòì Îáîçíà÷åíèÿ Evid(x) âîçâðàùàåò 1, åñëè x èíñòàíöèèðîâàí íàøèì ñâèäåòåëüñòâîì. Normalize(Pr) íîðìàëèçóåò ðàñïðåäåëåíèå Pr. Ex Y îçíà÷àåò ñâèäåòåëüñòâà, ñâÿçàííûå ñ x, êðîìå òåõ, ïóòü ê êîòîðûì ïðîëåãàåò ÷åðåç ýëåìåíòû ìíîæåñòâà Y . Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

31. Èäåÿ áàéåñîâñêèõ ñåòåé Èäåÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Âûâîä àëãîðèòìà Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Àëãîðèòì Âûâîä p(x |Ex−, Ex+) = p(Ex px(,EE−|Ep+()x |Ex ) . −| + + x) x x Íî â ïîëèäåðåâå x d-îòäåëÿåò Ex+ îò Ex−, ïîýòîìó p(Ex−|x , Ex+) = p(Ex−|x ). Êðîìå òîãî, âåðîÿòíîñòè äîëæíû â ñóììå äàâàòü 1, ïîýòîìó ìîæíî çàáûòü ïðî p(Ex1|Ex ) , à ïîòîì − + ïðîñòî íîðìàëèçîâàòü ðåçóëüòàò. Èòîãî íóæíî âû÷èñëèòü p(Ex−|x )p(x |Ex+). Íà÷í¼ì ñ p(x |Ex+). Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

32. Èäåÿ áàéåñîâñêèõ ñåòåé Èäåÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Âûâîä àëãîðèòìà Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Àëãîðèòì Âûâîä Ðàññìîòðèì âñå êîíôèãóðàöèè ðîäèòåëåé x U = pa(x ). Òîãäà ~ p(x |Ex+) = p(x |U , Ex+)p(U |Ex+). ~ ~ U ~ U d-îòäåëÿåò x îò Ex+, ïîýòîìó ïåðâûé ñîìíîæèòåëü ýòî ïðîñòî p(x |U ), è ýòî äàíî íàì â òàáëèöàõ óñëîâíûõ ~ âåðîÿòíîñòåé. Ex+ d-îòäåëÿåò êàæäûé u ∈ U îò äðóãèõ, è p(U |Ex+) = p(u|EX ). ~ ~ + u ∈U Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

33. Èäåÿ áàéåñîâñêèõ ñåòåé Èäåÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Âûâîä àëãîðèòìà Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Àëãîðèòì Âûâîä Ðàññìîòðèì âñå êîíôèãóðàöèè ðîäèòåëåé x U = pa(x ). Òîãäà ~ p(x |Ex+) = p(x |U , Ex+)p(U |Ex+). ~ ~ U ~ Îñòàëîñü çàìåòèòü, ÷òî Ex+ = u∈U Eux , âñå îíè íå ïåðåñåêàþòñÿ, è Eux d-îòäåëÿåò u îò âñåõ îñòàëüíûõ ñâèäåòåëüñòâ â Ex+. Èòîãî ïîëó÷àåòñÿ:   p(x |Ex+) = Norm  p(x |U ) ~ p(u|Eux ) . ~ U ~ u ∈U Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

34. Èäåÿ áàéåñîâñêèõ ñåòåé Èäåÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Âûâîä àëãîðèòìà Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Àëãîðèòì Âûâîä Ðàññìîòðèì âñå êîíôèãóðàöèè ðîäèòåëåé x U = pa(x ). Òîãäà ~ p(x |Ex+) = p(x |U , Ex+)p(U |Ex+). ~ ~ U ~   p(x |Ex+) = Norm  p(x |U ) ~ p(u|Eux ) . ~ U ~ u ∈U Ýòî óæå ïîõîæå íà ðåêóðñèâíûé àëãîðèòì: p(u|Eux ) ~ ðåêóðñèâíûé âûçîâ èñõîäíîé ïðîöåäóðû. Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

35. Èäåÿ áàéåñîâñêèõ ñåòåé Èäåÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Âûâîä àëãîðèòìà Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Àëãîðèòì Âûâîä p(Ex− |x ) Çäåñü âñ¼ òî æå ñàìîå, íî ïîñëîæíåå, ïîòîìó ÷òî íóæíî ó÷èòûâàòü âîçìîæíûõ äðóãèõ ïðåäêîâ ïîòîìêîâ óçëà x. Ðàñïèøåì ïî êîíôèãóðàöèÿì äåòåé ch(x ): p(Ex−|x ) = p(Eu−|u)p(u|pa(u) x ). chx g u∈ch(x ) Ïåðåñòàâèì ìåñòàìè ñóììó è ïðîèçâåäåíèå è ðàñïèøåì p(u|pa(u) x ), èñõîäÿ èç óæå ïîëó÷åííûõ ðåçóëüòàòîâ: p(u|Z ) = p(u|x , Z ) p(z |Ez u ), Z = pa(u) x . ~ ~ ~ Z ~ z ∈Z Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

36. Èäåÿ áàéåñîâñêèõ ñåòåé Èäåÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Âûâîä àëãîðèòìà Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Àëãîðèòì Âûâîä p(Ex− |x ) Â ýòîé ñóììå óçåë x ôèêñèðîâàí. Â èòîãå ïîëó÷àåì: p(Ex−|x ) = p(Eu−|u)× ~ u∈ch(x ) u ~ × p(u|x , pa(u)) ~ p(z |Ez u ) ~ . pa(u ) z ∈pa(z ) Â ýòîé ôîðìóëå p(Eu−|x ) òàêæå âû÷èñëÿåòñÿ ðåêóðñèâíî. Îñòàëîñü òîëüêî íå çàáûòü íîðìèðîâàòü. Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

37. Èäåÿ áàéåñîâñêèõ ñåòåé Èäåÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Âûâîä àëãîðèòìà Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Àëãîðèòì Àëãîðèòì Belief (x ): Âåðíóòü BeliefExcept(x , ∅). BeliefExcept(x , V ): Åñëè Evid(x ), òî âåðíóòü óæå èìåþùååñÿ ðàñïðåäåëåíèå x. Âû÷èñëèòü p(Ex−V |x ) = EvidenceExcept(X , V ). U = pa(x ). Åñëè U = ∅ âåðíóòü Norm p(Ex−V |x )p(x ) . Èíà÷å äëÿ êàæäîãî u ∈ U âû÷èñëèòü è ñîõðàíèòü p(u|Eux ) = BeliefExcept(u, x ). ~ ~ Âåðíóòü Norm p(Ex−V |x ) U p(x |U ) u∈U p(u|Eux ) . ~ ~ ~ Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

38. Èäåÿ áàéåñîâñêèõ ñåòåé Èäåÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Âûâîä àëãîðèòìà Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Àëãîðèòì Àëãîðèòì EvidenceExcept(x , V ): U = ch(x ) V . Åñëè (U == ∅) âåðíóòü ðàâíîìåðíîå ðàñïðåäåëåíèå. Èíà÷å äëÿ êàæäîãî u ∈ U: Âû÷èñëèòü p (Eu |u ) = EvidenceExcept(u , ∅). − ~ ~ Z = pa(u ) {x }. Äëÿ êàæäîãî z ∈ Z âû÷èñëèòü p (Z |Ez u ) = BeliefExcept(w , u ). ~ ~ Âåðíóòü   p(Ex−|x ) = Norm  p(Eu−|u) ~ p(u|x , Z ) ~ ~ p(z |Ez u ) . ~ u∈ch(x ) u ~ Z ~ z ∈Z Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

39. Èäåÿ áàéåñîâñêèõ ñåòåé Îñíîâíûå ïîíÿòèÿ è îïðåäåëåíèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Âñïîìîãàòåëüíûå àëãîðèòìû Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Àëãîðèòì ïðîïàãàöèè Outline 1 Èäåÿ áàéåñîâñêèõ ñåòåé Ìîòèâàöèÿ d-ðàçäåëèìîñòü Òåîðåìà î äåêîìïîçèöèè è ñâèäåòåëüñòâà 2 Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Èäåÿ Âûâîä àëãîðèòìà Àëãîðèòì 3 Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Îñíîâíûå ïîíÿòèÿ è îïðåäåëåíèÿ Âñïîìîãàòåëüíûå àëãîðèòìû Àëãîðèòì ïðîïàãàöèè Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

40. Èäåÿ áàéåñîâñêèõ ñåòåé Îñíîâíûå ïîíÿòèÿ è îïðåäåëåíèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Âñïîìîãàòåëüíûå àëãîðèòìû Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Àëãîðèòì ïðîïàãàöèè Ìîòèâàöèÿ Ìû íàó÷èëèñü îáðàáàòûâàòü ÁÑÄ â âèäå ïîëèäåðåâüåâ. Êàê îáðàáàòûâàòü öèêëû? Íàø àëãîðèòì íå áóäåò ðàáîòàòü: â îäíó è òó æå âåðøèíó èç äðóãîé ìîæíî áóäåò ïðèäòè íåñêîëüêèìè ïóòÿìè. Íà ýòîé ëåêöèè ìû ðàçáåð¼ì äðóãîé àëãîðèòì, êîòîðûé ðàáîòàåò â ýòîì áîëåå îáùåì ñëó÷àå. Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

41. Èäåÿ áàéåñîâñêèõ ñåòåé Îñíîâíûå ïîíÿòèÿ è îïðåäåëåíèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Âñïîìîãàòåëüíûå àëãîðèòìû Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Àëãîðèòì ïðîïàãàöèè Íàø ïðèìåð Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

42. Èäåÿ áàéåñîâñêèõ ñåòåé Îñíîâíûå ïîíÿòèÿ è îïðåäåëåíèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Âñïîìîãàòåëüíûå àëãîðèòìû Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Àëãîðèòì ïðîïàãàöèè Äîìåííûé ãðàô Îïðåäåëåíèå Ïóñòü P = {p(x1|X1), . . . , p(xm |Xm )} íàáîð ðàñïðåäåëåíèé ~ ~ ~ ~ âåðîÿòíîñòåé íàä ìíîæåñòâîì àòîìàðíûõ ñîáûòèé S = {x1 , . . . , xn }. Äîìåííûé ãðàô äëÿ P ýòî íåíàïðàâëåííûé ãðàô, âåðøèíû êîòîðîãî ýëåìåíòû S; äâå âåðøèíû ñâÿçàíû ðåáðîì òîãäà è òîëüêî òîãäà, êîãäà îíè îáå âñòðå÷àþòñÿ â îäíîì è òîì æå ðàñïðåäåëåíèè âåðîÿòíîñòåé p(xi |Xi ) ∈ P. ~ ~ Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

43. Èäåÿ áàéåñîâñêèõ ñåòåé Îñíîâíûå ïîíÿòèÿ è îïðåäåëåíèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Âñïîìîãàòåëüíûå àëãîðèòìû Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Àëãîðèòì ïðîïàãàöèè Äîìåííûé ãðàô Â ñëó÷àå ÁÑÄ ýòî âñåãî ëèøü îçíà÷àåò, ÷òî ãðàô òåïåðü íåíàïðàâëåííûé, è â í¼ì äîáàâëÿþòñÿ ð¼áðà ìåæäó ðîäèòåëÿìè îáùåãî ïðåäêà. Òàêèå ð¼áðà íàçûâàþòñÿ ìîðàëüíûìè, à ñàì äîìåííûé ãðàô â ñëó÷àå ÁÑÄ ìîðàëüíûì ãðàôîì. Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

44. Èäåÿ áàéåñîâñêèõ ñåòåé Îñíîâíûå ïîíÿòèÿ è îïðåäåëåíèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Âñïîìîãàòåëüíûå àëãîðèòìû Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Àëãîðèòì ïðîïàãàöèè Ìîðàëüíûé ãðàô Äîáàâèëîñü ðåáðî ìåæäó u è v îáùèìè ïðåäêàìè w. Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

45. Èäåÿ áàéåñîâñêèõ ñåòåé Îñíîâíûå ïîíÿòèÿ è îïðåäåëåíèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Âñïîìîãàòåëüíûå àëãîðèòìû Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Àëãîðèòì ïðîïàãàöèè Äàëüíåéøèé ïëàí Ìû õîòèì â äàëüíåéøåì ïî îäíîé óäàëÿòü âåðøèíû èç ìîðàëüíîãî ãðàôà, ïðè ýòîì ïðîåöèðóÿ îáùåå ðàñïðåäåëåíèå íà òî, ÷òî îñòàíåòñÿ. Êàæäûé ðàç, êîãäà ìû óäàëÿåì âåðøèíó, íàì ïðèõîäèòñÿ îáúåäèíÿòü å¼ ñîñåäåé, ïîòîìó ÷òî íóæíî îáúåäèíèòü ðàñïðåäåëåíèå âåðîÿòíîñòåé. Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

46. Èäåÿ áàéåñîâñêèõ ñåòåé Îñíîâíûå ïîíÿòèÿ è îïðåäåëåíèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Âñïîìîãàòåëüíûå àëãîðèòìû Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Àëãîðèòì ïðîïàãàöèè Ïðèìåð Âîò ðåçóëüòàò ýëèìèíàöèè âåðøèíû u. Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

47. Èäåÿ áàéåñîâñêèõ ñåòåé Îñíîâíûå ïîíÿòèÿ è îïðåäåëåíèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Âñïîìîãàòåëüíûå àëãîðèòìû Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Àëãîðèòì ïðîïàãàöèè Èäåàëüíàÿ ýëèìèíèðóþùàÿ ïîñëåäîâàòåëüíîñòü Öåëü ïîíÿòíà íóæíî ïîñòàðàòüñÿ èçáåãàòü äîáàâëåíèÿ íîâûõ ð¼áåð ïðè ýëèìèíèðîâàíèè ïåðåìåííûõ. Îïðåäåëåíèå Èäåàëüíîé ýëèìèíèðóþùåé ïîñëåäîâàòåëüíîñòüþ íàçûâàåòñÿ òàêàÿ ïîñëåäîâàòåëüíîñòü ïåðåìåííûõ, ÷òî ïðè èõ ýëèìèíèðîâàíèè â ýòîé ïîñëåäîâàòåëüíîñòè íè ðàçó íè îäíîãî ðåáðà â ìîðàëüíûé ãðàô äîáàâëåíî íå áóäåò. Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

48. Èäåÿ áàéåñîâñêèõ ñåòåé Îñíîâíûå ïîíÿòèÿ è îïðåäåëåíèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Âñïîìîãàòåëüíûå àëãîðèòìû Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Àëãîðèòì ïðîïàãàöèè Èäåàëüíàÿ ýëèìèíèðóþùàÿ ïîñëåäîâàòåëüíîñòü: ïðèìåð Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

49. Èäåÿ áàéåñîâñêèõ ñåòåé Îñíîâíûå ïîíÿòèÿ è îïðåäåëåíèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Âñïîìîãàòåëüíûå àëãîðèòìû Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Àëãîðèòì ïðîïàãàöèè Ñèìïëèöèàëüíûå âåðøèíû Åñëè x1, . . ., xi , . . ., xl èäåàëüíàÿ ýëèìèíèðóþùàÿ ïîñëåäîâàòåëüíîñòü, è ìíîæåñòâî ñîñåäåé xi îáðàçóåò ïîëíûé ïîäãðàô, òî xi , x1, . . ., xi −1, xi +1, . . ., xl òàêæå èäåàëüíàÿ ýëèìèíèðóþùàÿ ïîñëåäîâàòåëüíîñòü. Òàêèå âåðøèíû íàçûâàþòñÿ ñèìïëèöèàëüíûìè. Ðàññìîòðèì ìíîæåñòâî êëèê, êîòîðûå ïîÿâÿòñÿ â ìîðàëüíîì ãðàôå â ïðîöåññå ïîñëåäîâàòåëüíîé ýëèìèíàöèè ïåðåìåííûõ ïî êàêîé-ëèáî ïîñëåäîâàòåëüíîñòè. Âûáðîñèì ïîäãðàôû äðóãèõ êëèê. Ýòî ìíîæåñòâî âñåãäà åñòü ìíîæåñòâî êëèê ìîðàëüíîãî ãðàôà ñåòè. Óïðàæíåíèå. Äîêàæèòå ýòè äâà óòâåðæäåíèÿ. Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

50. Èäåÿ áàéåñîâñêèõ ñåòåé Îñíîâíûå ïîíÿòèÿ è îïðåäåëåíèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Âñïîìîãàòåëüíûå àëãîðèòìû Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Àëãîðèòì ïðîïàãàöèè Òðèàíãóëÿðíûå ãðàôû Îïðåäåëåíèå Íåíàïðàâëåííûé ãðàô íàçûâàåòñÿ òðèàíãóëÿðíûì, åñëè ó íåãî ñóùåñòâóåò èäåàëüíàÿ ýëèìèíèðóþùàÿ ïîñëåäîâàòåëüíîñòü. Ýòî íàçûâàåòñÿ òðèàíãóëÿðíîñòüþ, ïîòîìó ÷òî ýêâèâàëåíòíî òîìó, ÷òî ëþáîé öèêë äëèíîé áîëüøå 3 ðàçáèò íà ìåíüøèå (äâå åãî íåñîñåäíèå âåðøèíû ñîåäèíåíû). Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

51. Èäåÿ áàéåñîâñêèõ ñåòåé Îñíîâíûå ïîíÿòèÿ è îïðåäåëåíèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Âñïîìîãàòåëüíûå àëãîðèòìû Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Àëãîðèòì ïðîïàãàöèè Òðèàíãóëÿðíûå ãðàôû è ñèìïëèöèàëüíûå âåðøèíû Òåîðåìà Ó íåïîëíîãî òðèàíãóëÿðíîãî ãðàôà, ñîäåðæàùåãî ïî êðàéíåé ìåðå òðè âåðøèíû, âñåãäà åñòü äâå íåñîñåäíèõ ñèìïëèöèàëüíûõ âåðøèíû. Ñëåäñòâèå: Íåíàïðàâëåííûé ãðàô òðèàíãóëÿðåí òîãäà è òîëüêî òîãäà, êîãäà âñå åãî âåðøèíû ìîæíî ýëèìèíèðîâàòü, ïîñëåäîâàòåëüíî ýëèìèíèðóÿ ñèìïëèöèàëüíûå âåðøèíû. Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

52. Èäåÿ áàéåñîâñêèõ ñåòåé Îñíîâíûå ïîíÿòèÿ è îïðåäåëåíèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Âñïîìîãàòåëüíûå àëãîðèòìû Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Àëãîðèòì ïðîïàãàöèè Òðèàíãóëÿöèÿ Ìû õîòèì äåéñòâîâàòü ïî èäåàëüíîé ýëèìèíèðóþùåé ïîñëåäîâàòåëüíîñòè. ×òîáû îíà ñóùåñòâîâàëà, íóæíî, ÷òîáû ãðàô áûë òðèàíãóëèðîâàí. Íî ýòî íå îáÿçàòåëüíî òàê; çíà÷èò, íàäî òðèàíãóëèðîâàòü. Îá ýòîì ÷óòü ïîçæå. Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

53. Èäåÿ áàéåñîâñêèõ ñåòåé Îñíîâíûå ïîíÿòèÿ è îïðåäåëåíèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Âñïîìîãàòåëüíûå àëãîðèòìû Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Àëãîðèòì ïðîïàãàöèè Äåðåâî ñìåæíîñòè Îïðåäåëåíèå Äåðåâî ñìåæíîñòè (join tree) ýòî äåðåâî, âåðøèíàìè êîòîðîãî ñëóæàò ýëåìåíòû Clique(G ) (êëèêè ãðàôà G), à ðåáðà îðãàíèçîâàíû òàê, ÷òî äëÿ ëþáûõ äâóõ âåðøèí äåðåâà ñìåæíîñòè C1, C2 ëþáàÿ âåðøèíà íà ïóòè îò C1 ê C2 ñîäåðæèò èõ ïåðåñå÷åíèå C1 ∩ C2. Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

54. Èäåÿ áàéåñîâñêèõ ñåòåé Îñíîâíûå ïîíÿòèÿ è îïðåäåëåíèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Âñïîìîãàòåëüíûå àëãîðèòìû Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Àëãîðèòì ïðîïàãàöèè Äåðåâî ñìåæíîñòè: ïðèìåð Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

55. Èäåÿ áàéåñîâñêèõ ñåòåé Îñíîâíûå ïîíÿòèÿ è îïðåäåëåíèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Âñïîìîãàòåëüíûå àëãîðèòìû Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Àëãîðèòì ïðîïàãàöèè Äåðåâî ñìåæíîñòè è òðèàíãóëÿöèÿ Òåîðåìà Íåíàïðàâëåííûé ãðàô òðèàíãóëÿðåí òîãäà è òîëüêî òîãäà, êîãäà äëÿ íåãî ñóùåñòâóåò äåðåâî ñìåæíîñòè. Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

56. Èäåÿ áàéåñîâñêèõ ñåòåé Îñíîâíûå ïîíÿòèÿ è îïðåäåëåíèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Âñïîìîãàòåëüíûå àëãîðèòìû Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Àëãîðèòì ïðîïàãàöèè Äåðåâî ñî÷ëåíåíèé Îïðåäåëåíèå Äåðåâî ñî÷ëåíåíèé (junction tree) ìîðàëüíîãî ãðàôà ýòî åãî äåðåâî ñìåæíîñòè, ãäå êàæäîé âåðøèíå äîïîëíèòåëüíî ïðèïèñàíû óñëîâíûå âåðîÿòíîñòè èñõîäíîé ÁÑÄ, îáëàñòè îïðåäåëåíèÿ êîòîðûõ ïîëíîñòüþ ñîäåðæàòñÿ â ñîîòâåòñòâóþùåé êëèêå ìîðàëüíîãî ãðàôà, à êàæäûé èç ñåïàðàòîðîâ ñîäåðæèò äâà ïî÷òîâûõ ÿùèêà, ïðåäíàçíà÷åííûõ äëÿ ïåðåäà÷è ïåðåñ÷èòàííûõ òåíçîðîâ óñëîâíûõ âåðîÿòíîñòåé â îäíó è äðóãóþ ñòîðîíó. Êîíå÷íî, ðåàëüíî äåðåâî ñìåæíîñòè è äåðåâî ñî÷ëåíåíèé íå îòëè÷àþòñÿ. Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

57. Èäåÿ áàéåñîâñêèõ ñåòåé Îñíîâíûå ïîíÿòèÿ è îïðåäåëåíèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Âñïîìîãàòåëüíûå àëãîðèòìû Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Àëãîðèòì ïðîïàãàöèè Äåðåâî ñî÷ëåíåíèé: ïðèìåð Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

58. Èäåÿ áàéåñîâñêèõ ñåòåé Îñíîâíûå ïîíÿòèÿ è îïðåäåëåíèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Âñïîìîãàòåëüíûå àëãîðèòìû Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Àëãîðèòì ïðîïàãàöèè Äåðåâî ñî÷ëåíåíèé Äåðåâî ñî÷ëåíåíèé îñíîâíîé îáúåêò, íà êîòîðîì áóäåò äåéñòâîâàòü àëãîðèòì. Êàê åãî ïîñòðîèòü? Äëÿ ýòîãî íóæíî ïîñòðîèòü èäåàëüíóþ íóìåðàöèþ. Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

59. Èäåÿ áàéåñîâñêèõ ñåòåé Îñíîâíûå ïîíÿòèÿ è îïðåäåëåíèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Âñïîìîãàòåëüíûå àëãîðèòìû Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Àëãîðèòì ïðîïàãàöèè Èäåàëüíàÿ íóìåðàöèÿ Îïðåäåëåíèå Ôèêñèðóåì ãðàô G = (V , E ). Íóìåðàöèÿ σ : {1, . . . , |V |} −→ V íàçûâàåòñÿ èäåàëüíîé, åñëè äëÿ âñÿêîãî i ìíîæåñòâî âåðøèí Fam(σ(i )) ∩ σ({1, . . . , i }) èíäóöèðóåò ïîëíûé ïîäãðàô G. Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

60. Èäåÿ áàéåñîâñêèõ ñåòåé Îñíîâíûå ïîíÿòèÿ è îïðåäåëåíèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Âñïîìîãàòåëüíûå àëãîðèòìû Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Àëãîðèòì ïðîïàãàöèè Àëãîðèòì ïîñòðîåíèÿ èäåàëüíîé íóìåðàöèè Äëÿ âñåõ i îò 1 äî |V |: íàéòè åùå íå ïðîíóìåðîâàííóþ âåðøèíó x , äëÿ êîòîðîé |Fam(x ) ∩ σ(1, . . . , i − 1)| ìàêñèìàëüíà (åñëè òàêèõ âåðøèí íåñêîëüêî, âûáðàòü ëþáóþ ïðîèçâîëüíûì îáðàçîì); i ïðèñâîèòü åé íîìåð , ò.å. ïîëîæèòü σ(i ) = x . Âûäàòü ïîëó÷åííóþ íóìåðàöèþ. Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

61. Èäåÿ áàéåñîâñêèõ ñåòåé Îñíîâíûå ïîíÿòèÿ è îïðåäåëåíèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Âñïîìîãàòåëüíûå àëãîðèòìû Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Àëãîðèòì ïðîïàãàöèè Àëãîðèòì òðèàíãóëÿöèè Ïðîñòåéøèé àëãîðèòì òðèàíãóëÿöèè çàïóñòèòü àëãîðèòì, ïîëó÷èòü ¾èäåàëüíóþ¿ íóìåðàöèþ, à ïîòîì ñäåëàòü å¼ èäåàëüíîé: Ïîñòðîèòü íóìåðàöèþ σ ïðè ïîìîùè ïðåäûäóùåãî àëãîðèòìà. Äëÿ âñåõ i îò |V | äî 1: E = E ∪ {(x , y ) | | x , y ∈ Fam(σ(i )) ∩ σ({1, . . . , i − 1}, (x , y ) ∈ E }. / Âûäàòü ãðàô (V , E ). Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

62. Èäåÿ áàéåñîâñêèõ ñåòåé Îñíîâíûå ïîíÿòèÿ è îïðåäåëåíèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Âñïîìîãàòåëüíûå àëãîðèòìû Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Àëãîðèòì ïðîïàãàöèè Àëãîðèòì ïîñòðîåíèÿ äåðåâà ñìåæíîñòè C = ∅. E = ∅. Äëÿ âñåõ i îò 1 äî |V |: íàéòè åùå íå ïðîíóìåðîâàííóþ âåðøèíó x , äëÿ êîòîðîé |Fam(x ) ∩ σ(1, . . . , i − 1)| ìàêñèìàëüíà (åñëè òàêèõ âåðøèí íåñêîëüêî, âûáðàòü ëþáóþ ïðîèçâîëüíûì îáðàçîì); i ïðèñâîèòü åé íîìåð , ò.å. ïîëîæèòü σ(i ) = x ; Ci = {Fam(σ(i )) ∩ σ({1, . . . , i })}; C = C ∪ {Ci }; E = E ∪ (Ci , Cj ), ãäå j = maxk i ,(i ,k )∈E k . Äëÿ âñåõ i îò 1 äî |V |, åñëè Ci ïîëíîñòüþ ñîäåðæèòñÿ â îäíîì èç ñâîèõ ñîñåäåé (∃j : Ci ⊆ Cj ∧ (Ci , Cj ) ∈ E ), òî óäàëèòü Ci èç C è ñîåäèíèòü ñîñåäåé Ci íàïðÿìóþ. Âûäàòü ãðàô (C , E ). Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

63. Èäåÿ áàéåñîâñêèõ ñåòåé Îñíîâíûå ïîíÿòèÿ è îïðåäåëåíèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Âñïîìîãàòåëüíûå àëãîðèòìû Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Àëãîðèòì ïðîïàãàöèè Ñõåìà àëãîðèòìà Èòàê, âîò ÷òî ó íàñ ïîêà åñòü: Ìîðàëèçîâàòü áàçîâûé ãðàô ÁÑÄ. Òðèàíãóëèðîâàòü ìîðàëüíûé ãðàô. Ïîñòðîèòü äåðåâî ñìåæíîñòè (îíî æå äåðåâî ñî÷ëåíåíèé). Âûïîëíÿòü ñîáñòâåííî ïðîïàãàöèþ. Ïåðâûå òðè øàãà ìû óæå ðàññìîòðåëè, äåëî çà ÷åòâ¼ðòûì. Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

64. Èäåÿ áàéåñîâñêèõ ñåòåé Îñíîâíûå ïîíÿòèÿ è îïðåäåëåíèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Âñïîìîãàòåëüíûå àëãîðèòìû Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Àëãîðèòì ïðîïàãàöèè Ñáîð ñâåäåíèé Ýòî ïåðâûé ýòàï àëãîðèòìà. Ïðåäïîëîæèì, ÷òî ìû õîòèì íàéòè z. Ñíà÷àëà íóæíî íàéòè âåðøèíó äåðåâà ñî÷ëåíåíèé, ñîäåðæàùóþ z. Â äàííîì ñëó÷àå òàêàÿ êëèêà îäíà {v , z }. Ýòà êëèêà ñòàíîâèòñÿ âðåìåííûì êîðíåì äåðåâà, à îñòàëüíûå âåðøèíû, íà÷èíàÿ ñ ëèñòüåâ, ïîñûëàþò ê âðåìåííîìó êîðíþ ñîîáùåíèÿ, â êîòîðûõ çàïèñàí ðåçóëüòàò ñóììèðîâàíèÿ ïî ïåðåìåííûì, íå ñîäåðæàùèìñÿ â áëèæàéøåì ñåïàðàòîðå. Êàæäàÿ âåðøèíà ïîñûëàåò ñîîáùåíèå ¾íàâåðõ¿ òîãäà, êîãäà îíà ïîëó÷èëà âñå ñîîáùåíèÿ ¾ñíèçó¿. Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

65. Èäåÿ áàéåñîâñêèõ ñåòåé Îñíîâíûå ïîíÿòèÿ è îïðåäåëåíèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Âñïîìîãàòåëüíûå àëãîðèòìû Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Àëãîðèòì ïðîïàãàöèè Ïåðâûå äâà øàãà Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

66. Èäåÿ áàéåñîâñêèõ ñåòåé Îñíîâíûå ïîíÿòèÿ è îïðåäåëåíèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Âñïîìîãàòåëüíûå àëãîðèòìû Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Àëãîðèòì ïðîïàãàöèè Óñëîâèå ïåðåäà÷è ñîîáùåíèÿ Âåñü àëãîðèòì ìîæíî ïðåäñòàâèòü êàê ïîñëåäîâàòåëüíóþ ïåðåäà÷ó ñîîáùåíèé ìåæäó óçëàìè òîãäà, êîãäà âûïîëíÿåòñÿ óñëîâèå: Îïðåäåëåíèå Ïóñòü â ìîðàëüíîì ãðàôå åñòü êëèêà C, êîòîðîé ñîîòâåòñòâóåò íàáîð ðàñïðåäåëåíèé âåðîÿòíîñòåé ΨC , à ó íåå ñîñåäíèé ñåïàðàòîð S. Ïóñòü îñòàëüíûå ñîñåäè C S1, . . . , Sk óæå ïîëó÷èëè ñîîáùåíèÿ Ψi îò ñâîèõ äðóãèõ ñîñåäåé, ò.å. âî âõîäÿùèõ ïî÷òîâûõ ÿùèêàõ S1, . . . , Sk óæå ëåæàò ãîòîâûå ðàñïðåäåëåíèÿ âåðîÿòíîñòåé. Íàçîâåì òàêóþ ñèòóàöèþ óñëîâèåì ïåðåäà÷è ñîîáùåíèÿ. Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

67. Èäåÿ áàéåñîâñêèõ ñåòåé Îñíîâíûå ïîíÿòèÿ è îïðåäåëåíèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Âñïîìîãàòåëüíûå àëãîðèòìû Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Àëãîðèòì ïðîïàãàöèè Àëãîðèòì Íà ýòàïå ñáîðà ñâåäåíèé óñëîâèå âûïîëíÿåòñÿ ñíèçó ââåðõ, è óçëû ïåðåäàþò ñîîáùåíèÿ íàâåðõ. Ïîòîì, êîãäà ìû äîáðàëèñü äî êîðíÿ è ïåðåñ÷èòàëè òàì, ìû íà÷èíàåì äâèãàòüñÿ îáðàòíî; óñëîâèå íå ìåíÿåòñÿ, íî òåïåðü îíî ðàáîòàåò äëÿ âñåõ èñõîäÿùèõ ñåïàðàòîðîâ. Àëãîðèòì çàêàí÷èâàåò ðàáîòó, êîãäà ïóñòûõ ïî÷òîâûõ ÿùèêîâ áîëüøå íåò. Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

68. Èäåÿ áàéåñîâñêèõ ñåòåé Îñíîâíûå ïîíÿòèÿ è îïðåäåëåíèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Âñïîìîãàòåëüíûå àëãîðèòìû Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Àëãîðèòì ïðîïàãàöèè Àëãîðèòì Àëãîðèòìó àáñîëþòíî âñ¼ ðàâíî, åñòü ëè â ñåòè êàêèå-òî îçíà÷èâàíèÿ èëè íåò. Åñëè îíè åñòü, çíà÷åíèÿ âåðîÿòíîñòåé èçìåíÿòñÿ, è òîëüêî. Ñòðóêòóðà àëãîðèòìà îñòàíåòñÿ ïðåæíåé. Íà ñàìîì äåëå òàêàÿ ñõåìà áàéåñîâñêîãî âûâîäà ñ ïåðåäà÷åé ñîîáùåíèé îò îäíîãî óçëà ê äðóãîìó ïî ãðàôó âñòðå÷àåòñÿ î÷åíü ÷àñòî è â äðóãèõ àïïàðàòàõ, ðåàëèçóþùèõ áàéåñîâñêèé âûâîä. Ìîðàëüíûå ãðàôû è äåðåâüÿ ñî÷ëåíåíèé ýòî BBN-specic, à âîò îáùàÿ ñõåìà îáìåíà ÷àñòè÷íî ìàðãèíàëèçîâàííûìè ðàñïðåäåëåíèÿìè î÷åíü îáùàÿ èäåÿ. Ýòèì ìû è áóäåì çàíèìàòüñÿ â äàëüíåéøåì. Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

69. Èäåÿ áàéåñîâñêèõ ñåòåé Îñíîâíûå ïîíÿòèÿ è îïðåäåëåíèÿ Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Âñïîìîãàòåëüíûå àëãîðèòìû Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Àëãîðèòì ïðîïàãàöèè Ñïàñèáî çà âíèìàíèå! Lecture notes è ñëàéäû áóäóò ïîÿâëÿòüñÿ íà ìîåé homepage: http://logic.pdmi.ras.ru/∼sergey/index.php?page=teaching Ïðèñûëàéòå ëþáûå çàìå÷àíèÿ, ðåøåíèÿ óïðàæíåíèé, íîâûå ÷èñëåííûå ïðèìåðû è ïðî÷åå ïî àäðåñàì: sergey@logic.pdmi.ras.ru, snikolenko@gmail.com Çàõîäèòå â ÆÆ smartnik. Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

20080330 machine learning_nikolenko_lecture07

Du liest eine Vorschau.

Hier ansehen

20080330 machine learning_nikolenko_lecture07

Weitere Verwandte Inhalte

Diashows für Sie (14)

Andere mochten auch (20)

Weitere von Computer Science Club (20)

Aktuellste (20)

20080330 machine learning_nikolenko_lecture07