Successfully reported this slideshow.
Expectation Maximization: 
o básico do básico 
Nicolau L. Werneck 
Geekie 
Geekie, São Paulo 
03 de Setembro de 2014
Resumo e Sumário 
Expectation Maximization (EM) é um algoritmo lato 
sensu. É uma técnica de estimação de parâmetros que 
...
Métodos de estimação 
Vários metodos de estimação foram desenvolvidos ao 
longo da história... 
Máxima probabilidade—pega ...
Métodos de estimação 
Máxima probabilidade 
^x = argmax 
x 
p(x) 
Máxima verossimilhança 
^q = argmax 
q 
p(xjq) 
Máxima p...
História 
1960s, 1970s — M-estimation, IRLS. (Tukey, 
Huber, Wedderburn...) 
1970 — Algoritmo de Baum et al. para HMM. 
19...
M-estimação 
5 / 18
M-estimação 
MLE: 
q Õip(xi jq) 
^q = argmax 
q åi 
^q = argmin
Expectation Maximization: o básico do básico
Expectation Maximization: o básico do básico
Expectation Maximization: o básico do básico
Expectation Maximization: o básico do básico
Expectation Maximization: o básico do básico
Expectation Maximization: o básico do básico
Expectation Maximization: o básico do básico
Expectation Maximization: o básico do básico
Expectation Maximization: o básico do básico
Expectation Maximization: o básico do básico
Expectation Maximization: o básico do básico
Expectation Maximization: o básico do básico
Nächste SlideShare
Wird geladen in …5
×

Expectation Maximization: o básico do básico

997 Aufrufe

Veröffentlicht am

Palestra muito superfical e não muito bem organizada sobre o algoritmo Expectation-Maximization

Veröffentlicht in: Daten & Analysen
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Expectation Maximization: o básico do básico

  1. 1. Expectation Maximization: o básico do básico Nicolau L. Werneck Geekie Geekie, São Paulo 03 de Setembro de 2014
  2. 2. Resumo e Sumário Expectation Maximization (EM) é um algoritmo lato sensu. É uma técnica de estimação de parâmetros que permite lidar com dados faltantes. Muitos algoritmos já foram e são propostos para lidar com esse problema, e na verdade são instâncias do EM. Caso usual: estimação de parâmetros q dadas observações x com classes z desconhecidas. p(x; z;q) 1 / 18
  3. 3. Métodos de estimação Vários metodos de estimação foram desenvolvidos ao longo da história... Máxima probabilidade—pega o valor mais provável. Máxima verossimilhança—Fisher, ca. 1912... Máxima probabilidade a posteriori— MP via Bayes. ML é MAP com uma priori uniforme. EM — Maximização do valor esperado da verossimilhança. Média de funções de verossimilhança sobre variáveis não-observadas. 2 / 18
  4. 4. Métodos de estimação Máxima probabilidade ^x = argmax x p(x) Máxima verossimilhança ^q = argmax q p(xjq) Máxima probabilidade a posteriori ^q = argmax q p(xjq)p(q) EM e EAP ^q = argmax q Ezfp(xjz;q)g 3 / 18
  5. 5. História 1960s, 1970s — M-estimation, IRLS. (Tukey, Huber, Wedderburn...) 1970 — Algoritmo de Baum et al. para HMM. 1977 — EM por Dempster, Laird e Rubin. 1981 — Wu, prova de convergência do EM. 1981 — Bock e Aitkin, EM aplicado à TRI. 4 / 18
  6. 6. M-estimação 5 / 18
  7. 7. M-estimação MLE: q Õip(xi jq) ^q = argmax q åi ^q = argmin

×