Algoritmo EM

2.275 Aufrufe

Veröffentlicht am

  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Algoritmo EM

  1. 1. Vasamento: Algoritmo EMManuel Ramón Vargas Avila
  2. 2. IntroduçãoAlgoritmo EM definição:Es un método general para encontrar el estimador de máximaverosimilitud de los parámetros de una distribución de probabilidad. Lasituación en la que el algoritmo EM muestra toda su potencia es en losproblemas de datos incompletos, donde la estimación de máximaverosimilitud resulta difícil debido a la ausencia de alguna parte de losdatos dentro de una estructura de datos simple y familiarSe utiliza en problemas de : clustering, reconocimiento de patrones,Modelos ocultos de Markov, entre otros. aplicaciones en casi todos loscontextos estadísticos y en casi todos los campos donde se hayanaplicado técnicas estadísticas: tratamiento de imágenes médicas,corrección de censos, epidemiología del SIDA, y entrenamiento deredes neuronales artificiales, entre otros.
  3. 3. • El algoritmo EM consta de dos pasos: paso-E ypaso-M. El paso-E consiste en generar datospara conseguir un problema de datoscompletos, usando el conjunto de datosobservados del problema de datosincompletos y el valor actual de losparámetros, de modo que el cálculo del paso-M sea más simple al poderser aplicado a esteconjunto de datos completo y rectangular.
  4. 4. Derivação do algoritmo EMPara isto se introduce se utiliza ologaritmo da equação de verosimilianzaX vector aleatório de umafamília parametrizada.
  5. 5. Derivação do algoritmo EM
  6. 6. Derivação do algoritmo EM• Se supone que el conocimiento de lasvariables ocultas hara que la maximizacion dela funcion sea mas facil.• Z vector aleatorio oculto y elementos z, laprobabilidad total en terminos de z es:• Equação 3
  7. 7. Derivação do algoritmo EM• Equação 3 em 2: equação 4• Desigualdad de jensens
  8. 8. Derivação do algoritmo EM• Analogamente aplicando para equação 3
  9. 9. Derivação do algoritmo EMPor conveniência
  10. 10. Interpretação de uma iteração doalgoritmoAcotada por
  11. 11. ExpectationMaximixation
  12. 12. Processo• Inicialização:• Execução:Etapa E:Etapa M:Iterar ate convergência (não garantia de máximoglobal) o condição de terminação
  13. 13. Exemplo #1Queremos classificar um grupo depessoas em dois grupos de alta oubaixaPara esto nos basamos en el modelo estadísticoDe mezclas finitas.
  14. 14. Mezclas finitasPara determinarcompletamente estemodelo se debendeterminar los 5parámetros
  15. 15. MediaEqua: 1VarianzaEqua: 2ProbabilidadeDo Grupo AEqua: 3Função NormalXi= dadoWai= Probabilidade que odado i pertence ao grupoA
  16. 16. PG1 é sorteado aleatoriamenteINICIALIZAÇÃO
  17. 17. • Passo M:Calculamos os 5 parametros com as equações 1,2, 3 onde 1 e 2 podem ser aplicadas para ogrupo B.
  18. 18. Passo ESe calcula para cada dado e grupoSe normaliza
  19. 19. Condição de terminaçãoIterar hasta que la diferencia de logprobabilidad global sea menor a 0,01para 3 iteraciones sucesivas.
  20. 20. Resultado Final
  21. 21. Exemplo #2: Mistura de gaussianasSuma ponderada de K gaussianasOndeParâmetros a estimar
  22. 22. Exemplo #2: Mistura de gaussianasSe X é um conjunto de n mostras I.I.DEntão
  23. 23. Dadas n mostras i.i.dTomadas de uma misturaDe gaussianas comparâmetros:Definimos a la probabilidad de que la i-ésima muestra pertenezca a la j-ésima gaussiana comoSatisfaze
  24. 24. probabilidad de que la i-ésimamuestra pertenezca a la j-ésimagaussiana
  25. 25. • Considere uma mistura de gaussianas 2D comparametros
  26. 26. SoluçãoDepois da terça iteração

×