1. TÉCNICAS DE OTIMIZAÇÃO NÃO-LINEAR IRRESTRITA APLICADAS AO TREINAMENTO DE REDES NEURAIS DE MÚLTIPLAS CAMADAS IA 353 - Redes Neurais Leandro Nunes de Castro Fernando José Von Zuben

4. Redes de múltiplas camadas MLP - Multilayer Perceptron

5. Abordagem matricial para o algoritmo de retro-propagação ( backpropagation )

7. Superfícies de erro e mínimos locais (I) Critérios de parada Mínimos locais Mínimo local Mínimo global

8. Série de Taylor

9. Aproximação em Taylor - Exemplo Expansão em Taylor para F (x) em torno do ponto x = 0: F 0 (x) F 4 (x) F 2 (x)

13. Hessiana - Exemplos

14. Superfícies de erro e mínimos locais (II) Função a ser aproximada Rede para aproximação

15. Superfícies de erro e mínimos locais (III) Superfície do erro quadrático e seu contorno em relação aos pesos v 11 e w 11 Vales Platô

16. Superfícies de erro e mínimos locais (IV) Superfície do erro quadrático e seu contorno em relação aos limiares v 01 e w 01 Mínimo global Mínimo local

20. Algoritmos de otimização

23. Métodos de 1 a ordem (III) Algoritmo padrão com e sem momento Método do gradiente Exemplo 1: Erro

25. Métodos de 2 a ordem (II) Exemplo 1: Levenberg-Marquardt Erro

27. Métodos de 2 a ordem (IV) Exemplo 1: Quase-Newton DFP BFGS Erro

30. Métodos de 2 a ordem (VII) PR FR Exemplo 1: Erro

32. Complexidade Computacional P : graus de liberdade do modelo l : número de unidades na N : número de amostras camada intermediária

35. Algoritmos de otimização (139) GRAD (1) MN (9) GC (13) DFP

39. Taxas de Aprendizagem Globais (III) Exemplo 3: Busca simples Alfa

40. Algoritmos - Seção Áurea

42. Taxas de Aprendizagem Globais (V) Exemplo 4: (20) Fibonacci (20) Seção áurea (6) Falsa posição

43. Exemplo Atualização em lote: 625 amostras do Exercício 3

44. Exemplo - exercício 3 Parâmetros: nh = 10; minerr = 0.64; maxep = 1000; val = 0.5; dn = 0.001; cm = 0.9;

45. Exemplo - exercício 3

46. Exemplo - exercício 3 Comportamento do SSE (soma dos erros quadráticos)

49. Velocidade de Convergência (I) Exemplo 5: Problema XOR (OU-exclusivo)

50. Velocidade de Convergência (II) Exemplo 6: Problema sen( x ).cos(2 x )

51. Velocidade de Convergência (III) Exemplo 7: Problema GLASS

52. Velocidade de Convergência (IV) Estatísticas: Épocas Tempo de processamento Esforço computacional ( flops )