El documento resume las redes ADALINE y el algoritmo LMS. La red ADALINE es similar al perceptrón pero con una función de transferencia lineal en lugar de escalonada. El algoritmo LMS minimiza el error cuadrático medio y es más robusto al ruido que la regla de aprendizaje del perceptrón. El algoritmo LMS actualiza los pesos de acuerdo a la dirección opuesta al gradiente del error para converger a la solución óptima.

1. UNIDAD III Redes de propagación hacia delante y aprendizaje supervisado 3.2 RED ADALINE 3.2.1 Adaline simple. 3.2.2 Algoritmo LMS .

7. Diferencias entre . . . PERCEPTRON ADALINE Función de Transferencia ESCALON LINEAL Resolución de problemas Linealmente Separables Linealmente Separables Comportamiento con respecto al RUIDO Sensible al Ruido Minimiza el Ruido Algoritmo de aprendizaje Regla de aprendizaje Del Perceptron LMS

8. 3.2.1 Red ADALINE a p u r e l i n W p b +   W p b + = = a i p u r e l i n n i   p u r e l i n w T i p b i +   w T i p b i + = = =  w i w i 1  w i 2  w i R  =

9. ADALINE de dos entradas a p u r e l i n n   p u r e l i n w T 1 p b +   w T 1 p b + = = = a w T 1 p b + w 1 1  p 1 w 1 2  p 2 b + + = =

10. 3.2.2 Mínimo Error Cuadratico p 1 t 1 { , } p 2 t 2 { , }  p Q t Q { , }    Conjunto Entrenamiento: p q t q Entrada: Objetivo: x w 1 b = z p 1 = a w T 1 p b + = a x T z = F x   E e 2   = E t a –   2   E t x T z –   2   = = Notación: Mean Square Error: Donde: E es un valor esperado

11. Ecuaciones Importantes en el Algoritmo LMS W k 1 +   W k   2  e k   p T k   + = b k 1 +   b k   2  e k   + = En forma de Matriz: Donde:  es el parámetro de aprendizaje máximo w i k 1 +   w i k   2  e i k   p k   + = b i k 1 +   b i k   2  e i k   + =

12. Condiciones para la Estabilidad e i g I 2  R –     1 2   i – 1  = Resumiendo, las condiciones de estabilidad son:  i 0  Ya que , 1 2   i – 1  .  1   i para toda i  0  1  m a x    (donde  i es un eigenvalor de R ) 1 2   i – 1 – 

13. Ejercicio:  1 1.0  2 0.0  3 2.0 =  =  = R E p p T   1 2 - - - p 1 p 1 T 1 2 - - - p 2 p 2 T + = = R 1 2 - - - 1 – 1 1 – 1 – 1 1 – 1 2 - - - 1 1 1 – 1 1 1 – + 1 0 0 0 1 1 – 0 1 – 1 = =  1  m a x - - - - - - - - - - - -  1 2.0 - - - - - - - 0.5 = = p 1 1 – 1 1 – t 1  1 – = =           p 2 1 1 1 – t 2  1 = =           Plátano Manzana

14. Iteración: 1 e 0   t 0   a 0   t 1 a 0   1 – 0 1 – = – = – = – = W 1   W 0   2  e 0   p T 0   + = W 1   0 0 0 2 0.2   1 –   1 – 1 1 – T 0.4 0.4 – 0.4 = + = a 0   W 0   p 0   W 0   p 1 0 0 0 1 – 1 1 – 0 = = = = Plátano

15. Iteración: 2 Manzana a 1   W 1   p 1   W 1   p 2 0.4 0.4 – 0.4 1 1 1 – 0.4 – = = = = e 1   t 1   a 1   t 2 a 1   1 0.4 –   1.4 = – = – = – = W 2   0.4 0.4 – 0.4 2 0.2   1.4   1 1 1 – T 0.96 0.16 0.16 – = + =

16. Iteración: 3 e 2   t 2   a 2   t 1 a 2   1 – 0.64 –   0.36 – = – = – = – = W 3   W 2   2  e 2   p T 2   + 1.1040 0.0160 0.0160 – = = W    1 0 0 = a 2   W 2   p 2   W 2   p 1 0.96 0.16 0.16 – 1 – 1 1 – 0.64 – = = = =

17. MATLAB Neural Network Toolbox

18. Modelo de una neurona lineal en MATLAB p(1) p(2) p(3) p(R) W(1,1) W(1,R) 1 b n a  a = purelin(w*p+b) a = w*p+b 0 0 1 -1 a a b/w b/w p n a = purelin(n)

19. INICIALIZACIÓN Y DISEÑO La función initlin es usada para inicializar los pesos y los bias de la capa lineal con valores positivos y negativos. [W,b]=initlin(P,T) Las redes lineales pueden ser diseñadas directamente si se conocen sus vectores de entrada y objetivo por medio de la función solvelin, la cual encuentra los valores de los pesos y el bias sin necesidad de entrenamiento . [W,b]=solvelin(P,T); W=solvelin(P,T);

20. Regla de Aprendizaje en ADALINE · ADALINE utiliza un aprendizaje ON LINE con supervisión. · Este aprendizaje es la llamada Regla de Widrow-Hoff ( Regla Delta o Regla del Mínimo Error Cuadrático Medio LMS Least Mean Square)

21. Regla de Widrow-Hoff Consiste en hallar el vector de pesos W deseado, único, que deberá asociar cada vector de entrada con su correspondiente valor de salida correcto o deseado. La regla minimiza el error cuadrático medio definido como: donde: es la función de error R R R a t       p R R R p 1 2 2 1  

22. Esta función de error está definida en el espacio de pesos multidimensional para un conjunto de entradas, y la regla de Widrow-Hoff busca el punto de este espacio donde se encuentra el mínimo global. Con función de activación lineal Con función de activación sigmoidal

23. Se utiliza el método de gradiente decreciente para saber en qué dirección se encuentra el mínimo global de dicha superficie. Las modificaciones que se realizan a los pesos son proporcionales al gradiente decreciente de la función de error, por lo que cada nuevo punto calculado está más próximo al punto mínimo.             j R j w lr w 2 

24. a) ADALINE b) PERCEPTRÓN

25. La regla de Widrow-Hoff es implementada realizando cambios a los pesos en la dirección opuesta en la que el error está incrementando y absorbiendo la constante -2 en lr . En forma de matriz: Transformando a la expresión del bias (considerando que el bias son pesos con entradas de 1): ) ( ) ( ) , ( j p j e lr j i W     T Ep lr W    E lr b   

26. Algoritmo de aprendizaje en ADALINE 1. Se aplica un vector o patrón de entrada P R en las entradas del ADALINE. 2. Se obtiene la salida lineal a R = P R W y se calcula la diferencia con respecto a la salida deseada: E R =T R -a R 3. Se actualizan los pesos: W( t+1 ) = W(t) + lrE R P R 4. Se repiten los pasos 1 al 3 con todos los vectores de entrada. 5. Si el error cuadrático medio es un valor reducido aceptable, termina el proceso de aprendizaje, sino, se repite otra vez desde el paso 1 con todos los patrones.    p R R R p 1 2 2 1  

27. En MATLAB: E = T - A; [ dW, db ] = learnwh( P, E, lr ) lr es la tasa de aprendizaje . Si es grande, el aprendizaje es rápido, pero si es demasiado grande, el aprendizaje es inestable y puede incrementarse el error. lr = maxlinlr( P ); % si no se utiliza bias lr = maxlinlr( P, ‘bias’ ); %si se utiliza bias W = W + dW; b = b + db;