31. Funciones de transferencia Esta función se utiliza en el Perceptron para crear neuronas las cuales toman decisiones de clasificación. Cuando este tipo de función ( hardlim ) toma en cuenta un cierto umbral su salida se incrementará de 0 a 1 cuando p exceda un valor dado por -b/w .
43. Redes Monocapa: l 1 l n l 2 Las redes monocapa se utilizan típicamente en en tareas relacionadas en lo que se conoce como autoasociación: por ejemplo, para regenerar informaciones de entrada que se presentan a la red incompletas o distorsionadas . P/ejemplo Hopfield, BSB, Learnig Matrix
44. Redes Multicapa: Redes con conexiones hacia delante (feedforward) Este tipo de redes son especialmente útiles en aplicaciones de reconocimiento o clasificación de patrones. En este tipo de redes, todas las señales neuronales se propagan hacia adelante a través de las capas de la red. No existen conexiones hacia atrás y normal- mente tampoco autorrecurrentes, ni laterales.
45. Redes con conexiones hacia adelante y hacia atrás (feedforward / feedback): En este tipo de redes circula información tanto hacia adelante como hacia atrás durante el funcionamiento de la red. Para que esto sea posible, existen conexiones feedforward y conexiones feedback entre las neuronas. P/ ejemplo: ART, BAM, CABAM.
46. Redes Con Conexiones Hacia Adelante Y Hacia Atrás (feedforward / Feedback) También existen algunas que tienen conexiones laterales entre neuronas de la misma capa. Estas conexiones se diseñan como excitadores (con peso positivo) o inhibidoras (con peso negativo), estableciendose una competencia entre las neuronas correspondientes.
61. Aprendizaje por Reforzamiento Se basa en la idea de no disponer de un ejemplo completo del comportamiento deseado, es decir, la función del supervisor se reduce a indicar mediante una señal de refuerzo si la salida de la red se ajusta a la deseada (éxito=1, fracaso=-1) y en función de ello se ajustan los pesos basándose en un mecanismo de probabilidades.
83. Capacidad de la regla de aprendizaje del Perceptron La regla del Perceptron siempre convergirá a los pesos que cumplan con la clasificación deseada, asumiendo que tales pesos existan. NOTA: Recordar que la longitud del vector de pesos no es importante, lo único importante es su dirección.
85. UNIDAD VI Redes de propagación hacia delante y aprendizaje supervisado RED ADALINE Adaline simple. Algoritmo LMS .
86.
87.
88.
89.
90.
91. Diferencias entre . . . PERCEPTRON ADALINE Función de Transferencia ESCALON LINEAL Resolución de problemas Linealmente Separables Linealmente Separables Comportamiento con respecto al RUIDO Sensible al Ruido Minimiza el Ruido Algoritmo de aprendizaje Regla de aprendizaje Del Perceptron LMS
92. Red ADALINE a p u r e l i n W p b + W p b + = = a i p u r e l i n n i p u r e l i n w T i p b i + w T i p b i + = = = w i w i 1 w i 2 w i R =
93. ADALINE de dos entradas a p u r e l i n n p u r e l i n w T 1 p b + w T 1 p b + = = = a w T 1 p b + w 1 1 p 1 w 1 2 p 2 b + + = =
94. Mínimo Error Cuadrático p 1 t 1 { , } p 2 t 2 { , } p Q t Q { , } Conjunto Entrenamiento: p q t q Entrada: Objetivo: x w 1 b = z p 1 = a w T 1 p b + = a x T z = F x E e 2 = E t a – 2 E t x T z – 2 = = Notación: Mean Square Error: Donde: E es un valor esperado
95. Ecuaciones Importantes en el Algoritmo LMS W k 1 + W k 2 e k p T k + = b k 1 + b k 2 e k + = En forma de Matriz: Donde: es el parámetro de aprendizaje máximo w i k 1 + w i k 2 e i k p k + = b i k 1 + b i k 2 e i k + =
96. Condiciones para la Estabilidad e i g I 2 R – 1 2 i – 1 = Resumiendo, las condiciones de estabilidad son: i 0 Ya que , 1 2 i – 1 . 1 i para toda i 0 1 m a x (donde i es un eigenvalor de R ) 1 2 i – 1 –
97. Modelo de una neurona lineal en MATLAB p(1) p(2) p(3) p(R) W(1,1) W(1,R) 1 b n a a = purelin(w*p+b) a = w*p+b 0 0 1 -1 a a b/w b/w p n a = purelin(n)
98. Regla de Aprendizaje en ADALINE · ADALINE utiliza un aprendizaje OFF LINE con supervisión. · Este aprendizaje es la llamada Regla de Widrow-Hoff ( Regla Delta o Regla del Mínimo Error Cuadrático Medio LMS Least Mean Square)
99. Regla de Widrow-Hoff Consiste en hallar el vector de pesos W deseado, único, que deberá asociar cada vector de entrada con su correspondiente valor de salida correcto o deseado. La regla minimiza el error cuadrático medio definido como: donde: es la función de error R R R a t p R R R p 1 2 2 1
100. Esta función de error está definida en el espacio de pesos multidimensional para un conjunto de entradas, y la regla de Widrow-Hoff busca el punto de este espacio donde se encuentra el mínimo global. Con función de activación lineal Con función de activación sigmoidal
101. Se utiliza el método de gradiente decreciente para saber en qué dirección se encuentra el mínimo global de dicha superficie. Las modificaciones que se realizan a los pesos son proporcionales al gradiente decreciente de la función de error, por lo que cada nuevo punto calculado está más próximo al punto mínimo. j R j w lr w 2
103. La regla de Widrow-Hoff es implementada realizando cambios a los pesos en la dirección opuesta en la que el error está incrementando y absorbiendo la constante -2 en lr . En forma de matriz: Transformando a la expresión del bias (considerando que el bias son pesos con entradas de 1): ) ( ) ( ) , ( j p j e lr j i W T Ep lr W E lr b
104. Algoritmo de aprendizaje en ADALINE 1. Se aplica un vector o patrón de entrada P R en las entradas del ADALINE. 2. Se obtiene la salida lineal a R = WP R y se calcula la diferencia con respecto a la salida deseada: E R =T R -a R 3. Se actualizan los pesos: W( t+1 ) = W(t) + lrE R P R 4. Se repiten los pasos 1 al 3 con todos los vectores de entrada. 5. Si el error cuadrático medio es un valor reducido aceptable, termina el proceso de aprendizaje, sino, se repite otra vez desde el paso 1 con todos los patrones.
105.
106.
107.
108. Ejercicio: 1 1.0 2 0.0 3 2.0 = = = R E p p T 1 2 - - - p 1 p 1 T 1 2 - - - p 2 p 2 T + = = R 1 2 - - - 1 – 1 1 – 1 – 1 1 – 1 2 - - - 1 1 1 – 1 1 1 – + 1 0 0 0 1 1 – 0 1 – 1 = = 1 m a x - - - - - - - - - - - - 1 2.0 - - - - - - - 0.5 = = p 1 1 – 1 1 – t 1 1 – = = p 2 1 1 1 – t 2 1 = = Plátano Manzana
109. Iteración: 1 e 0 t 0 a 0 t 1 a 0 1 – 0 1 – = – = – = – = W 1 W 0 2 e 0 p T 0 + = W 1 0 0 0 2 0.2 1 – 1 – 1 1 – T 0.4 0.4 – 0.4 = + = a 0 W 0 p 0 W 0 p 1 0 0 0 1 – 1 1 – 0 = = = = Plátano
110. Iteración: 2 Manzana a 1 W 1 p 1 W 1 p 2 0.4 0.4 – 0.4 1 1 1 – 0.4 – = = = = e 1 t 1 a 1 t 2 a 1 1 0.4 – 1.4 = – = – = – = W 2 0.4 0.4 – 0.4 2 0.2 1.4 1 1 1 – T 0.96 0.16 0.16 – = + =
111. Iteración: 3 e 2 t 2 a 2 t 1 a 2 1 – 0.64 – 0.36 – = – = – = – = W 3 W 2 2 e 2 p T 2 + 1.1040 0.0160 0.0160 – = = W 1 0 0 = a 2 W 2 p 2 W 2 p 1 0.96 0.16 0.16 – 1 – 1 1 – 0.64 – = = = =