Redes Neuronales capitulo 4 Hagan

1. UNIVERSIDAD NACIONAL
Pedro Ruíz gallo
FACULTAD DE CIENCIAS FÍSICAS Y MATEMÁTICAS
REDES NEURONALES
CAPITULO 4
Reglas de Aprendizaje Perceptrón
DOCENTE : Ing. Chamán Cabrera Lucia
AlUMNOS : Chong Muguerza Hugo
Fernandez Córdova Ivan
Ciclo : 2014 – I
05 de Septiembre del 2014

2. 4 Regla de aprendizaje Perceptrón
Objetivos 4-1
Teoría y ejemplos de 4-2
Aprendiendo reglas 4-2
Arquitectura Perceptrón 4-3
Única-neurona Perceptrón 4-5
Múltiple-neurona Perceptrón 4-8
Regla de aprendizaje Perceptrón 4-8
Problema de Prueba 4-9
Construyendo reglas de aprendiendo 4-10
Regla de aprendizaje unificada 4-12
Formación múltiple-neurona perceptrones 4-13
Prueba de convergencia 4-15
Notación 4-15
Prueba 4-16
Limitaciones 4-18
Resumen de los resultados 4-20
Problemas resueltos 4-21
Epílogo 4-33
Más lectura 4-34
Ejercicios 4-36
Objetivos
Una de las preguntas que nos planteamos en el capítulo 3 era: ¿Cómo determinamos la matriz de
pesos y el sesgo de redes perceptrón con muchos insumos, donde es imposible visualizar los
límites de decisión? En este capítulo describirá un algoritmo para formación de redes perceptrón,
de modo que puede aprender para resolver problemas de clasificación. Vamos a empezar por
explicar lo que una regla de aprendizaje es y luego a desarrollar la regla de aprendizaje del
perceptrón. Nosotros concluiremos analizando las ventajas y limitaciones de la monocapa red
perceptrón. Esta discusión nos conducirá a futuros capítulos.
TEORÍA Y EJEMPLOS
En 1943, Warren McCulloch y Walter Pitts introdujo una de las primeras neuronas artificiales
[McPi43]. La característica principal de su modelo de neurona es que una suma ponderada de las
señales de entrada se compara con un umbral para determinar la salida de neurona. Cuando la
suma es mayor o igual que el umbral, la salida es 1. Cuando la suma es menor que el umbral, la
salida es 0. Ello pasó a mostrar que las redes de estas neuronas podrían, en principio, calcular
cualquier función aritmética o lógica. A diferencia de las redes biológicas, los parámetros de sus

3. redes tuvieron que ser diseñadas, ya que ningún método de entrenamiento era disponible. Sin
embargo, la conexión percibida entre la biología y digitales ordenadores generado un gran interés.
A finales de 1950, Frank Rosenblatt y varios otros investigadores desarrollaron una clase de redes
neuronales llama perceptrones. Las neuronas en estas redes fueron similares a los de McCulloch y
Pitts. La contribución clave de Rosenblatt fue la introducción de una regla de aprendizaje para
redes Perceptrón formación solucionar problemas de reconocimiento de patrón [Rose58] .
Demostró que su regla de aprendizaje siempre convergerá a los pesos de red correcta, si existen
pesos que resuelve el problema. El aprendizaje era simple y automático.
Los ejemplos de un comportamiento adecuado se presentaron a la red, lo que aprendió de sus
errores. El perceptrón podría incluso aprender cuando inicializado con valores aleatorios para los
pesos y sesgos.
Desafortunadamente, la red perceptrón está inherentemente limitado, estas limitaciones fueron
ampliamente publicitada en el libro Perceptrons [MiPa69] Marvin Minsky y Seymour Papert. Ellos
demostraron que las redes perceptrón fueron incapaces de implementar ciertas funciones
elementales. Es No fue sino hasta la década de 1980 que estas limitaciones fueron superadas con
la mejora (multicapas) redes perceptrón y reglas de aprendizaje asociados. Nosotros discutirá
estas mejoras en los capítulos 11 y 12.
Hoy el perceptrón se sigue viendo como una importante red. Sigue siendo un red rápida y
confiable para la clase de problemas que puede resolver. Adicionalmente, una comprensión de las
operaciones de la perceptrón proporciona una buena base para la comprensión de las redes más
complejas. Por lo tanto, el perceptrón red, y su regla de aprendizaje asociada, son bien vale la
pena la discusión aquí.
En el resto de este capítulo vamos a definir lo que entendemos por un aprendizaje gobernar,
explique la red perceptrón y regla de aprendizaje, y discutir el limitaciones de la red perceptrón.
NORMAS DE APRENDIZAJE
Al comenzar nuestra discusión de la regla de aprendizaje del perceptrón, queremos discutir las
reglas en general el aprendizaje. Por regla de aprendizaje nos referimos a un procedimiento para
modificar los pesos y sesgos de una red. (Este procedimiento también puede ser referido como un
algoritmo de entrenamiento.)
El propósito de la regla de aprendizaje es para entrenar la red para realizar alguna tarea. Hay
muchos tipos de neural reglas de aprendizaje en red. Se dividen en tres grandes categorías:
supervisados aprender, aprendizaje sin supervisión y refuerzo (o clasificadas) de aprendizaje. En
aprendizaje supervisado, La regla de aprendizaje está provisto de un conjunto de ejemplos (la
conjunto de entrenamiento) Del comportamiento de la red adecuada:

4. Donde es una entrada a la red y es el correspondiente correcta (objetivo) De salida. Como las
entradas se aplican a la red, las salidas de la red son en comparación con los objetivos. La regla de
aprendizaje se utiliza entonces para ajustar los pesos y sesgos de la red con el fin de mover las
salidas de la red más cerca de los objetivos. La regla de aprendizaje del perceptrón cae en este
supervisado aprendizaje categoría. También vamos a investigar algoritmos de aprendizaje
supervisado en los capítulos 7-12.
Aprendizaje por refuerzo es similar a la de aprendizaje supervisado, excepto que, en lugar de ser
proporcionado con la salida correcta para cada entrada de red, el algoritmo sólo se le da un grado.
El grado (o la puntuación) es una medida de la red el rendimiento en alguna secuencia de
entradas. Este tipo de aprendizaje es actualmente mucho menos común que el aprendizaje
supervisado. Parece ser más adecuado para el control de las aplicaciones del sistema (ver
[BaSu83], [WhSo92]). En aprendizaje no supervisado, Los pesos y sesgos se modifican en respuesta
a las entradas de red solamente. No hay salidas de destino disponibles. Al principio vista esto
puede parecer poco práctico. ¿Cómo se puede entrenar a una red si usted no sabe lo que se
supone que debe hacer? La mayoría de estos algoritmos realizan algún tipo de operación de
agrupación. Ellos aprenden a clasificar los patrones de entrada en un número finito de clases. Esto
es especialmente útil en tales aplicaciones como la cuantificación vectorial. Veremos en los
capítulos 13 a 16 que no son un número de algoritmos de aprendizaje sin supervisión.
ARQUITECTURA PERCEPTRÓN
Antes de presentar la regla de aprendizaje del perceptrón, Letos ampliar nuestra investigación de
la red perceptrón, que iniciamos en el Capítulo 3 El general red perceptrón se muestra en la Figura
4.1. La salida de la red está dada por

5. Será útil en nuestro desarrollo de la regla de aprendizaje del perceptrón ser capaz de hacer
referencia convenientemente elementos individuales de la salida de la red. Vamos a ver cómo se
puede hacer esto. En primer lugar, consideremos la matriz de pesos de la matriz
:
Vamos a definir un vector formado por los elementos de la fila i de W:
Ahora podemos dividir la matriz de pesos:
Esto nos permite escribir la i-ésimo elemento del vector de salida de la red como
Recordemos que hardlim la función de transferencia (que se muestra a la izquierda) se define
como:

6. Por lo tanto, si el producto interior de la i ª fila de la matriz de peso con la vector de entrada es
mayor que o igual a -bi , la salida será 1, de lo contrario la salida será 0. Así, cada neurona en la red
divide la entrada espacio en dos regiones. Es útil para investigar los límites entre estas regiones.
Vamos a comenzar con el simple caso de un perceptrón de una sola neurona con dos entradas.
SIMPLE-NEURONA PERCEPTRÓN
Vamos a considerar un perceptrón de dos entradas con una neurona, como se muestra en la figura
4.2.
Figura 4.2-Dos de Entrada / Salida única Perceptrón
La salida de esta red se determina por:
La frontera de decisión está determinado por los vectores de entrada para las que la red entrada n
es cero:
Para hacer el ejemplo más concreto, Letos asignar los siguientes valores:

7. El límite de decisión es
Esto define una línea en el espacio de entrada. En un lado de la línea de la red salida será 0; en la
línea y en el otro lado de la línea de la salida se ser 1. Para dibujar la línea, podemos encontrar los
puntos donde se cruza la p1 y p2 ejes. Para encontrar la intersección p2 establecer p1 = 0
Para encontrar la intersección p1, ajuste p2=0
La frontera de decisión resultante se ilustra en la Figura 4.3. Para saber de qué lado de la frontera
corresponde a una potencia de 1, que sólo tiene que probar un punto. Para la entrada p[ 2 0] la
salida de la red será
Por lo tanto, la salida de la red será 1 para la región por encima y hacia la derecha de la frontera de
decisión. Esta región es indicado por el área sombreada en la figura 4.3
Figura 4.3 Límites de decisión para dos de entrada Perceptrón

8. También podemos encontrar la frontera de decisión gráficamente. El primer paso es observar que
el límite es siempre ortogonal a W, como se ilustra en las figuras adyacentes. El límite está
definido por
Para todos los puntos en el límite, el producto interno del vector de entrada con el vector de peso
es el mismo. Esto implica que estos vectores de entrada hará todo tener la misma proyección
sobre el vector de pesos, por lo que deben estar en una línea ortogonal al vector de peso.
(Estos conceptos se explican con más detalle En el capítulo 5) Además, cualquier vector en la
región sombreada de la figura 4.3 tendrá un producto interno mayor que -b, y los vectores en la
región sin sombrear tendrán productos internos menos de -b.
Por lo tanto el vector de pesos w siempre apuntará hacia la región donde la salida de la neurona es
1.
Después de haber seleccionado un vector de pesos con la orientación angular correcta, el valor de
sesgo se puede calcular mediante la selección de un punto en el límite y ecuación satisfactoria.
(4.15). Vamos a aplicar algunos de estos conceptos para el diseño de una red perceptrón a aplicar
una función lógica simple: la puerta AND. Los pares de entrada / destinatarios de la puerta Y son:
La figura de abajo muestra el problema gráficamente. Muestra la entrada espacio, con cada vector
de entrada etiquetados de acuerdo a su objetivo. La oscuridad círculos negros indica que la meta
es 1, y los círculos blancos de luz indican que el objetivo es 0.
El primer paso del diseño es para seleccionar un límite de decisión. Queremos tener una línea que
separa las ojeras y los círculos de luz. Hay un número infinito de soluciones a este problema.
Parece razonable elegir la línea que cae "a medio camino" entre las dos categorías de insumos,
como se muestra en la figura adyacente. Ahora vamos a elegir un vector de peso que es ortogonal

9. a la decisión límite. El vector de peso puede ser de cualquier longitud, por lo que hay posibilidades
infinitas. Una opción es
Como se muestra en la figura a la izquierda.
Por último, tenemos que encontrar el sesgo,. Podemos hacer esto mediante la selección de un
punto de la frontera de decisión y satisfactoria la ecuación. (4.15). Si utilizamos p= [1.5 0] nos
encontramos.
Ahora podemos probar la red en uno de los pares de entrada / destinatarios. Si aplicamos p2 a la
red, la salida será
Que es igual a la salida de destino. Compruebe por sí mismo que todas las entradas son
correctamente clasificadas. Para experimentar con límites de decisión, utilizar el Diseño de Redes
Neuronales Límites de decisión demostración
MULTIPLE-NEURONA PERCEPTRÓN
Nótese que para los perceptrones con múltiples neuronas, como en la Figura 4.1, hay será una
frontera de decisión para cada neurona. El límite de decisión para neurona será definido por
Una sola neurona perceptrón puede clasificar vectores de entrada en dos categorías, desde su
salida puede ser 0 o 1 A-neurona múltiple perceptrón puede clasificar insumos en muchas
categorías. Cada categoría está representada por una diferente vector de salida. Dado que cada

10. elemento del vector de salida puede ser 0 o 1, hay un total de posibles categorías, donde es el
número de neuronas.
PERCEPTRON REGLA DE APRENDIZAJE
Ahora que hemos examinado el rendimiento de las redes perceptrón, nos están en condiciones de
introducir la regla de aprendizaje del perceptrón. Este aprendizaje regla es un ejemplo de
entrenamiento supervisado, en el que se proporciona la regla de aprendizaje con un conjunto de
ejemplos de comportamiento de la red adecuada:
Donde Pq es una entrada a la red y de Tq es la salida de destino correspondiente. A medida que se
aplica cada entrada a la red, la salida de la red se compara a la meta. La regla de aprendizaje y
luego ajusta los pesos y sesgos de la red con el fin de mover la salida de la red cerca del objetivo.
PROBLEMA DE PRUEBA
En nuestra presentación de la regla de aprendizaje del perceptrón vamos a comenzar con una
problema simple prueba y será experimentar con posibles reglas para desarrollar alguna intuición
acerca de cómo debe funcionar la regla. Los pares de entrada / destinatarios de nuestro problema
de los exámenes
El problema se muestra gráficamente en la figura adyacente, donde los dos vectores de entrada
cuya meta es 0 se representan con un círculo blanco y la luz, el vector cuyo objetivo es 1 se
representa con un círculo negro oscuro. Esta es un muy simple problema, y casi podía obtener una
solución mediante inspección. Esta simplicidad nos ayudará a obtener una cierta comprensión
intuitiva de los básicos conceptos de la regla de aprendizaje del perceptrón. La red para este
problema debería tener-dos entradas y una salida. Para simplificar nuestro desarrollo de la regla
de aprendizaje, vamos a empezar con una red sin sesgo. La red tendrá entonces sólo dos
parámetros, w 1,1 y, W 2,2, como se muestra en la Figura 4.4.

11. Figura 4.4 Prueba de problemas de red
Al eliminar el sesgo que nos quedamos con una red cuya decisión límite debe pasar por el origen.
Tenemos que estar seguros de que esta red es todavía capaz de resolver el problema de prueba.
Debe haber una decisión límite permisible que se puede separar la p2 y p3 vectores a partir del
vector P1. La figura a la izquierda ilustra que de hecho hay un número infinito de tales límites.
La figura adjunta muestra los vectores de peso que corresponden a los permitidos límites de
decisión. (Recordemos que el vector de pesos es ortogonal a la frontera de decisión.) Nos gustaría
una regla de aprendizaje que encontrará un peso vector que apunta en una de estas direcciones.
Recuerde que la longitud del vector de peso no importa; sólo su dirección es importante.
LA CONSTRUCCIÓN DE REGLAS DE APRENDIZAJE
El entrenamiento comienza asignando unos valores iniciales para los parámetros de la red. En este
caso estamos entrenando a / red-salida única de dos entradas sin un sesgo, por lo que sólo tiene
que inicializar sus dos pesos. Aquí establecemos los elementos del vector de pesos, w, a los
siguientes valores generados al azar:

12. Ahora comenzaremos presentando los vectores de entrada a la red. Comenzamos con p1:
La red no ha devuelto el valor correcto. La salida de red es 0, mientras que la respuesta del
objetivo, t1, es 1. Podemos ver lo que pasó mirando el diagrama adyacente. La inicial resultados
de vectores de peso en una frontera de decisión que clasifica incorrectamente la p1 vector.
Tenemos que modificar el vector de pesos para que apunte más hacia p1, Para que en el futuro
tiene una mejor oportunidad de clasificar correctamente. Un enfoque sería establecer W igual a
p1. Esto es simple y garantizaría que p1 fue clasificada correctamente en el futuro.
Desafortunadamente, es fácil para construir un problema para el que esta regla no puede
encontrar una solución. El diagrama a la parte inferior izquierda muestra un problema que no
puede resolverse con el peso vector apuntando directamente a cualquiera de los dos vectores de 1
clase. Si aplicamos la regla W = p cada vez que uno de estos vectores se mal clasificados, la red
Pesos OS simplemente oscilar hacia atrás y adelante y nunca encontrarán una solución. Otra
posibilidad sería añadir p1 a w. Adición de p1 a w haría w punto más en la dirección de p1.
Presentaciones repetidas de p1 harían causar la dirección de w para acercarse asintóticamente la
dirección de p1. Esta regla se puede afirmar.
Aplicando esta regla a nuestro problema de prueba se traduce en nuevos valores para W:
Esta operación se ilustra en la figura adyacente. Ahora vamos a pasar a la siguiente vector de
entrada y seguiremos haciendo cambios a los pesos y recorrer las entradas hasta que todos se
clasifican correctamente.
El siguiente vector de entrada es p2. Cuando se presenta a la red nos encontramos con:

13. El t2 destino asociado con p2 es 0 y la salida a es 0 1. Una clase de vectores fue clasificada
erróneamente como un 1. Desde ahora queremos mover el vector peso W de distancia de la
entrada, podemos simplemente cambiar la adición de la ecuación. (4.23) para la resta: d:
Si aplicamos esto al problema de prueba, encontramos:
Que se ilustra en la figura adyacente. Ahora presentamos la tercera p3 vector:
Los resultados actuales w en una frontera de decisión que misclassifies p3. Este es una situación
para la cual ya tenemos una regla, por lo que W se actualizará de nuevo, de acuerdo con la
ecuación. (4.26):
El diagrama a la izquierda muestra que el perceptrón finalmente ha aprendido a clasificar los tres
vectores correctamente. Si se presenta cualquiera de los vectores de entrada a la neurona, se dará
salida a la clase correcta para ese vector de entrada. Esto nos lleva a nuestra tercera y última
regla: si funciona, No te arregles.

14. Aquí están las tres reglas, que cubren todas las combinaciones posibles de salida y los valores
objetivos:
REGLA DE FORMACIÓN UNIFICADO
Las tres reglas de la ecuación. (4.31) puede escribirse como una sola expresión. Primero vamos a
definir una nueva variable, el error perceptrón correo:
Ahora podemos volver a escribir las tres reglas de la ecuación. (4.31) como:
Mirando cuidadosamente en las dos primeras reglas de la ecuación. (4.33) se puede observar que
el signo de p es el mismo que el signo del error, e. Además, la ausencia de p en la tercera regla
corresponde a un correo de 0 Por lo tanto, podemos unificar las tres reglas en una sola expre sión:
Esta regla se puede extender a entrenar al sesgo por señalar que un prejuicio es simplemente un
peso cuya entrada es siempre 1. Así, podemos reemplazar la entrada de p en la ecuación. (4.34)
con la entrada a la polarización, que es 1 el resultado es el perceptrón descartar un sesgo:
FORMACIÓN MÚLTIPLES-NEURON PERCEPTRONS

15. La regla perceptrón, dada por la ec. (4.34) y la ecuación. (4.35), actualiza el vector de peso de un
único perceptrón neurona. Podemos generalizar esta regla para la múltiple-neurona perceptrón
de la figura 4.1 de la siguiente manera. Para actualizar el iTh fila de la utilización de la matriz de
peso:
Para actualizar el elemento de orden i del uso sesgo vector:
La regla perceptrón se puede escribir convenientemente en notación matricial:
Y
Para probar la regla de aprendizaje del perceptrón, considere de nuevo la manzana /
reconocimiento de naranja problema del Capítulo 3 La entrada / salida vectores prototipo será
(Tenga en cuenta que estamos usando 0 como la salida de destino para el modelo negro,, en lugar
de -1, que se utilizó en el capítulo 3 Esto se debe a que estamos utilizando la hardlim función de
transferencia, en lugar de hardlim.) Normalmente los pesos y sesgos se inicializan a los pequeños
números aleatorios. Supongamos que aquí partimos de la matriz de peso inicial y el sesgo:

16. El primer paso es aplicar la primera vector de entrada, p1, a la red:
Luego se calcula el error:
La actualización de peso es
La actualización de sesgo es
Esto completa la primera iteración.
La segunda versión de la norma perceptrón es:
La tercera iteración comienza de nuevo con el primer vector de entrada:

17. Si continúa con las iteraciones, usted encontrará que los dos vectores de entrada se ahora ser
clasificado correctamente. El algoritmo ha convergido a una solución. Nota que el límite decisión
final no es el mismo que el que hemos desarrollado en Capítulo 3, aunque ambos límites clasifican
correctamente los dos vectores de entrada. Para experimentar con la regla de aprendizaje del
perceptrón, utilizar la red neuronal Diseño Demostración Regla Perceptron
PRUEBA DE CONVERGENCIA
Aunque la regla de aprendizaje del perceptrón es simple, es muy poderoso. en De hecho, se puede
demostrar que la regla siempre convergerá a los pesos que logran la clasificación deseada
(suponiendo que existan tales pesos). en esta sección vamos a presentar una prueba de
convergencia para el aprendizaje del perceptrón gobernar para el perceptrón de una sola neurona
se muestra en la Figura 4.5.
Figura 4.5 sola neurona Perceptrón

18. La salida de este perceptrón se obtiene a partir
La red dispone de los siguientes ejemplos de comportamiento de la red adecuada:
Donde cada salida de destino, Tq, es o bien 0 o 1.
NOTACIÓN
Para presentar convenientemente la prueba que presente por primera vez una nueva notación.
Vamos a combinar la matriz de pesos y el sesgo en un único vector:
También vamos a aumentar los vectores de entrada con un 1, correspondiente a la sesgoentrada:
Ahora podemos expresar la entrada neta a la neurona de la siguiente manera:
La regla de aprendizaje perceptrón para un perceptrón-sola neurona (Eq. (4.34) y Eq. (4.35)) puede
escribirse ahora
El error e puede ser 1, -1 o 0. Si e = 0, entonces no se realiza ningún cambio en los pesos. Si e = 1,
entonces el vector de entrada se añade al vector de peso. Si e = 1, entonces el negativo del vector

19. de entrada se añade al vector de peso. Si contamos sólo aquellos iteraciones para la que se cambia
el vector de pesos, la regla de aprendizaje se convierte en
donde Z '(k-1) es el miembro apropiado del conjunto
Vamos a suponer que existe un vector de peso que puede categorizar correctamente todos Q
vectores de entrada. Esta solución se denominará X. Para este vector de pesos vamos a suponer
que
Y
PRUEBA
Ahora estamos listos para comenzar la prueba del teorema de convergencia del perceptrón. El
objetivo de la prueba es encontrar los límites superior e inferior en el longitud del vector de peso
en cada etapa del algoritmo.
Supongamos que el algoritmo se inicializa con el vector de pesos cero: x(0) = 0. (Esto no afecta a la
generalidad de nuestro argumento.) Entonces, después de iteraciones (cambios en el vector de
pesos), nos encontramos con la ecuación. (4.60):
Si tomamos el producto interno del peso del vector solución con el vector peso en iteración k
obtenemos
De la ecuación (4,61) – EQ (4,63) podemos demostrar que

20. Por lo tanto
De la desigualdad de Cauchy-Schwartz (véase [Brog91])
Donde
Si combinamos la ecuación (4,67) y EQ (4.68) podemos poner un límite inferior en la longitud al
cuadrado del vector peso en iteración k:
A continuación queremos encontrar un límite superior para la longitud del vector peso.
Empezamos por encontrar el cambio en la longitud de iteración:
Tenga en cuenta que
Puesto que los pesos no se actualizarían a menos que el vector de entrada anterior había sido mal
clasificado. Ahora se puede simplificar a EQ (4,71).
Podemos repetir este proceso para, , etc., para obtener

21. Si , este límite superior se puede simplificar a
Ahora tenemos un límite superior (EQ (4.75)) y un límite inferior (EQ (4,70)) en la longitud al
cuadrado del vector peso en iteración k. Si combinamos las dos desigualdades encontramos
Porque k tiene un alto seguro, esto significa que las pesas sólo se cambiará un número finito de
veces. Por lo tanto, la regla de aprendizaje del Perceptrón se reunirán en un número finito de
iteraciones.
El número máximo de iteraciones (cambios en el vector de peso) es inversamente proporcional al
cuadrado de δ. Este parámetro es una medida de cuánto es el límite de la decisión de solución a
los patrones de entrada. Esto significa que si las clases de entrada son difíciles de separar (se
encuentra cerca de la frontera de decisión) llevará muchas iteraciones del algoritmo converger.
Tenga en cuenta que existen sólo tres supuestos claves necesarios para la prueba:
1. una solución para el problema existe, de modo que EQ (4.66) está satisfecha.
2. los pesos sólo se actualizan cuando el vector de entrada está mal clasificado,
por lo tanto EQ (4.72) está satisfecha.
3. un alto obligado, existe para la longitud de los vectores de entrada.
Debido a la generalidad de la prueba, hay muchas variaciones de aprendizaje regla que puede
también ser demostrado para converger el Perceptrón. (Ver ejercicio E4.9).
Limitaciones
La regla de aprendizaje del Perceptrón está garantizada a converger a una solución en un número
finito de pasos, mientras exista una solución. Esto nos lleva a una pregunta importante. ¿Qué
problemas puede resolver un perceptrón? Hay que recordar que una sola neurona Perceptrón es
capaz de dividir el espacio de entrada en dos regiones.
El límite entre las regiones es definido por la ecuación
Este es un límite lineal (hiperplano). El Perceptrón puede utilizarse para clasificar los vectores de
entrada que pueden ser separados por un límite lineal. Llamamos a estos vectores linealmente

22. separables. El ejemplo de puerta y lógico en la página 4-7 muestra un ejemplo bidimensional de un
problema linealmente separable. El problema de reconocimiento ple/naranja ap del capítulo 3 es
un ejemplo tridimensional.
Desafortunadamente, muchos problemas no son linealmente separables. El ejemplo clásico es la
puerta XOR. Son los pares de entrada/de la blanco para la puerta XOR
Este problema se ilustra gráficamente en el lado izquierdo de la figura 4.6, que también muestra
otros dos problemas linealmente inseparables. Trata de trazar una línea recta entre los vectores
con objetivos de 1 y los objetivos de 0 en cualquiera de los diagramas de la figura 4.6.
Figura 4.6 problemas linealmente inseparables
Fue la incapacidad de la Perceptrón básico para resolver tales problemas sencillos que condujo, en
parte, a una reducción en el interés en la investigación de redes neuronales dur ing la década de
1970. Rosenblatt había investigado en redes más complejas, que sintió capaz de superar las
limitaciones de la básica Perceptrón, pero nunca fue capaz de extender efectivamente la regla del
Perceptrón a dichas redes. En el capítulo 11 introduciremos perceptrones multicapa, que pueden
resolver problemas de clasificación arbitraria y describen el algoritmo backpropagation, que puede
utilizarse para entrenarlos.
Resumen de los resultados
Arquitectura del Perceptron

23. Límite de decisión
El límite de la decisión es siempre ortogonal al vector peso.
Monocapa perceptrones sólo pueden clasificar vectores linealmente separables.
Regla de aprendizaje Perceptrón
Donde e = t - a
Problemas resueltos
P4.1 Resolver los tres problemas de clasificación simple se muestra en la figura P4.1 dibujando
un límite de decisión. Encontrar valores de sesgo que ocasionar una sola neurona perceptrones
con los límites de decisión elegido y peso.
Figura P4.1 Problemas de clasificación simple

24. Primero trazamos una línea entre cada conjunto de puntos de datos claras y oscuras
El siguiente paso es encontrar los pesos y sesgos. Los vectores de peso deben ser ortogonal a los
límites de decisión y apuntando en la dirección de puntos para ser clasificado como 1 (los puntos
oscuros). Los vectores de peso pueden tener cualquier longitud que nos gusta.
Aquí hay un conjunto de opciones para los vectores de peso:
Ahora encontramos los valores de sesgo para cada Perceptrón escogiendo un punto en el límite de
la decisión y satisface la ecuación (4.15).
Esto nos da los siguientes tres sesgos::
Ahora podemos comprobar nuestra solución contra los puntos originales. Aquí ponemos a prueba
la primera red en el vector de entrada

25. Podemos usar MATLAB para automatizar el proceso de pruebas e intentar nuevos puntos. Aquí la
primera red se utiliza para clasificar a un punto que no estaba en el problema original.
P4.2 Convertir el problema de clasificación definido a continuación en una definición de
problema equivalente consiste en restringir los valores de peso y el sesgo de las desigualdades.
Cada objetivo 푡푖 indica si la red de entrada en respuesta a 푝1 debo estar menos de 0, o mayor o
igual a 0. Por ejemplo, puesto que 푡1 es 1, Sabemos que la entrada neta correspondiente a p1
debe ser mayor o igual a 0. Así obtenemos la siguiente desigualdad
Aplicando el mismo procedimiento a los pares de entrada/destino para y
resultados en el siguiente conjunto de desigualdades.
Para resolver un conjunto de desigualdades es más difícil que resolver un conjunto de igualdades.
Añade una complejidad es que a menudo hay un número infinito de soluciones (como a menudo
hay un número infinito de los límites de decisión lineal que puede resolver un problema de
clasificación linealmente separables).

26. Sin embargo, debido a la simplicidad de este problema, podemos resolverlo graficando los
espacios de solución definidos por las desigualdades. Tenga en cuenta que sólo aparece en
las desigualdades (ii) y (iv), y sólo aparece en las desigualdades (i) y (iii). Nosotros podemos
trazar cada par de desigualdades con dos gráficos.
Cualquier peso y el sesgo de los valores que caen en ambas regiones gris oscuros para resolver el
problema de la clasificación.
Aquí está una tal solución:
P4.3 tenemos un problema de clasificación con cuatro clases de vector de entrada. Las cuatro
clases son
Diseñar una red Perceptrón para resolver este problema.
Para resolver un problema con cuatro clases de entrada vector necesitaremos un perceptrón con
por lo menos dos neuronas, desde una - neurona Perceptrón puede categorizar 25 clases. El
Perceptrón dos neuronas se muestra en la figura P4.2.
Figura P4.2 dos neuronas Perceptrón

27. Vamos a empezar mostrando los vectores de entrada, como en la figura P4.3. Los círculos de luz
indican vectores de clase 1, los luz cuadrados indican vectores de clase 2, los círculos oscuros
indican vectores de clase 3 y los cuadrados oscuros indican vectores de clase 4.
Un perceptrón dos neuronas crea dos límites de decisión. Por lo tanto, para dividir el espacio de
entrada en las cuatro categorías, necesitamos tener un límite de decisión las cuatro clases se
dividen en dos grupos de dos. Los restantes límites entonces deben aislar cada clase. Dos tales
límites se ilustran en la figura P4.4. Ahora sabemos que nuestros patrones son linealmente
separables.
Figura P4.3 vectores entrados para problema P4.3
Figura P4.4 decisión provisional límites para problema P4.3
Los vectores de peso deben ser ortogonales a los límites de decisión y deben apuntar hacia las
regiones donde las salidas de la neurona son 1. El siguiente paso es decidir qué lado de cada límite
debe producir un 1. Una opción es ilustrada en la figura P4.5, donde las áreas sombreadas
representan salidas de 1. El sombreado más oscuro indica que ambas salidas de neurona son 1.
Tenga en cuenta que esta solución corresponde a los valores objetivo de

28. Ahora podemos seleccionar los vectores de peso:
Tenga en cuenta que las longitudes de los vectores de peso no es importante, sólo sus direcciones.
Deben ser ortogonales a los límites de decisión. Ahora podemos calcular el sesgo escogiendo un
punto en un límite y satisface la ecuación (4.15):
Figura P4.5 decisión regiones problema P4.3
En forma de matriz que tenemos
que completa nuestro diseño.
P4.4 resolver el siguiente problema de clasificación con la regla del Perceptrón. Aplique cada
vector de entrada en orden, para tantas repeticiones como sea necesario para asegurar que el
problema está solucionado. Dibujar un gráfico del problema sólo después de que ha encontrado
una solución.

29. Utilice el peso inicial y parcialidad:
La salida de a no es igual el valor objetivo t1, así que usamos el Perceptrón
regla para encontrar nuevos pesos y prejuicios basados en el error.
La salida la hace no es igual la t_1 valor objetivo, así que usamos la regla del Perceptrón para
encontrar nuevos pesos y prejuicios basados en el error.
Ahora aplicamos el segundo vector de entrada p2, utilizando los pesos actualizados y sesgo.
Esta vez la salida de a es igual a la meta t2. Aplicación de la regla del Perceptrón no resultará en
cambios.
Ahora aplicamos el tercer vector de entrada.

30. La salida en respuesta a p3 vector de entrada es igual a la t3 blanco, así que no habrá ningún
cambio.
Ahora pasamos a la última entrada vector p4.
Esta vez la salida de un realiza no es igual la t4 objetivo apropiado. La regla del Perceptrón se
traducirá en un nuevo conjunto de valores para W y b.
Ahora debemos revisar el primer vector p1 otra vez. Esta vez la salida de una es igual a la t1
objetivo asociado.
Por lo tanto, no existen cambios
La segunda presentación de p2 produce un error y por lo tanto, un nuevo conjunto de valores de
peso y sesgo.
Aquí están los nuevos valores:

31. Ciclismo a través de cada vector de entrada una vez más los resultados sin errores.
Por lo tanto, el algoritmo ha convergido. Es la solución final :
Ahora podemos ver los datos del entrenamiento y el límite de la decisión de la solución. El límite
de decisión está dado por
Para encontrar el intercepto p2 del límite de decisión, establecer 푝1 = 0:
Para encontrar el intercepto p1, establecer 푝2 = 0:
El límite de decisión resultante se ilustra en la figura P4.6.

32. Figura P4.6 decisión límite para problema P4.4
Tenga en cuenta que el límite de decisión cae a través de uno de los vectores de entrenamiento.
Esto es aceptable, dada la definición de problema, puesto que la función de límite devuelve 1
cuando recibe una entrada de 0, y el objetivo para el vector en cuestión es de hecho 1.
P4.5 considerar otra vez el problema de decisión cuatro clase que hemos introducido en
problema P4.3. Formar una red Perceptrón para resolver este problema usando el Perceptrón
regla de aprendizaje.
Si usamos los mismos vectores objetivo que hemos introducido en problema P4.3, el
entrenamiento conjunto será:
Vamos a empezar el algoritmo con los siguientes pesos iniciales y sesgos:
La primera iteración es
La segunda iteración es

33. La tercera iteración es
Iteraciones de cuatro a ocho no producen ningún cambio en los pesos.
La novena iteración produce

34. En este punto el algoritmo ha convergido, puesto que todos los patrones de entrada se clasificará
correctamente. Los límites de la decisión final se muestran en la figura P4.7. Compare este
resultado con la red que se diseñó en problema P4.3.
Figura P4.7 decisión Final límites para su problema P4.5

35. Epílogo
En este capítulo hemos introducido nuestra primera regla de aprendizaje Ñ el Perceptrón regla de
aprendizaje. Es un tipo de aprendizaje llamado aprendizaje supervisado, en el cual la regla de
aprendizaje está proporcionada de un conjunto de ejemplos de comportamiento de red adecuada.
Como cada entrada se aplica a la red, la regla de aprendizaje ajusta los parámetros de red para
que la salida de la red se moverá más cerca a la
blanco.
La regla de aprendizaje del Perceptrón es muy simple, pero también es muy poderosa. Hemos
demostrado que la regla se reunirán siempre a una solución correcta, si existe una solución. La
debilidad de la red Perceptrón miente no con la regla de aprendizaje, pero con la estructura de la
red. El Perceptrón estándar sólo es capaz de clasificar los vectores son linealmente separables. Lo
veremos en el capítulo 11 que la arquitectura Perceptrón generalizable a mutlilayer perceptrons,
que puede resolver problemas de clasificación arbitraria. El backpropagation aprendizaje regla,
que se introduce en Cápitulo11, puede utilizarse para entrenar a estas redes.
En los capítulos 3 y 4 se han utilizado muchos conceptos del campo del álgebra lineal, tales como
producto interno, proyección, distancia (norma), etc.. Nos encontraremos en capítulos posteriores
que una buena base en algebra lineal es esencial para nuestra comprensión de las redes
neuronales. En los capítulos 5 y 6 vamos a revisar algunos de los conceptos fundamentales de
álgebra lineal que serán más importantes en nuestro estudio de redes neuronales. Nuestro
objetivo será obtener una comprensión fundamental de cómo neural redes de trabajo.