Presentación para cátedra de Inteligencia Artificial. Tema de la clase: Redes Neuronales de Aprendizaje Supervisado, más específicamente. Perceptron Simple. Author: Andrea Lezcano Tutor de Cátedra: Ing. Sergio Pohlmann

1. Perceptrón Simple
Redes Neuronales con Aprendizaje
Supervisado

2. Tutor de Cátedra: Ing. Sergio Pohlmann
Alumno: Andrea Fidela Lezcano Irala

3. Algunas Posibles Aplicaciones
Espacio Aéreo Automotriz
• Pilotos automáticos de alto
desempeño
• Simulaciones y predicciones
de trayectoria de vuelo
• Sistemas de control de vuelo
• Detección de fallas de
componentes de la nave
• Sistemas automáticos de
navegación
• Comando por voz
Bancos
• Lectores de documentos
• Evaluadores de asignación de
crédito
• Identificador de firmas.

4. Algunas Posibles Aplicaciones
Telecomunicaciones Electrónica
• Compresión de datos e
imágenes
• Servicios automáticos de
información
• Traducción de lenguaje
hablado en tiempo real
• Predicción de secuencias de
códigos
• Control de procesos
• Análisis de fallas de circuitos
• Visión de máquina
• Síntesis de voz
• Modelado no lineal

5. Algunas Posibles Aplicaciones
Robótica Transportación
• Control de trayectorias
• Control de manipuladores
• Sistemas de visión
• Sistemas ruteadores
• Diagnóstico de motores
• Tiempos y movimientos
Voz
• Reconocimiento de voz
• Compresión de voz
• Sintetizadores de texto a voz
Seguridad
• Reconocimiento de rostros
• Identificación
• Acceso de personas

6. Algunas Posibles Aplicaciones
Financieros Manufactura
• Evaluación de bienes raíces
• Consultor de prestamos
• Evaluación de bonos
corporativos
• Análisis del uso de la línea de
crédito
• Predicción de tipo de cambio
• Control de procesos de
manufactura
• Análisis y diseño de productos
• Diagnóstico de máquinas y
procesos
• Identificación de partes en tiempo
real
• Sistemas de inspección de calidad
• Predicción de fin de proceso
• Análisis de mantenimiento de
máquinas
• Modelado de sistemas dinámicos

7. Algunas Posibles Aplicaciones
Medicina Otros…
• Detección de cáncer mamario
o en la piel
• Análisis de EEG y ECG
• Diseño de prótesis
• Optimización de tiempos de
trasplante
• Reducción de gastos en
hospitales
• Oficinas postales
• Verificación remota
• Predicciones Climatológicas
• Filtrado de ruido
• ServoControl
• etc.

8. Modelos existentes de RNA
• Perceptrón
• Adaline
• Perceptrón multicapa
• Memorias asociativas
• Máquina de Boltzmann
• Máquina de Cauchy
• Propagación hacia atrás (backpropagation)
• Redes de Elman
• Redes de Hopfield
• Red de contrapropagación
• Redes de neuronas de base radial
• Redes de neuronas de aprendizaje competitivo
• Mapas Autoorganizados (Redes de Kohonen)
• Crecimiento dinámico de células
• Gas Neuronal Creciente
• Redes ART (Adaptative Resonance Theory)

9. Clasificación de las RNA
• Según su Topología o Patrón de Conexiones
pueden ser:
▫ Redes de propagación hacia adelante
 Monocapa
 Multicapa
▫ Redes Recurrentes
• Según su Tipo de Entrada pueden ser:
▫ Redes Analógicas
▫ Redes Discretas
▫ Redes Híbridas //Entrada Analógica y Salida Discreta

10. Clasificación de las RNA
• Según su Tipo de Aprendizaje pueden ser:
▫ Aprendizaje Supervisado
 Aprendizaje por corrección de error.
 Aprendizaje por refuerzo.
 Aprendizaje estocástico.
▫ Aprendizaje No Supervisado
 Aprendizaje Hebbiano.
 Aprendizaje competitivo y cooperativo.
▫ Aprendizaje Híbrido //Fase Supervisada y No Supervisada

11. Clasificación de las RNA
• Según el Aprendizaje que Observan:
▫ Redes OFF LINE //son más estables, poseen pesos estáticos
 Se distingue entre la fase de aprendizaje y la fase de
operación
▫ Redes ON LINE //se debe estudiar estabilidad, pesos dinámicos
 No se distingue entre la fase de entrenamiento y de
operación

12. El Perceptrón se sitúa en:
• Según su Topología o Patrón de Conexión:
▫ Red de propagación hacia adelante
 Monocapa
• Según su Tipo de Entrada:
▫ Red Híbrida // su entrada es analógica y su salida es discreta
• Según su Tipo de Aprendizaje:
▫ Aprendizaje Supervisado

13. Entonces podemos decir que…
El Perceptrón es un tipo Red Neuronal Monocapa
Híbrida de Aprendizaje Supervisado.
Ahora veamos las analogías de la Red Neuronal
Biológica y las Redes Neuronales Artificiales
para comprender mejor como trabaja y
aprende el Perceptrón…..

14. “Entender el cerebro y emular su potencia”

15. Bases Biológicas
• El cerebro humano es un sistema súper complejo y es el
más poderoso que existe.
• El proceso de información biológico es robusto y
tolerante a fallos.
• Los procesadores de información biológicos son
flexibles, no necesitan volver a ser programados cuando
se cambia de entorno o ambiente, sino que ellos mismos
se reajustan al entorno.
• Son capaces de trabajar con información incompleta, con
ruido e inconsistente.
• La maquinaría que realiza estas funciones es altamente
paralela, pequeña, compacta y disipa poca cantidad de
energía.
Esta maquinaria biológica es la célula del cerebro llamada neurona.

16. Neurona Biológica

17. Funcionamiento de la neurona
biológica
• Las Neuronas biológicas se componen de: Sinapsis,
Dendritas, Axones y Cuerpos Celulares.
• Un axón es el encargado de transportar la salida de la
neurona hasta las conexiones de otras neuronas
• Las dendritas facilitan la conexión con los axones de
otras neuronas.
• Una neurona no hace nada, a menos que la influencia
colectiva de todas sus entradas alcance un nivel de
umbral.
• Los axones influyen en las dendritas sobre unos espacios
estrechos llamados Sinapsis.
• La estimulación en unas sinapsis hace que las neuronas
se disparen y en otras desalienta el disparo.

18. Analogía de las RNA y Redes
Biológicas
• Las señales que llegan a la sinapsis son las entradas a la
neurona.
• Dichas señales son ponderadas (atenuadas o
modificadas) a través de un parámetro, denominado
PESO, asociado a la sinapsis correspondiente.
• Las señales pueden excitar a la neurona (sinapsis con
peso positivo) o inhibirla (peso negativo).
• El efecto es la suma de las entradas ponderadas.
• Si la suma es igual o mayor que el umbral de la neurona,
entonces la neurona se activa.
• Cada neurona se activa o no se activa

19. Representación Gráfica

20. Topologías Varias

21. Definiciones,
Características y
Algoritmos de Aprendizaje.

22. ¿Qué es una RNA?
• Es un arreglo masivo de elementos de
procesamiento simple llamados neuronas, los cuales
poseen un alto grado de inter conectividad entre sus
elementos, en los que la información puede fluir en
cascada o en retroceso.
• Estos arreglos están inspirados en la naturaleza
biológica de las neuronas, las cuales intentan
interactuar con los objetos del mundo real del
mismo modo que lo hace el sistema nervioso
biológico.

23. Característica de las RNA
• Aprendizaje Adaptativo.
 Capacidad de aprender tareas basada en un entrenamiento
o una experiencia inicial.
• Auto organización.
 La red crea su propia organización o representación de la
información que recibe mediante una etapa de aprendizaje.
• Tolerancia a fallos.
 La red puede funcionar con información incompleta o
errónea o a pesar de algunos elementos inoperantes.
• Operación en tiempo real.
 La red procesa la información en paralelo y muy rápido
• Operación paralela.

24. Red Perceptrón. Propuesta Original
• En 1943 Warren Mc Culloch/Walter Pitts.-
Originaron el primer modelo de operación
neuronal.
• La característica principal del modelo neuronal
de Warren es que la suma ponderada de las
señales de entrada es comparada con un umbral
para determinar la salida de la neurona. Cuando
la suma es mayor o igual al umbral, la salida es
igual a 1. Cuando la suma es menor que el
umbral, la salida es 0

25. Contribución en 1950 de Frank
Rosenblatt
• Su contribución fue: Una regla de aprendizaje
para entrenar el perceptrón en la solución de
problemas de reconocimiento.
• La regla de aprendizaje simple convergirá a los
pesos correctos de la red si es que existen los
pesos que solucionan dicho problema. La regla
de aprendizaje es simple y automáticamente la
red aprende de sus errores.

26. Características del Perceptrón
• Aprendizaje Supervisado (offline)
• Aprendizaje por corrección de error
• Reconocimiento de patrones sencillos
• Clasificación de patrones linealmente
separables

27. Arquitectura del Perceptrón
• Dos Capas
• 1a Capa compuesta de varias neuronas
• 2a. Capa formada por una sola neurona
• Función de transferencia en escalón .
p1
p2
w1,1
w1,2
n a

b
1

28. El Perceptrón
• Bloque de construcción
básico
• Compuesto por el peso
sináptico y la neurona
• Los Pesos ponderan los
valores de las entradas
• La combinación de los
pesos y la función de
transferencia F(x),
transforma las entradas a la
salida “O” necesaria
• El entrenato es a traves de
los cambios en los pesos
hasta que el lograr la salida
deseada
F(x)
Bias 
I1
I2
In
I3
X
O
W1
W2
W3
Wn
Entradas Pesos
Sinapticos Neurona

29. ¿Qué tipo de problemas resuelve?
• Un hiperplano es un objeto de dimensión n-1
que actúa en un espacio de dimensión n.
En general un perceptron de n entradas puede
ejecutar cualquier función que esté determinada
por un hiperplano que corte un espacio de
dimensión n. ¿Implicaciones?

30. Propuesta de Warren Mc Culloch
y Walter Pitts

31. Regla de Aprendizaje
If t 1 and a 0, then w1
new
w1
old
p+== =
If t 0 and a 1, then w1
n ew
w1
old
p–== =
If t a, then w1
new
w1
old
==

32. Ejemplo 1.
p1 t1{ , } p2 t2{ , }  pQ tQ{ , }  
p1
1
2
= t1 1=
 
 
 
p2
1–
2
= t2 0=
 
 
 
p3
0
1–
= t3 0=
 
 
 

33. Punto de Partida
w1
1.0
0.8–
=
Presentar p1 a la RNA:
a hardlim wT
1 p1  hardlim 1.0 0.8–
1
2 
 
 
= = a hardlim 0.6–  0= =
Inicialización aleatoria de los pesos
Clasificación Incorrecta

34. Regla de Aprendizaje Tentativo
• Conjunto1
w para p1
– No es estable
• Agregar p1
a 1
w
If t 1 and a 0, then w1
new
w1
old
p+== =
w1
new
w1
ol d
p1+ 1.0
0.8–
1
2
+ 2.0
1.2
= = =
Regla Tentativa:

35. Segundo Vector de Entrada
If t 0 and a 1, then w1
new
w1
old
p–== =
a hardlim wT
1 p2  hardlim 2.0 1.2
1–
2 
 
 
= =
a hardlim 0.4  1= = (Clasificación Incorrecta)
Modificación de la Regla:
w1
new
w1
ol d
p2–
2.0
1.2
1–
2
–
3.0
0.8–
= = =

36. Tercer Vector de Entrada
Los patrones están ahora
correctamente clasificados
a hardlim w
T
1 p3  hardlim 3.0 0.8–
0
1– 
 
 
= =
a hardlim 0.8  1= =
(Clasificación Incorrecta)
w1
new
w1
ol d
p3– 3.0
0.8–
0
1–
– 3.0
0.2
= = =
If t a, then w1
new
w1
o ld
.==

37. Contribución de Frank Rosenblatt

38. Unificación de la Regla de
Aprendizaje
e t a–=
w1
new
w1
old
ep+ w1
old
t a– p+= =
b
new
b
old
e+=
El bias es un
PESO con
entrada de 1

39. Perceptrones de Múltiples
Neuronas
wi
new
wi
old
eip+=
bi
new
bi
old
ei+=
Wnew
Wold
epT
+=
b
new
b
old
e+=
Para actualizar la fila i de la matriz de Pesos: Forma Matricial:

40. Ejemplo 2.
W 0.5 1– 0.5–= b 0.5=
Conjunto de Entrenamiento
Pesos Iniciales
p1
1–
1
1–
t1 1= =
 
 
 
 
 
p2
1
1
1–
t2 0= =
 
 
 
 
 

41. Recordando la función de
transferencia se define como:
 


 

contrariolotodo
nsi
nhardlima
0
01
n=Wp+b n

42. Época y Bias
• Se le llama época a cada iteración de la red por el
lote de entradas en la que haya ajuste de variables.
El ajuste de variables se puede hacer después de la
presentación de vectores de entrada individuales o
por lotes.
• La variable  también es llamada elemento de
tendencia o 'bias‘, que es el que mueve el hiperplano
de decisión a lo largo del eje 'x' o ‘y’. A esta variable
se le denomina en muchas ocasiones con el símbolo
‘b’.

43. Algoritmo de entrenamiento del
Perceptrón
repetir
para cada par de los vectores de entrenamiento (x, t)
evaluar la salida ai cuando xi es la entrada al perceptrón
si a  t, entonces
forme un nuevo vector de pesos w’ de acuerdo a...
la ecuación correspondiente
de otra manera,
no haga nada
fin (del si)
fin (del para)
hasta que a = t para todos los vectores.
Los valores de los pesos para este caso están restringidos entre -
1 y 1.

44. ¿Qué pasa si la función que queremos
realizar ahora es la siguiente?
x1
x2
(0,0
)
(1,0)
(1,1)(0,1)
1
0
0
1
¿Esta función sería realizable con un Perceptron, o no?
X1 X2 Y
0 0 0
0 1 1
1 0 1
1 1 0

45. La capacidad de la Regla del
Perceptrón
La regla del Perceptrón siempre
convergirá a los pesos que cumplan
con la clasificación deseada,
asumiendo que tales pesos existan.
NOTA: Recordar que la longitud del vector de
pesos no es importante, lo único
importante es su dirección.

46. Soluciona Problemas linealmente
Separables

47. Incapaz de Resolver Problemas no
linealmente separables

48. Limitaciones del Perceptrón
Simple:
• El Perceptrón básico de dos capas o dimensiones solo
pude establecer dos regiones separadas por una frontera
lineal en el espacio de patrones de entrada, donde se
tendría el hiperplano.
48

49. Solución a problemas no lineales
• Un Perceptrón con tres niveles de neuronas puede
formar cualquier región convexa en este espacio.
• Un Perceptrón con cuatro capas puede generar regiones
de decisión arbitrariamente complejas.
49

50. 50
Clasificación con el Perceptrón
Multicapa

51. ¿Preguntas?
Google es tu mejor amigo 

52. Con un “poco” de ayudita extra para saber si vas por el buen
camino