2. INTRODUCCIÒN
Una de las razones por lo cual los seres humanos y los computadores se
necesitan mutuamente, es la diferencia radical que hay entre ellos. Los
computadores hacen muy bien tareas que nosotros realizamos torpemente y
viceversa. Por ejemplo, los computadores son lógicos y exactos; nosotros no
siempre lo somos. Los computadores pueden almacenar, sin errores,
cantidades impresionantes de toda clase de información; los humanos que
intentan hacer algo similar pertenecen a los archivos Guiness.
Pero los humanos podemos manejar, en escalas que llegan a la genialidad, la
incertidumbre, la ambigüedad, la suposición, e integrar en conclusiones,
información proveniente de diferentes y múltiples fuentes. El sistema biológico
de percepción en un insecto es miles de veces más flexible y poderoso que
cualquier programa de computador por extenso, robusto y poderoso que sea.
Las Redes Neuronales Artificiales, fueron originalmente una simulación
abstracta de los sistemas nerviosos biológicos, formados por un conjunto de
unidades llamadas "neuronas " o "nodos" conectadas unas con otras. Estas
conexiones tienen una gran semejanza con las dendritas y los axones en los
sistemas nerviosos biológicos.
El cerebro es un procesador de información con unas características muy
notables: es capaz de procesar a gran velocidad grandes cantidades de
información procedentes de los sentidos, combinarla o compararla con la
información almacenada y dar respuestas adecuadas incluso en situaciones
nuevas. Logra discernir un susurro en una sala ruidosa, distinguir una cara en
una calle mal iluminada o leer entre líneas en una declaración política; pero lo
más impresionante de todo es su capacidad de aprender a representar la
información necesaria para desarrollar tales habilidades sin instrucciones
explícitas para ello.
Aunque todavía se ignora mucho sobre la forma en que el cerebro aprende a
procesar la información, se han desarrollado modelos que tratan de mimetizar
tales habilidades; es lo que llamamos redes neuronales artificiales ó paradigma
de computación conexionista (otras denominaciones son computación neuronal
y procesamiento distribuido paralelo, P.D.P.). La elaboración de estos modelos
supone en primer lugar la deducción de los rasgos o características esenciales
de las neuronas y sus conexiones, y en segundo lugar la implementación del
modelo en una computadora de forma que se pueda simular. Es obvio decir
que estos modelos son idealizaciones burdas de las auténticas redes
neuronales, en muchos casos de dudosa plausibilidad neurofisiológica, pero
que, sin embargo, no carecen de interés.
3. ARQUITECTURAS DE REDES NEURONALES
Se puede estructurar de diferentes formas:
Según el número de capas
Redes neuronales monocapas, Se corresponde con la red neuronal
más sencilla ya que se tiene una capa de neuronas que proyectan las
entradas a una capa de neuronas de salida donde se realizan diferentes
cálculos.
Redes neuronales multicapa, Es una generalización de la anterior
existiendo un conjunto de capas intermedias entre la entrada y la salida
(capas ocultas). Este tipo de red puede estar total o parcialmente
conectada.
Según el tipo de conexiones
Redes neuronales no recurrentes. En esta red la propagación de las
señales se produce en un sentido solamente, no existiendo la posibilidad
de realimentaciones. Lógicamente estas estructuras no tienen memoria.
Redes neuronales recurrentes. Esta red viene caracterizada por la
existencia de lazos de realimentación. Estos lazos pueden ser entre
neuronas de diferentes capas, neuronas de la misma capa o, más
sencillamente, entre una misma neurona. Esta estructura estudia
principalmente la dinámica de sistemas no lineales.
Según el grado de conexión
Redes neuronales totalmente conectadas. En este caso todas las
neuronas de una capa se encuentran conectadas con las de la capa
siguiente (redes no recurrentes) o con las de la anterior (redes
recurrentes).
Redes parcialmente conectadas. En este caso no se da la conexión
total entre neuronas de diferentes capas
Estas estructuras neuronales se podrían conectar entre sí para dar lugar a
estructuras mayores: estamos en el nivel de la mesoestructura. Esta conexión
se puede llevar a cabo de diferentes formas siendo las más usuales las
estructuras en paralelo y jerárquicas. En la primera estructura se plantea un
“consenso” entre las diferentes redes para obtener la salida mientras que en la
estructura jerárquica existen redes subordinadas a otras que actúan como
elementos centrales en la salida final de la red.
ESTRUCTURA Y FUNCIONAMIENTO
s=f(Σ(wi*i))
Fig.2 Estructura de una red neuronal
La estructura de una neurona artificial es la
siguiente:
En el esquema, 1 2 y 3 son los valores de
entrada de la neurona, y w1, w2, w3 son los
pesos de cada entrada. (3 en este ejemplo, pero
4. puede ser otro número) El valor de salida de la neurona es el sumatorio de
cada valor de entrada multiplicado por su peso correspondiente. La f (de
función) indica que no siempre se emplea el sumatorio directamente, sino que
a veces se “ajusta” el valor para que esté comprendido entre un rango
determinado (por ejemplo, de 0 a 16)
Una neurona artificial tiene dos modos de funcionamiento:
Las neuronas deben ser previamente entrenadas para reconocer patrones.
Esto se hace de la siguiente manera: Se coloca como valores de entrada de la
neurona el patrón a aprender (p.ej. usando la neurona del ejemplo, el patrón 1
1 0) y después se incrementan los pesos de las entradas “utilizadas” (en este
caso la 1 y la 2, que son las que están a 1) y se decrementan los de las no
utilizadas. Los valores de los pesos oscilan generalmente entre -1 y 1, aunque
estos valores pueden ser otros.
La velocidad a la que se ajustan esos pesos varía según el número de
ejemplos con los que se vaya a entrenar a la red. Cuantos más ejemplos se le
vayan a poner a la red, con mayor lentitud debe variar la tasa de aprendizaje.
Puede parecer que cuanto más rápido se ajusten los pesos de las neuronas
más rápido va a aprender a reconocer un determinado patrón, pero esto, que
puede ser cierto a veces para una neurona, generalmente no lo es para una
red neuronal con muchas neuronas. Además, incluso en el caso de una
neurona sola, siempre es mejor poner muchos ejemplos con una tasa de
aprendizaje lenta que no poner unos pocos con una tasa de aprendizaje rápida.
Una vez entrenada la neurona, se utiliza para reconocer ese patrón entre otros.
Ahora basta con presentar un patrón a la neurona, que devolverá un valor
dependiendo del patrón. Entonces, basta con interpretar el resultado; la
neurona habrá reconocido el patrón cuando produzca una salida mayor que
una determinada cantidad, y no lo habrá reconocido cuando la salida sea
menor que esa cantidad.
REDES NEURONALES SUPERVISADAS Y NO SUPERVISADAS
Las redes neuronales se clasifican comúnmente en términos de sus
correspondientes algoritmos o métodos de entrenamiento: redes de pesos
fijos, redes no supervisadas, y redes de entrenamiento supervisado. Para
las redes de pesos fijos no existe ningún tipo de entrenamiento.
Reglas de entrenamiento Supervisado
Las redes de entrenamiento supervisado han sido los modelos de redes más
desarrolladas desde inicios de estos diseños. Los datos para el entrenamiento
están constituidos por varios pares de patrones de entrenamiento de entrada y
de salida. El hecho de conocer la salida implica que el entrenamiento se
beneficia la supervisión de un maestro. Dado un nuevo patrón de
5. entrenamiento, por ejemplo, (m+1)-ésimo, los pesos serán adaptados de la
siguiente forma:
Se puede ver un diagrama esquemático de un sistema de entrenamiento
supervisado en la siguiente figura:
Reglas de entrenamiento No Supervisado
Para los modelos de entrenamiento No Supervisado, el conjunto de datos de
entrenamiento consiste sólo en los patrones de entrada. Por lo tanto, la red es
entrenada sin el beneficio de un maestro. La red aprende a adaptarse basada
en las experiencias recogidas de los patrones de entrenamiento anteriores.
Este es un esquema típico de un sistema "No Supervisado":
Ejemplos típicos son La Regla de Aprendizaje de Hebb, y la Regla de
Aprendizaje Competitiva. Un ejemplo del primero consiste en reforzar el peso
que conecta dos nodos que se excitan simultáneamente.
Como ejemplo de aprendizaje competitivo, si un patrón nuevo se determina que
pertenece a una clase reconocida previamente, entonces la inclusión de este
nuevo patrón a esta clase matizará la representación de la misma. Si el patrón
de la entrada se determinó que no pertenece a ninguna de las clases
reconocidas anteriormente, entonces la estructura y los pesos de la NN serán
ajustados para reconocer la nueva clase.
MODELOS DE REDES NEURONALES
Existe una serie de modelos que aparecen en la mayoría de estudios
académicos y la bibliografía especializada.
Perceptrón:
El Perceptrón dentro del campo de las redes neuronales tiene dos
acepciones. Puede referirse a un tipo de red neuronal artificial
desarrollado por Frank Rosenblatt. Y dentro de la misma teoría de Frank
Rosenblatt. También puede entenderse como la neurona artificial y
unidad básica de inferencia en forma de discriminador lineal, es decir, un
algoritmo capaz de generar un criterio para seleccionar un sub-grupo, de
6. un grupo de componentes más grande. La limitación de este algoritmo
es que si dibujamos en un plot estos elementos, se deben poder separar
con un hiperplano los elementos "deseados" de los "no deseados". El
perceptrón puede utilizarse con otros perceptrones u otro tipo de
neurona artificial, para formar redes neuronales más complicadas.
Adaline:
Generalmente se compone de una sola capa de n neuronas ( por tanto n
valores de salida ) con m entradas con las siguientes características:
Las m entradas representan un vector de entrada que pertenece al
espacio.
Por cada neurona, existe un vector de pesos sinápticos que indican la
fuerza de conexión entre los valores de entrada y la neurona. En la
práctica representan la ponderación de cada entrada sobre la neurona.
Una constante.
La salida de la neurona se representa por la función de activación, que
se define como
Perceptrón multicapa:
El perceptrón multicapa es una red neuronal artificial (RNA) formada por
múltiples capas, esto le permite resolver problemas que no son
linealmente separables, lo cual es la principal limitación del perceptrón
(también llamado perceptrón simple). El perceptrón multicapa puede ser
totalmente o localmente conectado. En el primer caso cada salida de
una neurona de la capa "i" es entrada de todas las neuronas de la capa
"i+1", mientras que en el segundo cada neurona de la capa "i" es
entrada de una serie de neuronas (región) de la capa "i+1".
Memorias asociativas
La memoria asociativa es el almacenamiento y recuperación de
información por asociación con otras informaciones.
Un dispositivo de almacenamiento de información se llama memoria
asociativa si permite recuperar información a partir de conocimiento
parcial de su contenido, sin saber su localización de almacenamiento. A
veces también se le llama memoria de direccionamiento por contenido
Los computadores tradicionales no usan este direccionamiento; se
basan en el conocimiento exacto de la dirección de memoria en la que
se encuentra la información.
7. Sin embargo, se cree que el cerebro humano no actúa así. Si queremos
recordar el nombre de una persona, no nos sirve saber que fue el
nombre número 3274 que aprendimos. Es más útil saber que su nombre
empieza y termina por 'N' y que es un famoso científico inglés. Con esta
información, es casi seguro que recordaremos exitosamente a "Newton".
Las memorias asociativas son una de las redes neuronales artificiales
más importantes con un amplio rango de aplicaciones en áreas tales
como: Memorias de acceso por contenido, identificación de patrones y
control inteligente.
Una memoria asociativa puede almacenar información y recuperarla
cuando sea necesario, es decir, una red retroalimentada, cuya salida se
utiliza repetidamente como una nueva entrada hasta que el proceso
converge. Puede recuperar dicha información basándose en el
conocimiento de parte de ésta (clave). El patrón clave puede ser una
versión con ruido de un patrón memorizado, es decir, que difiere de él en
pocas componentes. La memoria humana recuerda a una persona
aunque vaya vestida de forma diferente o lleve gafas.
Máquina de Boltzmann
Una máquina de Boltzmann es un tipo de red neuronal recurrente
estocástica. El nombre le fue dado por los investigadores Geoffrey
Hinton y Terry Sejnowski. Las máquinas de Boltzmann pueden
considerarse como la contrapartida estocástica y generativa de las redes
de Hopfield. Fueron de los primeros tipos de redes neuronales capaces
de aprender mediante representaciones internas, son capaces de
representar y (con tiempo suficiente) resolver complicados problemas
combinatorios. Sin embargo, debido a una serie de cuestiones que se
abordan más adelante, las máquinas de Boltzmann sin restricciones de
conectividad no han demostrado ser útiles para resolver los problemas
que se dan en la práctica en el aprendizaje o inferencia de las máquinas.
Aun así resultan interesantes en la teoría debido a la localización y a la
naturaleza hebbiana de su algoritmo de entrenamiento, así como por su
paralelismo y por la semejanza de su dinámica a fenómenos físicos
sencillos. Si se limita la conectividad, el aprendizaje puede ser lo
bastante eficaz como para ser útil en la resolución de problemas
prácticos.
En mecánica estadística se denominan distribuciones de Boltzmann y
son utilizadas en funciones de muestreo.
Máquina de Cauchy
Propagación hacia atrás (backpropagation)
La propagación hacia atrás de errores o retropropagación (del inglés
backpropagation) es un algoritmo de aprendizaje supervisado que se
8. usa para entrenar redes neuronales artificiales. El algoritmo emplea un
ciclo propagación – adaptación de dos fases. Una vez que se ha
aplicado un patrón a la entrada de la red como estímulo, este se
propaga desde la primera capa a través de las capas superiores de la
red, hasta generar una salida. La señal de salida se compara con la
salida deseada y se calcula una señal de error para cada una de las
salidas. Las salidas de error se propagan hacia atrás, partiendo de la
capa de salida, hacia todas las neuronas de la capa oculta que
contribuyen directamente a la salida. Sin embargo las neuronas de la
capa oculta solo reciben una fracción de la señal total del error,
basándose aproximadamente en la contribución relativa que haya
aportado cada neurona a la salida original. Este proceso se repite, capa
por capa, hasta que todas las neuronas de la red hayan recibido una
señal de error que describa su contribución relativa al error total. La
importancia de este proceso consiste en que, a medida que se entrena
la red, las neuronas de las capas intermedias se organizan a sí mismas
de tal modo que las distintas neuronas aprenden a reconocer distintas
características del espacio total de entrada. Después del entrenamiento,
cuando se les presente un patrón arbitrario de entrada que contenga
ruido o que esté incompleto, las neuronas de la capa oculta de la red
responderán con una salida activa si la nueva entrada contiene un
patrón que se asemeje a aquella característica que las neuronas
individuales hayan aprendido a reconocer durante su entrenamiento.
Redes de Elman
Redes de Hopfield
Una red de Hopfield es una forma de red neuronal artificial recurrente
inventada por John Hopfield. Las redes de Hopfield se usan como
sistemas de Memoria asociativa con unidades binarias. Están diseñadas
para converger a un mínimo local, pero la convergencia a uno de los
patrones almacenados no está garantizada.
Red de contrapropagación
Redes de neuronas de base radial
Las redes de base radial son un tipo de redes de neuronas artificiales
que calculan la salida de la función en función de la distancia a un punto
denominado centro. Al igual que con los perceptrones multicapa, sirven
como aproximadores universales.
Las redes de base radial tienen sus orígenes a finales de los años 80.
Son redes de tipo multicapa que tienen conexiones hacia delante y que sólo
tienen una capa oculta. Mientras que las neuronas ocultas poseen carácter
9. local, las neuronas de salida realizan una combinación lineal de las
activaciones de las neuronas ocultas.
Este tipo de redes construyen aproximaciones que son
combinaciones lineales de múltiples funciones locales no lineales.
Entre sus aplicaciones se encuentran análisis de series temporales,
procesamiento de imágenes, reconocimiento automático del habla,
diagnósticos médicos, etc.
Redes de neuronas de aprendizaje competitivo
Mapas Autoorganizados (RNA) (Redes de Kohonen)
Un mapa auto-organizado (SOM por sus siglas en inglés) o un mapa
auto-organizado de características (SOFM por sus siglas en inglés) es
un tipo de red neuronal artificial (ANN por sus siglas en inglés), que es
entrenada usando aprendizaje no supervisado para producir una
representación discreta del espacio de las muestras de entrada, llamado
mapa. Los mapas auto-organizados son diferentes de otras redes
neurales artificiales, en el sentido que estos usan una función de
vecindad para preservar las propiedades topológicas del espacio de
entrada.
El objetivo del aprendizaje en los mapas auto-organizados es provocar
que diferentes partes de la red respondan similarmente a ciertos
patrones de la entrada. Esto es parcialmente motivado por el manejo en
partes separadas de la corteza cerebral del cerebro humano de la
información sensorial, como la visual y la auditiva
Crecimiento dinámico de células
Gas Neuronal Creciente
Redes ART (Adaptative Resonance Theory)
ART son las siglas en inglés de Teoría de la Resonancia Adaptativa
(Adaptive Resonance Theory), desarrollada por Stephen Grossberg y
Gail Carpenter. Es un modelo de red neuronal artificial que basa su
funcionamiento en la manera en que el cerebro procesa información y
que describe una serie de modelos de redes neuronales que utilizando
métodos de aprendizaje supervisado y no supervisado abordan
problemas tales como el reconocimiento y la predicción de patrones.
IMPLEMENTACIÓN DE LAS REDES NEURONALES
En la búsqueda de sistemas inteligentes en general, se ha llegado a un
importante desarrollo del software, dentro de esta línea se encuentran algunos
de los neurocomputadores más conocidos. Un neurocomputador es
básicamente un conjunto de procesadores conectados con cierta regularidad
que operan concurrentemente. En la actualidad ya existen un serie de
10. neurocomputadores comerciales destinados a la realización de redes
neuronales. Por otro lado la realización de RNA puede llevarse a cabo por
medio de uno o varios circuitos integrados específicos, para así poder obtener
una estructura que se comporte lo más similar posible a como lo haría una red
neuronal. Otra tecnología que podría ser apropiada en la implementación de las
redes neuronales es la tecnología electroóptica, con la ventaje de utilizar
la luz como medio detransporte de la información, permitiendo la transmición,
masiva de datos.
Realización de Redes Neuronales:
La realización más simple e inmediata consiste en simular la red sobre un
ordenador convencional mediante un software específico. Es un procedimiento
rápido, economico, e instituible, pero su mayor desventaja radica en el hecho
de que se intentan simular redes con un alto grado de paralelismo sobre
máquinas que ejecuten secuencialmente las operaciones. Valores intrínsecos
de las redes neuronales no pueden obtenerse de esta forma.
Otro método es la realización de redes neuronales a través de arquitecturas
orientadas a la ejecución de procesos con un alto de paralelismo, tales como
redes de transputers, arquitecturas sistólicas, etc. Este método es una
optimización del anterior, ya que el acelera el proceso, permitiendo una
respuesta en tiempo real, pero el comportamiento real de la red sigue siendo
simulado por una estructura ajena a la estructura intrínseca de una red
neuronal.
Una tercera aproximación radicalmente distinta es la realización de redes
neuronales mediante su implementación por uno o varios circuitos integrados
específicos. Son los llamados chips neuronales. Las neuronas y las conexiones
se emulan con dispositivos específicos, de forma que la estructura del circuito
integrado refleja la arquitectura de la red. Se consigue de esta forma
realizaciones que funcionan a alta velocidad, pero a costa de una pérdida
notable de velocidad.
Herramientas software de desarrollo:
La comercialización de productos software es la forma más extendida para
simular redes neuronales, debido a las ventajas citadas anteriormente. La
diferencia entre los distintos productos software radica en aspectos tales como
el tipo y el número de arquitecturas de red que soporta, velocidad de
procesamiento, iinterfaz gráfica, exportación de codigo C para el desarrollo
automático de aplicaciones, etc.
Algunos de los productos comerciales son: ANSim (DOS), ExpertNet
(DOS, Windows), Neuralesk (Windows), Neuralworks Pro II/Plus (DOS,
OS/2, UNIX, VMS)
Neurocomputadores de propósito especial y de propósito general: Como se dijo
anteriormente un neurocomputador es básicamente un conjunto de
procesadores conectados con cierta regularidad que operan concurrentemente.
11. Los de propósito general deben ser capaces de emular un gran número de
modelos de red neuronal.
Los de propósito especial han sido diseñados para implementar un modelo
específico de red neuronal.
Implementación microelectronica (VLSI):
En general si la red ha estado previamente simulada y su configuración de
conexiones perfectamente determinada, se busca la implementación sobre un
circuito de conexiones fijas. La presentación del panorama que actualmente
existe en el ámbito de la implementación VLSI de redes neuronales resulta
complicada por la gran cantidad de aportaciones existentes, tanto en
soluciones analógicas como digitales y con la alternativa de matriz de neuronas
o de sinapsis.
