Redes Adaline

Redes Neuronales Multicapa Con Aprendizaje Supervisado

Red ADALINE
Las redes Adaline fueron desarrolladas por Bernie Widrow en la Universidad de Stanford poco después de que Rosenblatt desarrollara el Perceptrón.
El término Adaline es una sigla; sin embargo, significado ha cambiado ligeramente con el paso de los años. Inicialmente se llamaba ADAptative LInear Neuron (Neurona LinealAdaptativa); pasó a ser el ADAptative LInear Element (Elemento Lineal Adaptativo) cuando las redes cayeron en desgracia al final de los años setenta.
Arquitectura De La Red
La estructura general de la red tipo Adaline puede visualizarse en la Fig. 2.11:

Estructura de una Red ADALINE
En donde:
p: Patrones de entrada
b: Umbrales de activación
a: Salida de la neurona
La salida de la red está dadapor:

(2.8)
Para una red Adaline de una sola neurona con dos entradas el diagrama corresponde a la siguiente figura.

Adaline de una Neurona y dos Entradas
En similitud con el Perceptrón, el límite de la característica de decisión para la red Adaline se presenta cuandon=0 , por lo tanto:
WpT+b=0
(2.9)
En la siguiente figura, se específica la línea que separa en dos regiones el espacio deentrada, como se muestra en la siguiente figura:

Característica de Decisión de una Red Tipo Adaline
La salida de la neurona es mayor que cero en el área gris, en el área blanca la salida es menor que cero. Como se mencionó anteriormente, la red Adaline puede clasificar correctamente patrones linealmente separables en dos categorías.

La arquitectura neuronal mostrada en la Figura anteriortiene una capa de s neuronas conectadas a R entradas a través de una matriz de pesos W.
Esta red es con frecuencia llamada MADALINE o Múltiples ADALINE. A la derecha de la Fig. 2.14 define un vector de salida a de longitud S.
La regla de Widrow – Hoff puede entrenar solamente una capa de redes lineales. Esto no es tanto una desventaja, ya que una red de una sola capa es tan capaz como una red demúltiples capas. Para cada red lineal multicapa, existe una red lineal de una sola capa.
Algoritmo de Aprendizaje
1. Se aplica un patrón de entrada P.
2. Se obtiene la salida del Combinador Lineal Adaptable (ALC) y se calcula la diferencia con respecto a la deseada, es decir, el error.
3. Se actualizan los pesos.
4. Se repiten pasos 1 a 3 con todos los vectores de entrada.
Si el error es unvalor aceptable, detenerse, si no repetir algoritmo.
La regla de aprendizaje de Widrow-Hoff o LMS (Least Mean Square), que utiliza la red Adaline para su entrenamiento, hace posible la realización del paso 3.
Por medio de las siguientes ecuaciones, se realiza la actualización de los parámetros de la red:
Para el vector de pesos W

(2.10)
Para el umbral b

(2.11)
Para el error e

(2.12)
Endonde se conoce como razón o tasa de aprendizaje, tal que, y 0 < a <= 1.
El cálculo de dicho parámetro se realiza mediante una matriz de correlación R:

(2.13)
Los eigenvalores li de la matriz de correlación serán útiles para la determinación del parámetro a, esto es:

(2.14)

La Regla de Aprendizaje LM
Si tenemos un vector de entradas X puede ser muy sencillo determinar el vectorde pesos W que produzcan una salida S. Sin embargo, si se tiene un conjunto de entrada {x1, x2, ..., xL}, a cada uno de los cuales les corresponde una salida correcta dk, con k = 1, ..., L, ya no es tan fácil saber cuáles son los pesos que producirían un mejor resultado; para esto, el Adaline utiliza la regla de mínimos cuadrados, o que minimiza el error cuadrático medio, llamada LMS (Least MeanSquare), o regla delta, porque minimiza la delta o diferencia entre el valor obtenido y el deseado.
Si queremos que el mejor vector de pesos que realice la proyección de los vectores de entrada xk a las salidas deseadas dk, lo que estamos buscando es minimizar el error en la salida. Si denotamos la salida para el k-ésimo vector de entrada con sk, el error es denotado por la ecuación 2.15....