Computacion Emergente

Computacion Emergente I

Página 1 de 8

Clase 3
MODELOS B SICOS DE COMPUTACI N NEURONAL (SEGUNDA PARTE)
� � � � � � � � � � � El ADALINE (Adaptive Linear Element, en Ingl s) Funci n de Costo y Aprendizaje en el ADALINE Comentarios sobre la Regla de Aprendizaje del ADALINE Soluci n Expl cita para la Funci n de Transferencia Lineal Alternativa para la Soluci n Expl cita del ADALINE LinealPesos Sin pticos como Soluci n de un Sistema de Ecuaciones Lineales Convergencia del Descenso de Gradiente como Regla de Entrenamiento Otras Funciones de Costo Unidad Estoc stica de Procesamiento (U. P. Estoc stica) Din mica de la U. P. Estoc stica Regla de Aprendizaje y Optimizaci n del Error

El ADALINE (Adaptive Linear Element, en Ingl s)
Es un dispositivo relacional de una sola capa, que escapaz de “aprender” ciertas correlaciones entrada-salida. Su arquitectura es an loga a la del Perceptr n: difiere s lo en el uso de otras funciones de transferencia. El c mputo que ejecuta el ADALINE es el siguiente:

Al igual que en el Perceptr n,

sr es la salida de la U. P., xi es la componente i-

sima del patr n de entradas y

wri es el peso sin

ptico

correspondiente a la i- simaentrada de la r- sima U. P. En este caso, F(�) es una funci n de transferencia continua y diferenciable (t picamente, una funci n sigmoidea, sigmoidea bipolar o la funci n lineal). Una ventaja de este dispositivo es que permite la definici n de una funci n de costo que mida la calidad de ejecuci n (error). Esta funci n E (W) es diferenciable con respecto a los pesos sin pticos W. De esta forma,puede utilizarse una t cnica de optimizaci n, como el descenso de

gradiente, para mejorar la ejecuci n del dispositivo (minimizar el error). De la aplicaci n del descenso de gradiente se deriva su regla de aprendizaje. En general, se emplea un m todo iterativo que permite determinar un conjunto de pesos sin pticos adecuados de manera progresiva, a partir de pesos iniciales arbitrarios.

Funci nde Costo y Aprendizaje en el ADALINE
T picamente, se emplea como funci n de costo, E(W), la suma de los cuadrados de los errores que comete el dispositivo, sobre todos los patrones de entrenamiento � :

La funci n E(W) es positiva definida y s lo depende de los pesos sin pticos y de los patrones entrada-salida. Esta funci n tiende a cero cuando los pesos se hacen "mejores"; es decir, cuando eldispositivo es capaz de aproximar la relaci n entrada-salida. Dada la funci n de costo E(W) (superficie en el espacio de pesos), se pueden mejorar los pesos sin pticos actualizaci n (cambio) de los pesos que provoque una disminuci n en el costo E(W). Una din mica de este tipo la proporciona el descenso de gradiente:

W, a trav

s de una din mica de

mhtml:file://E:\Respaldos 2010 haciaatras\Computacion Emergente I.mht

28/01/2013

Computacion Emergente I

Página 2 de 8

Por lo tanto,

La regla de aprendizaje resultante corresponde al caso de entrenamiento por lote. Este resultado se puede adaptar a la situaci n de entrenamiento patr n a patr n, escribiendo de nuevo la regla de aprendizaje de la siguiente forma:

donde:

Esta forma es la que se conoce en la literaturacomo regla delta o de Widrow Hoff o regla LMS (de Least Mean Squares, en ingl s). Es de notar la presencia de la derivada de la funci n de transferencia, en contraste a la regla del Perceptr n.

Comentarios sobre la Regla de Aprendizaje del ADALINE
Es f cil ver que el resultado anterior es id ntico a la regla del Perceptr n, en el caso de una funci n de transferencia lineal. No obstante, lasmotivaciones de ambas reglas no son las mismas: en el caso presente se busca minimizar la funci n de costo de funcionamiento del dispositivo, mientras que en el caso anterior se persigue la determinaci n de un hiperplano separador entre dos clases. Adem s, las condiciones para la existencia de soluciones son diferentes en ambos casos: separabilidad lineal frente a independencia lineal. La regla...