Adaline

ADALINE
El ADALINE fu´ la primera red neural linear (Widrof & Hoff, 1960). e El nombre significa ADAptive LINear Element, y fu´ desarrollada como un circuito e electr´nico adaptivo para uso en telefon´ mucho antes de que se concibiera el t´rmino “red o ıa e neural.”

La funci´n computada por un ADALINE es increiblemente sencilla: o o(x) = w · x + Φ

18

Intro. Redes Neurales, c Leo Mauro,2004

Minimizaci´n de Errores o
El ADALINE se entrena por medio de un proceso de minimizaci´n de errores que garantiza o la convergencia a una soluci´n. o La funci´n de error mas frecuentemente usada es el “error cuadr´tico.” o a Definimos D como el conjunto de entrenamiento, constituido por pares (x, y). El error cuadr´tico cometido por el ADALINE para el conjunto D es: a 1 E(D) = (y − o(x))2 2(x,y)∈D = = 1 (y − w · x − Φ)2 2 (x,y)∈D 1 (y − W · X)2 2 (x,y)∈D

donde W = w, Φ es el vector de “pesos aumentados” y X = x, 1 . La forma de la funci´n de error cuadr´tico es un paraboloide multidimensional. o a

25 20 15

E[w]

10 5 0 2 1 -2 0 1 -1 w0 2 3 w1 -1 0

19

Intro. Redes Neurales, c Leo Mauro, 2004

Descenso por Gradiente
El gradiente del error E(D) con respecto a los“pesos aumentados” W es: E[W ] ≡ ∂E ∂E ∂E ∂E ∂E ≡ , ,··· , ∂Wi ∂w0 ∂w1 ∂wn ∂Φ

Para descender por el gradiente hasta el m´ ınimo error basta con modificar W en la o n n direcci´n del gradiente, avanzando en peque˜ os pasos de tama˜ o η: ∆W = −η E[W ] El gradiente para cada peso es: ∂E ∂ 1 = (y − o(x))2 ∂Wi ∂Wi 2 (x,y)∈D = = =
(x,y)∈D

1 ∂ (y − o(x))2 2 (x,y)∈D ∂Wi 1 ∂ (y − o(x)) 2(y − o(x)) 2(x,y)∈D ∂Wi (y − o(x)) ∂ (y − W · X) ∂Wi

=
(x,y)∈D

(y − o(x)) (−xi )

∂E = − (y − o(x)) xi ∂Wi (x,y)∈D Resumiendo: ∆W = η
(x,y)∈D

(y − o(x)) X

20

Intro. Redes Neurales, c Leo Mauro, 2004

Regla de Entrenamiento
El ADALINE, al igual que el Perceptr´n, se entrena por medio de la “Regla Delta”: o • Inicializar los wi en valores aleatorios peque˜ os. n • Repetir – Inicializar elerror E en cero. – Para cada wi inicializar ∆wi en cero. – Para cada (x, y) ∈ D: ∗ Computar δ = y − o(x) ∗ Actualizar E ← E + δ 2 ∗ Para cada wi actualizar ∆wi ← ∆wi + η δ xi – Para cada wi actualizar wi ← wi + ∆wi • hasta que el error E sea suficientemente peque˜ o. n El algoritmo anterior actualiza los wi al final de cada ´poca en vez de cont´ e ınuamente con cada presentaci´n de los vectores deentrenamiento. o A esta forma de actualizar los pesos se le denomina “actualizaci´n en lotes” (“batch o update”). Cuando los pesos se actualizan con cada presentaci´n estamos realizando “actualizaci´n o o cont´ ınua” (“continuous update”). Ambos m´todos funcionan en la pr´ctica, pero solo el primero puede demostrarse e a matem´ticamente que garantiza la convergencia del algoritmo. a La actualizaci´ncont´ o ınua puede presentar inestabilidades a menos que se usen valores de η muy peque˜ os (que causan una convergencia mas lenta). n Sin embargo, la actualizaci´n cont´ o ınua es algo menos propensa a quedar “atrapada” en m´ ınimos locales de la funci´n de error. o

21

Intro. Redes Neurales, c Leo Mauro, 2004

Ejemplo de Entrenamiento
x1 1 1 2 2
1: 2: 3: 4: 5: 6: 7: 8: 9: 10: 11: 12:13: 14: 15: 16: 17: 18: 19: 20: 21: 22: 23: 24: 25: 26: 27: 28: 29: 30: 31: 32: 33: 34: ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( 0.10, 0.17, 0.17, 0.18, 0.19, 0.20, 0.20, 0.21, 0.22, 0.22, 0.23, 0.24, 0.24, 0.25, 0.26, 0.26, 0.27, 0.28, 0.28, 0.29, 0.29, 0.30, 0.31, 0.31, 0.32, 0.33, 0.33, 0.34, 0.34, 0.35, 0.35, 0.36, 0.37, 0.37, 0.10, 0.10) 0.17, 0.12) 0.17, 0.09) 0.18,0.07) 0.19, 0.05) 0.20, 0.02) 0.20, 0.00) 0.21,-0.02) 0.22,-0.04) 0.22,-0.06) 0.23,-0.08) 0.24,-0.11) 0.24,-0.13) 0.25,-0.15) 0.26,-0.17) 0.26,-0.19) 0.27,-0.21) 0.28,-0.23) 0.28,-0.25) 0.29,-0.27) 0.29,-0.29) 0.30,-0.31) 0.31,-0.33) 0.31,-0.35) 0.32,-0.36) 0.33,-0.38) 0.33,-0.40) 0.34,-0.42) 0.34,-0.44) 0.35,-0.46) 0.35,-0.47) 0.36,-0.49) 0.37,-0.51) 0.37,-0.53) = = = = = = = = = = = = = = =...