Adaline BackPropagation

E
L
N
LI I V E

T
A
A
T
D
P
A DA
A

IN

E

A

R

N

E

U

R

O

N

CUAL ES LA DIFERENCIA CON EL
PERCEPTRON?
x
1
x
2
x
3

wi1
wi2

Respuesta Lineal
 

wi3
win

x
n

x0

w0i  
 

Bias o Umbral
No esun umbral de disparo
(perceptron) Adiciona un grado
de libertad.

Implementa:
Regla de aprendizaje LMS

OPTIMIZACIÓN DE UNA FUNCIÓN
Cual es la dirección de la
variación mas rápida de
una función?El
Gradiente!
!!
 

E(w)
 
 

 

Apunta en la
dirección en que
la derivada
direccional es
máxima

El objetivo del aprendizaje será
encontrar la configuración de
pesos
que
corresponde
al
mínimo de lafunción de error.

w
Se modifican los pesos siguiendo el
sentido contrario al indicado por el
gradiente del errorTamaño del paso en cada
Descenso por la
iteración
hipersuperficie del erroraproximándose a un

REGLA LMS PARA EL ENTRENAMIENTO
 

Salida de la red neuronal

 
k

 

Patrones de entrenamiento

 

Entradas y salidas de la red

Error cuadrático medio (L → Numero de vectores)

Planteamosla función del error para la red
 

 
i

i

 
Para un peso especifico
µ

 

µ

µ

 

 
Actualización de los pesos

 

µ

µ

µ

COMO DEBE SER EL RITMO DE
APRENDIZAJE?
Las condiciones que debe cumplirα(t) para que el entrenamiento converja:

 

En muchas ocasiones es
suficiente con que α tome
un valor pequeño entre 1
y0

Garantizan que el aprendizaje no se
lleve a cabo ni excesivamente rápido,ni muy lentamente.

Dilema de la plasticidad frente a la
estabilidad:
El sistema debe ser lo suficientemente
estable para recordar los patrones
antiguos, pero suficientemente plástico
como paraaprender los nuevos.

PROCESO
Para cada paso del proceso de iteración:
1) Se aplica un vector de entrada xk, en las entradas del Adaline.
2) Se determina el valor del error cuadrático, empleando el valoractual
del vector de pesos.

 
3) Se calcula una aproximación del gradiente, como aproximación del
error cuadrático medio.

 

 

4) Se actualiza el vector de pesos, empleando la aproximación del...