Algoritmo

Redes neuronales Back Propagation
Enrique Calot
4 de octubre de 2009

1

1.

Introducci´n
o

Una red neuronal de tipo back propagation permite aprender mediante un
conjunto de ejemplo (entrada-salida) comunmente denominado training set. Al
haber aprendido mediante este conjunto, se puede obtener una salida coherente
para una entrada dada.
En la figura 1 se puede observar como seobtiene una salida a partir de la
entrada. La red neuronal en este caso la vemos como una caja negra. En la figura
2 se observa como es internamente una red neuronal, en este caso solo mostramos
dos capas, una de entrada y otra de salida, m´s adelante incorporaremos m´s
a
a
capas intermedias.
Como podemos apreciar, cada neurona de entrada, que posee un valor en el
rango [0;1], pasa ese valora todas las neuronas de salida. Ese valor es multiplicado por el peso wi,j representado en las aristas. El valor de oj es igual al de
una funci´n (denominada de transferencia) aplicada a la sumatoria de todos los
o
productos definidos como zj = wi,j xi para el j de esa neurona de salida.
La informaci´n que almacena el aprendizaje de una red se encuentra en los
o
pesos wi,j y en ning´n ladom´s. Es muy importante comprender esto, ya que
u
a
son los pesos los que hay que ajustar en el proceso de entrenamiento.
En la figura 3 podemos observar el proceso de entrenamiento tomando la
red en forma de caja negra. Vemos que existen dos salidas: la que obtenemos
mediante la red y la deseada. Al comparar ambas podemos observar cuan buena
fue la predicci´n. El objetivo del proceso deentrenamiento es minimizar el error
o
de la predicci´n y para ello, como se mencion´ anteriormente, solo es posible
o
o
modificar los pesos de la red.
El proceso de entrenamiento es iterativo, se inicializa la red con pesos cargados de manera arbitraria como configuraci´n inicial y luego se tiende a modo
ificarlos de la mejor forma posible. Para ellos se utiliza la propagaci´n del error
o
haciaatr´s mediante sus derivadas y es por ello que la red toma el nombre de
a
back propagation. Para el error obtenido se encuentra un vector ∆w que sumado
al vector de pesos w se obtiene una red que arroja un error m´s peque˜o para
a
n
esa entrada.
Como es de esperar, si se corre para la misma entrada este proceso varias
veces, el resultado final ser´ siempre y cuando la configuraci´n de la red loıa,
o
permita, una red con error nulo para ese valor. Ese no es el objetivo, sino lo que
se desea es entrenar a la red con varias entradas y luego ver que sucede cuando
ingresamos alguna que no estaba en el set de datos de entrenamiento. Es por
esta raz´n que no se itera sobre un mismo elemento del conjunto de datos hasta
o
eliminar el error sino que se realiza un acercamiento con unelemento, luego con
otro y as´ hasta recorrer todo el conjunto de datos. A esta recorrida sobre el
ı
conjunto de datos se la suele denominar epoch. El error no ser´ bajo, pero la
a
red se habr´ acercado hacia una zona donde convergen todos los elementos. Al
a
repetir el proceso varias veces, es decir iterar varios epoch, la red comenzar´ a
a
entrenarse.

2

2.

Demostraci´n formal
oAhora procederemos a definir estos conceptos detalladamente.
Llamaremos
x es nuestro vector de entrada, cuyos n elementos denominaremos xi .
o es nuestro vector de salida obtenida (por output, entrada en ingl´s),
e
cuyos m elementos denominaremos oi .
t es nuestro vector de salida deseada (por target, objetivo o blanco en
ingl´s), cuyos m elementos denominaremos ti .
e
w es nuestro vectorpesos (por weight, peso en ingl´s), cuyos n × m ele
ementos denominaremos wi,j . Notemos que es un vector unidimensional
que pertenece a ℜnm y no es una matriz perteneciente a ℜn×m .
wj es el vector de pesos que llegan a un determinado oj .
W s´ es la matriz de pesos, los cuales son los mismos que wi,j pero ahora
ı
s´ estar´n ordenados de manera matricial en ℜn×m .
ı
a
z es un vector...