Redes neuronales de backpropagation

UDES

Noviembre 03 2005 PONENCIA # 1

1

RED NEURONAL BACKPROPAGATION: HERRAMIENTAS GRAFICAS INTERACTIVAS, IMPLEMENTACION COMPUTACIONAL Y APLICACIONES

Juan Fernando Espinosa* Ingeniero de Sistemas Jairo Pertuz Campo** Físico

RESUMEN
En nuestro trabajo analizamos y describimos este método de entrenamiento, conocido como backpropagation (de errores) ó la regla delta generalizada. Setrata simplemente de un método descendente de gradiente, con el cual podemos minimizar el error cuadrático total de la salida calculada por la red. El backpropagation puede entrenar redes multicapas feedforward, con funciones de transferencia diferenciables para ejecutar funciones de aproximación, asociación de patrones, y clasificación de patrones. (Pueden entrenarse también otros tipos de redes,aunque la red multicapa es la más comúnmente usada.) El término backpropagation se refiere al proceso por el cual pueden calcularse las derivadas de error de la red, con respecto a los pesos de la red y biases. Este proceso puede usarse con varias estrategias de optimización diferentes. El proceso de entrenamiento de una red backpropagation involucra tres fases: la feedforward de los patrones deentrenamiento de entrada, el cálculo y la propagación inversa del error asociado, y el ajuste de los pesos. Después del entrenamiento, la aplicación de la red incluye solamente las computaciones de la fase feedforward. Aún si el entrenamiento es bajo, una red entrenada puede producir su salida muy rápidamente. Se han desarrollado numerosas variaciones de backpropagation , con el propósito de mejorarla velocidad del proceso de entrenamiento. Como tratamiento alterno computacional, proponemos el empleo de las herramientas gráficas interactivas, a saber, la interfaz gráfica de usuario (GUI) que acompaña al MATLAB y la herramienta para redes neuronales (nntool), con las cuales hacemos las implementaciones computacionales para las compuertas lógicas AND y XOR. Finalmente, presentamos un bosquejodescriptivo, correspondiente a la operación financiera de créditos en sus
http://matlab.udes.edu.co
http://es.geocities.com/matlab_colombia/diamatlabnov3.html http://www.compelect.com.co/FormularioDiaMATLAB.html

UDES
Palabras claves:

Noviembre 03 2005 PONENCIA # 1

2

diferentes modalidades, en la cual mostramos la presencia de la red feedforward multicapa, las funciones detransferencia, el algoritmo backpropagation y los parámetros de entrenamiento tratados, en lo que atañe al proceso de diseño, entrenamiento y simulación de la red neuronal, con la cual fue posible hacer el proceso de clasificación y obtención de los puntajes, como resultado de la solicitud de los respectivos créditos.

Red neuronal, entradas, pesos, bias, función de transferencia, salidas, sumación,sigmoide, algoritmo de entrenamiento, feedforward, red multicapa, salida deseada, gradiente descendente, entrenamiento por lote, tan-sigmoide, radbas, pesos de la entrada, los pesos de las capas, momentum, mínimo local, backpropagation, GUI, nntool.

I. INTRODUCCIÓN
El Backpropagation fue creado mediante la generalización de la regla de aprendizaje Widrow-Hoff para redes multicapas y las funcionesde transferencia diferenciables no lineales. Los vectores de entrada y los correspondientes vectores deseados se usan para entrenar una red hasta cuando ella pueda aproximar una función, asociando los vectores de entrada con los vectores de salida específicos, ó clasificar los vectores de entrada de una manera apropiada tal como nosotros la definimos. Las redes con biases, una capa sigmoide, yuna capa de salida lineal son competentes para aproximar cualquier función con un número finito de discontinuidades. El backpropagation estándar es un algoritmo de gradiente descendente, como lo es la regla de aprendizaje Widrow-Hoff, en la cual los pesos de la red son movidos a lo largo del negativo del gradiente de la función de ejecución. El término backpropagation se refiere a la manera como...