Perceptron Backpropagation

Instituto Politécnico Nacional
Escuela Superior de Cómputo
Laboratorio de Redes Neuronales Artificiales Supervisadas

Practica No. 4
El Perceptrón Multicapa

Objetivo:
El alumno aplicará el algoritmo de Retropropagacion (Backpropagation) para entrenar Perceptrones Multicapa en la solución de problemas relacionados con la aproximación de funciones y la clasificación de patroneslinealmente y no linealmente separables; a través del análisis de programas demostrativos, la programación del algoritmo de retropropagación en un lenguaje visual, la escritura y ejecución de archivos fuente para entrenar redes multicapa, apoyados por la utilería de Matlab, Neural Network Toolbox.

Material y Equipo (por Alumno)
* Matlab ,Vers. 2010 (o superior), Mathworks Inc.
* Neural NetworkToolbox, Ver 6.0; Mathworks Inc.
* Neural Network Design, Martin T. Hagan, Howard B. Demuth y Mark Beale.. PWS Publishing Company, USA, 2002. 665 pgs.
* Manual: "Neural Network, Toolbox 6"; User´s Guide Demouth H., Beale M.; Martin T. Hagan, MATLAB de MATHWORKS, Inc;., 901 pgs.
* Una Computadora Personal; con Procesador Intel Core Duo o superior a 2.5 GHz, 2GB en RAM, Disco Duro de 160GB, Unidad 16x DVD+/-RW, Monitor de 22".

Marco Teórico:
Introducción
En 1986 Rumelhart, Hinton y Williams, basándose en los trabajos de otros investigadores formalizaron un método para que una red neuronal aprendiera la asociación que existe entre los patrones de entrada a la misma y las clases correspondientes, utilizando más niveles de neuronas que los que utilizó Rosenblatt paradesarrollar el Perceptrón.

Este tipo de red neuronal se basa en una regla de aprendizaje que también tiene sus bases en la utilización de la búsqueda de un error mínimo como lo es el LMS aunque su algoritmo es distinto al de la red Adaline.

El entrenamiento de la red Backpropagation, Retropropagación o Propagación hacia atrás como seria la traducción y es mencionada con este nombre en algunostextos, es del tipo supervisada por lo que se necesitan pares de entrada/salida para su aprendizaje. Durante el entrenamiento la entrada se propaga hasta la salida y se calcula el error, este vector de error se transmite hacia atrás partiendo de la capa de salida hasta las de entradas pasando por las neuronas contenidas en la capa intermedias u ocultas. Las neuronas de las capas intermedias recibenparte del error provocado en la salida un porcentaje que depende de su contribución (peso w) a ello.
La importancia de este proceso es que a medida que se entrena la red las neuronas de las capas ocultas se organizan a sí mismas de modo que los diferentes nodos aprendan a reconocer distintas características del espacio total de entradas.

Debido a este principio, en el cual se reparte el error,cada una de las unidades de procesamiento o neuronas obtienen lo que aportan a la salida. Las redes backpropagation tienen una estructura en la cual se tiene una capa de entrada, una capa oculta (que puede ser más de una), y por último una capa de salida. Las neuronas de una capa inferior están cada una de ellas conectadas a cada una de las neuronas de la capa superior, sin que existan conexioneslaterales o hacia atrás o que salten una capa.

Arquitectura Neuronal.
Una red neuronal como la que se muestra en la figura 4.1 tiene una capa de S neuronas en una capa oculta conectadas a R entradas a través de una matriz de pesos W, así como una capa de salida. Esta arquitectura es en sí una red de retropropagación.

Figura 4.1 Arquitectura de la un Perceptron Multicapa

Algoritmo deaprendizaje y entrenamiento.
Funcionamiento:
1. Se aplica un vector de entrada a la red, y se calculan los correspondientes valores de salida.
2. Se comparan las salidas obtenidas con las salidas correctas, y se determina una medida del error.
3. Se determina en qué dirección (+ ó -) debe cambiar cada peso con objeto de reducir el error.
4. Se determina la cantidad en que es...