Perceptron multicapa

Perceptron Multicapa
Tabla de contenidos:
1. Introducción
2. Algoritmo de Backpropagation
3. Razón de Aprendizaje y Momento
4. Algoritmos de Segundo Orden
5. Pruning
Objetivos:
Al finalizar el estudio de esta unidad el estudiante será capaz de:
 Describir el funcionamiento del Perceptron Multicapa
 Realizar el entrenamiento del Perceptron Multicapa
 Emplear el Perceptron Multicapapara realizar tareas de clasificación
 Identificar diferentes reglas de aprendizaje para el Perceptron Multicapa
 Elegir la topología del Perceptron Multicapa
 Enunciar diferentes formas de obtener la razón de aprendizaje
Lecturas:
 Haykin, S., Neural Networks: A comprehensive foundation, páginas 138 – 157, 169 -181, 215 - 217.
 Kung, S. Y., Digital Neural Networks, páginas 152 - 168.1. Introducción
Uno de los modelos más importantes de las redes neuronales artificiales es el conocido como Perceptron Multicapa (o Multinivel). Ésta es del tipo supervisado, feedforward. Probablemente sea una de las redes más estudiadas, con un amplio rango de aplicaciones exitosas. Está constituida por una o varias capas de neuronas ocultas, entre los elementos de entrada y de salida,figura 4.1.
El Perceptron Multicapa (PM) permite establecer regiones de decisión mucho más complejas que los dos semiplanos generados por el Perceptron. Se ha comentado en la unidad anterior que el Perceptron de dos capas (la de entrada con neuronas lineales y la de salida con función de activación de tipo escalón) sólo puede establecer dos regiones separadas por una frontera lineal en el espacio deobservación. Esto en comparación con un Perceptron Multicapa con tres niveles de neuronas, el cual puede delimitar cualquier región convexa en ese espacio. Las regiones convexas se forman mediante la intersección entre las zonas generadas por cada neurona de la capa oculta. Cada uno de estos elementos se comporta como un Perceptron simple activándose su salida para los patrones de un lado delhiperplano. La región de decisión resultante de la intersección serán regiones convexas con un número de lados a lo sumo igual al número de neuronas de la segunda capa.
Ante la importancia que los nodos de la capa oculta representan para formar las regiones de decisión cabe preguntarse ¿cuántos nodos y capas ocultas requiere el Perceptron Multicapa para realizar una tarea dada? Esta pregunta nocuentan con una respuesta teórica ampliamente aceptada por la comunidad científica, más bien se han empleado procedimientos heurísticos que han generado algunas reglas de oro cuyo éxito es relativo y depende de la tarea a realizar.
En general, el número de neuronas ocultas debe ser lo suficientemente grande para generar una región lo bastante compleja que dé solución a la tarea. Por otro lado, no esconveniente contar con una cantidad de nodos grande que genere una estimación de los pesos poco fiable, si el conjunto de patrones de entrada disponible no es suficiente. Kanellopoulus et al (1997), proponen que el número de nodos en la primera capa oculta debe ser igual al máximo valor que resulte de estimar entre 2 y 4 veces la cantidad de nodos en la capa de entrada, o 2 y 3 veces el número denodos de la capa de salida.
Con relación al número de capas ocultas se mencionó que un Perceptron Multicapa con tres niveles puede delimitar cualquier región convexa en el espacio de observación, lo cual es superado por uno con cuatro capas que puede formar regiones de decisión arbitrariamente complejas. Desde el punto de vista geométrico, la delimitación del espacio de observación en clasesconsiste en fraccionar la región deseada en pequeños hipercubos (cuadrados para dos entradas en la red). Cada hipercubo requiere 2N neuronas en la segunda capa -una por cada lado, siendo N el número de entradas a la red-, y otra en la tercera que lleva a cabo la unificación de las salidas de los nodos del nivel previo. La respuesta de los elementos del tercer nivel se activará sólo para los patrones...