Pmc, Perceptron Multicapa

Revista Facultad de Ingeniería N.o 38. pp. 146-162. Septiembre, 2006

Generación dinámica de la topología de una red neuronal artificial del tipo perceptron multicapa
Héctor Tabaresa, *, John Branchb, Jaime Valenciaa
Departamento de Ingeniería Eléctrica. Facultad de Ingeniería. Universidad de Antioquia. Apartado Aéreo 1226 Medellín, Colombia. b Escuela de Sistemas. Facultad de Minas.Universidad Nacional de Colombia. Medellín, Colombia
a

(Recibido el 24 de agosto de 2004. Aceptado el 26 de enero de 2006)

Resumen
En este trabajo se aplica un método constructivo aproximado para encontrar arquitecturas de redes neuronales artificiales (RNA) de tipo perceptrón multicapa (PMC). El método se complementa con la técnica de la búsqueda forzada de mejores mínimos locales. El entrenamientode la red se lleva a cabo a través del algoritmo gradiente descendente básico (GDB); se aplican técnicas como la repetición del entrenamiento y la detención temprana (validación cruzada), para mejorar los resultados. El criterio de evaluación se basa en las habilidades de aprendizaje y de generalización de las arquitecturas generadas específicas de un dominio. Se presentan resultadosexperimentales con los cuales se demuestra la efectividad del método propuesto y comparan con las arquitecturas halladas por otros métodos. ---------- Palabras clave: redes neuronales artificiales, perceptron multicapa, topología, arquitectura.

Dynamic topology generation of an artificial neural network of the multilayer perceptron type
Abstract
This paper deals with an approximate constructive method tofind architectures of artificial neuronal network (ANN) of the type Multi-Layer Percetron (MLP) which solves a particular problem. This method is supplemented with the technique of the Forced search of better local minima. The training of the net uses an
* Autor de correspondencia. Teléfono: + 574 + 250 57 57, fax +574 263 82 82, correo electrónico: htabares@udea.edu.co (Héctor Tabares).

146--------------- Universidad de Antioquia

-----------------------------------------------------------------------------------Generación dinámica de la topología de una red neuronal artificial...

algorithm basic descending gradient (BDG). Techniques such as repetition of the training and the early stopping (cross validation) are used to improve the results. The evaluation approach is based not onlyon the learning abilities but also on the generalization of the specific generated architectures of a domain. Experimental results are presented in order to prove the effectiveness of the proposed method. These are compared with architectures found by other methods. ---------- Key words: Artificial Neural Networks, Multi-layer Perceptron, Topology, Architecture.

Revista Facultad de Ingeniería--------------- 147

N.º 38, septiembre de 2006 -----------------------------------------------------------------------------------------------------------------------------Introducción
Con el algoritmo gradiente descendente básico (GDB) [1] la estimación teórica del número exacto de neuronas ocultas en una RNA del tipo PMC para resolver un problema de aproximación en particular es difícil, peroello no significa que no se pueda emplear alguna técnica de optimización numérica [2]. Yau [3] presenta un resumen de las metodologías utilizadas con mayor frecuencia. Así por ejemplo, Ergeziner [4], Coetzee [5], Reyneri [6], Park [7] y Sperduti [8] elaboraron algoritmos para determinar el valor de los pesos utilizando técnicas de optimización no lineal. Otros autores como: Ash [9], Hirose [10],Aylward [11], Tauel [12], han incorporado estructuras de redes neuronales variables durante el proceso de aprendizaje. Ash, por ejemplo, desarrolló un algoritmo con un criterio dinámico para generar la topología. En su propuesta, un nuevo nodo es generado en una capa oculta cuando el error está por debajo de un valor estimado. Hirose adoptó el método de Ash para la creación de un nodo, y lo...