Experimentacion con redes neuronales

Ingeniería Informática

Redes Neuronales

Memoria del trabajo de la asignatura 2010-2011
Convocatoria de Enero

Índice

Problema Preproceso Experimentación Conclusiones Bibliografía

2 3 4 9 10

1

Problema El problema planteado consiste en reconocer distintos tipos de terreno a través de fragmentos de imágenes tomadas por el satélite Landsat. En un principio el satélite obtienefragmentos de siete tipos, aunque en las muestras facilitadas solo hay seis clases distintas ya que existen dudas de la validez de la clase restante. Los fragmentos tienen 36 características en rangos de enteros de 0 a 255 y se forman con entornos de 3x3 pixels vecinos, donde el del medio determina la clase del fragmento. Los datos se dan en orden aleatorio, y algunas líneas se omitieron paraimpedir la reconstrucción de la imagen. Al final se generan dos ficheros, el primero de entrenamiento y el segundo para realizar el test y comprobar la eficiencia del sistema de reconocimiento. Cada fichero tiene muestras más que suficientes para la función que tiene asignada, siendo así, se recomienda no utilizar técnicas como validación cruzada a la hora de entrenar y evaluar redes con estos datos.2

Preproceso El primer paso es la preparación de los datos facilitados por el satélite. Para ello hay que aplicarles cierto preproceso, en este caso lo más óptimo es normalizarlos estadísticamente. Dado que nos fueron facilitadas suficientes muestras normalizadas para realizar nuestro experimento pasamos a la siguiente fase. Con los datos facilitados genero los distintos ficheros “.pat”utilizando distintos shell-scripts. Ya que dispongo de dos mil muestras de entrenamiento, uso mil seiscientas para el entrenamiento como tal, mientras que dejo cuatrocientas para la validación. El fichero de test lo genero con las mil muestras que vienen en el mismo normalizado, ya que también es interesante que haya bastantes muestras para comprobar el funcionamiento de la red. Una vez generados yapuedo empezar a pensar en la experimentación, la cual detallaré a continuación. En cuanto al preproceso, lo mejor habría sido emplear todas las muestras tanto para entrenamiento como para test, aplicando algún método como leaving-one-out, pero debido a limitaciones de tiempo, ordenador y recomendación de los proveedores de las muestras, no probé a hacerlo. En otros problemas posiblemente sea másrecomendable, sobretodo si el número de muestras es inferior.

3

Experimentación Antes de empezar con el diseño de redes y demás pasos necesarios, voy a elegir con que programa haré los experimentos. Mientras que el SNNS una vez conocido y sabiéndolo usar es más rápido, al basarse en scripts y potencia del ordenador más que en el manejo del usuario, al haber empleado anteriormente el JavaNNSen prácticas y conociéndolo mejor, me decanto por este último. El primer paso que realizo es encontrar la mejor topología de red para la primera de las tres técnicas que debemos utilizar, esto es, backpropagation con momentum. Para ello, creo diversas redes variando el número de neuronas en la capa oculta, así como el número de capas ocultas, aunque únicamente pruebo con una o dos de las últimas.En este caso en particular pruebo redes con 15, 20, 40 y 45 nodos en la capa oculta, y también, como indiqué, una red con una primera capa de 20 neuronas ocultas y otra de 10. El resto de nodos de la red vienen determinados por el problema. Ya que tenemos 36 características diferenciadas utilizo el mismo número de unidades de entrada, mientras que al tener que clasificar en 6 clases distintasutilizo este número de nodos de la capa de salida. Una vez creadas las redes, seleccionada la técnica y sabiendo que programa voy a emplear empiezo a probar las distintas redes con diversos parámetros de aprendizaje. Un ejemplo son estos resultados que obtengo con un factor de aprendizaje de 0.3, un momentum de 0.1 y valores a 0.0 de c y dmax. Para el aprendizaje:

4

Para la validación:...