Aprendizaje De Categorias Linealmente Inseparables, Con Unidades Ocultas.

IGNACIO ENGEL.C
Aprendizaje de categorías linealmente inseparables con redes con unidades ocultas

Introducción

El aprendizaje de categorías linealmente inseparables constituyó todo un reto para las redes neuronales que no fue superado hasta 1985. Un caso muy sencillo y conocido es el problema del o exclusivo (OEX). Por ejemplo, supongamos que queremos que un sistema aprenda a cruzar lacalle a partir de la información que aportan los semáforos. Los semáforos tienen dos partes: el semáforo para automóviles y el semáforo peatonal. Nuestro sistema sólo puede observar uno de los dos semáforos en cada ensayo. Ambos semáforos pueden presentar los colores rojo y verde. El semáforo para automóviles es circular y el semáforo peatonal es cuadrado. El sistema debe aprender a ejecutar larespuesta de cruzar en función de la forma (circular o cuadrada) y el color (rojo o verde) del semáforo. Si atendemos al color, vemos que el rojo indica que no se puede cruzar cuando se trata del semáforo cuadrado (peatonal). Sin embargo, el mismo color indica que se puede cruzar cuando se trata del semáforo circular. De este modo, la relación entre rojo y cruzar cambia drásticamente en función delcontexto en el que aparece. El contexto, por su parte, consiste en el resto de propiedades que presenta el estímulo (la forma cuadrada o circular).
Supongamos que la forma y el color del semáforo son procesados por dos unidades de entrada diferentes. La primera adopta el valor de activación 1 si el semáforo es cuadrado, y 0 si es circular. La segunda adopta el valor 1 si el color que toma es rojo,y 0 si es verde. Entonces tendríamos que, para cruzar la calle, o bien sólo la primera unidad debe tener un valor de activación de 1, o bien sólo la segunda unidad debe tener este valor de activación. Esta es la razón por la que el problema recibe el nombre de o exclusivo.

Objetivo de la simulación

El objetivo de la simulación es comprobar que, para aprender a resolver el problema delsemáforo, es necesario incluir una capa de unidades ocultas y aplicar la regla de la retropropagación del error. Al mismo tiempo, la simulación servirá para comprobar que las redes con unidades ocultas no sólo aprenden a clasificar, sino que aprenden a representar los objetos de acuerdo con criterios que escapan a lo que puede ser representado en la capa de unidades de entrada. Por último, podremoscomprobar que la evolución que sigue la red a lo largo de su aprendizaje presenta patrones de cambio que recuerdan a los cambios cualitativos que constituyen el objeto de estudio de los psicólogos evolutivos.

Procedimiento

Diseñar una red neuronal con dos unidades en la capa input conectadas a una unidad sigmoide en la capa de salida. La unidad de salida ha de conectarse a la unidad de sesgo.Programar los patrones de entrenamiento correspondientes al problema del semáforo. El objetivo es comprobar si la red aprende a resolver el problema sin unidades ocultas. Posteriormente, se incluirán dos unidades ocultas sigmoides conectadas a las dos unidades input y a la unidad de salida. Se eliminarán las conexiones directas entre las unidades input y la unidad de salida. Las dos unidades ocultasse conectarán igualmente con la unidad de sesgo. Al introducir las unidades ocultas hay que añadir una línea en el fichero de configuración donde se especifique: selected = 1-2. Esta línea se incluirá en la sección SPECIAL. Salvo que se indique lo contrario, todas las simulaciones se realizarán especificando las siguientes opciones de entrenamiento: número de ensayos = 4000; Train randomly; Seedwith 5; quitar la marca de la casilla With replacement; tasa de aprendizaje = 0.3; Momentum = 0.9; marcar la casilla Dump weights every y escribir 500 en la ventana de al lado.

Tareas a realizar

1. Representar en una gráfica de dos dimensiones la distribución de los estímulos en el espacio de input y comprobar si se pueden separar mediante una línea recta los que pertenencen a una...