PracticaRN

Práctica: Introducción a las Redes Neuronales

En esta práctica utilizaremos el toolbox de neuronales que viene incorporado en la instalación de MATLAB (Neural Network Toolbox).


1.1 Aprendiendo la función XOR
Para comprender mejor las redes neuronales vamos a ver un ejemplo que resuelve la
función XOR:



Necesitamos una red neuronal con dos neuronas de entrada y una de salida. Como lafunción XOR no es un problema separable linealmente, intentaremos resolver el problema con una capa oculta en la que colocaremos dos neuronas.

El modelo de neurona que utiliza matlab, existen dos posibilidades con o sin bias:



Existen diferentes funciones de activación de las neuronas:



De tal forma que el modelo de red neuronal que utiliza matlab es el siguiente:



Para crear la red utilizaremosla función newff (fed-forward). Es una red que se propaga hacia-adelante.

>> help newff
>> net = newff([0 1; 0 1],[2 1],{'logsig','logsig'})


Como parámetros necesita el rango de valores de las neuronas de entrada ([0 1; 0 1]), el número de celdas en la capa oculta y en la de salida ([2 1]) y la función de activación de cada capa ({‘logsig’,’logsig’})




Vamos a ver cómo es de “buena” la redsin entrenar. Necesitamos una matriz con las entradas. Las entradas de la red son las columnas de la matriz. Si queremos una matriz con las entradas: “1 1”, “1 0”, “0 1” y “0 0” debemos escribir. Los vectores de entrada a la red deben ser vectores columna, por tanto hacemos una matriz con los 4 vectores de entrada:

>> input = [1 1 0 0; 1 0 1 0]

Veamos qué salidas obtenemos si le damos estaentrada a la red:

>> output=sim(net,input)

output = 0.3394 0.0659 0.0769 0.1025

La función sim se utiliza para simular la red y así calcular las salidas. La salida no es muy buena. Lo deseable era (0 1 1 0) y nos hemos encontrado con (0.3394 0.0659 0.0769 0.1025). Esto es así porque los pesos se han inicializado aleatoriamente y la red no ha sido entrenada (seguramente que cuando lo ejecutes túsaldrán otros valores).

El objetivo de esta red es ser capaz de producir:

>> target = [0 1 1 0]

Con el comando plot podemos ver el objetivo y lo que hemos conseguido hasta el momento:

>>
>> hold on
>> plot(output, '+r')



Objetivo (círculos en azul) y solución obtenida sin entrenar la red (+ en verde)

Parece que con los pesos que tiene la red sin entrenar no se obtiene una buena solución.Veamos los pesos que hay entre la capa de entrada y la capa oculta (Se guardan en IW, input weights):

>> net.IW{1,1}






Podríamos cambiar cualquier peso de la red:
>> net.IW{1,1}(1,2)=5;
>> net.IW{1,1}
ans =
7.7055 5.0000
-7.9089 -0.4123
Los pesos entre la capa oculta y la capa de salida se almacenan en LW (Layer Weight):

>> net.LW{2,1}

Así la red con todos los pesos sería (incluyendo elcambio realizado):




Hemos cambiado un peso, así que podemos volver a evaluar la red:

>> output=sim(net,input)
output =
0.6645 0.0659 0.0846 0.1025
>> plot(output,'g*')

.
Podríamos pasarnos horas modificando los pesos tratando de acercarlos a la solución (prueba a hacer un par de cambios). Pero parece más sencillo dejar que los pesos se calculen automáticamente. Para ello tenemos que entrenar lared.

Para entrenar la red tenemos que utilizar la función train:
>> net = train(net,input,target);

Aparece un gráfico en el que vemos la evolución del entrenamiento. El objetivo a alcanzar es bajar de un gradiente de 1E-10 (por defecto). Vemos también que el número de iteraciones máximo, por defecto, es 100.
Como hay pocos ejemplos el entrenamiento es muy rápido. Veamos si hemos aprendidobien

>> output = sim(net,input)
output =
0.0000 1.0000 1.0000 0.0000

Y ahora vamos a ver los pesos que se han calculado en el entrenamiento:

>> net.IW{1,1}
ans =
9.2325 -11.5070
-12.0289 13.7543
>> net.LW{2,1}
ans =
27.6393 30.3009

1.2 Ejercicio
Haz tú una red que resuelva la función ((A OR B) AND (NOT(C) OR A))
Modifica la estructura de la red, y anota en una tabla comparativa los siguientes...