aqua

Guía

Facultad: Ingeniería.
Escuela: Electrónica
Asignatura: Redes Neuronales

Tema: Validación cruzada (cross-validations) y Curvas ROC.
Contenidos
Aplicación de la validación cruzada a una red neuronal perceptrón.
Generación de curvas ROC a partir de los resultados de un clasificador.

Objetivos Específicos
Aplicar la validación cruzada a ejercicios de prácticas anteriores.
Validare intepretar los resultados de un clasificador a través de las curvas ROC.

Materiales y Equipo
No Cantidad
1

1

Descripción
Computadora con sistema operativo Windows 95 o superior y el programa
MATLAB 7.6 (R2008a) o superior.

Introducción Teórica
Para conocer la teoría de la validación cruzada se le pide al estudiante que lea el libro disponible en
la Biblioteca llamado “RedesNeuronales y Sistemas Borrosos” de Bonifacio Martín del Brío y
Alfredo Sanz Molina, 3ª. Edición ampliada y revisada 2007, editorial Alfaomega, páginas 71 a 75.
Se puede evitar el sobreentrenamiento de la red neuronal artificial al detener su aprendizaje en el
momento adecuado.
El procedimiento consistente en entrenar y validar a la vez para detenerse en el punto
óptimo, donde el error degeneralización es mínimo y la red no presenta
sobreaprendizaje, se le denomina validación cruzada (cross validation), y es
ampliamente utilizado en la fase de desarrollo de una red neuronal supervisada (como la
Perceptrón Multi-capa).

1

Guía

Según Haykin (Haykin, 1999) de todo un conjunto de entrenamiento se emplea el 80% de los
patrones para entrenar y se reserva el 20% como un conjuntode test.
Según Baum (Baum, 1989) y Haykin una red de n entradas y h neuronas ocultas, con un total de w
pesos requiere un número de patrones de aprendizaje de p=w/ε para proporcionar un error de
generalización del orden de ε.
Otra forma para evitar el sobreentrenamiento es el limitar el tamaño de la arquitectura de la red,
para ello se pueden usar diversas técnicas como las de compartir pesos(weigth sharing), podado de
la red (pruning) o decaimiento de pesos (weigth decay).

Función crossval de Matlab:
LOSS = CROSSVAL(FUN,X) Calcula 10 veces la validación cruzada para la función FUN,
aplicada a los datos en X. FUN es un manejador de función que se llama 10 veces con dos entradas,
el conjunto de entrenamiento de X y el conjunto de test de X, de la siguiente manera:
TESTLOSS =FUN(XTRAIN,XTEST)
FUN regresa TESTLOSS, el valor perdido calculado en el subconjunto de test usando el modelo
aprendido del conjunto de entrenamiento de X. X puede ser un vector columna o una matriz. Las
filas de X corresponden a las observaciones; las columnas corresponden a las características. Cada
fila de LOSS contiene el valor perdido para un conjunto de prueba. Si TESTLOSS es una matriz oarreglo, entonces se convierte a un vector fila en el orden de los índices lineales para guardarlo en
una fila de LOSS. Las típicas medidas de LOSS incluyen el error cuadrado medio para la regresión,
o las proporciones de mala clasificación para la clasificación.
LOSS = CROSSVAL(FUN,X,Y,...) se usa cuando los datos se almacenan en variables separadas X,
Y, …. Todas las variables (vectorescolumna, matrices o arreglos) deben tener el mismo número de
filas. FUN se llama con los subconjuntos de entrenamiento de X, Y, …, seguido por los
subconjuntos de test de X, Y, …, de la siguiente manera:
TESTLOSS = FUN(XTRAIN,YTRAIN,...,XTEST,YTEST,...) especifique el parámetro opcional
del par nombre/valor seleccionado de los siguientes:
'Kfold'
'Holdout'

'Leaveout'
'Partition'
'Stratify'El número de veces de K para una validación cruzada de K-veces.
La razón o el número de observaciones P para apartarlas. P debe ser un
escalar. Cuando 0 SSE*razon_error
lr = lr * lr_dec;
else

10

Guía

if TSSE
lr =
end
W1=TW1;
A1=TA1;

< SSE
lr * lr_inc;
B1=TB1; W2=TW2; B2=TB2;
A2=TA2; E=TE; SSE=TSSE;

end
red.IW{1,1} = W1; red.b{1} = B1;
red.LW{2,1} = W2; red.b{2} =...