Tutorial_NNEP3.0
Páginas: 8 (1869 palabras)
Publicado: 15 de abril de 2013
MASTER EN SISTEMAS INTELIGENTES
NNEP 3.0
César Hervás-Martínez
Grupo de Investigación AYRNA
Departamento de Informática y Análisis
Numérico
Universidad de Córdoba
Campus de Rabanales. Edificio Einstein.
Email: chervas@uco.es
2013
1
1
Software NNEP 3.0
Considere las bases de datos Pima (Diabetes), Glass y “Banking
Crisis” y aplique el clasificador MLP con diferentenúmero de
nodos en la capa oculta (valor por defecto a 3 nodos, 7, 10, 15) y el
diseño experimental dado por 66% de entrenamiento y 33% de test
y 5-fold cross-validation. Apartado a)
PIMA (DIABETES) UTILIZANDO WEKA
Clasificador MLP. Diseño experimental 66% -33%
Nº nodos
CCR
MS
a
0.743
0.675
3
0.755
0.699
7
0,732
0,711
10
0,747
0,699
15
0,7510,651
Mejor combinación de CCR y MS
Algoritmo evolutivo NNEP A) Con la base de datos “Banking
Crisis” utilizando un diseño holdout aplique el algoritmo NNEP
con unidades producto, sigmoides, RBF e Hibridas PU+RBF y
obtenga los resultados correspondientes, analizando las
matrices de confusión y muestre los mejores modelos obtenidos
con cada tipo de red.
ANÁLISIS DE LOS PARÁMETROSUTILIZADOS EN LOS EXPERIMENTOS
SIGUIENTES:
Se trata de un problema con 22 variables de entrada. Hemos trabajado con
una población de 1000 individuos para ser entrenados en el experimento,
compuesto por 100 generaciones (condición de parada), con 4 nodos
mínimo en capa oculta, 5 iniciales y 6 de máximo, posteriormente hemos
probado con 1-2-3 (según función utilizada); entre 1 y 2 neuronas a añadiro
eliminar (mutación estructural), hemos dejado los valores por defecto en la
mutación parametrica, replicando el 10% de los mejores individuos y
pasándolos a la siguiente generación (tan sólo se les aplica mutación
parametrica) y desechando el 10% de los peores. Al 90% restante se le aplica
mutación estructural y parametrica. La otra condición de parada es la de 20
generaciones seguidassin incremento medio en el número de patrones bien
clasificados y el fitness del modelo.
Al ser un algoritmo estocástico hay que
hacer varias ejecuciones
Es un problema de Clasificación
Archivos de entrenamiento y de Generalización
Directorio de salida
Número de cifras decimales significativas
Cada este número de ejecuciones se sacan resultados
Tamaño de la población de modelosde red
Máximo número de generaciones del EP
Criterios de parada del algoritmo
Porcentaje de patrones replicados y
eliminados
Porcentaje de patrones a los que
se aplica mutación paramétrica
Diferencia de valores de aptitud
para que haya cambio
Semilla
Número de variables independientes
Unidades Sigmoides en capa oculta
Número de neuronas mínimo
y máximo de los modelos
de red dela población inicial
Número máximo de neuronas
a lo largo del proceso evolutivo
Capa de salida lineal
Número de neuronas de salida.
Al ser clasificación binaria con una
salida basta al utilizar una
función softmax
Sesgos
Rango de los pesos de capa
de entrada a capa oculta
Rango de los pesos de capa
oculta a capa de salida
Normalización de las variables de entrada y de lavariable de salida
La entrada está entre 0.1 y 0.9 para evitar la saturación de la señal de
la función sigmoide en el 0 y en el 1
La salida está entre 0 y 1 al ser una probabilidad
Exponente de la función de Temperatura
Utilizado en la mutación estructural para
Controlar la severidad de las mutaciones
Numero de neuronas a añadir
o eliminar en la mutación estructural
Porcentaje deenlaces a añadir o
eliminar de capa de entrada a capa
oculta y de capa oculta a capa de
salida en la mutación estructural
Enfriamiento Simulado
∆A ≥ 0
NO
SI
e
∆A
T
>γ
γ ∈ U ( 0 ,1)
NO
Rechazar
SI
Aceptar
Valores de la mutación parametrica
(1 + β )α i (t ),
α i (t + 1) = (1 − β )α i (t ),
α (t )
i
si A( s ) > A( s − 1), ∀s ∈ {t , t −...
NNEP 3.0
César Hervás-Martínez
Grupo de Investigación AYRNA
Departamento de Informática y Análisis
Numérico
Universidad de Córdoba
Campus de Rabanales. Edificio Einstein.
Email: chervas@uco.es
2013
1
1
Software NNEP 3.0
Considere las bases de datos Pima (Diabetes), Glass y “Banking
Crisis” y aplique el clasificador MLP con diferentenúmero de
nodos en la capa oculta (valor por defecto a 3 nodos, 7, 10, 15) y el
diseño experimental dado por 66% de entrenamiento y 33% de test
y 5-fold cross-validation. Apartado a)
PIMA (DIABETES) UTILIZANDO WEKA
Clasificador MLP. Diseño experimental 66% -33%
Nº nodos
CCR
MS
a
0.743
0.675
3
0.755
0.699
7
0,732
0,711
10
0,747
0,699
15
0,7510,651
Mejor combinación de CCR y MS
Algoritmo evolutivo NNEP A) Con la base de datos “Banking
Crisis” utilizando un diseño holdout aplique el algoritmo NNEP
con unidades producto, sigmoides, RBF e Hibridas PU+RBF y
obtenga los resultados correspondientes, analizando las
matrices de confusión y muestre los mejores modelos obtenidos
con cada tipo de red.
ANÁLISIS DE LOS PARÁMETROSUTILIZADOS EN LOS EXPERIMENTOS
SIGUIENTES:
Se trata de un problema con 22 variables de entrada. Hemos trabajado con
una población de 1000 individuos para ser entrenados en el experimento,
compuesto por 100 generaciones (condición de parada), con 4 nodos
mínimo en capa oculta, 5 iniciales y 6 de máximo, posteriormente hemos
probado con 1-2-3 (según función utilizada); entre 1 y 2 neuronas a añadiro
eliminar (mutación estructural), hemos dejado los valores por defecto en la
mutación parametrica, replicando el 10% de los mejores individuos y
pasándolos a la siguiente generación (tan sólo se les aplica mutación
parametrica) y desechando el 10% de los peores. Al 90% restante se le aplica
mutación estructural y parametrica. La otra condición de parada es la de 20
generaciones seguidassin incremento medio en el número de patrones bien
clasificados y el fitness del modelo.
Al ser un algoritmo estocástico hay que
hacer varias ejecuciones
Es un problema de Clasificación
Archivos de entrenamiento y de Generalización
Directorio de salida
Número de cifras decimales significativas
Cada este número de ejecuciones se sacan resultados
Tamaño de la población de modelosde red
Máximo número de generaciones del EP
Criterios de parada del algoritmo
Porcentaje de patrones replicados y
eliminados
Porcentaje de patrones a los que
se aplica mutación paramétrica
Diferencia de valores de aptitud
para que haya cambio
Semilla
Número de variables independientes
Unidades Sigmoides en capa oculta
Número de neuronas mínimo
y máximo de los modelos
de red dela población inicial
Número máximo de neuronas
a lo largo del proceso evolutivo
Capa de salida lineal
Número de neuronas de salida.
Al ser clasificación binaria con una
salida basta al utilizar una
función softmax
Sesgos
Rango de los pesos de capa
de entrada a capa oculta
Rango de los pesos de capa
oculta a capa de salida
Normalización de las variables de entrada y de lavariable de salida
La entrada está entre 0.1 y 0.9 para evitar la saturación de la señal de
la función sigmoide en el 0 y en el 1
La salida está entre 0 y 1 al ser una probabilidad
Exponente de la función de Temperatura
Utilizado en la mutación estructural para
Controlar la severidad de las mutaciones
Numero de neuronas a añadir
o eliminar en la mutación estructural
Porcentaje deenlaces a añadir o
eliminar de capa de entrada a capa
oculta y de capa oculta a capa de
salida en la mutación estructural
Enfriamiento Simulado
∆A ≥ 0
NO
SI
e
∆A
T
>γ
γ ∈ U ( 0 ,1)
NO
Rechazar
SI
Aceptar
Valores de la mutación parametrica
(1 + β )α i (t ),
α i (t + 1) = (1 − β )α i (t ),
α (t )
i
si A( s ) > A( s − 1), ∀s ∈ {t , t −...
Leer documento completo
Regístrate para leer el documento completo.