Validacion de modelos

Evaluación de Modelos
Inteligencia Artificial
Juan Giró 2010

Evaluación de Modelos Los métodos de aprendizaje permiten construir modelos a partir de un conjunto de datos o evidencias. El problema es … ¿Cómo saber si un determinado modelo es válido para cierto propósito?
Inteligencia Artificial 2010 Juan Giró 2

1

Evaluación de Modelos Las técnicas de evaluación dependerán del tipo demodelo, ya que puede tratarse de: • Modelos regresivos, donde se consideran las distancias (errores) entre los datos del conjunto de entrenamiento y de validación. • Modelos de agrupamiento, donde la ausencia de referencias puede complicar su validación.
Inteligencia Artificial 2010 Juan Giró 3

Evaluación de Modelos
(aprendizaje supervisado) H
Algoritmo de aprendizaje

ƒ

S

ModeloEvaluación

ƒ : función objetivo S : muestra de ejemplos de la función objetivo H : espacio de posibles hipótesis
Inteligencia Artificial 2010 Juan Giró 4

2

Evaluación de Modelos Algunas opciones para evaluar la calidad de un modelo son: • Utilizar el conjunto de entrenamiento como referencia (no recomendable). • Evaluar el modelo sobre un conjunto de datos diferente (hay variastécnicas). • Considerar el costo de los errores para procurar una validación más realista.
Inteligencia Artificial 2010 Juan Giró 5

Evaluación de Modelos La utilización del conjunto de entrenamiento como referencia en la evaluación nunca es recomendable porque: • Favorece a los modelos que sobreajustan la evidencia (overfitting). • Pueden brindar resultados erróneos cuando se utilizan otros datos delmismo problema (falta de capacidad de generalización).
Inteligencia Artificial 2010 Juan Giró 6

3

Evaluación de Modelos Una primer alternativa consiste en separar los datos en un conjunto de entrenamiento y otro de validación.
H Se ƒ S Sv
Evaluación Algoritmo de aprendizaje

Modelo

Inteligencia Artificial 2010 Juan Giró

7

Evaluación de Modelos La separación de los datos en dosconjuntos: • Debe realizarse de manera aleatoria. • Puede conducir a resultados erróneos si cierta parte de la muestra solo queda representada en uno de los conjuntos. • Presenta un problema cuando se dispone de poca cantidad de datos.
Inteligencia Artificial 2010 Juan Giró 8

4

Evaluación de Modelos – Validación Cruzada
Algoritmo de aprendizaje

Modelo 1

. . .

Evaluación

nAlgoritmo de aprendizaje Modelo n

Evaluación

Inteligencia Artificial 2010 Juan Giró

9

Evaluación de Modelos – Validación Cruzada

• El modelo final resulta de promediar “n” modelos obtenidos por separado. • Los conjuntos de validación son independientes. • Los conjuntos de entrenamiento no son independientes. • Algunos autores proponen variantes para reducir esta dependencia.Inteligencia Artificial 2010 Juan Giró 10

5

Evaluación de Modelos – Bootstrap • Es indicada para poblaciones de datos pequeñas. • El conjunto de validación se arma retirando datos del conjunto de entrenamiento en forma aleatoria. • En el conjunto de entrenamiento se reemplazan los datos retirados con datos repetidos, también tomados al azar. • El proceso se repite “n” veces, como en la validacióncruzada.
Inteligencia Artificial 2010 Juan Giró 11

Evaluación de Modelos – Costos
Matriz de costos
Real Salida Estimado Salida Internación UTI 0 300 800 Internación 5.000 0 500 UTI 500000 50.000 0 Estimado Salida Internación UTI

Matriz de confusión
Real Salida 71 8 4 Internación 3 7 2 UTI 1 1 3

Costo del clasificador:

Σ Σ Cik.Mik

Inteligencia Artificial 2010 Juan Giró

12

6Sensibilidad y Especificidad (problemas dicotómicos)
Resultados de un modelo y diagnóstico verdadero Diagnóstico verdadero Positivo Resultado del modelo Positivo Negativo VP FN Negativo FP VN

Sensibilidad = FVP = VP / (VP + FN) Especificidad = FVN = VN / (VN + FP) = 1 - FFP
Inteligencia Artificial 2010 Juan Giró 13

Sensibilidad y Especificidad
Sensibilidad = FVP = VP / (VP + FN)...