inTELIGENCIA ARTIFICIAL

Métodos de
Inteligencia Artificial
L. Enrique Sucar (INAOE)
esucar@inaoep.mx
ccc.inaoep.mx/esucar
Tecnologías de Información
UPAEP

Agentes que Aprenden:
Clasificador Bayesiano
•
•
•
•
•
•

Clasificación
Clasificador bayesiano
Clasificador bayesiano simple
Extensiones: TAN y BAN
Mejora estructural
Discretización

Clasificación
• El concepto de clasificación tiene dossignificados:
– No supervisada: dado un conjunto de datos,
establecer clases o agrupaciones (clusters)
– Supervisada: dadas ciertas clases, encontrar
una regla para clasificar una nueva observación
dentro de las clases existentes

© L.E. Sucar: MGP - Básicos

3

Clasificación
• El problema de clasificación (supervisada)
consiste en obtener el valor más probable de una
variable(hipótesis) dados los valores de otras
variables (evidencia, atributos)
ArgH [ Max P(H | E1, E2, ...EN) ]
ArgH [ Max P(H | E) ]
E = {E1, E2, ...EN}
4

Tipos de Clasificadores
• Métodos estadísticos clásicos
– Clasificador bayesiano simple (naive Bayes)
– Descriminadores lineales

• Modelos de dependencias
– Redes bayesianas

• Aprendizaje simbólico
– Árboles de decisión, reglas, …

•Redes neuronales, SVM, …
5

Clasificación
• Consideraciones para un clasificador:
– Exactitud – proporción de clasificaciones
correctas
– Rapidez – tiempo que toma hacer la
clasificación
– Claridad – que tan comprensible es para los
humanos
– Tiempo de aprendizaje – tiempo para obtener o
ajustar el clasificador a partir de datos
6

Regla de Bayes
• La probabilidad posterior sepuede obtener en base
a la regla de Bayes:
P(H | E) = P(H) P(E | H) / P(E)
P(H | E) = P(H) P(E | H) / Σi P(E | Hi ) P(Hi)
• Normalmente no se requiere saber el valor de
probabilidad, solamente el valor más probable de H

7

Regla de Bayes
• Para el caso de 2 clases H:{0, 1}, la regla de
decisión de Bayes es:
H*(E) = 1 si P(H=1 | E) > 1/2
0, de otra forma
• Se puede demostrar que laregla de Bayes es
óptima

8

Valores Equivalentes
• Se puede utilizar cualquier función monotónica
para la clasificación:
ArgH [ Max P(H | E) ]
ArgH [ Max P(H) P(E | H) / P(E) ]
ArgH [ Max P(H) P(E | H) ]
ArgH [ Max log {P(H) P(E | H)} ]
ArgH [ Max ( log P(H) + log P(E | H) ) ]
9

Clasificador bayesiano simple
• Estimar la probabilidad: P(E | H) es complejo, pero se
simplifica sise considera que los atributos son independientes
dada la hipotesis:
P(E1, E2, ...EN | H) = P(E1 | H) P(E2 | H) ... P(EN | H)
• Por lo que la probabilidad de la hipótesis dada la evidencia
puede estimarse como:
P(H | E1, E2, ...EN) = P(H) P(E1 | H) P(E2 | H) ... P(EN | H)
P(E)
• Esto se conoce como el clasificador bayesiano simple
10

Clasificador bayesiano simple
• Como veíamos, no esnecesario calcular el
denominador:
P(H | E1, E2, ...EN) ~
P(H) P(E1 | H) P(E2 | H) ... P(EN | H)
• P(H) se conoce como la probabilidad a priori,
P(Ei | H) es la probabilidad de los atributos dada
la hipótesis (verosimilitud), y P(H | E1, E2, ...EN)
es la probabilidad posterior
11

Ejemplo
• Para el caso del golf, cuál es la acción más
probable (jugar / no-jugar) dado el
ambiente y latemperatura?

12

Ventajas
•
•
•
•
•

Bajo tiempo de clasificación
Bajo tiempo de aprendizaje
Bajos requerimientos de memoria
“Sencillez”
Buenos resultados en muchos dominios

13

Limitaciones
• En muchas ocasiones la suposición de independencia
condicional no es válida
• Para variables continuas, existe el problema de
discretización
• Alternativas – dependencias:
–Estructuras que consideran dependencias
– Mejora estructural del clasificador

• Alternativas – variables continuas:
– Descriminador lineal (variables gaussianas)
– Técnicas de discretización
14

CBS – modelo gráfico
C

A1

A2

…

An

© L.E. Sucar: MGP - Básicos

15

Extensiones
• TAN

Se incorpora algunas
dependencias entre
atributos mediante la
construcción de un...