Teoría de la decisión de bayes

TEMA 2: TÉCNICAS PARAMÉTRICAS
1.
1.1.

Teoría de la decisión de Bayes
Introducción

La teoría de la decisión de Bayes es una herramienta estadística fundamental para resolver problemas de clasificación. Teniendo en cuenta que: ω: Denota el estado de la naturaleza y toma diferentes valores o clases ωj . Como el estado de la naturaleza es impredecible ω es una variable que debe ser descritaprobabilísticamente x: Variable aleatoria cuyo valor depende del estado de la naturaleza P(ωj): Probabilidad de que la hipótesis ωj sea cierta o probabilidad a priori de la hipótesis ωj. Refleja el conocimiento que tenemos sobre las oportunidades de que la hipótesis ωj sea cierta antes de recibir ninguna observación. Si no tenemos ningún conocimiento a priori, se le podría asignar la mismaprobabilidad a todas las hipótesis Un problema típico podría ser el de clasificar frutas ω en función de si son ω1=naranjas o ω2=fresas. Si es la probabilidad de que, al coger al azar una fruta ésta sea de tipo la regla de clasificación más simple es:

Siguiendo con el ejemplo anterior, podríamos medir la característica x como el perímetro de la fruta, sabiendo que la fresa tiene, en general, menorperímetro que la naranja. La regla de clasificación, si definimos P(ωj|x) como la probabilidad de que se cumpla la hipótesis ωj, dado que se ha obtenido el dato x, o probabilidad a posteriori de la hipótesis ωj queda ahora condicionada al valor de la variable x:

En aprendizaje inductivo, estamos interesados en calcular las probabilidades de las hipótesis a posteriori, ya que son las que se obtienentras recibir observaciones o ejemplos de entrenamiento. Supongamos que además conocemos: p(x): Probabilidad de que recibamos la observación x o probabilidad a priori de la observación x. Refleja la probabilidad de recibir la observación x, cuando no tenemos ninguna idea sobre cuál es la hipótesis real p(x| ωj): Probabilidad de observar el dato x, cuando se cumple la hipótesis ωj o probabilidad aposteriori de la observación x Es necesario tener en cuenta que la probabilidad (conjunta) de obtener un elemento con una clase ωj con un valor de característica x es:

Fig. 1: Probabilidad de que encontrado un elemento de la naturaleza con un cierto valor de la característica x éste pertenezca a la clase ωj.

Fig. 2. Densidad de probabilidad a posteriori de las densidades de probabilidadcondicionales de la Fig. 1.

La regla de Bayes para calcular la probabilidad a posteriori puede expresarse como:

donde:

y

es sólo un factor que hace que la probabilidad a posteriori

sume 1. ) como sigue:

A partir del Teorema de Bayes, se puede definir la Regla de Decisión de Bayes (

1.2.

Función de pérdida ) que se aproxime

Un clasificador se considerará bueno si proporcionauna estimación de clase ( a su verdadero valor ( ).

Definamos L( i, j) como la pérdida o coste de asignar una muestra x a la clase verdadera clase es i (i j, i, j = 1, ..., c). Entonces, el coste medio condicional a posteriori o riesgo condicional para cada clase

j

cuando su

i será:

Por tanto, dada una regla de clasificación, , el riesgo condicional se define como:

Asociado acada clasificador se puede calcular el riesgo medio como el valor esperado del riesgo condicional:

La regla de Bayes ( *) será entonces aquella que minimice el riesgo condicional de cada muestra a clasificar, es decir, el clasificador que mejores resultados ofrezca clasificando el mayor número de muestras de forma correcta.

2.

Estimación del Error

Asumiendo que tenemos un conjunto dedatos etiquetado de tamaño Nxn y un clasificador D, la tasa de error será el cociente entre el número de muestras mal clasificadas y el número total de muestras disponibles:

donde Nerror es el número de datos mal clasificados por D. Por otro lado, si por D al objeto
j,

es la clase asignada

el error quedaría como:

donde

es una función que toma el valor 1 si a=b y 0 en caso contrario....