Robotica

Aprendizaje Bayesiano
Oscar Javier Prieto Izquierdo Raúl Casillas Díaz

Contenidos
• • • • • • • • • Introducción. Teorema de Bayes. MAP (Maximum a posteriori). Aprendizaje MAP. Clasificador bayesiano óptimo. Aprendizaje bayesiano naive. Ejemplo. Clasificación de textos. Conclusiones generales.

Razonamiento bayesiano
• Nos da un enfoque probabilístico de la inferencia. • Está basado enasumir que las incógnitas de interés siguen distribuciones probabilísticas. • Se puede conseguir una solución óptima por medio de estas distribuciones y datos observados. • Nos da la posibilidad de realizar una ponderación de la posibilidad de ocurrencia de una hipótesis de manera cuantitativa.

Importancia del razonamiento bayesiano
• Los algoritmos de aprendizaje bayesiano pueden calcularprobabilidades explícitas para cada hipótesis. • También nos proporcionan un marco para estudiar otros algoritmos de aprendizaje.

Aprendizaje bayesiano
• El aprendizaje se puede ver como el proceso de encontrar la hipótesis más probable, dado un conjunto de ejemplos de entrenamiento D y un conocimiento a priori sobre la probabilidad de cada hipótesis.

Características (I)
• Cada ejemplo deentrenamiento afecta a la probabilidad de las hipótesis. Esto es más efectivo que descartar directamente las hipótesis incompatibles. • Se puede incluir conocimiento a priori: probabilidad de cada hipótesis; y la distribución de probabilidades de los ejemplos. • Es sencillo asociar un porcentaje de confianza a las predicciones, y combinar predicciones en base a su confianza.

Características(II)
• Una nueva instancia es clasificada como función de la predicción de múltiples hipótesis, ponderadas por sus probabilidades. • Incluso en algunos casos en los que el uso de estos métodos se ha mostrado imposible, pueden darnos una aproximación de la solución óptima.

Dificultades
• Necesidad de un conocimiento a priori. Si no se tiene este conocimiento estas probabilidades han de serestimadas. • Coste computacional alto. En el caso general es lineal con el número de hipótesis candidatas.

Teorema de Bayes
P ( D | h) P ( h) P(h | D) = P( D)
Donde: - P(h) es la probabilidad a priori de la hipótesis h. - P(D) es la probabilidad de observar el conjunto de entrenamiento D. - P(D|h) es la probabilidad de observar el conjunto de entrenamiento D en un universo donde se verifica lahipótesis h. - P(h|D) es la probabilidad a posteriori de h, cuando se ha observado el conjunto de entrenamiento D.

Selección de hipótesis (I)
• Máximo a posteriori (MAP):
– Se denomina así a la hipótesis más probable aplicando el teorema de Bayes. hMAP ≡ arg max P(h | D)
h∈H

P ( D | h) P ( h) = arg max P( D) h∈H = arg max P ( D | h) P (h)
h∈H

Selección de hipótesis (II)
• En algunoscasos la multiplicación por P(h) no tiene sentido ya que las hipótesis son equiprobables:

hML ≡ arg max P( D | h)
h∈H

• A este resultado se le denomina máxima verosimilitud (maximum likelihood).

Ejemplo
• ¿Un paciente está enfermo?
Un test de laboratorio ha dado positivo. Cuando el paciente está enfermo el test lo detecta en un 98% de los casos. Si el paciente no tiene cáncer, eltest da un 3% de falsos positivos. Sólo el 0,8% de las personas están enfermas. P(enfermo) P(+|enfermo) P(+|¬enfermo) = 0.008 P(¬enfermo) = 0.98 P(-|enfermo) = 0.03 P(-|¬enfermo) = 0.992 = 0.02 = 0.97

•

Aplicando MAP para ¬enfermo en caso de que de test positivo
P(+|enfermo)P(enfermo) = 0.98 * 0.008 = 0.0078 P(+|¬enfermo)P(¬enfermo) = 0.03 * 0.992 = 0.0298 normalizando:

P(enfermo | +) =0.0078 = 0.21 0.0078 + 0.0298

Aprendizaje de hipótesis por fuerza bruta (I)
• Dado un conjunto de ejemplos D y un espacio de hipótesis H. 1. Para cada hipótesis h perteneciente a H se computa: P ( D | h) P ( h)
P(h | D) = P( D)

2. Se devuelve la hipótesis con la máxima probabilidad a posteriori.

hMAP = arg max P (h | d )
h∈H

Aprendizaje de conceptos (I)
• Supongamos el...