Estimadores De Bayes

Chapter 10

Estimadores de Bayes
10.1 Enfoque Bayesiano del problema de la estimaci´n puntual o

Consideremos nuevamente un problema estad´ ıstico de estimaci´n param´trico. o e Se observa un vector X = (X1 , ..., Xn ) (que puede ser por ejemplo aunque no necesariamente una muestra aleatoria de cierta destribuci´n) con densidad o discreta o continua en la familia f (x, θ), con θ = (θ1 , ...,θk ) ∈ Θ ⊂ IRk . El enfoque llamadado frecuentista que hemos estudiado no supone ning´n u conocimiento previo de θ. El enfoque bayesiano por lo contrario supone que se tiene alguna informaci´n previa sobre θ. Esta informaci´n est´ expresada o o a por medio de una distribuci´n sobre θ, denominada distribuci´n a priori. o o Aqui supondremos que esta distribuci´n a priori tiene una densidad γ(θ). oEst´ distribuci´n a priori puede tener distintas interpretaciones seg´n el a o u problema. Se pueden dar las siguientes alternatvas • La distribuci´n a priori est´ basadas en experiencias previas similares. o a • La distribuci´n a priori expresa una creencia subjetiva. o El hecho de que el enfoque bayesiano considere una distribuci´n de probo abilidades sobre θ, supone tratar a θ como una variablealeatoria, y por lo tanto a esta variable la denominaremos Θ para distinguirla del valor que toma θ. Esta notaci´n puede llevar a confusi´n dado que tambi´n llamamos o o e Θ al conjunto de valores de θ. Sin embargo por el contexto quedar´ claro el a significado de este s´ ımbolo en cada caso. 1

2

CHAPTER 10. ESTIMADORES DE BAYES

Dada que consideramos ahora el valor del par´metro como elvalor de a una variable aleatoria, la interpretaci´n de la familia de densidades f (x, θ) o en el enfoque bayesiano tambi´n cambia. En el enfoque bayesiano f (x, θ) e se interpreta como la distribuci´n condicional de la muestra X dado que la o variable Θ toma el valor θ. Una vez observada la muestra X se puede calcular la distribuci´n condio cional de de Θ dada X. Esta distribuci´n se denominadistribuci´n a posteo o riori y est´ dada por a f (θ|x) = f (x, θ)γ(θ) . ... f (x, t)γ(t)dt (10.1)

En efecto el numerador de (10.1) corresponde a la densidad conjunta de X y Θ, y el denominador a la densidad marginal de X. Si la distribuci´n de θ fuese discreta, habr´ que reemplazar las integrales o ıa del denominador por las correspondientes sumatorias. En lo sucesivo supondremos que es tanto lasdistribuciones de x y the θ son continuas, pero el tratamiento en el caso discreto es similar. Una de las ventajas del enfoque bayesiano es que se pueden definir en forma natural estimadores ´ptimos, sin necesidad de restricciones poco nato urales como la de estimadores insesgados a la que debimos recurrir en el enfoque frecuentista. Para ver esto supongamos que queremos estimar λ = q(θ) yconsideremos una funci´n de p´rdida l(λ, λ ) que indica el costo de estimar o e ˆ λ en vez de λ. Supongamos que se tiene un estimador λ = δ(x). Luego la p´rdida ser´ una variable aleatoria l(q(Θ), δ(X)), y la p´rdida esperada que e a e llamaremos riesgo de Bayes est´ dada por a r(δ, γ) = E(l(q(Θ), δ(X))), (10.2)

donde aqui la esperanza se toma con respecto a la distribuci´n conjunta de o X y Θ. Por lotanto dado la distribuci´n priori γ, un estimador ´ptimo ser´ o o a aquel que minimice r(δ, γ). Este estimador lo llamaremos estimdor de Bayes corrspondiente a la distribuci´n a priori γ y ser´ representado por δγ . o a Llamemos R(δ, θ) = E(l(q(Θ), δ(X))|Θ = θ). (10.3) Luego R(δ, θ) es la funci´n de riesgo de la teor´ frecuentista, y estar´ o ıa a dada por R(δ, θ) = Eθ (l(q(θ), δ(X))) = (l(q(θ),δ(x))f (x, θ)dx. (10.4)

´ 10.1. ENFOQUE BAYESIANO DEL PROBLEMA DE LA ESTIMACION PUNTUAL3 Tambi´n se tendr´ e a r(δ, γ) = Eγ (E(l(q(Θ), δ(X))|Θ)) = ... R(δ, γ)γ(θ)dθ. (10.5)

Consideremos como caso particular la funci´n de p´rdida cuadr´tica, es o e a decir l(λ, δ) = (λ − δ)2 . En este caso el estimador de Bayes sera la funcion δγ (X) minimizando el error cuadr´tico medio a E((δ(X) − q(Θ))2...