minima varianza

Economu00b4 y Negocios
ıa

Universidad de Chile

Econometr´ I
ıa
Profesor: Andr´s Sagner
e
Ayudantes: Pedro Roje y Cristian Espinosa
Oto˜ o 2011
n
´
Obtencion Estimadores MV y su Varianza

El objetivo de este documento es realizar correctamente la derivaci´n de los estimadores M´ximo
o
a
Veros´
ımil (M V ) del t´
ıpico modelo de regresi´n lineal Y = Xβ + u y demostrar que lavarianza de ellos,
o
la cual corresponde al inverso de la matriz de informaci´n I(·), se encuentra dada por:
o
σM V (X ′ X)−1
ˆ2
0

I(·)−1 =

0
2ˆM V
σ4
n

Desarrollo
Consideremos el siguiente modelo de regresi´n lineal:
o
Y = Xβ + u

(1)

donde Y , X, u y β tienen los tama˜os usuales. Bajo el supuesto que los errores u son independientes y
n
se distribuyen normal con mediacero, y varianza homoced´stica y no autocorrelacionada σ 2 , es decir,
a
u ∼ N (0, σ 2 I), la Funci´n de Verosimilitud L(·) se encuentra dada por:
o
n

L(·)

=
i=1

=

√

1

2πσ 2
1

n/2
(2πσ 2 )

u2
i

e− 2σ2
u′ u

e− 2σ2

(2)

A partir de la ecuaci´n (2), la Funci´n de Log-Verosimilitud l(·) es la siguiente:
o
o
l(·)

=

ln (L(·))
n
= − ln (2π) −
2
n= − ln (2π) −
2

n
u′ u
ln (σ 2 ) − 2
2
2σ
n
Y ′ Y − 2β ′ X ′ Y + β ′ X ′ Xβ
2
ln (σ ) −
2
2σ 2

(3)

donde en la ultima igualdad de la expresi´n anterior se ha remplazado el vector de errores u en funci´n
´
o
o
del vector de variables dependientes (Y ) y la funci´n de regresi´n muestral (Xβ) a partir de la ecuaci´n
o
o
o
(1). Derivando direccionalmente l(·) en funci´n deβ ′ , tenemos que:
o
∂l(·)
∂β ′

−2X ′ Y + 2X ′ Xβ
2σ 2
′
′
X Y − X Xβ
σ2

= −
=

1

(4)

Econom´ y Negocios
ıa

Universidad de Chile

Igualando a cero la ecuaci´n (4) tenemos la siguiente expresi´n para el estimador M V de β:
o
o
∂l(·)
∂β ′
ˆ
X ′ Y − X ′ X βM V
σM V
ˆ2
ˆ
βM V

=

0

=

0

=

(X ′ X)−1 X ′ Y

(5)

ˆ
ˆ
Observando la ecuaci´n (5)notamos que βM V = βM CO cuando los errores u se distribuyen normal
o
y son independientes.
De forma an´loga, el estimador M V de la varianza de los errores σM V se obtiene derivando parciala
ˆ2
2 1
mente l(·) con respecto a σ :
∂l(·)
∂σ 2

n
2u′ u
− − 4
2σ 2
4σ
′
n
uu
= − 2+ 4
2σ
2σ
= −

(6)

Luego, igualando la ecuaci´n (6) a cero:
o

−

n
2ˆM V
σ2

∂l(·)
∂σ 2u′ u
ˆˆ
+ 4
2ˆM V
σ
σM V
ˆ2

=

0

=

0

=

u′ u
ˆˆ
n

(7)

ˆ
donde u = Y − X βM V . Notamos que la ecuaci´n (7) implica que σM V es sesgado y su sesgo proviene del
ˆ
o
ˆ2
ˆ
hecho que no se est´n considerando los grados de libertad (n − k) empleados en la obtenci´n de βM V
a
o
2
en el denominador de la ecuaci´n (7) .
o
Como vimos en clases, la matriz devarianzas y covarianzas de los estimdores M V se encuentra dada
ˆ
ˆ
por el inverso de la matriz de informaci´n I(·). En particular, sea θM V = [βM V σM V ]′ el conjunto de
o
ˆ2
ˆM V (V [θM V ]) se encuentra dada por:
ˆ
estimadores M V . As´ la matriz de varianzas y covarianzas de θ
ı,
ˆ
ˆ
V [θM V ] = I(θM V )−1
= E

∂l(θ) ∂l(θ)
∂θ ∂θ

′

−1
ˆ
θ=θM V

= −E

∂ 2 l(θ)
∂θ∂θ′

−1(8)
ˆ
θ=θM V

ˆ
ˆ
Para obtener la matriz de varianzas y covarianzas de θM V (V [θM V ], utilizaremos la segunda expresi´n de la ecuaci´n (8), es decir, aquella basada en el Hessiano.
o
o
1 La diferencia entre derivada direccional y derivada parcial proviene del hecho que β es un vector de dimensi´n k × 1,
o
mientras que σ 2 es un escalar.
2 Un estimdor insesgado de σ 2 es σ 2 = u′u/(n − k).
˜
ˆ ˆ

2

Econom´ y Negocios
ıa

Universidad de Chile

El primer t´rmino, que corresponde a la derivada direccional de la ecuaci´n (4) con respecto a β, es
e
o
el siguiente:
∂ 2 l(θ)
X ′X
=− 2
∂β ′ ∂β
σ

(9)

ˆ
Tomado esperanzas a ambos lados de la ecuaci´n anterior, multiplicando por -1 y evaluando en θM V :
o

−E

∂ 2 l(θ)
∂β ′ ∂β

ˆ
θ=θM V

= −E −...