Unidad6

Universidade
de Vigo

Estimación por mínimos cuadrados
generalizados
Modelo de regresión lineal Generalizado:
Generalización del modelo de regresión lineal
clásico

Introducción a los estimadores MCG

Universidade
de Vigo

 Dados los fallos que ocurren en las propiedades de los

estimadores MCO, surge la conveniencia de buscar
estimadores alternativos que verifiquen mejores
propiedades que losde MCO.
 Este es el caso de los estimadores de Mínimos cuadrados
generalizados (MCG).
 Para construirlos basta observar una propiedad del nuevo
modelo, que depende de la descomposición de la matriz de
varianzas de las perturbaciones.

Descomposición de la matriz de
varianzas de las perturbaciones

Universidade
de Vigo

 La matriz de varianzas-covarianzas de las perturbaciones

viene dada porS=s2W
 Como W es definida positiva se puede descomponer
como potencia de una matriz simétrica invertible P tal
que
P’P=P2=W

Transformación del modelo de
regresión lineal generalizado




Universidade
de Vigo

Consideremos la inversa de esa matriz P, denotada por P-1.
Entonces premultiplicando las ecuaciones del modelo de regresión
generalizado obtenemos que

P -1 y = P -1 X + P -1
Cambiando los nombres de las variables, el modelo quedará de la siguiente
forma

y = X  +
*




*

*

Por tanto, de nuevo tenemos un modelo de regresión lineal donde cambian
las variables pero no los parámetros de la regresión.
Falta ver si cambia la ley de distribución de las nuevas perturbaciones.

La ley de distribución de las nuevas
perturbaciones
 Es Normal por ser una transformación lineal deuna

Universidade
de Vigo

normal.
 Su esperanza es nula pues
E(u*)=P-1 E(u)=0
 Su varianza vendrá dada por
Var(u*)=P-1 Var(u) P-1 = P-1s2W P-1=
=s2P-1W P-1 = s2I
 Por consiguiente, las nuevas perturbaciones son esféricas,
lo que significa que el nuevo modelo transformad es un
modelo de regresión lineal normal donde las variables son
diferentes de las originales.

Consecuencias

Universidadede Vigo

 El modelo de regresión lineal generalizado se obtiene a

partir del modelo de regresión lineal clásico
transformando las variables por una matriz simétrica
invertible.
 Por lo tanto todas las propiedades el MRLC se
verificarán una vez transformado el modelo de partida.
 Los estimadores de MCG se obtendrán como los
estimadores MCO en ese modelo transformado.
 Las propiedades de losestimadores MCG serán las que
tenían los estimadores MCO en el MRLN

Estimadores MCG en el modelo
transformado
Consideremos el modelo

y = X  +
*

*

Universidade
de Vigo

*

Donde las perturbaciones siguen leyes normales esféricas.
El estimador MCO de  en ese modelo será
bMCG=(X*’X*)-1X*’y*

Que puesto en función de las variables del modelo original será:
bMCG=(X’P-1 P-1X)-1 X’P-1P-1y=(X’W-1X)-1 X’W-1y

Estimadores de MCG en el MRLG

Universidade
de Vigo

Generalizando la transformación al espacio residual se puede
definir el estimador de la siguiente forma:
Encontrar el mínimo en  de SCEG() siendo
SCEG() = u'W-1u = (Y-X)'W-1(Y-X)
Partiendo de ese modelo se obtendrían las Ecuaciones normales
generalizadas
(X'W-1X) = X'W-1Y
Y, como consecuencia los estimadores
bMCG = (X'W-1X)-1X'W-1Y
que coinciden con los obtenidos previamente.

Estimadores MV en el MRLG

Universidade
de Vigo

 La función de verosimilitud ahora será:

F(y1,…,yT/X)= (2p)-T/2|S|-1exp[-(yt-Xt)’S-1(yt-Xt)/2]
 Se demuestra que al maximizar esta función en  y S los
estimadores son independientes y por consiguiente se puede
maximizar en  y luego en S, por consiguiente maximizar en b
coincide con maximizarel exponente o lo que es lo mismo
minimizar el termino del paréntesis que coincide con
minimizar el exponente en  lo que equivale a obtener el
estimador de MCG, por lo tanto los estimadores de MV y
MCG coinciden para el parámetro .

Estimadores de MCG de la varianza

Universidade
de Vigo

Para estimar la parte común de la matriz de varianzas
covarianzas de las perturbaciones, se haría...