econometria

CAP´
ıTULO 2

M´
ınimos cuadrados ordinarios
En el Cap´
ıtulo 1, hemos definido el modelo lineal general como una relaci´n estad´
o
ıstica lineal entre una variable dependiente y una o m´s variables explicativas, relaci´n que
a
o
podemos expresar de tres formas equivalentes:
1. Yi = β1 + β2 X2i + · · · + βk Xki + ui ,
2. Yi = x� β + ui , i = 1, . . . , n
i
3. y = Xβ + u
en donde xi= (1 X2i . . . Xki )� ,

 
1 X21
Y1

 
1 X22
 Y2 
y =  .  , X = .
.
.
 . 
.
.
.
 . 
Yn

...
...
..
.

1 X2n . . .

i = 1, . . . , n


Xk1

Xk2 
. ,
. 
. 

Xkn




β1
 
β2 
β= . 
.
.

y

βk




u1
 
 u2 
u =  . .
 . 
 . 
un

La forma 1 y su versi´n compacta dada por la forma 2 son larepresentaci´n escalar
o
o
del modelo lineal general, y son utiles para introducir los conceptos b´sicos del m´todo
´
a
e
de estimaci´n de m´
o
ınimos cuadrados. Sin embargo, para profundizar en el estudio del
an´lisis de regresi´n resulta m´s conveniente la forma 3 o forma matricial del modelo
a
o
a
lineal general.
Este cap´
ıtulo describe el ´lgebra de m´
a
ınimos cuadrados, esdecir, un m´todo ese
tad´
ıstico para obtener estimaciones de los par´metros desconocidos β1 , . . . , βk a partir
a
e
de un conjunto de observaciones sobre las variables Y, X2 , . . . , Xk . El m´todo de estimaci´n de m´
o
ınimos cuadrados se presenta utilizando tanto la forma escalar como la
forma matricial del modelo lineal general. Se deja como ejercicio para el alumno, el
desarrollo deeste procedimiento para la forma 2 del modelo.
2.1.

Ecuaciones normales

2.1.1. Forma escalar. Si en la forma escalar del modelo lineal general reemˆ
ˆ
plazamos los par´metros desconocidos β1 , . . . , βk por las estimaciones β1 , . . . , βk , obtena
emos el modelo estimado
ˆ
ˆ
ˆ
ˆ
Yi = β1 + β2 X2i + · · · + βk Xki + ui ,

i = 1, . . . , n

o
ı
en donde ui es una estimaci´n delerror ui . Surgen aqu´ dos conceptos fundamentales.
ˆ
ˆ
´
Definicion 2. El valor ajustado Yi es la combinaci´n lineal
o
ˆ
ˆ
ˆ
ˆ
Yi = β1 + β2 X2i + · · · + βk Xki ,

i = 1, . . . , n

´
ˆ
Definicion 3. El residuo ui es la diferencia entre el valor observado Yi y el valor
ˆi ,
ajustado Y
ˆ
ˆ
ˆ
ˆ
ui = Yi − Yi = Yi − β1 − β2 X2i − · · · − βk Xki ,
ˆ
11

i = 1, . . . , n12

2.1. Ecuaciones normales

Vemos que al estimar los par´metros del modelo lineal general descomponemos cada
a
observaci´n Yi en la suma de dos componentes
o
ˆ
Yi = Yi + ui ,
ˆ

i = 1, . . . , n

ˆ
o
en donde podemos interpretar el valor ajustado Yi como la predicci´n de Yi dada por el
o
modelo estimado y el residuo ui como el error de predicci´n asociado. Es claro que distinˆtas estimaciones de los par´metros conducir´n a distintos residuos o valores ajustados,
a
a
siendo preferibles aquellas estimaciones que proporcionan un mayor n´mero de residuos
u
peque˜os o, equivalentemente, un mayor n´mero de valores ajustados muy pr´ximos a
n
u
o
los valores observados. Esta es la idea que subyace al m´todo de estimaci´n de m´
e
o
ınimos
cuadrados ordinarios.´
a
Definicion 4. Las estimaciones de minimocuadr´ticas de los par´metros β1 , . . . , βk
a
ˆ
ˆ
son los valores β1 , . . . , βk que minimizan la suma de cuadrados de los residuos
Q=

n
�

u2 =
ˆi

i=1

n
�
ˆ
ˆ
ˆ
(Yi − β1 − β2 X2i − · · · − βk Xki )2



i=1

ui
ˆ

ˆ
Como Q es una funci´n cuadr´tica de βj (j = 1, . . . , k), se trata de una funci´n
o
a
o
ˆj (j =1, . . . , k) que minimizan Q son los que cumplen las
diferenciable. Los valores β
condiciones de primer orden:
n

∂Q �
ˆ
ˆ
ˆ
=
2(Yi − β1 − β2 X2i − · · · − βk Xki )( −1 ) = 0


ˆ



∂ β1
i=1

(2.1)

∂Q
=
ˆ
∂ β2

n
�
i=1

.
.
.

ˆ
∂ ui /∂ β1
ˆ

ui
ˆ

ˆ
ˆ
ˆ
2(Yi − β1 − β2 X2i − · · · − βk Xki )( −X2i ) = 0





ˆ
∂ ui /∂ β2
ˆ

ui
ˆ

n...