Modelo De Regresión Lineal Múltiple

EL MODELO DE REGRESIÓN LINEAL MÚLTIPLE
1 Ajuste mínimo-cuadrático del hiperplano de regresión
En el modelo de regresión múltiple que vamos a presentar se considera que el regresando es una función lineal de k-1 regresores y de una perturbación aleatoria, existiendo además un regresor ficticio correspondiente al término independiente. Designando por Yt al regresando, por X2t, X3t, ..., Xkt a losregresores y por ut a la perturbación aleatoria, el modelo teórico de regresión lineal viene dado, para la observación genérica t-ésima, por la siguiente expresión: Modelo de regresión múltiple

Yt = β1 + β 2 X 2t +

+ β k X kt +ut

t = 1, 2,

,T

(1)

Siendo T el tamaño de la muestra y dando valores a t desde t=1 hasta t=T, se obtiene el siguiente sistema de ecuaciones: Y1 = β1 + β 2X 21 + β 3 X 31 + Y2 = β1 + β 2 X 22 + β 3 X 32 + YT = β1 + β 2 X 2T + β 3 X 3T +
+ β k X k 1 + u1 + β k X k 2 + u2 + β k X kT + uT

(2)

El sistema de ecuaciones anteriores se puede expresar de forma más compacta utilizando notación matricial. Así, vamos a denominar
 Y1  Y  y =  2  ...    YT     1 X 21 1 X 22 X= ... ...   1 X 2T  X 31 X 32 ... X 3T ... X k 1  ... X k2   ... ...   ... X kT    β1  β  β =  2  ...     βT     u1  u  u =  2  ...    uT   

El modelo de regresión lineal múltiple (1) expresado en notación matricial es el siguiente:  Y1   1 X 21 Y   1 X 22  2 =   ...  ... ...    YT   1 X 2T    X 31 X 32 ... X 3T ... X k 1   β1   u1  ... X k 2   β 2   u2   +  ... ...   ...   ...     ... X kT   βT  uT     

(3)

Si tenemos en cuenta las denominaciones dadas a vectores y matrices, el modelo de regresión lineal múltiple se puede expresar de forma compacta de la siguiente forma:

1

y = Xβ + u

(4)

donde y es un vector T ×1 , X es una matriz T × k , β es un vector T ×1 y u es un vector T x 1. El correspondiente modelo ajustado será el siguienteˆ ˆ y = Xβ

(5)

El vector de residuos es igual a la diferencia entre valores observados y ajustados, es decir,

ˆ ˆ ˆ u = y - y = y - Xβ

(6)

Denominando S a la suma de los cuadrados de los residuos, se tiene que:
ˆ u1  u  T ˆ ˆ ˆ ... u T ]  2  = ∑ ut2  ...  t =1   u T  ˆ 

ˆ ˆ ˆ ˆ S = u′u = [u 1 u 2

(7)

Teniendo en cuenta (6), se obtiene

ˆ ˆ S = (y -Xβ)′(y - Xβ) = ˆ ˆ ˆ ˆ = y'y - β′X′y - y ′Xβ + β′X′Xβ ˆ ˆ ˆ = y ′y - 2β′X′y + β′X′Xβ

(8)

Para llegar a la última igualdad de la expresión anterior se ha tenido en cuenta que ˆ ˆ β′X′y = y ′Xβ ya que un escalar es igual a su traspuesto, es decir, ˆ ˆ (β′X′y )′ = y ′Xβ Aplicar el criterio mínimo-cuadrático expuesto anteriormente es equivalente a minimizar el escalar S. Para ello se calcula la primeraderivada de S ˆ con respecto al vector de coeficientes mínimo-cuadráticos, β , en la expresión (8) 1 y se iguala a 0 :

1

Para la derivación de escalares, expresados mediante productos matriciales, respecto a un vector, véase el anexo 1 de Econometría aplicada.

2

∂S ˆ = - 2X′y + 2 X′Xβ = 0 ˆ ∂β Por tanto,

(9)

ˆ X′Xβ = X′y

(10)

Al sistema anterior se le denominagenéricamente sistema de ecuaciones normales del hiperplano. Cuando k=2, se obtiene el sistema de ecuaciones normales de la recta; cuando k=3, se obtiene el sistema de ecuaciones normales del plano; finalmente, cuando k>3, se obtiene específicamente el sistema de ecuaciones normales del hiperplano el cuál no es susceptible de ser representado físicamente. En notación matricial expandida el sistema deecuaciones normales, es el siguiente:
  T  T  ∑ X 2t  t =1  T ∑ X  t =1 kt 
Obsérvese que: a) X′X / T es la matriz de momentos muestrales de segundo orden, con respecto al origen, de los regresores. b). X′y / T es el vector de momentos muestrales de segundo orden, con respecto al origen, entre el regresando y los regresores.

∑ X 2t
t =1 T

T

∑X
t =1

2 2t

∑X
t =1

T...