Prueba

Regresión múltiple
Demostraciones
Elisa Mª Molanes López

El modelo de regresión múltiple
El modelo que se plantea en regresión múltiple es el siguiente:

yi = β0 + β1 x1i + β2 x2i + . . . + βk xki + ui
donde

x1 , x2 , . . . , xk son las variables independientes o explicativas.

La variable respuesta depende de las variables explicativas y de una componente de error que sedistribuye según una normal: ui = N (0, σ 2 ) El ajuste del modelo se realiza por el método de máxima verosimilitud o el método de mínimos cuadrados. En el caso de distribución normal de errores, ambos métodos coinciden, como ya se vió en regresión simple.

El modelo de regresión múltiple
El valor que el modelo estimado predice para la observación i-ésima es:

ˆ ˆ ˆ ˆ yi = β0 + β1 x1i + β2 x2i + . .. + βk xki ˆ
y el error cometido en esa predicción es:

ˆ ˆ ˆ ˆ ei = yi − yi = yi − (β0 + β1 x1i + β2 x2i + . . . βk xki ) ˆ
donde

ˆ ˆ ˆ β0 , β1 , . . . , βk

son los valores estimados del modelo.

ˆ ˆ ˆ El criterio de mínimos cuadrados asigna a β0 , β1 , . . . , βk el valor que minimiza la suma de errores al cuadrado de todas las observaciones.

Notación
⎜ ⎜ Y =⎜ ⎝ ⎛ y1 y2 . . . yn⎞ ⎜ ⎟ ⎟ ˆ ⎜ ⎟ Y =⎜ ⎝ ⎠ ⎛ y1 ˆ y2 ˆ . . . yn ˆ ⎞ ⎜ ⎟ ⎜ ⎟ ⎟ β=⎜ ⎝ ⎠ ⎛ β0 β1 . . . βk ⎞ ⎟ ⎟ ⎟ ⎠ ⎛ ˆ β0 ⎜ β1 ˆ ⎜ ˆ β=⎜ . ⎝ . . ˆ βk ⎞ ⎟ ⎜ ⎟ ⎜ ⎟ e=⎜ ⎠ ⎝ ⎛ e1 e2 . . . en ⎞ ⎟ ⎟ ⎟ ⎠

X es la denominada matriz de diseño, de dimensión n x (k+1)

⎜ ⎜ X=⎜ ⎝

⎛

1 1 . . .

x11 x12 . . .

x21 x22 . . . x2n

··· ··· .. . ···

xk1 xk2 . . . xkn

⎞

1 x1n

´ ⎟ ³ ⎜ ⎟= ~ X , X , . . . , X ~ k, siendo Xj = ⎜ ~ 1, ~ 1 ~ 2 ⎟ ⎜ ⎠ ⎝

⎛

xj1 xj2 . . . xjn

⎞ ⎟ ⎟ ⎟ ⎠

Forma matricial del modelo
La expresión matricial del modelo de regresión múltiple es la siguiente:

Y = Xβ + U
El modelo estimado también puede expresarse en forma matricial:

ˆ ˆ Y = Xβ
ˆ Y −Y =e

Ajuste por mínimos cuadrados
ˆ ˆ ˆ ˆ ei = yi − yi = yi − (β0 + β1 x1i + β2 x2i + . . . βk xki ) ˆ

Son losparámetros estimados del modelo

Como en regresión simple, el criterio de mínimos cuadrados asigna a los parámetros del modelo el valor que minimiza la suma de errores al cuadrado de todas las observaciones. La suma de errores al cuadrado es S:

S=

Pn

2 i=1 ei

=

Pn

³ ´2 ˆ ˆ ˆ ˆ i=1 yi − (β0 + β1 x1i + β2 x2i + . . . + βk xki )

Ajuste por mínimos cuadrados
Al igual que enregresión simple, la estrategia que seguimos para calcular el mínimo de S es: • derivar S con respecto a los parámetros, • igualar a cero cada derivada, • y resolver el sistema de ecuaciones que resulta (y en el que las incógnitas vienen dadas por los k+1 parámetros que queremos estimar). Teniendo en cuenta que:
Denota traspuesta de una matriz ∂xT a ∂a

=x

∂aT Xa ∂a

= 2Xa
Es una matrizsimétrica, de dimensión (k+1)x(k+1)

En términos matriciales, resulta que:

= −X T Y − X T Y + 2(X T X)β Su rango debe ser máximo para ser invertible, es decir: T T →X Y = (X X)β rango(X T X) = k + 1
Así que,

∂S ∂β

ˆ β = (X T X)−1 X T Y

Ajuste por mínimos cuadrados
Que el rango(X T X) = k + 1 es equivalente a pedir que ninguna de las variables explicativas se pueda escribir comocombinación lineal de las demás. Son las ecuaciones normales de la regresión

∂S ∂β

= −2X T Y + 2(X T X)β = ~ 0
Los errores de predicción suman cero La covarianza entre los errores de predicción y cada variable explicativa es cero

De ellas se deduce que:

Pn

Pn

i=1 ei = 0

i=1 ei xij

= 0, j = 1, . . . , k

Ajuste por mínimos cuadrados
Al igual que en regresión simple, ahoranecesitamos estimar la varianza, σ 2 , del error aleatorio U Un estimador razonable es, en principio, la varianza de los errores de predicción (también conocidos con el nombre de residuos del modelo):

Pn 2 1 T 1 σ = n e e = n i=1 ei ˆ Sin embargo, este estimador es sesgado para σ 2, lo que significa que:
2

E(ˆ 2 ) = σ 2 σ

El sesgo se define como la diferencia entre la media del estimador...