regresion lineal

Regresión Lineal Múltiple

Santiago de la Fuente Fernández

                                                                                                                                                     

Regresión Lineal Múltiple

Santiago de la Fuente Fernández                                                                                                                                                     

Regresión Lineal Múltiple

REGRESIÓN LINEAL MÚLTIPLE
Las técnicas de regresión lineal múltiple parten de (k+1) variables cuantitativas, siendo Y la variable
de respuesta y  ( X1 , X2 , LL , Xk )  las variables explicativas.
Se trata de extender a las 'k' variables las técnicas de la regresión lineal simple. En esta línea, la
variable Y se puede expresar mediante una función lineal de las variables  ( X1 , X2 , LL , Xk )
Y = β0 + β1 X1 + β2 X2 + L + βk XkPara ello, dispondremos de una modelo de probabilidad (la Normal). El estadístico fija los valores de
las variables regresoras  X ki  y  obtiene 'al azar' los correspondientes valores  Yi

Modelo:  Y = β0 + β1 X1 + β2 X2 + L + βk Xk + U
Sea la muestra aleatoria:  Yi = β0 + β1 X1 i + β2 X2 i + L + βK XK i + ui      (i = 1, 2, L ,n)
Yi ε N(β0 + β1 X1 + β2 X2 + L + βk Xk , σ2 ) independie ntes ,   (i= 1, 2, L ,n)
ui ε N(0, σ2 ) independientes, (i = 1,2, L ,n)
⎛ u1 ⎞
⎛ Y1 ⎞ ⎛⎜ 1      X11     L     Xk 1 ⎞⎟ ⎛ β0 ⎞
⎜ ⎟
⎜ ⎟
⎜ ⎟
⎜ u2 ⎟
⎜ Y2 ⎟ ⎜ 1      X12     L     Xk 2 ⎟ ⎜ β1 ⎟
⎜
⎟
En forma matricial:      ⎜ M ⎟ = ⎜  M        M       L       M  ⎟ ⎜ M ⎟ + ⎜ M ⎟
⎜ ⎟
⎜ ⎟
⎜ ⎟
⎜M ⎟
⎜ M ⎟ ⎜  M        M       L       M ⎟ ⎜ M ⎟
⎟⎜ ⎟
⎜ ⎟
⎜ ⎟ ⎜⎜
⎝ un ⎠
⎝ yn ⎠ ⎝ 1      X1n    L     Xk n ⎟⎠ ⎝ βk ⎠
Y = X β + U     siendo  X =' matriz del diseño'.
•

Las hipótesis comunes entre las regresiones lineal y múltiple son:
a) Normalidad:  ui ε N(0, σ2 )
b) Linealidad:  E (u i ) = 0
c) Homocedasticidad:  Var (u i ) = 0
d) Independencia:   u i  son independientes  (i = 1, 2, L ,n)

•

Requisitos adicionales de la regresión múltiple:

a) n > k+1. El modelo depende de (k+2) parámetros. Para que la regresión tenga significado
              debe haber un número suficiente de datos.
b)  Ninguna de las variables explicativas X es combinación lineal de las otras (Colinealidad). Si
              alguna de las  Xi  es combinación lineal exacta de alguna de las otras  Xi , el modelo puede              simplificarse con menos variables explicativas. También hay que considerar si alguna de las
              Xi  está fuertemente correlacionada con otras.

Santiago de la Fuente Fernández                                                                                                                                                           1

Regresión Lineal Múltiple

ESTIMACIÓN DE LOS PARÁMETROS

Sea la muestra aleatoria:  Yi = β0 + β1 X1 i + β2 X2 i + L + βK XK i + ui      (i = 1, 2, L ,n)En forma matricial:  Y = X β + U    siendo  X ='matriz del diseño'.

Datos

X1

Y

……

X2

XK
 La nube de puntos está en un
 espacio de dimensión (k+1).

Y1

X 11

X 21

……

X k1

2

Y2

X 12

X 22

……

X k2

M

M

M

M

……

M

n

Yn

X 1n

X 2n

……

X kn

1

⎛ n X2       n X X
∑ i1 i2
⎜ ∑ i1
i=1
⎜ i=n1
n
⎜ ∑ Xi2Xi1 ∑ X2i2     
donde,    X' X = ⎜ i=1
i=1
M
⎜ M
n
⎜ n
⎜ ∑ Xik Xi1 ∑ Xik Xi2
i=1
⎝ i=1

 Es difícil de visualizar para k>2
               βˆ = [X' X ] −1 X' Y
 donde X'  es la matriz transpuesta
 del diseño

n
⎛ n X Y⎞
... ∑ Xi1Xik ⎞⎟
⎜ ∑ i1 i ⎟
i=1
⎜ i=n1
⎟
⎟
n
⎜
⎟
... ∑ Xi2Xik      ,         X' Y = ∑ Xi2Yi ⎟
⎜ i=1
⎟
⎟
i=1
⎜ M ⎟
M ⎟
...
n
⎜n
⎟
⎟
... ∑ X2ik ⎟
⎜ ∑ Xik Yi ⎟i=1
⎠
⎝ i=1
⎠

Cada uno de los coeficientes   βi  representa el efecto de la variable independiente sobre la variable
explicada. Es decir,  el valor estimado   βˆ   indica la variación que experimenta la variable
i...