Regresión Lineal Multiple

REGRESIÓN LINEAL MULTIPLE


Introducción

El Análisis de Regresión Lineal Múltiple nos permite establecer la relación que se produce entre una variable dependiente y un conjunto de variables independientes (X1, X2,... XK). El análisis de regresión lineal múltiple, a diferencia del simple, se aproxima más a situaciones de análisis real puesto que los fenómenos, hechos y procesossociales, por definición, son complejos y, en consecuencia, deben ser explicados en la medida de lo posible por la serie de variables que, directa e indirectamente, participan en su concreción.


Al aplicar el análisis de regresión múltiple lo más frecuente es que tanto la variable dependiente como las independientes sean variables continuas medidas en escala de intervalo o razón. No obstante,caben otras posibilidades:



✓ También podremos aplicar este análisis cuando relacionemos una variable dependiente continua con un conjunto de variables categóricas.




✓ También aplicaremos el análisis de regresión lineal múltiple en el caso de que relacionemos una variable dependiente nominal con un conjunto de variables continuas.

Un modelo de regresión múltiple seexpresa de manera general como


|[pic] |
| |

donde

[pic]es la [pic]observación de la variable aleatoria dependiente.

[pic]son las [pic]observaciones de las variables fijas independientes.

[pic]son los llamados coeficientes de regresión.

[pic]es la variable aleatoriaerror que se supone que tiene [pic]y [pic]y que los errores son no correlacionados.


ALGUNOS OTRO MODELOS COMO

[pic]

Estos modelo se pueden expresar de la forma general de un modelo de de regresión múltiple dada en [pic]. El modelo [pic]se puede expresar como el modelo [pic]haciendo [pic][pic]y [pic]. De igual manera el el modelo [pic], haciendo [pic]

Ejemplo
Seis ejecucionesfueron hechas a varias condiciones de saturación [pic] y transisomers[pic]. La respuesta, SCI, es listada abajo como [pic]para los correspondientes niveles de [pic]y [pic].


|[pic] | | |[pic| | |[pic] |
| | | |] | | | |
|66.0 | | |38 | | |47.5 |
|43.0 | | |41 | | |21.3 |
|36.0 | | |34 | | |36.5 |
|23.0 | | |35 | | |18.0 |
|22.0 | | |31 | | |29.5|
|14.0 | | |34 | | |14.2 |
|12.0 | | |29 | | |21.0 |
|7.6 | | |32 | | |10.0 |


El gráfico para los datos del ejemplo es dado en la figura. Sólo los modelos de regresión múltiple con dos variables independientes pueden ser graficados.


















Estimación de Parámetros








Estimación de mínimos cuadrados



El métodode mínimos cuadrados es utilizado para estimar los parámetros en el modelo de regresión lineal múltiple.


[pic]
Suponga que se tienen [pic]observaciones. Se asume que [pic]y [pic]y que los errores son no correlacionados. El método de mínimos cuadrados minimiza la suma de cuadrados del error dada por


[pic]

con respecto a cada uno de los parámetros del modelo [pic].


Laderivada con respecto a [pic]

[pic]








La derivada con respecto a [pic][pic]es

[pic]


igualando a cero la derivadas [pic]y [pic]se tiene

[pic]

simplificando para [pic]se tiene

[pic]




simplificando para [pic]se tiene

[pic]

Luego las ecuaciones normales son:

[pic]














Observe que hay [pic]ecuaciones. Para obtener la soluciónes conveniente utilizar notación matricial. En esta notación el modelo se expresa como


[pic]

con

[pic]y [pic]

donde

[pic]es el vector de observaciones

[pic]es una matriz [pic]de niveles de la variable regresora

[pic]es un vector [pic]de coeficientes de regresión

[pic]es el vector aleatorio error de orden [pic].


La suma de cuadrados del error es dada por

[pic]...