regresion lineal

REGRESION LINEAL MULTIPLE


En la regresión lineal múltiple tratamos de determinar la relación existente entre la variable dependiente (Y) y dos o más variables independientes ( X1, X2, X3, ..., XK ) también llamadas variables regresoras.


En este caso la variable dependiente se ve afectada por los cambios que se le hagan a las variables independientes en conjunto.


La relación entrelas variables regresoras y la variable dependiente se establece mediante el modelo general de regresión lineal múltiple:





donde 0, 1, 2, ..., k son los parámetros del modelo ( se tienen k variables independientes y p parámetros ).


En este caso 0 representa la ordenada en el origen, es decir, el punto donde el hiperplano corta al aje Y (al haber más de dos variablesindependientes la relación queda representada por medio de un hiperplano).


En general i representa el cambio esperado en Y por cada incremento unitario en Xi, siempre y cuando las demás variables independientes permanezcan constantes.


Por comodidad en la simplicidad de las operaciones, emplearemos en esta ocasión sólo dos variables independientes. Quedará al lector utilizar más de dos variablesindependientes para futuras aplicaciones.


Al utilizar dos variables independientes, el modelo general de regresión lineal múltiple queda representado por:



donde:

0 representa el punto donde el plano corta al eje Y (ahora la relación entre las dos variables independientes y Y está representada por un plano).

1 representa el cambio esperado en Y por cada incremento unitario en X1,siempre y cuando X2 permanezca constante.

2 representa el cambio esperado en Y por cada incremento unitario en X2, siempre y cuando X1 permanezca constante.

La figura siguiente muestra la relación entre las variables independientes y Y.







ESTIMACION DE PARAMETROS

Para encontrar los estimadores de los parámetros del modelo, partiremos de una muestra aleatoria de tamaño n paravalores de X1, X2 y Y:

X1i
X2i
Yi
X11
X21
Y1
X12
X22
Y2
X13
X23
Y3
.
.
.
.
.
.

.
.
.

X1n
X2n
Yn

Al utilizar una muestra aleatoria para estimar los parámetros, incurriremos en un error en la estimación. Debemos agregar dicho error al modelo de regresión lineal múltiple:



donde  es un error aleatorio con media 0 y varianza 2.

Cada una de las observacionesde Y se puede representar mediante el modelo anterior:



Si utilizamos el enfoque de vectores y matrices, las observaciones de Y quedarán representadas mediante:





donde:





El método a utilizar en la estimación de los parámetros del modelo es el método de mínimos cuadrados. Dicho método consiste en minimizar la función de mínimos cuadrados.

La función de mínimoscuadrados está dada por la letra L y es igual a la suma de todos los errores elevados al cuadrado:



Si multiplicamos la transpuesta del vector  por el mismo vector  obtendremos la suma de los errores elevados al cuadrado:



la función de mínimos cuadrados quedará como:



ahora bien, si de la ecuación vectorial del modelo de regresión anterior despejamos el error:sustituyéndolo en L:



Al realizar las operaciones anteriores y simplificando se llega a lo siguiente:






Derivando la función anterior con respecto de , evaluando para e igualando a cero:





despejando :




donde:








De esta manera, el modelo de regresión lineal múltiple ajustado queda definido por:
















PRUEBAS DE HIPOTESIS EN LAREGRESION LINEAL MULTIPLE


PRUEBA DE SIGNIFICANCIA

La prueba de significancia del modelo nos permite determinar estadísticamente si las variables independientes (en conjunto) tienen efecto o no sobre la variable dependiente.

Para realizar esta prueba se requiere descomponer la suma total de cuadrados, representada por Syy, en dos componentes: SSR y SSE
Syy = SSR + SSE
Donde:
Syy...