Regresion lineal

Tema 4 Regresi´n lineal o
4.1. El modelo de regresi´n lineal o

El objetivo del an´lisis de regresi´n es encontrar un modelo que explique el comportamiena o to de una variable Y, que se denomina dependiente o explicada, mediante un conjunto de variables explicativas X1 , X2 , . . . , Xk , llamadas explicativas o independientes. De tal manera que el modelo vendr´ dado por la forma: a Y = β0 +β1 X1 + . . . + βk Xk + u Si disponemos unicamente de una variable independiente, el problema se denomina re´ gresi´n lineal simple, frente a el caso contrario que nos encontraremos en la regresi´n lineal o o k-dimensional o m´ltiple. u Los coeficientes β1 , . . . , βk denotan la magnitud del efecto que las variables explicativas X1 , X2 , . . . , Xk tiene sobre la variable explicada. El coeficienteβ0 se denomina t´rmino conse tante o t´rmino independiente y el t´rmino u es el error del modelo o residuo. e e Si disponemos de N observaciones o individuos, el modelo se expresar´ de la forma: a Yi = β0 + β1 X1i + . . . + βk Xki + ui i = 1, 2, . . . , N

El problema ser´, que suponiendo que la relaci´n entre la variable Y y las variables a o X1 , . . . , Xn sea lineal, ¿como podremos calcularvalores de β0 , . . . , βk en base a la informaci´n muestral? No vamos a entrar en las expresiones matem´ticas que resuelven este problema, o a pero son f´cilmente calculables. A las expresiones num´ricas de los par´metros β0 , . . . , βk en a e a base a las observaciones las denominaremos estimaciones de los par´metros. a

4.1.1.

Hip´tesis del Modelo o

Una vez encontradas las estimacionesde los par´metros del modelo tendremos el modelo a matem´tico y podremos hacer predicciones futuras sobre la variable independiente. Pero para a ello el modelo ha de cumplir las siguientes hip´tesis: o

48

49

Regresi´n lineal o 1. Los errores tiene que ser una variable aleatoria con media cero y varianza constante; que no est´n autocorrelados y que sean normales. e 2. La variable Y seaaleatoria. 3. Que todas las variables X sean relevantes en el modelo. 4. Que las variables X1 , . . . , Xk sean linealmente independientes. Si no se cumple esta hip´tesis se dice que existe multicolinealidad. o

4.2.

Estimaci´n del modelo, contrastes sobre los par´meto a ros y an´lisis de la varianza a

Como ya hemos visto, nuestro objetivo ser´ encontrar una funci´n (lineal en nuestro caso) ao que exprese la relaci´n de una variable Y con otro conjunto de variables X1 , . . . , Xk , lo cual o haremos mediante la funci´n: o Y = β0 + β1 X1 + . . . + βk Xk Una vez estimados los par´metros del modelo, podremos realizar estimaciones de la variable a Y, ˆ ˆ ˆ ˆ Y = β0 + β1 X1 + . . . + βk Xk Destacamos que a los par´metros estimados en base a las observaciones se les denota con a gorro.Los residuos ser´n las diferencias entre los valores reales y los estimados: a ˆ u i = Yi − Yi ˆ i = 1, . . . , N

Se calcular´n los par´metros de tal manera que minimicen estos residuos. Adem´s en esta a a a situaci´n se puede demostrar que los par´metros van a ser variables aleatorias y que tendr´n o a a una determinada distribuci´n y que por lo tanto podremos calcular contrastes de hip´tesis oo ˆ ˆ ˆ sobre ellos; m´s concretamente sobre todos los par´metros del modelo β0 , β1 , . . . , βk podemos a a realizar el contraste: ˆ H0 : βi = 0 ˆ H1 : βi = 0 A la hora de realizar cualquier regresi´n, nuestro objetivo es explicar una variable (Y) o mediante otras (X1 , . . . , Xk ). El hecho de explicar una variable es equivalente a explicar su varianza, por lo tanto, desde otro punto de vista,la regresi´n lo que intenta es explicar la o varianza de una variable dependiente mediante otras. Evidentemente la varianza a explicar (varianza de Y) ser´ igual a una cierta varianza que explique la regresi´n m´s otra cierta a o a cantidad que el modelo no pueda explicar. A esta conclusi´n se le llama “la descomposici´n o o de la variabilidad” y se suele expresar en una tabla denominada...