Modelo de regresión lineal estadístico

En este capítulo, veremos los distintos modelos lineales que nos permiten analizar la dependencia de una variable que nos interesa estudiar con respecto a un conjunto de variables aleatorias que podrían explicar nuestra variable dependiente. De esta manera, además de ver la influencia de distintos factores en un individuo, podremos predecir ciertos comportamientos de la variable dependiente,basándonos en los valores observados de nuestro estudio.
1.1 Regresión Lineal
Se define la regresión lineal simple de la siguiente forma:
Yi=β0+β1Xi1+β2Xi2+…βjXij+…+βpXip+ei
Donde:
* Yi: Variable dependiente de la i-ésima observación,
* Xij: Efecto de la j-ésima variable independiente en la i-ésima observación,
* βj: Coeficiente escalar que refleja el impacto de la j-ésima variableexplicativa del modelo (con j= 1,2,…,p). El coeficiente β0 es llamado intercepto.
* ei: Error aleatorio de la i-ésima observación.- Este último, al ser aleatorio debe tener las siguientes características:
* Eei=0; ∀ i
* Covei,ej=0; i≠j
* Covei,ei=Varei=σ2; ∀ i
1.1.1 Supuestos del modelo
* Los errores ei siguen una distribución Normal con media 0 y varianza σ2; de esto últimodiremos que los errores deben ser homocedásticos, es decir, su varianza debe ser constante.
* Los errores no deben ser autocorrelacionados, es decir
Covei,ej=0;∀ i=1,… ,n; j=1,… ,p; i≠j.
* No existe colinealidad entre los Xi, esto es, las variables independientes del modelo no deben ser combinación lineal entre ellas.
1.2 Estimación de Parámetros
1.2.1 Estimación por mínimos cuadradosordinales (MICO):
En esta estimación se desea minimizar la suma cuadrática del error ei, es decir minβ|Y-Xβ|2. Al desarrollar las respectivas ecuaciones obtenemos:
βi=X'X-1(X'Y)
1.2.1.1 Propiedades del estimador β por MICO:
* Eβ=β (Nuestro estimador es insesgado)
* Var(β)=σ2(X'X)-1
1.2.1.2 Estimador de la varianza por MICO:
Siguiendo el mismo procedimiento podemos calcular el estimadorMICO de la varianza, el cual está dado por la expresión:
σ2=SCEn-p;
Donde SCE es lo que se conoce como la suma de cuadrados del error (más adelante explicado en la tabla ANOVA del modelo); n es en número de filas y p el número de columnas del modelo.
1.2.2 Predicción de una observación a futuro
En los estudios de regresión lineal, suele ser de interés poder predecir valores a futuro a ciertonivel de la variable dependiente X.- Luego, la predicción se calcula como:
y0=X0'β=X0'(X'X)-1X'Y;
Donde y0 es nuestra predicción dado una variable dependiente X0.
Al analizar este estimador, vemos que y0~N(X0'β,X0'X'X-1X0σ2), lo cual nos permitirá crear intervalos de confianza para las predicciones.
1.2.3 Residuos o errores aleatorios
Los residuos del modelo se definen como la diferencia entrelas observaciones y sus estimaciones, es decir
ei=y0-y0
Al analizar los supuestos, si éstos se satisfacen también ei satisface:
ei~N(0,1+(X0'X'X-1X0')σ2)
Además, vemos que
Z=y0-y0σ1+(X0'X'X-1X0')~N(0,1); y también que T=y0-y0S1+(X0'X'X-1X0'); con S=σ2
Finalmente, a una confianza de (1-α)100% podemos crear intervalos de confianza para las predicciones de un valor particular de y0; el cual serepresenta de la siguiente manera:
ICy0,1-α=X0'β±tα2S1+(X0'X'X-1X0')
1.2.4 Otros métodos de estimación
1.2.4.1 Estimación de mínimos cuadrados generalizados (MCG):
Este método se utiliza como referencia cuando la inferencia basada en el estimador MICO no cumple con el supuesto básico de homocedasticidad de varianza e independencia de los residuos.
Definiremos σ2Ψn como la matriz devarianzas-covarianzas de perturbaciones, con Ψn definida positiva.
Existe una matriz cuadrada Γn, en la cual:
ΓΨΓ'=In⟹ΓΓ'=InΨ-1; donde In es la matriz identidad de dimensión nxn.
Teniendo esta matriz Γn podemos multiplicarla en nuestro modelo de regresión, de forma de obtener el modelo ΓY=ΓXβ+Γε.- Finalmente, al calcular los estimadores MICO del nuevo modelo, obtenemos:
βMCG=XΓ'ΓX-1(XΓ'ΓY)
Por el...