Regresion Lineal

RESUMEN 5
2.2 Regresión Lineal Múltiple.
Muchas aplicaciones del análisis de regresión involucran situaciones donde se tiene más de una variable de regresión. Un modelo de regresión que contiene más de un regresor recibe el nombre de modelo de regresión múltiple
2.2.1 Modelo de Regresión Lineal Múltiple
Como ejemplo supóngase que la vida eficaz de una herramienta de corte depende de lavelocidad de corte y del ángulo de la herramienta. Un modelo de regresión múltiple que puede describir esta relación es el siguiente:
Y= β0 + β1x1 +β2x2 + € donde Y representa la vida de la herramienta; x1 la velocidad de corte x2 el ángulo de la herramienta y € es un término de error aleatorio. Este es un modelo de regresión lineal múltiple con dos regresores. Se utiliza el término lineal porquela ecuación es una función lineal de los parámetros desconocidos β0 , β1 y β2.
En ocasiones los parámetros β1 y β2 se conocen como coeficiente de regresión parciales, ya que β1 mide el cambio esperado en Y por unidad de cambio en x1 , cuando x2 se mantiene constante y β2 mide el cambio esperado en Y por unidad de cambio en x2 cuando x1 se mantiene constante.
En general la variabledependiente o respuesta y puede estar relacionada con K variables independientes o regresores.
Los modelos que incluyen efectos de interacción también pueden analizarse con los métodos de la regresión lineal múltiple. En general cualquier modelo de regresión que es lineal en los parámetros es un modelo de regresión lineal, sin importar la forma de la superficie que éste genera.
2.2.2 Estimación delos parámetros por mínimos cuadrados.
El método de mínimos cuadrados puede emplearse para estimar los coeficientes de regresión del modelo lineal múltiple. Supóngase que se tienen disponibles n>k observaciones y sea Xij la i-ésima observación o nivel de variable Xj. las observaciones son :
(Xi1. Xi2,….., Xik, Yi) i= 1,2,….,n y n>k

Se acostumbrapresentar los datos de una regresión múltiple en una tabla. Cada observación satisface la ecuación:
Y= β0 + β1x1 +β2x2 +,……, βkXik + €i

La función de mínimos cuadrados es
| Re emplazando nos queda |
.
2.2.3 Enfoque matricial para la regresión lineal múltiple.
Enfoque matricial para la regresión lineal múltiple
Este modelo es un sistema de n ecuaciones que puede expresarse en notaciónmatricial como
y=Xβ+ϵ

ϵ=ϵ1ϵ2…ϵn
En general, y es un vector de observaciones de (nx1), X es una matriz (nxp) de los niveles de las variables independientes, β es un vector de (px1) formado por los coeficientes de regresión, y Є es un vector de(nx1) de errores aleatorios.
Se desea encontrar el vector de estimadores de minimos cuadrados que minimiza L.
El estimador de minimos cuadrados es lasolución para β en ecuaciones ∂L∂β=0
El estimador de minimos cuadrodos de β es
=(X'X)-1X'y
2.2.4 PROPIEDADES DE LOS ESTIMADORES DE MÍNIMOS CUADRADOS Y ESTIMACIÓN DE σ2
Las propiedades estadísticas de los estimadores de mínimos cuadrados β0, β1,...βk pueden determinarse con facilidad, bajo ciertas condiciones sobre los términos de error €1, €2,...€k, del modelo de regresión. Se supondrá quelos errores €, son estadísticamente independientes con media cero y varianza σ 2. Bajo estas suposiciones, los estimadores de mínimos cuadrados β0, β1,...βk son estimadores insesgados de los coeficientes de regresión β0, β1,...βk . Esta propiedad puede demostrarse de la siguiente manera:

puesto que E(€) = O y (X'X)-1 X'X = I, la matriz identidad. Por tanto, β es un estimador insesgado de β.Las varianzas de las β se expresan en términos de los elementos de la inversa de la matriz X'X. La inversa de X'X multiplicada por la constante σ 2 representa la matriz de covarianza de los coeficientes de regresión β. Los elementos de la diagonal de σ 2 (X'X) -1 son las varianzas de β0, β1,...βk , mientras que los elementos que están fuera de la diagonal de esta matriz son las covarianzas....