Regresion Lineal

REGRESIÓN LINEAL SIMPLE
El análisis de regresión es una técnica estadística para investigar la relación funcional entre dos o más variables, ajustando algún modelo matemático. La regresión lineal simple utiliza una sola variable de regresión y el caso más sencillo es el modelo de línea recta. Supóngase que se tiene un conjunto de n pares de observaciones (xi,yi), se busca encontrar una recta quedescriba de la mejor manera cada uno de esos pares observados.
CP xi 2.95 3.2 3.4 3.6 3.2 2.85 3.1 2.85 3.05 2.7 2.75 3.1 3.15 2.95 2.75 45.6 SI yi 18.5 20 21.1 22.4 21.2 15 18 18.8 15.7 14.4 15.5 17.2 19 17.2 16.8 270.8

24 22 Variable respuest 20 18 16 14 12 10

y = 8.1185x - 6.6269 2 R = 0.7185

2.6 2.7 2.8 2.9

3

3.1 3.2 3.3 3.4 3.5 3.6

Xi (variable independiente o regresiva)Preparado por: Irene P. Valdez y Alfaro

Se considera que la variable X es la variable independiente o regresiva y se mide sin error, mientras que Y es la variable respuesta para cada valor específico xi de X; y además Y es una variable aleatoria con alguna función de densidad para cada nivel de X.

f (Y xi )

E (Y xi )
Preparado por: Irene P. Valdez y Alfaro

yi

Y xi

RegresiónLineal Simple
f (Y xi )

yi = β 0 + β1 xi + ε i

E (Y xi ) = β 0 + β1 xi

Si la recta de regresión es: Y = β 0 + β1 X Cada valor yi observado para un xi puede considerarse como el valor esperado de Y dado xi más un error:

x

1

xi

xn

Modelo lineal simple : yi = β 0 + β1 xi + ε i Los εi se suponen errores aleatorios con distribución normal, media cero y varianza σ2 ; β0 y β1 sonconstantes desconocidas (parámetros del modelo de regresión)

Preparado por: Irene P. Valdez y Alfaro

Método de Mínimos Cuadrados para obtener estimadores de β0 y β1
Consiste en determinar aquellos estimadores de β0 y β1 que minimizan la suma de cuadrados de los errores εi ; es decir, ˆ ˆ los estimadores β 0 y β1 de β0 y β1 respectivamente deben ser tales que: n 2
i =1

∑εi

seamínima.

Del modelo lineal simple: yi = β 0 + β1 xi + ε i de donde: elevando al cuadrado:

ε i = yi − β 0 − β1 x
i =1 2 ∑ ε i = ∑ ( yi − β 0 − β1 x) i =1 n 2 n

Preparado por: Irene P. Valdez y Alfaro

Según el método de mínimos cuadrados, los estimadores de β0 y β1 debe satisfacer las ecuaciones:

∂ n 2 ∑ ( yi − β 0 − β1 x) = 0 ∂β 0 i =1 ∂ n 2 ∑ ( yi − β 0 − β1 x) = 0 ∂β1 i =1
Cuyasolución es:

Al derivar se obtiene un sistema de dos ecuaciones denominadas “ecuaciones normales”:

i =1

∑ yi = nβ 0 + β1 ∑ xi
i =1 n i =1 2 ∑ xi 1 i =1 n

n

n

β 0 ∑ xi + β

= ∑ xi yi
i =1

n

ˆ ˆ β 0 = y − β1 x  n y  n x   ∑ i  ∑ i  n  i =1  i =1  ∑ xi yi − n ˆ β1 = i =1 2 n  x ∑ i  n 2   ∑ x i − i =1 n i =1

Ahora, el modelo de regresión lineal simple ajustado(o recta estimada) es: 0 1

ˆ y=β +β x ˆ ˆ

Preparado por: Irene P. Valdez y Alfaro

Con respecto al numerador y denominador de B1 suelen expresarse como Sxy y Sxx respectivamente:
 n y  n x   ∑ i  ∑ i  n  i =1  i =1  ∑ xi yi − n ˆ β1 = i =1 2 n  x ∑ i  n 2  i =1  ∑ xi − n i =1

ˆ β1 =

S xy S xx

Puede demostrarse que:
y

nx ∑ i  n 2  i =1  = n (x − x )2S xx = ∑ x i − ∑ i n i =1 i =1  n y  n x   ∑ i  ∑ i  n n S xy = ∑ xi yi −  i =1  i =1  = ∑ ( xi − x ) yi n i =1 i =1

2

Preparado por: Irene P. Valdez y Alfaro

Por otro lado puede demostrarse que los estimadores de β0 y β1 son insesgados con varianzas:

1 x 2  ˆ V (β 0 ) = σ 2  + n S xx   

y

σ2 ˆ V (β1 ) = S xx

respectivamente.

Como σ2 (la varianza de loserrores εi) es en general desconocida, para estimarla definimos el residuo como: ei = yi − yi y la suma de cuadrados del error ˆ como: n n

SS E = ∑ ei2
i =1

SS E = ∑ ( yi − yi ) ˆ
i =1

2

ˆ ˆ que al sustituir yi también puede expresarse como: SS E = S yy − β1S xy
donde: S yy = ∑ ( yi − y )
i =1 n 2

Sea MS E =

i =1

∑ ( yi − yi ) ˆ n−2

n

2

SS E 2 Entonces: E (MS E...