Regresion

REGRESIÓN LINEAL SIMPLE
El análisis de regresión es una técnica estadística para investigar la relación
funcional entre dos o más variables, ajustando algún modelo matemático.
La regresión lineal simple utiliza una sola variable de regresión y el caso más
sencillo es el modelo de línea recta. Supóngase que se tiene un conjunto de n
pares de observaciones (xi,yi), se busca encontrar una recta quedescriba de la
mejor manera cada uno de esos pares observados.
SI
yi
18.5
20
21.1
22.4
21.2
15
18
18.8
15.7
14.4
15.5
17.2
19
17.2
16.8
270.8

Preparado por: Irene P. Valdez y Alfaro

24
22
Variable respuest

CP
xi
2.95
3.2
3.4
3.6
3.2
2.85
3.1
2.85
3.05
2.7
2.75
3.1
3.15
2.95
2.75
45.6

y = 8.1185x - 6.6269
2
R = 0.7185

20
18
16
14
12
10
2.6 2.7 2.8 2.9

3

3.1 3.2 3.3 3.4 3.5 3.6

Xi (variableindependiente o regresiva)

Se considera que la variable X es la variable
independiente o regresiva y se mide sin error,
mientras que Y es la variable respuesta para cada
valor específico xi de X; y además Y es una variable
aleatoria con alguna función de densidad para cada
nivel de X.

f (Y xi )

E (Y xi )
Preparado por: Irene P. Valdez y Alfaro

yi

Y xi

Regresión Lineal Simple
yi = β 0 + β1xi + ε i

f (Y xi )

E (Y xi ) = β 0 + β1 xi

x

1

xi

xn

Si la recta de regresión es:
Y = β 0 + β1 X
Cada valor yi observado para un xi puede considerarse como el valor
esperado de Y dado xi más un error:

Modelo lineal simple : yi = β 0 + β1 xi + ε i
Los εi se suponen errores aleatorios con distribución normal,
media cero y varianza σ2 ; β0 y β1 son constantes desconocidas
(parámetros delmodelo de regresión)

Preparado por: Irene P. Valdez y Alfaro

Método de Mínimos Cuadrados
para obtener estimadores de β0 y β1
Consiste en determinar aquellos estimadores de β0 y β1 que
minimizan la suma de cuadrados de los errores εi ; es decir,
ˆ
ˆ
los estimadores β 0 y β1 de β0 y β1 respectivamente deben
ser tales que:
n
2

∑εi

i =1

sea mínima.

Del modelo lineal simple: yi = β 0 + β1 xi + ε ide donde:

ε i = yi − β 0 − β1 x
n

elevando al cuadrado:

Preparado por: Irene P. Valdez y Alfaro

2

n

2
∑ ε i = ∑ ( yi − β 0 − β1 x)

i =1

i =1

Según el método de mínimos cuadrados, los
estimadores de β0 y β1 debe satisfacer las
ecuaciones:

∂n
2
∑ ( yi − β 0 − β1 x) = 0
∂β 0 i =1
∂n
2
∑ ( yi − β 0 − β1 x) = 0
∂β1 i =1
Cuya solución es:

n

Al derivar se obtiene un
sistema de dos ecuacionesdenominadas “ecuaciones
normales”:

n

i =1

i =1

∑ yi = nβ 0 + β1 ∑ xi
n

β 0 ∑ xi + β
i =1

n

2
∑ xi
1
i =1

ˆ
ˆ
β 0 = y − β1 x
 n y  n x 
 ∑ i  ∑ i 
n
 i =1  i =1 
∑ xi yi −
n
ˆ
β1 = i =1
2
n
 x
∑ i 
n
2


∑ x i − i =1
n
i =1

Ahora, el modelo de regresión lineal simple ajustado
(o recta estimada) es:
0
1

ˆ
y=β +β x
ˆˆ

Preparado por: Irene P. Valdez y Alfaro

n

= ∑ xi yii =1

Con respecto al numerador y denominador de B1 suelen expresarse
como Sxy y Sxx respectivamente:
 n y  n x 
 ∑ i  ∑ i 
n
 i =1  i =1 
∑ xi yi −
n
ˆ
β1 = i =1
2
n
 x
∑ i 
n
2
 i =1 
∑ xi −
n
i =1

ˆ
β1 =

y

Preparado por: Irene P. Valdez y Alfaro

S xx

2

 x
∑ i 
n
2
 i =1  = n (x − x )2
S xx = ∑ x i −
∑i
n
i =1
i =1
n

Puede demostrarse que:

S xy

 n y  n x 
∑ i  ∑ i  n
n
S xy = ∑ xi yi −  i =1  i =1  = ∑ ( xi − x ) yi
n
i =1
i =1

Por otro lado puede demostrarse que los estimadores de β0 y β1 son
insesgados con varianzas:

1 x 2 
ˆ
V (β 0 ) = σ  +
n S xx 


2

y

σ2
ˆ
V (β1 ) =
S xx

respectivamente.

Como σ2 (la varianza de los errores εi) es en general desconocida, para estimarla
definimos el residuo como: ei = yi − yi
y la suma decuadrados del error
ˆ
como:
n
n

SS E = ∑ ( yi − yi )
ˆ

SS E = ∑ ei2

2

i =1

i =1

ˆ
ˆ
que al sustituir yi también puede expresarse como: SS E = S yy − β1S xy
n

donde: S yy = ∑ ( yi − y )

2

i =1

n

Sea MS E =

∑ ( yi − yi )
ˆ

i =1

2

n−2

Preparado por: Irene P. Valdez y Alfaro

SS E
2
Entonces: E (MS E ) = σ
=
n−2

σ 2 = MS E
ˆ

ˆ
Con lo anterior, las varianzas estimadas de β 0
son...