Regresion

REGRESIÓN LINEAL SIMPLE
El análisis de regresión es una técnica estadística para investigar la relación
funcional entre dos o más variables, ajustando algún modelo matemático.
La regresión lineal simple utiliza una sola variable de regresión y el caso más
sencillo es el modelo de línea recta. Supóngase que se tiene un conjunto de n
pares de observaciones (xi,yi), se busca encontrar una recta quedescriba de la
mejor manera cada uno de esos pares observados.
SI
yi
18.5
20
21.1
22.4
21.2
15
18
18.8
15.7
14.4
15.5
17.2
19
17.2
16.8
270.8

Preparado por: Irene P. Valdez y Alfaro

24
22
Variable respuest

CP
xi
2.95
3.2
3.4
3.6
3.2
2.85
3.1
2.85
3.05
2.7
2.75
3.1
3.15
2.95
2.75
45.6

y = 8.1185x - 6.6269
2
R = 0.7185

20
18
16
14
12
10
2.6 2.7 2.8 2.9

3

3.1 3.2 3.3 3.4 3.5 3.6

Xi(variable independiente o regresiva)

Se considera que la variable X es la variable
independiente o regresiva y se mide sin error,
mientras que Y es la variable respuesta para cada
valor específico xi de X; y además Y es una variable
aleatoria con alguna función de densidad para cada
nivel de X.

f (Y xi )

E (Y xi )
Preparado por: Irene P. Valdez y Alfaro

yi

Y xi

Regresión Lineal Simple
yi = β 0 +β1 xi + ε i

f (Y xi )

E (Y xi ) = β 0 + β1 xi

x

1

xi

xn

Si la recta de regresión es:
Y = β 0 + β1 X
Cada valor yi observado para un xi puede considerarse como el valor
esperado de Y dado xi más un error:

Modelo lineal simple : yi = β 0 + β1 xi + ε i
Los εi se suponen errores aleatorios con distribución normal,
media cero y varianza σ2 ; β0 y β1 son constantes desconocidas
(parámetros delmodelo de regresión)

Preparado por: Irene P. Valdez y Alfaro

Método de Mínimos Cuadrados
para obtener estimadores de β0 y β1
Consiste en determinar aquellos estimadores de β0 y β1 que
minimizan la suma de cuadrados de los errores εi ; es decir,
los estimadores βˆ0 y βˆ1 de β0 y β1 respectivamente deben
ser tales que:
n
2

∑εi

i =1

sea mínima.

Del modelo lineal simple: yi = β 0 + β1 xi + ε ide donde:

ε i = yi − β 0 − β1 x
n

elevando al cuadrado:

Preparado por: Irene P. Valdez y Alfaro

2

n

2
∑ ε i = ∑ ( yi − β 0 − β1 x)

i =1

i =1

Según el método de mínimos cuadrados, los
estimadores de β0 y β1 debe satisfacer las
ecuaciones:

∂ n
2
∑ ( yi − β 0 − β1 x) = 0
∂β 0 i =1
∂ n
2
∑ ( yi − β 0 − β1 x) = 0
∂β1 i =1
Cuya solución es:

Al derivar se obtiene un
sistema de dosecuaciones
denominadas “ecuaciones
normales”:

n

n

i =1

i =1

∑ yi = nβ 0 + β1 ∑ xi
n

β 0 ∑ xi + β
i =1

n

2
x
∑
i
1
i =1

βˆ0 = y − βˆ1 x
 n y  n x 
 ∑ i  ∑ i 
n
 i =1  i =1 
∑ xi yi −
n
βˆ1 = i =1
2
n
 x
∑ i 
n
2


∑ x i − i =1
n
i =1

Ahora, el modelo de regresión lineal simple ajustado
(o recta estimada) es:
0
1

yˆ = βˆ + βˆ x

Preparado por: Irene P. Valdez y Alfaro

n

= ∑ xiyi
i =1

Con respecto al numerador y denominador de B1 suelen expresarse
como Sxy y Sxx respectivamente:
 n y  n x 
 ∑ i  ∑ i 
n
 i =1  i =1 
∑ xi yi −
n
βˆ1 = i =1
2
n
 x
∑ i 
n
2
 i =1 
∑ xi −
n
i =1

βˆ1 =

y

Preparado por: Irene P. Valdez y Alfaro

S xx

2

 x
∑ i 
n
n
2
2

i =1 
S xx = ∑ x i −
= ∑ (xi − x )
n
i =1
i =1
n

Puede demostrarse que:

S xy

 n y  n x
 ∑ i  ∑ i  n
n
S xy = ∑ xi yi −  i =1  i =1  = ∑ ( xi − x ) yi
n
i =1
i =1

Por otro lado puede demostrarse que los estimadores de β0 y β1 son
insesgados con varianzas:

1 x 2 
V (βˆ0 ) = σ  +

n
S
xx 

2

y

2
σ
V (βˆ1 ) =
S xx

respectivamente.

Como σ2 (la varianza de los errores εi) es en general desconocida, para estimarla
definimos el residuo como: ei = yi − yˆ i
y la suma decuadrados del error
como:
n
n

SS E = ∑ ( yi − yˆ i )

SS E = ∑ ei2

2

i =1

i =1

que al sustituir yˆ i también puede expresarse como: SS E = S yy − βˆ1S xy
n

donde: S yy = ∑ ( yi − y )

2

i =1

n

Sea MS E =

∑ ( yi − yˆ i )

i =1

2

n−2

Preparado por: Irene P. Valdez y Alfaro

SS E
2
E
MS
=
σ
(
)
Entonces:
=
E
n−2

σˆ 2 = MS E

Con lo anterior, las varianzas estimadas de βˆ0
son...