Regresión

Regresión.
Modelo de regresión lineal simple.
El modelo de regresión lineal simple para n observaciones puede escribirse:

y i = β 0 + β1 xi + ε i

i =1, 2,L, n

Lo de simple proviene del hecho que hay una sola variable x para predecir la
respuesta y. La expresión lineal significa que el modelo es lineal en los
parámetros β 0 y β1 .
En este capítulo, se supondrá que y i y ε i , sonvariables aleatorias y que las x’s
son constantes conocidas. Al modelo anterior se agregará los siguientes
supuestos:
1. E (ε i ) = 0 ∀ i =1, 2,L, n

ó

E ( y i ) = β 0 + β 1 xi

2
2. var(ε i ) = σ ∀ i =1, 2,L, n
3. cov(ε i , ε j ) = 0 ∀ i ≠ j

ó
ó

var( yi ) = σ 2
cov( yi , y j ) = 0

Estimación de los parámetros.
Usando una muestra aleatoria de n observaciones y1 , y2 ,L, yn ylos
correspondientes valores fijos x1 , x2 ,L, xn , se puede proponer una estimación
de los parámetros β 0 , β1 y σ 2 .
En esta oportunidad se usará el método de mínimos cuadrados. Según este método,
se busca valores para los parámetros que hagan mínima la suma de cuadrados
ˆ
ˆ
de las discrepancias yi − yi , donde yi es el valor que propone el modelo para
estimar el valor esperado de laobservación yi .
n

n

n

i =1

i =1

i =1

ˆ
ˆ
ˆ ˆ
ˆ
ˆ
ε ' ε = ∑ ε i2 = ∑ ( yi − yi ) 2 = ∑ ( yi − β 0 − β1 xi ) 2

Se puede demostrar que los valores de los parámetros que minimizan la
expresión anterior están dados por:

n

ˆ
β1 =

∑ xi yi − nx y
i =1
n

∑ x − nx
i =1

2
i

2

n

=

∑(x
i =1

i

− x )( yi − y )

n

∑ (x
i =1

i

− x )2ˆ
ˆ
β 0 = y − β1 x

Ejercicio.1. Escribir el modelo anterior en forma matricial Y = Xβ + ε
2. Usando los teoremas de los capítulos anteriores encontrar la esperanza
y la varianza de los estimadores de los parámetros β , asumiendo que
ˆ
estos se obtienen mediante la expresión β = ( X ' X ) −1 X 'Y
3. Sea s 2 =

ˆ
y' y − β ' X ' y
, donde k+1 es el número de parámetros del
n − (k + 1)problema de regresión. Encuentre su valor esperado.
4. Encuentre las expresiones algebraicas de los estimadores dados en el
Capítulo 6.-(6.7, 6.8, 6.9, 6.10, 6.11) del libro de Rencher.
5. Usando los datos del Ejemplo 6.2.- del libro de Rencher, calcule los
estimadores mediante las expresiones matriciales dadas y también
haciendo uso del comando lm de R.
6. Use R para hacer gráficos deinterés.
Dócima de hipótesis e intervalos de confianza.
En el caso de este problema de regresión lineal simple, resulta de mayor
interés analizar hipótesis acerca de β1 porque hacen referencia a la relación
entre y y x. Una hipótesis de interés es H 0 : β1 = 0 , que establece que no hay
relación lineal entre y y x en el modelo y i = β 0 + β 1 x i + ε i .
Para realizar una dócima de H 0 : β1 = 0, se hará la suposición adicional de que
y i ~ N ( β 0 + β1 xi , σ 2 ) .
Ejercicio.ˆ
Bajo estos supuestos, encuentre las distribuciones de β1 , (n − k − 1) s 2 / σ 2 y
ˆ
demuestre que β1 y s 2 son independientes..

A partir de las propiedades demostradas en el ejercicio anterior, se deduce que

ˆ
β1

t=
s/

∑ (x

i

− x)2

i

sigue una distribución t no central deparámetro de no centralidad δ
( t (n − 2, δ ) ). Se puede ver que δ está dado por:

δ =

ˆ
E ( β1 )
=
ˆ) σ/
var(β1

β1

∑ (x

i

− x)2

i

Bajo H 0 , t se distribuye como una t central con n-2 grados de libertad.
Un intervalo de confianza de 100(1 − α )% para β1 está dado por:
ˆ
β 1 ± tα / 2, n − 2

s
n

∑ (x
i =1

i

− x)2

Coeficiente de determinación.

ˆ
ˆ
Si sedenota yi = x'i β , donde x'i es la i-ésima fila de la matriz X, entonces se
puede demostrar que
n

∑ ( yi − y ) 2 =
i =1

n

ˆ
∑ ( yi − y ) 2 +
i =1

n

∑(y
i =1

i

ˆ
− y) 2

SCT = SCR + SCE
n

2
donde SCT = ∑ ( yi − y ) , SCR =
i =1

n

ˆ
∑ ( yi − y ) 2 y SCE =
i =1

n

ˆ
∑ ( y − y)
i =1

i

2

.

El coeficiente de determinación r 2 se...