Capitulo 6 Linear Models traducido al español

Regresión.
Modelo de regresión lineal simple.
El modelo de regresión lineal simple para n observaciones puede escribirse:

y i = β 0 + β 1 xi + ε i

i =1, 2,  , n

Lo de simple proviene del hecho que hay una sola variable x para predecir la
respuesta y. La expresión lineal significa que el modelo es lineal en los
parámetros β 0 y β1 .
En este capítulo, se supondrá que y i y ε i , son variablesaleatorias y que las x’s
son constantes conocidas. Al modelo anterior se agregará los siguientes
supuestos:
1. E (ε i ) = 0 ∀ i =1, 2,, n
2
2. var(ε i ) = σ ∀ i =1, 2,, n
3. cov(ε i , ε j ) = 0 ∀ i ≠ j

ó

E ( y i ) = β 0 + β 1 xi

ó

var( yi ) = σ 2

ó

cov( yi , y j ) = 0

Estimación de los parámetros.
Usando una muestra aleatoria de n observaciones y1 , y2 ,, yn y los
correspondientes valoresfijos x1 , x2 ,, xn , se puede proponer una estimación
de los parámetros β 0 , β1 y σ 2 .
En esta oportunidad se usará el método de mínimos cuadrados. Según este método,
se busca valores para los parámetros que hagan mínima la suma de cuadrados
de las discrepancias yi − yˆi , donde yˆi es el valor que propone el modelo para
estimar el valor esperado de la observación yi .
n

n

n

i =1

i =1

i=1

εˆ ' εˆ = ∑ εˆi2 = ∑ ( yi − yˆi ) 2 = ∑ ( yi − βˆ0 − βˆ1 xi ) 2

Se puede demostrar que los valores de los parámetros que minimizan la
expresión anterior están dados por:

n

βˆ1 =

∑ xi yi − nxy
i =1
n

∑ x − nx
i =1

2
i

2

n

=

∑ (x
i =1

i

− x )( yi − y )

n

∑ (x
i =1

i

− x )2

βˆ0 = y − βˆ1 x

Ejercicio.1. Escribir el modelo anterior en forma matricial Y = Xβ + ε
2. Usando losteoremas de los capítulos anteriores encontrar la esperanza
y la varianza de los estimadores de los parámetros β , asumiendo que
estos se obtienen mediante la expresión βˆ = ( X ' X ) −1 X 'Y
3. Sea s 2 =

y ' y − βˆ ' X ' y
, donde k+1 es el número de parámetros del
n − (k + 1)

problema de regresión. Encuentre su valor esperado.
4. Encuentre las expresiones algebraicas de los estimadores dados enel
Capítulo 6.-(6.7, 6.8, 6.9, 6.10, 6.11) del libro de Rencher.
5. Usando los datos del Ejemplo 6.2.- del libro de Rencher, calcule los
estimadores mediante las expresiones matriciales dadas y también
haciendo uso del comando lm de R.
6. Use R para hacer gráficos de interés.
Dócima de hipótesis e intervalos de confianza.
En el caso de este problema de regresión lineal simple, resulta de mayorinterés analizar hipótesis acerca de β1 porque hacen referencia a la relación
entre y y x . Una hipótesis de interés es H 0 : β1 = 0 , que establece que no hay
relación lineal entre y y x en el modelo yi = β 0 + β1 xi + ε i .
Para realizar una dócima de H 0 : β1 = 0 , se hará la suposición adicional de que
y i ~ N ( β 0 + β 1 xi , σ 2 ) .
Ejercicio.Bajo estos supuestos, encuentre las distribuciones deβˆ1 , (n − k − 1) s 2 / σ 2 y
demuestre que βˆ1 y s 2 son independientes..

A partir de las propiedades demostradas en el ejercicio anterior, se deduce que

βˆ1

t=
s/

∑ (x

i

− x)2

i

sigue una distribución t no central de parámetro de no centralidad δ
( t (n − 2, δ ) ). Se puede ver que δ está dado por:

δ =

E ( βˆ1 )
=
var(βˆ1 ) σ /

β1

∑ (x

i

− x)2

i

Bajo H 0 , t se distribuye como unat central con n-2 grados de libertad.
Un intervalo de confianza de 100(1 − α )% para β1 está dado por:
s

βˆ1 ± tα / 2,n − 2

n

∑ (x
i =1

i

− x)2

Coeficiente de determinación.
Si se denota yˆ i = x'i βˆ , donde x'i es la i-ésima fila de la matriz X, entonces se
puede demostrar que
n

∑(y
i =1

− y) =
2

i

n

∑ ( yˆ
i =1

− y) +
2

i

n

∑(y
i =1

i

− yˆ ) 2

SCT = SCR + SCE
n

donde SCT =

∑( y − y)
i =1

i

n

2

, SCR =

∑ ( yˆ − y )
i =1

i

n

2

y SCE =

∑ ( y − yˆ )
i =1

i

2

.

El coeficiente de determinación r 2 se interpreta como la proporción de la
variabilidad total de la respuesta que es explicada por el modelo y está definido
por
r2 =

SCR
SCT

Modelo de Regresión Lineal Múltiple.
En un modelo de regresión múltiple se supone que la variable de respuesta o...