Demostraciones De Regresion Simple

Demostraciones de Regresión Simple.
Estimación
La distribución de y es y i ß N  0   1 x i ,  2

Estimación Máximo Verosímil
La función de verosimilitud, sabiendo que y i es una variable normal será
n

L

Ü
i1

ya que la densidad de y es: f y i 
Tomando logaritmos

1
 2

1
2

exp

0 1xi
2

1 yi
2

1 exp
 2

y i media 2
Varianza

n

log L 

log2

2

1/2 log  2

1/2

yi

i1

0 1xi
2

2

Para calcular el los valores que maximizan L derivamos e igualamos a cero
n

log L

0

0

2 yi

1xi  0

#

i1

n

log L

1

2x i y i

0

1xi  0

#

i1

Resolviendo estas ecuaciones se obtienen los valores de  0 y  1

Estimación por mínimos cuadrados
El error de predicción quecometemos con una observación será el valor observado menos el
previsto
ei  yi

yi  yi

0  1xi

#

La suma de errores al cuadrado.
n

S

n

e2 
i
i1

0

1x

2

yi

yi

0

1x

i1

Minimizamos la suma de errores al cuadrado:
n

S  min

n

e 2  min
i
i1

i1

2

n

S
0
S
1

0

2 yi

1x  0

i1
n

0

2x i y i1x  0

i1

Estas ecuaciones coinciden con las de máxima verosimilitud y se denominan Ecuaciones
Normales. Se pueden expresar en función de los residuos como:
ei  0

#

eixi  0

#

Los valores de los parámetros son:
cov x, y
1 
var x

n
i1



0  y

yi
n
i1

y xi x
xi x 2

1x

Para estimar la varianza se utiliza la varianza residual. La varianzaresidual es la varianza de los
residuos corregida por grados de libertad. Como los residuos tienen media cero (por la primera
ecuación normal), la varianza residual será::
O2
sR 

n

n
e2
i1 i

2

Distribución de  1
Como hemos visto

n
i1

1 

yi
n
i1

y xi x
xi x 2

n
yx
i1 i i
n
x
i1 i



x
x

2

Siempre se cumple que la suma de desviaciones a lamedia de cualquier variable es cero:
n

xi

x 0

i1
n

#
n

xi

x

i1

n

x  nx

xi
i1

nx  0

#

i1

La expresión de la varianza de x es:
s2
x



n
i1

xi
n

x

xi
ns 2
x

x

#

Por tanto  1 se puede escribir como:
1 

n
i1

yi

#

Sabemos que
y i ß N  0   1 x i ,  2 y por tanto E y i   0   1 x i y var y i   2 1 es por tanto combinación lineal de variables aleatorias normales, por lo se distribuirá
normalmente. Su media será:
n
i1

xi
ns 2
x

E 1  E



n
i1

xi
ns 2
x

x

x

n
i1

xi
ns 2
x



yi
n
i1

xi
ns 2
x

0  1xi 

x

x

E yi
n
i1

xi
ns 2
x

0 

#
x

1xi

#

El primer término es cero por ser suma de desviaciones ala media
El numerador del segundo término de la expresión anterior puede escribirse como:
n

n

x xi 

xi
i1

x2
i

nx

#

i1

Y el denominador:

n

ns 2
x

n



xi

x

2



n

x2
i

i1



i1

n

x

#

i1

n

x2

i1

xx i 

2

i1

n

x2 
i

n
2

2nx 

x2
i

i1

nx

#

i1

Por tanto
E 1 1

#

Vamos a calcular la varianza de  1
var  1 
n
i1
n
i1

n
i1

xi
ns 2
x

2

x
2

n
i1

xi
ns 2
x

var y i 

xi x 2
2 
xi x 2 2

n
i1

2
xi

x

2

x

2

2

2
 2
ns x

2 

#

#

Por tanto
2
1 ß N 1,  2
ns x

#

Además (No lo demostramos)
n


2

2 O2
s R ß 2
n

2

#

Contrastes e intervalosHemos demostrado que
2
1 ß N 1,  2
ns x

#

por tanto
1

1

ß N 0, 1

/ ns 2
x

#

La definición de una t de k grados de libertad es:
tk 

tn

2

N 0, 1
12

kk

1 1
/ ns x



1
n2

n2
2

#

 1
 O1
s R/ n sx

O2
sR

#

Al término
O
s R / n s x  SE  1

#

se le denomina error estándar de  1. Es el valor del error estándar...