Regresión normal lineal multiple

Universidad Nacional de Colombia Facultad de Ciencias Departamento de Estadística Carrera de Estadística Análisis de regresión
Bogotá, septiembre de 2010

TALLER II ANÁLISIS DE REGRESIÓN 2010-II
Jorge Mario Carrasco Ortiz , Dora Myrian Suarez Villagran ,

=

>

Luis Eduardo Rodriguez Carrizosa , Farid Nicolas Calderon Gomez , William David Aristizabal Rodriguez , Eduardo Malagon Cabrero?

@

A

B

1. Considere un modelo de regresión normal lineal con la siguiente estructura
Y =µ+e µ = Xβ e ∼ N (0, σ 2 I)
Muestre que:

1.1. Para un modelo con intercepto el coeciente de determinacion R2 es igual al cuadrado de r , el coeciente de correlacion lineal de Pearson entre los ′ yk s y los µk 's, el cual esta dado por la siguiente expresión
n ∑

( (yk − y)(µk − µ)/ r2r=

n ∑

)1 ( 2 (yk − y)
2

n ∑

1 )2

(µk − µ)

2

k=1
Trabajando en el numerador de

k=1
obtenemos, siendo

k=1

I = (1, . . . , 1)t , 

el vector de unos de dimensión

n,

n para seguir con la demostración escribiremos nuestras sumas de forma matricial:

(

n ∑

)2 (yk − y)(µk − µ)

k=1

2 n ∑  ny µ = = yk µk − y µk − µ  k + ¨¨ y (yk µk − yµk − ykµ + yµ)   k=1 k=1 k=1 k=1   ( n )2 ( )2 ( )2 ∑ 1 1 = yk µk − nµ y = Y t µ − Y t I It µ = Y t HY − Y t I It HY n n (
n ∑

)2

n ∑

n ∑

k=1

= Código: > Código: ? Código: @ Código: A Código: B Código:

162519. 162567. 162559. 162447. 162515. 162548.

E-mail: E-mail: E-mail: E-mail: E-mail: E-mail:

jmcarrascoo@unal.edu.co dmsuarezv@unal.edu.co luierodriguezcar@unal.edu.cofncalderong@unal.edu.co wdaristizabalr@unal.edu.co emalagonc@unal.edu.co

1

2

TALLER II-REGRESIÓN

Analogamente llevaremos a forma matricial, de una manera adecuada, nuestro denominador de

n ∑

(

(yk − y)2

n ∑

)

(µk − µ)2

k=1

k=1

( )( ) 1 1 Y t Y − Y t I It Y µt µ − µt I It µ n n k=1 k=1 ( )( ) 1 1 = Y t Y − Y t I It Y (HY )t HY − (HY )t I It HY n n   ( ) 1 t t 1 t = Yt Y − Y I I Y Y t HH Y − Y HI It H Y  al ser, I It ∈ R n n H I It H ( )( ) 1 t t 1 t t = Y tY − Y I I Y Y t HY − Y I I HY n n =
n ∑ 2 (yk ) − ny 2 n ∑

(

)(

)

r2

(µk )2 − nµ2

=

Al hacer la división tenemos que:

)2 ) ( 1 1 Y t HY − n Y t I It HY ¡ Y t H − n I It H Y ( ) r =( @ @ = )( t ) 1 1 Y t Y − n Y t I It Y @ @@ Y t Y − n Y t I It Y Y@@@@1 Y @ It HY HY − n t I @) ( 1Y t H − n I It + I − I Y t t ( ) = sabiendo que I H = I 1 Y t Y − n Y t I It Y ) ( 1 1 Y t I − n I It Y − (I − H) Y Y t Y − Y t n I It Y − Y t (I − H)Y ( ) ( ) = = 1 t t 1 Y tY − n Y I I Y Y t Y − n Y t I It Y
2

(

= =

1 1 Y t Y − Y t n I It Y − Y t (I − H)(I − H)Y Y t Y − Y t n I It Y − (Y t − Y t H)(Y − HY ) ( ) ( ) = 1 1 Y t Y − n Y t I It Y Y t Y − n Y t I It Y

1 Y t Y − Y t n IIt Y − (Y − HY )t (Y − HY ) ( ) 1 Y t Y − n Y t I It Y ∑n ∑n ∑n (y 2 ) − ny 2 − (Y − µ)t (Y − µ) (yk − y)2 − k=1 (yk − µ)2 = k=1 k ∑n = k=1 ∑n 2 2 2 2 k=1 (yk − y) k=1 (yk ) − ny SCT − SCReg = = R2 coeciente de determinación SCT

1.2. Para un modelo con intercepto se tiene que Rk = yk − µk es el residuo ordinario.

R = 0,con R =

1 n

∑

Rk ,

donde

R=

1∑ 1 Rk = IR R el vector deresiduos n n 1 t 1 = I (Y − HY ) = (It Y − It HY ) n n 1 t t = (I Y − I Y ) = 0 ya que It H = It . n

ordinarios.

1.3. El producto de la matriz

t Zj R = 0 para todo j=1,…,p, donde Zj es la j-ésima columna X y R = (R1 , . . . , Rn )t es el vector de residuos ordinarios.

t Zj R = Zj t (I − H)Y = Zj t Y − Zj t HY
Teniendo en cuenta el siguiente producto matricial

$ $ $ X T H = $$ $$$−1 X T X T X (X T X)
Análisis de regresión (2010)

TALLER II-REGRESIÓN

3

entonces de la

Es decir que t

Zj t H es la columna j-esima de la matriz resultante en el producto matricial X T H , Zj H = Zj t . Lo que también tiene sentido si pensamos en la proyección de la j-esima columna matriz X, en el espacio generado por las columnas de X , al tener X rango p quiere decir que

la...