6

DIAGNÓSTICOS DE REGRESIÓN

1

Residuales y detección de “outliers”
• Consideremos el modelo
Y=XB+e , donde E(e)=0 y Var(e)=σ2I
)
)
)
Luego Y = Xβ,donde β = (X' X) X' Y
)
la matriz HAT (sombrero) H de Y = X(X' X)) X' Y = HY
actúa como una transformación
de Y a Y.
n
)
y
hij y j
- En particular i = ∑
j =1
hij es el elemento de la matríz H que está en la
i-ésima fila y j-ésima columna. Así
n
)
)
)
e= Y − Y = Y − HY = (I − H)Y donde ei = y i − ∑ hij y j
−1

−1

j =1

2

Media y Varianza del vector de residuales
i

)
E (e ) = (I − H) E ( Y ) = 0

ii

)
Var (e) = Var[(I − H)Y] = σ 2 (I − H)

, I-H es simétrica e idempotente.

En particular

)
Var (ei ) = σ 2 (1 − hii )

se estima por

s2(1-hii).

) )
Cov(ei , e j ) = −hij σ 2

Notar que :
a) Tanto los errores ei como los residuales tienenmedia 0.
b) La varianza de los errores es constante, pero la de los residuales
no lo es.
c) Los errores no están correlacionados, pero los residuales si.
3

Residuales Estudentizados Internamente
• Se define por

ri∗ =

)
ei

σ 1 − hii

También son llamados residuales estandarizados.
• La covarianza de los residuales estudentizados es
igual a
Cov (ri∗ , r ∗j ) = Cov (

)
ei

,

)
ej

σ 1 − hii σ 1 −h jj

)=

) )
Cov (ei , e j )

σ

2

(1 − hii )(1 − h jj )

=

− hij
(1 − hii )(1 − h jj )

4

Outliers”, puntos de leverage alto y valores
influenciales
Una observación (y*,x*1,……..x*k) es considerado un
“outlier” si está bastante alejado de la mayoría de los
datos sea en la dirección vertical o en la horizontal.
Sin embargo, la mayoría de los textos llaman “outlier”
a un valor alejadosolamente en la dirección vertical y
Punto de leverage alto a una observación alejada en
la dirección horizontal.
P=k+1: número de parámetros .

5

Valor Influencial
Una observación (y*,x*1,……..x*k) es considerado un
valor influencial si su presencia afecta tremendamente
el comportamiento del modelo.
Por ejemplo, en el caso de regresión simple remover un
valor influencial podría cambiar dramáticamenteel
valor de la pendiente.

6

Ejemplo de una observación que es “outlier”
y punto leverage alto pero que no es
influencial.

7

Ejemplo de una observación que es punto de
leverage alto y que también es influencial.

Este punto tendrá un gran efecto sobre el R2 y el cambio drástico en la
pendiente.

8

Residuales Estudentizados Externamente (I)
• Supongamos que la i-ésima observación es eliminadadel
conjunto de datos y que se ajusta el modelo lineal con las n-1
observaciones restantes. Luego, la identidad de Gauss es
−1
−1
(X'
X)
x
x'
(X'
X)
i i
(X'(i) X (i) ) −1 = (X' X)−1 +
1 − hii

• relaciones entre

βˆ y

)
β (i) y

entre s2 y s (i2 )

−1 ˆ
(
)
X'
X
x i ei
βˆ (i) = βˆ −
1 − hii

s(2i )

eˆi2
n − p −1 2
s −
=
n− p−2
(n − p − 2)(1 − hii )
9

La identidad de Gauss
• Es un casoparticular de la Identidad de ShermanMorrison-Woodburry (1950)
(A ± uv')

−1

A −1 uv' A −1
=A m
1 ± v' A −1 u
−1

Donde:
A es una matríz cuadrada nosingular n x n, y
u y v son dos vectores de dimensión n.
A=X’X y u = v = xi y
x’i es la i-ésima fila de X

X '(i) X (i) = X' X − x i x'i

10

Varianza del Residual: yi - ~yi
~
yi

Si
representa el valor estimado de la variable de
respuesta para la i-ésimaobservación
)
~
y i = x'i β (i)

~
yi y yi son independientes, (la i-ésima observación no
fue usada en la estimación del modelo )
Var ( yi − ~
yi ) = Var ( yi ) + Var ( ~
yi ) = σ 2 + σ 2 x'i (X' ( i ) X ( i ) ) −1 x i

11

Residual Estudentizado Externamente (II)
σ2

s (i2 )

Estimando
por
y considerando que si yi
no es un outlier entonces E(yi - ~yi ) = 0 se obtiene
ti =

yi − ~
yi
s (i ) 1 + x'i(X ' ( i ) X ( i ) ) −1 x i

ti es llamado un residual estudentizado externamente
y tiene n-p-2 grados de libertad.

12

Propiedad
• Relación entre el residual usual y el residual usando
un modelo eliminando la i-ésima observación
êi
~
y i - yi =
1 - hii

• Relación entre los distintos tipos de residuales
ti =

)
ei
s(i ) 1 − hii

=

⎛

1/ 2

⎞
⎟
*2 ⎟
n
p
1
r
−
−
−
i ⎠
⎝

ri∗ ⎜
⎜

n− p−2

13...