selección modelos regresion

Cap´
ıtulo 12

Selecci´n de modelos.
o

12.1.

Criterios para la comparaci´n.
o

En ocasiones, ajustamos un modelo de regresi´n teniendo una idea clara
o
de las variables que debemos incluir como regresores. Es m´s frecuente, sin
a
embargo, el caso en que s´lo tenemos una idea aproximada de la forma adeo
cuada para nuestro modelo, y debemos decidir con criterio estad´
ıstico qu´e
regresores deben ser incluidos.
Para enfrentar este tipo de situaciones necesitamos, por una parte, criterios de bondad de ajuste, capaces de permitirnos comparar distintos modelos
ajustados a una misma muestra. Por otra, necesitamos estrategias de selecci´n de variables que construyan de manera autom´tica o semi-autom´tica
o
a
a
subconjuntos de todos los modelos posibles susceptibles deincluir el “mejor”.
Examinaremos en esta Secci´n el primer punto.
o
Es claro que no podemos preferir un modelo a otro simplemente porque su
SSE es menor, dado que toda1 variable que incluyamos en la regresi´n, tenga
o
mucha o poca relaci´n con la variable respuesta, reducir´ SSE. Tenemos,
o
a
pues, que buscar criterios m´s elaborados.
a
1

Las unicas excepciones son aquellasvariables correspondientes a columnas de la matriz
´
de dise˜ o X ortogonales a y, o que son combinaci´n lineal exacta de columnas corresponn
o
dientes a variables ya presentes entre los regresores.

187

´
CAP´
ITULO 12. SELECCION DE MODELOS.

188

12.1.1.

2

Maximizaci´n de Rp .
o

Se define el coeficiente de determinaci´n corregido as´
o
ı:
2

2
Rp = 1 − [1 − Rp ] ×

N −1N −p

(12.1)

haciendo referencia el sub´
ındice p al n´mero de regresores presentes en el
u
modelo. Si reescribimos la ecuaci´n (13.1) en la forma:
o
2

N −1
N −p
SSEp N − 1
=
×
SST
N −p

2
1 − Rp = [1 − Rp ] ×

(12.2)
(12.3)

vemos que mientras que el primer t´rmino de la derecha de (13.3) es mon´tono
e
o
no creciente con p, el segundo es mon´tono creciente. Porconsiguiente, el
o
2
producto de ambos puede crecer o decrecer al crecer p.
2
´
Es frecuente por ello utilizar Rp como criterio de ajuste. Aunque util, veremos sin embargo que debe complementarse con otros criterios. Su exclusiva
aplicaci´n da lugar con gran probabilidad a modelos sobreparametrizados,
o
como pone de manifiesto el siguiente teorema.
2

o
a
Teorema 12.1 El estad´
ıstico Rpcrece con la introducci´n de un par´metro en la ecuaci´n de regresi´n si el estad´
o
o
ıstico Qh asociado al contraste de
significaci´n de dicho par´metro verifica Qh > 1.
o
a
´
Demostracion:3
Para contrastar la significaci´n del (p + 1)-´simo par´metro, empleamos
o
e
a
(Secci´n 7.2, p´g. 77):
o
a
Qh =

SSEp − SSEp+1 N − p − 1
×
SSEp+1
1

2
2
(Rp+1 − Rp ) N − p − 1
=
×
21 − Rp+1
1
2

(12.4)
(12.5)

Expresiones como la anterior con un t´rmino funci´n de la suma de cuadrados de
e
o
los residuos y otro interpretable como “penalizaci´n” por la introducci´n de par´metros
o
o
a
adicionales, son ubicuas en la literatura estad´
ıstica. La Cp de Mallows que se examina m´s
a
abajo tiene la misma forma, como muchos criterios de ajuste utilizados sobre todoen el
an´lisis de series temporales: Criterio de Informaci´n de Akaike (AIC), FPE, BIC, etc.
a
o
3
Sigue a Haitovsky (1969).

´
12.1. CRITERIOS PARA LA COMPARACION.

189

de donde:
2
2
2
(1 − Rp+1 )Qh = (Rp+1 − Rp )(N − p − 1)

(12.6)

2
2
2
Qh − Qh Rp+1 = (N − p − 1)Rp+1 − (N − p − 1)Rp (12.7)
2
2
Qh + (N − p − 1)Rp = Rp+1 [(N − p − 1) + Qh ]

(12.8)

2
DespejandoRp+1 tenemos:
2
Qh + (N − p − 1)Rp
(N − p − 1) + Qh

2
Rp+1 =

(12.9)

1
2
Q + Rp
N −p−1 h
1
1 + N −p−1 Qh

=

(12.10)

2

De (13.10) y de la definici´n de Rp+1 se deduce que:
o
2

2
Rp+1 = 1 − [1 − Rp+1 ] ×

N −1
(N − p − 1)

(12.11)

Sustituyendo en esta expresi´n (13.10) llegamos a:
o
2

Rp+1 = 1 −

2
[1 − Rp ]
N −p−1+Qh
N −p−1

×

N −1
N −p−1...