Simulacion

1

Diplomatura en Estad´
ıstica

2

Diplomatura en Estad´
ıstica

Se han observado p variables X1 , X2 , . . . , Xp sobre una muestra de n
individuos. La matriz de datos muestrales es
⎛
⎞
x11 x12 . . . x1p
⎜
⎟
⎜
⎟
⎜ x21 x22 . . . x2p ⎟
⎜
⎟
X=⎜ .
.
.⎟
..
.
.⎟
⎜.
.
.
.⎠
⎝.

An´lisis de
a
Componentes Principales

xn1

Departamento de Estad´
ısticaUniversidad Carlos III de Madrid

Problema: ¿Podemos describir la “informaci´n”
o
contenida en estos datos mediante alg´n conjunto de
u
variables menor que el de variables originales?
Idea: Si una variable es funci´n de otras, contiene
o
informaci´n redundante.
o
Por tanto, si las p variables observadas est´n fuertemente
a
correlacionadas, ser´ posible sustituirlas por menos
a
variables singran p´rdida de “informaci´n”.
e
o

. . . xnp

En adelante supondremos que X es una matriz centrada. (Si no lo
1
fuera, la transformaci´n H X, donde H = I − n 1 1 es la matriz de
o
centrado, dar´ lugar a tal configuraci´n).
ıa
o

Aurea Gran´
e

Diplomatura en Estad´
ıstica

xn2

3

Diplomatura en Estad´
ıstica

Esta reducci´n de la dimensi´n va a permitir:
o
o
•Simplificar posteriores an´lisis, que se har´n a partir de un
a
a
menor n´mero de variables que el original.
u
• Una representaci´n gr´fica de los individuos en dimensi´n
o
a
o
reducida (generalmente, 1 o 2).
´
• Examinar e interpretar las relaciones entre las variables
observadas.

4

5

Diplomatura en Estad´
ıstica

6

Diplomatura en Estad´
ıstica

Definici´n y obtenci´n de lascomponentes principales
o
o
Propiedades de las componentes principales
Sean X = [X1 , . . . , Xp ] y S = var(X) su matriz de covarianzas.

• Las componentes principales tienen varianza decreciente:
⎫
⎪
var(Y1 ) = var(X t1 ) = t1 S t1 = λ1 t1 t1 = λ1 ⎪
⎪
⎪
⎪
⎪
var(Y2 ) = var(X t2 ) = t2 S t2 = λ2 t2 t2 = λ2 ⎬
con λ1 > ... > λp
.
⎪
.
⎪
.
⎪
⎪
⎪
⎪
var(Yp ) = var(X tp ) = tp S tp= λp tp tp = λp ⎭

Puesto que S ≥ 0 y sim´trica, su descomposici´n espectral es
e
o
S = TΛT ,
donde T T = T T = I, con T = [t1 , . . . , tp ] y Λ = diag(λ1 , . . . , λp ),
con λ1 > ... > λp .
Las componentes principales de X son las nuevas variables
Yj = X tj ,

• y est´n incorrelacionadas unas con otras:
a
cov(Yi , Yj ) = cov(X ti , X tj ) = ti S tj = λj ti tj = 0, para i = j ,puesto que T es una matriz ortogonal.

j = 1, . . . , p.

e
Para cada j , la nueva variable Yj se construye a partir del j -´simo
autovector de S.

7

Diplomatura en Estad´
ıstica

• Las covarianzas entre cada componente principal y las variables
originales Xi son: Cov(Yj , [X1 , . . . , Xp ]) = λj tj , j = 1, . . . , p.
Utilizando que Y = X T y la descomposici´n espectral de S:
o
11
Cov(Y, X) = Y X = T X X = T S = T (T Λ T ) = Λ T
n
n
La fila j de esta matriz proporciona las covarianzas entre Yj y las
variables originales X1 , . . . , Xp .
Por ejemplo, la covarianza entre Y1 y X1 , . . . , Xp es λ1 t1 .
• La correlaci´n entre Yj y la variable original Xi es
o
corr(Yj , Xi ) =

λj tij
cov(Yj , Xi )
=
= tij
var(Yj ) var(Xi )
λj sii

donde tij es el elementoi-´simo del autovector tj .
e

λj
,
sii

8

Diplomatura en Estad´
ıstica

Representaci´n de los individuos
o
Con las nuevas coordenadas dadas por las componentes principales,
el individuo i-´simo, es decir, la fila xi = (xi1 , . . . , xip ) de la matriz
e
de datos X, se expresa como
yi = xi T = (xi t1 , . . . , xi tp ).
La matriz de datos transformados es Y = X T, que representalas
“observaciones” de las nuevas variables (componentes principales)
sobre los n individuos de la muestra.
Esta transformaci´n puede interpretarse geom´tricamente
o
e
considerando los n individuos como n puntos del espacio Rp .

9

Diplomatura en Estad´
ıstica

10

Diplomatura en Estad´
ıstica

Reducci´n de la dimensi´n
o
o
Consideremos la distancia eucl´
ıdea (al...