varianza generalizada

Analisis Multivariado 1 (Apunte basado
en notas de clases del profesor Victor
Yohai)
Andres Farall (afarall@hotmail.com) y Susana Sombielle (ssombielle@gmail.com)
June 24, 2011

1

Bibliografia
• Multivariate Observations, by G.A.F. Seber (Dificil).
• Applied Multivariate Data Analysis Volume 2, by J. D. Jobson
(Facil).
• Multivariate Descriptive Statistical Analysis, by L. Lebart (intermedio).
•Análisis de datos multivariantes, by Daniel Peña (intermedio).
• The Elements of Statistical Learning, by T. Hastie, R Tibshirani
and J. Friedman (intermedio).

2

Algunas convenciones, definiciones y propiedades
• Observamos simultaneamente d variables que conforman un vector X = (x1 , x2 , . . . , xd ) ∈ Rd que posee una funcion de distribucion F (X, θ).
• En una estructura matricial el primerindice identifica las filas
y el segundo las columnas.
• El operador de trasposicion cumple con (AB) = B A .
• Los vectores son vectores columna por defecto.

X=






x1
x2
..
.







xn
• El operador esperanza aplicado a un vector aleatorio en Rd se
define asi:



E (X) = E 


X1
X2
..
.
Xd
1







=







E(X1 )
E(X2 )
..
.
E(Xd )







• El operador esperanzaaplicado a una matriz A = {ai,j } se define
asi:
E(A) = {ei,j }

con

ei,j = E(ai,j )

• El operador Varianza de un vector aleatorio Rd de define asi:

V AR (X) = E [(X − E(X))(X − E(X)) ]

σ11

σ12

σ13


 σ21

=
 σ31
 .
 ..
σd1

σ22
σ32

σ23
σ33

···

..

.

···


σ1d
.. 
. 





σdd

• El operador Covarianza entre dos vectores aleatorios, X = (x1 , x2 , . . . , xd ) ∈ Rd
e Y =(y1 , y2 , . . . , yk ) ∈ Rk se define asi
COV (X,Y) = E [(X − E(X))(Y − E(Y)) ] =



cov(x1 , y1 )


 cov(x2 , y1 )

= 
 cov(x3 , y1 )

..

.
cov(xd , y1 )

cov(x1 , y2 ) cov(x1 , y3 ) · · ·
cov(x2 , y2 ) cov(x2 , y3 )
cov(x3 , y2 ) cov(x3 , y3 )
..
···

.


cov(x1 , yk )

..

.





cov(xd , yk )

• La matriz A = {ai,j } es simetrica ⇐⇒ ai,j = aj,i .
• Dada A = {ai,j } simetrica,λ es autovalor y b es autovector
correspondiente si Ab =λb.
• Dada A ∈ Rd×d simetrica, se dice definida positiva si ∀X ∈ Rd ,X AX >
0.
• Dada A ∈ Rd×d simetrica, se dice semi-definida positiva si
∀X ∈ Rd ,X AX ≥ 0.
• Al valor escalar que se obtiene calculando X AX se lo llama
forma cuadratica.
• T r (A + B) = T r (A) + T r (B) y T r (AB) = T r (BA) .
• Los autovalores no nulos de AB coinciden conlos de BA. (Si las
matrices son cuadradas, los nulos también coinciden).
• Sea A una matriz simétrica de d × d. Todos sus autovalores son
reales. Si llamamos λ1 ≥ λ2 ≥ . . . ≥ λd a estos autovalores,
sucede que:
d

– tr (A) =

λi
i=1

d

– |A| =

λi
i=1

2

d

– |I ± A| =

(1 ± λi )
i=1

– A ≥ 0 ⇔ λi ≥ 0 ∀i.
– A > 0 ⇔ λi > 0 ∀i.
– A ≥ 0 y |A| = 0 ⇒ A > 0.
– A > 0 ⇒ A−1 > 0.
– A > 0 ⇔ existe R ∈Rd×d no singular tal que A = RR ⇔
existe una matriz ortogonal B ∈ Rd×d tal que si Λ =
diag(λ1 , λ2 , . . . , λd ) con λi > 0 ∀i entonces A = BΛB
(es lo que se denomina descomposición espectral de A).
– A ≥ 0 de rango r ⇔ existe R ∈ Rd×d de rango r tal que
A = RR ⇔ existe una matriz ortogonal B ∈ Rd×d tal
que si Λ = diag(λ1 , λ2 , . . . , λd ) con λi ≥ 0 ∀i entonces
A = BΛB .
• La matriz P de d × dse dice de proyección si es simétrica e
idempotente (es decir, P 2 = P ). Se cumple lo siguiente:
– rg (P ) = r ⇔ λi = 1 para i = 1, . . . , r y λi = 0 para
r

i = r + 1, . . . , d. Entonces P =
i=1

ti ti para ciertos ti orto-

normales.
– rg (P ) = tr (P ) .
– I − P también es de proyección.
−1

• Sea X de n × p y de rango p. La matriz P = X (X X)
una matriz de proyección.
n
i=1

• Vector demedias X =

X es

Xi

n

• Si X e Y son vectores aleatorios (no necesariamente de la misma
dimensión) se puede ver que:
– COV (X, Y) = E XY − E (X) E (Y ) .
– COV (AX, BY) = A COV (X, Y) B .
– Si a es un vector no aleatorio, V AR (X − a) = V AR (X) .
– V AR (AX) = A V AR (X) A .
• Sea X1 , . . . , Xn una muestra de vectores aleatorios de dimensión
d con varianza Σ y {ai }1≤i≤n , {bi }1≤i≤n...