tema3 teoria 1 2837

Tema 3:
ANALISIS DE COMPONENTES
INDEPENDIENTES (ICA)
Febrero-Mayo 2006

1

ÍNDICE
3.1 DEFINICIÓN DE ICA
3.2 INDEPENDENCIA Y BLANQUEADO
3.3 MAXIMIZACIÓN DE LA NO-GAUSSIANIDAD
3.3.1 KURTOSIS. TÉCNICAS DE GRADIENTE Y PUNTO FIJO
3.3.2 NEGENTROPÍA. TÉCNICAS DE GRADIENTE
3.4 CONCLUSIONES

2

3.1 DEFINICIÓN DE ICA
PCA: Búsqueda de nuevas características en las que los
vectores de observación quedanmejor representados en
el sentido del error cuadrático medio (MMSE)
MDA: Búsqueda de nuevas características en las que las clases
quedan más separadas
ICA:

Búsqueda de vectores de proyección en los que las
características son más independientes entre sí
SEPARACIÓN CIEGA DE
FUENTES DE SEÑAL

CLASIFICACIÓN
3

Observamos un conjunto de n señales,
combinación
lineal
de
otras
n
señales
estadísticamenteindependientes entre si:

x(t ) = As(t ) =

n

∑

ai si (t ) ∈

x1(t),…,xn(t)
s1(t),…,sn(t)

n×1

i =1

a partir de la observación de x(t), queremos recuperar s(t).

Cocktail party
problem

4

RESTRICCIONES EN EL MODELO
1.
2.
3.
4.

La matriz de mezcla A no tiene memoria y es cuadrada
Las señales a recuperar si(t) son independientes
Las señales si(t) son no-gausianas
Supondremos que las señalesson de media cero (siempre
puede eliminarse la media y luego reconstruirse una vez
separadas las componentes):

x(t ) = x '(t ) − E {x '(t )} = As(t ) − AE {s(t )}
sˆ (t ) = A −1x(t ) + A −1 E {x(t )}

5

AMBIGÜEDADES EN LA SEPARACIÓN
1.

Las componentes independientes si(t) podrán recuperarse
con la ambigüedad de un factor de escala

x(t ) = As(t ) =
2.

⎛ 1 ⎞
⎜ α ai ⎟ (α i si (t ) )
i =1 ⎝ i
⎠n

∑

No podrá conocerse el orden en que se recuperen las
componentes independientes (ambigüedad de una matriz de
permutación):

x(t ) = APP −1s(t )
Ejemplo:

⎡0 1 0 ⎤
P = ⎢⎢1 0 0 ⎥⎥
⎢⎣0 0 1 ⎥⎦

6

ESQUEMA

Mix
⎛ s1 (t ) ⎞
⎜
⎟
s(t ) = ⎜ s2 (t ) ⎟
⎜ s (t ) ⎟
⎝ 3 ⎠

⎛ x1 (t ) ⎞
⎜
⎟
x(t ) = ⎜ x2 (t ) ⎟
⎜ x (t ) ⎟
⎝ 3 ⎠

A

PCA

ICA

⎛ z1 (t ) ⎞
⎜
⎟
z (t ) = ⎜ z2 (t ) ⎟
⎜ z (t ) ⎟
⎝ 3 ⎠

Λ −1 U H

⎛s1 (t ) ⎞
⎜
⎟
s(t ) = ⎜ s2 (t ) ⎟
⎜ s (t ) ⎟
⎝ 3 ⎠

WT

s(t ) = W T Λ −1 U H As(t ) = Ps(t )

7

3.2 INDEPENDENCIA Y BLANQUEADO
El blanqueado de características siempre es posible, pero no
garantiza la independencia.
1.- Señales generadas por las fuentes: Se suponen
estadísticamente independientes y por tanto incorreladas:
⎛ s1 (t ) ⎞
⎜
⎟
s(t ) = ⎜ : ⎟ ;
⎜ s (t ) ⎟
⎝ N ⎠

Cs = E {s(t )sT (t )} =I

2.- Proceso de Mezcla: Matriz A de rango =N

x(t ) = As(t )
svd ( A) :A = U ΛV H ;

U H U = I;

Cx = E {x(t )xT (t )} = UΛU H

VHV = I
8

3.2 INDEPENDENCIA Y BLANQUEADO
3.- Blanqueado o Incorrelación de las señales:

z (t ) = Λ −1 U H x(t )
Cz = E {z (t )zT (t )} = I
4.- ICA: Transformación Ortogonal. Búsqueda de N(N+1)/2
Incógnitas en lugar de N2

s(t ) = W T z (t )
Cs = E {s(t )sT (t )} = I⇒ W T W = I

9

⎡ 0.32 0.9 ⎤
A=⎢
⎥
⎣ −0.63 0.77 ⎦
1

1

1

a2

PDF uniforme

0.5

0.5

0.5

0

0

0

-0.5

-0.5

-1
-1

-0.5

0

0.5

1

-1
-1

-0.5

Vectores de dos
características
independientes

PDF laplaciana

-0.5

a1
0

0.5

1

-1
-1

a2

6

4

4

4

2

2

2

0

0

0

-2

-2

-2

-4

-4

-6

-6
0

5

0

0.5

1

Características
blanquedadas (no son
aún independientes!)

Característicasmezcladas

6

-5

-0.5

6

-4

a1

-6
-5

0

5

-5

0

5

10

•

•

Para procesos gausianos, el blanqueado implica independencia
estadística por lo que no puede aplicarse ningun criterio mas
estricto de separación
En el caso no-gausiano, el blanqueado no es suficiente para
separar los procesos

11

3.3 MAXIMIZACIÓN DE LA NO-GAUSIANIDAD
Si todas las componentes si(t) independientes están igualmentedistribuidas, su mezcla es más gausiana por el teorema central
del límite.
Escogiendo un vector tal que b A = ei podemos recuperar si(t)
sin necesidad de conocer A, únicamente maximizando la nogausianidad de bT x(t )
T

T

Histograma de una combinación
lineal de datos uniformes
Gausiana
Histograma
datos uniformes

12

3.3.1 MEDIDA DE NO-GAUSIANIDAD: KURTOSIS
La kurtosis es el cumulante de orden...