entropia

´
Cantidad de informacion

Entrop´a de una variable
ı

Divergencia de Kullback–Leibler

´
Cantidad de informacion mutua
´

´
B.1 Introduccion
´
Teor´a de la Informacion Estad´stica
ı
ı
˜
Concha Bielza, Pedro Larranaga
Departamento de Inteligencia Artificial
´
Universidad Politecnica de Madrid

´
Cantidad de informacion

Entrop´a de una variable
ı

´ndice
I

1

´Cantidad de informacion

2

Entrop´a de una variable
ı

3

Divergencia de Kullback–Leibler

4

´
Cantidad de informacion mutua
´

Divergencia de Kullback–Leibler

´
Cantidad de informacion mutua
´

´
Cantidad de informacion

Entrop´a de una variable
ı

´ndice
I

1

´
Cantidad de informacion

2

Entrop´a de una variable
ı

3

Divergencia deKullback–Leibler

4

´
Cantidad de informacion mutua
´

Divergencia de Kullback–Leibler

´
Cantidad de informacion mutua
´

´
Cantidad de informacion

Entrop´a de una variable
ı

Divergencia de Kullback–Leibler

´
Cantidad de informacion mutua
´

´
Cantidad de informacion

Urna con 9 bolas negras y 1 bola blanca. Se efectuan
´
extracciones sin reemplazamiento
Se saca una bolablanca. Este suceso proporciona una
´
alta informacion, ya que la incertidumbre sobre la siguiente
´
extraccion desaparece
´
Se saca una bola negra. La informacion que proporciona
˜
este suceso es pequena, ya que la incertidumbre acerca
´
de la siguiente extraccion se mantiene

´
Cantidad de informacion

Entrop´a de una variable
ı

Divergencia de Kullback–Leibler

´
Cantidadde informacion mutua
´

´
Cantidad de informacion

´
´
Cantidad de informacion como medida de reduccion de la
incertidumbre
Al lanzar un dado si nos dicen que ha salido:
´
´
´
un numero menor que 2, mas informacion (reduce mas la
´
incertidumbre) que
si nos dicen que ha salido un numero multiplo de 2
´
´

´
Cantidad de informacion

Entrop´a de una variable
ı

Divergenciade Kullback–Leibler

´
Cantidad de informacion mutua
´

´
Cantidad de informacion

X variable aleatoria con posibles valores x1 , . . . xn y
probabilidades asociadas p(x1 ), . . . , p(xn )
I (xi ) = − log2 p(xi )
Si p(xi )
Si p(xi )

1 ⇒ I (xi )
0 ⇒ I (xi )

0
+∞

Cuanto mas probable es un suceso menor cantidad de
´
informacion aporta

´
Cantidad de informacionEntrop´a de una variable
ı

´ndice
I

1

´
Cantidad de informacion

2

Entrop´a de una variable
ı

3

Divergencia de Kullback–Leibler

4

´
Cantidad de informacion mutua
´

Divergencia de Kullback–Leibler

´
Cantidad de informacion mutua
´

´
Cantidad de informacion

Entrop´a de una variable
ı

´
Cantidad de informacion mutua
´

Divergencia de Kullback–LeiblerEntrop´a de una variable
ı

X variable aleatoria discreta con posibles valores x1 , . . . xn y probabilidades
asociadas p(x1 ), . . . , p(xn )
´
I (X ) variable aleatoria cantidad de informacion asociada a X , con posibles
valores I (x1 ), . . . I (xn ) y probabilidades asociadas p(x1 ), . . . , p(xn )
Se define la entrop´a de Shannon (1948), H (X ), de una variable aletoria discreta
ı´
X como la esperanza matematica de la variable aleatoria asociada I (X )

X p(x ) log p(x )
n

H (X ) = E (I (X )) = −

i

2

i

i =1

´
´
Si p(xi ) = 0, la indeterminacion p(xi ) log2 p(xi ) se resuelve asignandole el valor
0

´
Cantidad de informacion

Entrop´a de una variable
ı

Divergencia de Kullback–Leibler

´
Cantidad de informacion mutua
´

Entrop´a deuna variable
ı

´
X variable aleatoria de Bernouilli de parametro p
P (X = x ) = px (1 − p)1−x x = 0, 1
H (X ) = −p log2 p − (1 − p) log2 (1 − p)
Si p = 0,50 moneda correcta al aire:
H (X ) = −0,5 log2 0,5 − 0,5 log2 0,5 = 1
Si p = 0,60 moneda trucada al aire:
H (X ) = −0,6 log2 0,6 − 0,4 log2 0,4 = 0,97
Si p = 0,90 urna con 9 bolas negras y 1 blanca
H (X ) = −0,9 log2 0,9 − 0,1...