Resumti 01

Teoria de la información
Entropia discreta:
Grado de incertidumbre: realización u ocurrencia de un suceso ai

I (ai ) = log

1
= − log pi
pi

Función entropía: es la media ponderada de los grados deincertidumbre de los sucesos elementales de
un fenómeno aleatorio. (donde X es la variable aleatoria y pi es la probabilitat del simbolo ai )
n
n
1
H ( X ) = ∑ pi ·log  = −∑ pi ·log( pi )
i =1
i=1
 pi 

Lema de Gibbs:
n

Sea { pi }i =1..n una distribución de probabilidades y{qi > 0}i =1..n una secuencia de valores tal que

∑q

i

i =1

n

∑
i =1

 1 
pi ·log  ≤
 pi 

n

1

∑ p·log q 
i

i =1

i

Teorema 1.4: Sea S el cardinal del conjunto S , resulta:
0 ≤ H ( X ) ≤ log S *

*: Con igualdad: H ( X ) = log | S |⇔ pi =

1
∀i = (1.. | S |)
|S|

Entropia binaria: Sea S ={a1 , a2 } con distribución de probabilidades p1 = p y p2 = 1 − p . La entropia
H ( X ) , relativa a S , que en el caso binario se denota por h( p ) , será:

 1 
1

h( p ) = p·log  + (1 −p)·log
 (1 − p) 
 p
H ( X ) = H ( p1 , p2 ) = h( p ) = h(1 − p )

www.eresvago.net

=1

Nota:

p( Ai , B j ) = p( Ai )· p( B j | Ai ) = p( B j )· p( Ai | B j )
Fórmula de Bayes: p ( Ai ) =

m

∑ p(A , B )
i

j =1

j

n

p( B j ) = ∑ p( Ai , B j )
i =1

Entropía compuesta:
n m


1

H ( X × Y ) = ∑∑ p( Ai , B j )·log
 p( A , B ) 
i =1 j =1
i
j


n


1

H ( X | Y = B j ) = ∑ p( Ai | B j)·log


p
(
A
|
B
)
i =1
i
j 


Entropía condicionada: grado de incertidumbre sobre el conjunto S conociendo los resultados de Y sobre
el conjunto R.
m

H(X | Y) =
H (Y | X ) =

∑

m

n

1

j=1

∑∑ p( A , B )·log p( A | B )

n

n

p( B j )·H ( X | Y = B j ) =

i

j

i

j =1 i =1
m

∑ p( A )·H (Y | X = A ) =∑∑ p( A , B )·log p( B
i

i =1

i

i

1

j

i =1 j =1

j

j

| Ai )

Nota:
H ( X × Y) = H ( X ,Y )
Proposicion 1.8: H ( X × Y ) = H ( X ) + H (Y | X ) = H (Y ) + H ( X | Y )
Proposicion 1.9: H ( X × Y ) ≤ H ( X ) + H (Y ) (igualdad sii X e Y son variables al. independientes)....