Capacidad Canal Binario

Sistemas y Servicios de Audio y Vídeo 2012/13
 Ejercicio 2.1 – Resolución Detallada: Demostrar razonadamente la capacidad de información del canal binario simétrico. Dibujo esquemático de un canalbinario simétrico, con probabilidad de error p (para cualquier p):

Por definición, la capacidad de un canal será el máximo de la función autinformación:
C  max I ( X ; Y )
p( x)

Conocemos laexpresión de dicha función, que es la información de una variable menos la información que se le resta al conocer otra variable de la que depende.
I ( X ; Y )  H ( X )  H ( X | Y )  H (Y )  H (Y| X )

Por un lado,
H ( X )   p( x) log 2 p( x)   p0 log 2 p0  p1 log 2 p1   p0 log 2 p0  (1  p0 ) log 2 (1  p0 )

deducimos que la entropía de la entrada H ( X )  1 .

*Tambiénpodemos observarlo representándolo gráficamente:

H (X )

p(x)

De forma similar la entropía de la salida:
 p' 0  p0 (1  p)  p1 p  p' 0 p( y )     p'1  p1 (1  p)  p0 p 1  p' 0 H (Y)   p( x) log 2 p( x)   p' 0 log 2 p' 0  p'1 log 2 p'1   p' 0 log 2 p' 0 (1  p' 0 ) log 2 (1  p' 0 )
H (Y )  1

Y por otro lado, desarrollamos la expresión de la entropía condicionada.Para ello son útiles las probabilidades conjunta y condicionada.

p(x|y) y=0 y=1

x=0 1-p p

x=1 p 1-p

p(x,y) y=0 y=1

x=0 p0 (1-p) p0 p

x=1 p1 p p1 (1-p)

H ( X | Y )   p( x, y)log 2 p( x | y)  ( p0  p1 ) (1  p) log 2 (1  p)  p log 2 p     x, y
1

O bien: p(y|x) y=0 y=1 x=0 1-p p x=1 p 1-p p(y,x) y=0 y=1 x=0 p’0 (1-p) p’0 p x=1 p’1 p p’1 (1-p)

H (Y | X )  p( x, y) log 2 p( y | x)  ( p '0  p '1 )  (1  p) log 2 (1  p)  p log 2 p 
x, y 1

Recordando la definición de la función H ( p)  (1  p) log (1  p)  p log p b 2 2 de entropía binaria,y así, se obtiene H ( X | Y )  H (Y | X )  H b ( p) que no depende de p(x).

Finalmente sustituimos para hallar la fórmula de capacidad de un canal binario simétrico.
C  max I ( X ; Y ) ...