Comunicaciones digitales

1. ¿Por qué usamos la base 2 en el logaritmo que define ci?
* Definiremos ci a la cantidad de información del estado i, como el logaritmo en base dos de la probabilidad de que ocurra el estadoiésimo.
ci = - log2 (pi )

Se utiliza la base 2 porque es un fenemeno binario, dos estados 1 y 0

2. ¿Cuál es el número mínimo –e inteligente- de preguntas que hay quehacer para pasar de la incertidumbre a la certeza en un sistema de n estados equiprobables? ¿Y si no son equiprobables?
Caso n estados Equiprobables
Para este caso el número mínimo e inteligentes depreguntas que hay que hacer para pasar de la incertidumbre a la certeza esta determinado por:
Ci= log2 N=a; entonces necesitamos
Caso n estados no Equiprobables
Para este caso el número mínimo einteligente de preguntas que hay que hacer para pasar de la incertidumbre a la certeza esta determiando por:
ci = log (Ii / If) = log Ii - log If

3. ¿Por qué la entropía es nonula y se anula sí y sólo si uno de los estados de la variable es igual a la unidad?
Por definición de entropía
H(X) = - p(xi) log2 p(xi)
Entonces como siempre va a existir una probabilidadp(xi) siempre será mayor que cero p(xi)>0; entonces H(x) será mayor que cero.
Se anula sí y sólo si uno de los estados de la variable es igual a la unidad
Si cualquier de los estados p(xi)=1entonces los demás estados tendrán que ser cero para que se cumpla con la propiedad de probabilidad que :
n
pi = 1
i = 1
4. Codificamos en binario un sistema con 256 estadosequiprobables. Si no usamos un codificador óptimo, ¿cuántos bits son necesarios? Mediante un codificador óptimo, ¿usaremos más o menos bits?
Si no usamos un codificado óptimo, ¿cuántos bits sonnecesarios?
Ci= log2N= log2256= log228=8* log22=8
Por lo tanto necesitamos 8 bits
Si usamos un codificador óptimo, ¿cuántos bits son necesarios?

H(X) = p(x) log2 [1/p(x)]
i

Por lo tanto...