ampli

ESCUELA POLITECNICA NACIONAL
TEORIA DE LA INFORMACION Y LA CODIFICACION
1.-DOS FIMN y Tienen y símbolos respectivamente. Los símbolos de tienen probabilidades , con (i=1,2,3….. los símbolosde tienen las probabilidades con (i=1,2,3,……) y entropías y respectivamente. Se genera una fuente S a partir de y , la cual contiene ( +) símbolos. Los primeros simbolos de S tienen lasprobabilidades , i=1,2,3,……… y los últimos probabilidades , i=1,2,3,……….Determinar a que corresponde H(s).
2.-Sea la extensión de tercer orden de una FIMN cuya probabilidad de emitir un 0 es igual a p.Considérese otra fuente S, la misma que observa las salidas de y emite un 0,1,2 o 3 según la salida de contenga 0,1,2 o 3ceros respectivamente. Calcular
a.-H()
S1={0,1}
Probabilidades deS1={P,}
Probabilidades


b.-La probabilidad de los símbolos de la fuente S
S=3,3
c.-H(S)

d.-Comparar H(S) y y comente
Al comparar las dos entropías nos podemos dar cuenta que H(S) <3.-Encuentre la cota máxima y mínima de la entropía de una FIMN
Cota Mínima
Para encontrar la cota mínima vamos a basarnos en la expresión de la entropía

Al analizar nos damos cuenta quemientras más grande es P la entropía va a ser mas pequeña, nos damos cuenta que el valor máximo que va a tomar P va a sé 1 por lo tanto por lo que nos damos cuenta que la cota mínima de la entropía va aser cero.
Cota mínima=0
Cota Máxima
Para encontrar la cota máxima vamos a partir de la siguiente expresión




Pero tenemos la siguiente propiedad

Por lo que tendremos queReemplazando en la expresión tenemos que

Pero tenemos la siguiente propiedad de los logaritmos



Tenemos la propiedad
=1
Reemplazando las propiedades en la expresión nos quedaPor lo tanto la cota superior de la entropía es la siguiente

4.-Una FIMN tiene un alfabeto fuente S={a,e,i,o,u) donde las probabilidades de los cuatro primeros símbolos son 1/5,1/5,3/10 y...