Teoria De La Informacion

MATEMÁTICA DISCRETA – TEORÍA DE LA INFORMACIÓN
Si un fenómeno tiene un grado de indeterminación k y sus estados son equiprobables, la probabilidad p de que se dé uno de esos estados será 1/k. Luego:ci = log2 (k/1) = log2 [1/(1/k)] = - log2 p
Si ahora cada uno de estos estados tiene una probabilidad distinta pi, la entropía H será igual a la suma ponderada de la cantidad de información:
H = -p1 log2 p1 - p2 log2 p2 - ... - pk log2 pk
k
H = - pi log2 pi
i = 1
La entropía de un mensaje X, que se representa por H(X), es el valor medio ponderado de lacantidad de información de los diversos estados del mensaje.
k
H(X) = - p(xi) log2 p(xi)
i = 1
Es una medida de la incertidumbre media acercade una variable aleatoria y el número de bits de información.
a) La entropía es no negativa y se anula si y sólo si un estado de la variable es igual a 1 y el resto 0. Esta demostración es sencilla.b) La entropía será máxima, hay mayor incertidumbre del mensaje, cuando exista una equiprobabilidad en todos los valores de la variable X. La demostración empírica es muy fácil; no obstante lademostración matemática de este máximo no es directa. El valor máximo de H(X) para una variable de n estados será log2 n.
Si hay n estados equiprobables, entonces pi = 1/n. Luego:
H(X) = - pi log2 pi= - n(1/n) log2 (1/n)
i
Nos falta encontrar el segundo término pendiente en la definición de cantidad de información: codificador óptimo.
Introduciendo el signonegativo dentro del logaritmo en la expresión de la entropía, ésta nos quedará como:
H(X) = p(x) log2 [1/p(x)]
i
La expresión log2 [1/p(x)] representará el número necesario debits para codificar el mensaje X en un codificador óptimo.
Codificador óptimo es aquel que para codificar un mensaje X usa el menor número posible de bits.
Para que dé un valor exacto, vamos a...