Conceptos básicos de la teoría de la información

La información
Se entiende como información al conjunto de datos que aclaran algún suceso que es desconocido. El grado de probabilidad de un suceso va a determinar el grado o cantidad de información que este va a contener. Los sucesos menos probables son los que contienen más información y los más probables comprenden poca.
Claude Shannon (1916-2001) fue el primero en desarrollar la Teoríade la Información cuando se propuso encontrar las maneras de hacer más eficientes las transmisiones de información en redes de comunicación.
La Teoría de la información trata tres puntos básicos: cómo se mide la información, la capacidad de los canales que transmiten información y la codificación de la información en relación a la capacidad de los canales de comunicación para alcanzar unamínima tasa de error.
Cuando una fuente emite un mensaje es común que se enfrente a tener que elegir a uno entre varios de ellos. De esta situación surge el concepto de la medida de la información. La probabilidad de ocurrencia de un mensaje va a estar asociada con la cantidad de información con la que el receptor se va a encontrar. Entonces, la cantidad de información que se recibe por medio de unmensaje se define como el logaritmo de la inversa de la probabilidad de ocurrencia del evento que describe el mensaje. La base del logaritmo a usar va a definir la unidad con la que se mide la información.
Si el logaritmo es en base dos, se habla de unidades SHANNON:
Isuceso a= log21P(a)
Cuando se utiliza el logaritmo natural, la unidad de información se denomina NAT:
Ia=ln1P(a)
Si seutiliza la base diez, se denomina HARTLEY:
Ia=log101P(a)
Estas unidades presentan las siguientes relaciones:
* 1 HARTLEY = 3,2 SHANNON
* 1 NAT = 1,44 SHANNON
* 1 HARTLEY = 2,3 NAT
Es importante destacar que un SHANNON equivale a la información que contiene un suceso con probabilidad de ocurrencia del 50%, y que, entonces, los sistemas que trabajan bajo la lógica binaria emiten unSHANNON cada vez que emiten un 1 o un 0, siempre y cuando estos ocurran con la misma probabilidad.
Entropía
En la Teoría de la Información, se llama entropía al valor medio de información por mensaje que emite una fuente. También puede ser considerada como la incertidumbre media que tiene un usuario antes de recibir un mensaje de una fuente.
En los casos en los que la fuente emita símbolosestadísticamente independientes entre sí, lo que se conoces como una fuente de memoria nula, se calcula la entropía mediante la sumatoria de los productos de la probabilidad de un suceso con la cantidad de información que este genera:
H= k=1np(xk)log21p(xk)
El resultado de esta operación indica los SHANNON/símbolo que emite una fuente de memoria nula.
La entropía alcanza su valor máximocuando la ocurrencia de los sucesos son equiprobables, y su valor mínimo cuando el valor de la probabilidad de uno de los sucesos es igual a 1.

La funcion entropía presenta las siguientes propiedades:
* Continuidad. Cambios en la probabilidad de ocurrencia de un suceso implican cambios en la entropía.
* Simetría. El orden de los sucesos no influye en la entropía del sistema.
*Aditividad. Se pueden sumar, siempre y cuando sean parte del mismo sistema, las entropías.
* Maximilidad. La función entropía es maximizable. Como se mencionó anteriormente, alcanza su valor máximo cuando los sucesos tienen la misma probabilidad de ocurrencia.
Cuando los símbolos que emite una fuente no son estadísticamente independientes como los son en una fuente de memoria nula, se habla deentropía condicional o a posteriori .Cuando se estudia la entropía condicional se quiere conocer la entropía que presenta una fuente sabiendo que se recibió de esa fuente un símbolo b. Para calcular la entropía condicional de una fuente Z, habiendo recibido un símbolo b se debe realizar el siguiente cálculo:
HZb= pxblog21p(xb)
Velocidad de la información
La velocidad de la información es...