Teoria de la informacio & codificacion

TEORIA DE LA INFORMACIÓN Y CODIFICACION

Información:

Cuando estamos en el campo digital, a través de sistemas de emisión y recepción de datos, la palabra "información" pasa de ser, según la RAE " Comunicación o adquisición de conocimientos que permiten ampliar o precisar los que se poseen sobre una materia determinada" a ser, a grandes rasgos,un instrumento "de medida de la disminución de la incertidumbre acerca de un suceso".

Ahora bien, la cantidad de información que podemos obtener de un posible suceso depende directa y proporcionalmente de la certeza que tengamos sobre el evento, y el numero de estados posibles del estado, es decir, a mayor certidumbre de que el estado ocurrirá, hay menos información(sabemos con total certeza que tirar una moneda de dos sellos dará como resultado un sello, por ende, la cantidad de información que obtenemos de ese suceso es 0), en cambio, si tenemos total incertidumbre de cual de todos los n-esimos estados posibles resultará, tenemos información infinita ("¿cómo se originó el universo?" plantea infinitas posibilidades, y el limite de la posibilidad de cada estadotiende a 0, por ende, cuando tengamos total certeza de que origino el universo, tendremos una cantidad infinita de información)

Entrando en materia de telecomunicaciones y transmisión digital de datos, los algoritmos y protocolos de información aplican este concepto de información en su versión matemática planteada por Shannon. en este modelo, I es el valor matemático de lainformación contenida en un mensaje, como habíamos dicho que ésta depende de manera inversa a la probabilidad p (en este caso, p se refiere a la probabilidad de que el mensaje sea recibido), recordemos que la probabilidad p es mayor cuando el mensaje tiene mas probabilidades de ser recibido. y, por ultimo y para completar la ecuación, Shannon, para conservar la proporción creciente entre "probabilidad deocurrencia" e "información", y, además, recordar que cuando p=1 la información es cero, se empleó la función logarítmica. es decir, el concepto matemático de cantidad de información del mensaje recibido, con una probabilidad p de que el mensaje sea recibido, es:

Cuando tenemos varios mensajes, la variable aleatoria V representa los posibles sucesos que se puedan encontrar, en este caso, quevarios mensajes lleguen a su destino. el suceso xi es el suceso i-ésimo, p(xi) es la probabilidad de ocurrencia de dicho suceso, y n es el número de sucesos posibles. De esta forma obtenemos:

Con el mismo comportamiento proporcional que hemos detallado anteriormente entre la probabilidad del suceso Xi y la cantidad de información de Ii

ENTROPÍA

Como resultado del planteamiento anterior,Shannon plantea un concepto llamado “entropía”, esta es descrita matemáticamente como la sumatoria ponderada de todos los estados posibles de la variable aleatoria V, y se conoce como H(v), su expresión matemática es la siguiente:

Ahora bien, la expresión anterior es una sumatoria de las cantidades de información de todos los eventos Xi. Ésta sumatoria pondera cada elemento según su probabilidadde ocurrencia, esto ocasiona que, los estados con total certeza (P(xi)=1) tengan un peso ponderado cercano a cero –pues aportan muy poco en términos de información- y los sucesos con total incertidumbre (P(xi)=0), dada su posibilidad infinitamente remota -y a pesar de la cantidad enorme de información que se obtendría si el suceso ocurriera- también tienen un peso ponderado cercano a 0, estoquiere decir que esta formula toma con mayor peso los sucesos que tienen posibilidades mas regulares, y otorga poco peso a los eventos con probabilidades totalmente seguras o totalmente inciertas.

¿Para qué sirve la entropía en los sistemas de información? Como vimos, la entropía es una sumatoria que pondera los valores posibles de V (es decir, cada estado Xi), ahora, cuando pasamos a la...