Entropia

• Concepto de Entropía.

El concepto básico de entropía en teoría de la información tiene mucho que ver con la incertidumbre que existe en cualquier experimento o señal aleatoria. Es también lacantidad de "ruido" o "desorden" que contiene o libera un sistema. De esta forma, podremos hablar de la cantidad de información que lleva una señal.

Como ejemplo, consideremos algún texto escrito enespañol, codificado como una cadena de letras, espacios y signos de puntuación (nuestra señal será una cadena de caracteres). Ya que, estadísticamente, algunos caracteres no son muy comunes (porejemplo, 'w'), mientras otros sí lo son (como la 'a'), la cadena de caracteres no será tan "aleatoria" como podría llegar a ser. Obviamente, no podemos predecir con exactitud cuál será el siguiente carácteren la cadena, y eso la haría aparentemente aleatoria. Pero es la entropía la encargada de medir precisamente esa aleatoriedad, y fue presentada por Shannon en su artículo de 1948 A MathematicalTheory of Communication ("Una teoría matemática de la comunicación", en inglés).

Shannon ofrece una definición de entropía que satisface las siguientes afirmaciones:

• La medida de informacióndebe ser proporcional (continua). Es decir, el cambio pequeño en una de las probabilidades de aparición de uno de los elementos de la señal debe cambiar poco la entropía.

• Si todos los elementosde la señal son equiprobables a la hora de aparecer, entonces la entropía será máxima.

Ejemplos de máxima entropía : Suponiendo que estamos a la espera de un texto , por ejemplo un cable con unmensaje .En dicho cable solo se reciben las letras en minúscula de la (a hasta la z) , entonces si el mensaje que nos llega es "qalmnbphijcdgketrsfuvxyzwño" el cual posee una longitud de 27 caracteres ,se puede decir que este mensaje llega a nosotros con la máxima entropía (o desorden posible) ya que es poco probable que se pueda pronosticar la entrada de caracteres ya que estos no se repiten y...