Entropia

Entropía (información)
De Wikipedia, la enciclopedia libre
Saltar a navegación, búsqueda
Para otros usos de este término, véase Entropía (desambiguación).

Entropía es un concepto en termodinámica, mecánica estadística y teoría de la información. La entropía se concibe como una "medida del desorden" o la "peculiaridad de ciertas combinaciones". Como la entropía puede ser considerada unamedida de la incertidumbre, y la información tiene que ver con cualquier proceso que permite acotar, reducir o eliminar la incertidumbre; resulta que el concepto de información y el de entropía están ampliamente relacionados entre sí, aunque se necesitaron años de desarrollo de la mecánica estadística y de la teoría de la información antes de que esto deviniera aparente.

Este artículo versa sobrela entropía, en la formulación que hace de ella la teoría de la información. Esta entropía se llama frecuentemente entropía de Shannon, en honor a Claude E. Shannon.
Contenido
[ocultar]

* 1 Explicación intuitiva
* 2 Concepto básico
* 3 Definición formal
* 4 Propiedades de la entropía
* 5 Véase también

[editar] Explicación intuitiva

En un proceso sujeto aincertidumbre (resultado de un experimento, ocurrencia de un fenómeno esporádico, ...) es común usar la teoría de la probabilidad para representar dicho proceso. Más específicamente si el resultado de un cierto proceso es un conjunto de posibles resultados, podemos definir una variable aleatoria X que puede tomar como valores posibles en distintas repeticiones (realizaciones del experimento) precisamentelos resultados de dichos experimentos. Dichos resultados pueden ser equiprobables o ser unos más frecuentes que otros, y es precisamente la distribución de probabilidad de los valores de X la que describe con qué frecuencia aparecerá cada uno de los posibles resultados del proceso sujeto a incertidumbre.

La entropía asociada a la variable X es un número que depende directamente de ladistribución de probabilidad de X e indica en qué medida es impredictible el resultado del proceso sujeto a incertidumbre o experimento. Desde un punto de vista matemático cuanto más "plana" sea la distribución de probabilidad más difícil será acertar cuál de las posibilidades se dará en cada instancia. Una distribución es plana (tiene alta entropía) cuando todos los valores de X tienen probabilidadessimilares, mientras que es poco plana cuando algunos valores de X son mucho más probables que otros (se dice que la función es más puntiguda en los valores más probables). En una distribución de probabilidad plana (con alta entropía) es difícil poder predecir cuál es el próximo valor de X que va a presentarse, ya que todos los valores de X son igualmente probables.

Cada valor que puede tomar lavariable X es denominada un símbolo. Si a cada posible símbolo se le asigna una cierta combinación de dígitos binarios 0 ó 1 para diferenciarlo de los demás, la cantidad promedio de dígitos binarios que hay que asignarle a los distintos símbolos es siempre mayor o igual que la entropía de la distribución de probabilidad de X. Los valores 0 ó 1 usados suelen llamarse bits. De este modo, es posibletransformar un mensaje (una secuencia de símbolos) en una secuencia de bits. Usando este paradigma, diversos tipos de mensajes (audio, video, texto) pueden ser codificados en bits y almacenados/enviados mediante diversos medios físicos. Además, la metodología comúnmente usada para asignar combinaciones de valores 0 ó 1 (secuencias de bits) a los distintos valores posibles de X se conoce con el nombre decodificación Huffman. Esta metodología asigna secuencias cortas de bits (ej: 10) a los símbolos más frecuentes y secuencias largas de bits (ej: 111110) a los símbolos menos frecuentes. De este modo, se obtiene el mínimo tamaño en bits posible para el mensaje.

La entropía también puede ser entendida como la cantidad de información promedio que contienen los símbolos usados. Los símbolos con...