codificacion

Entropía (información)
Saltar a: navegación, búsqueda
Para otros usos de este término, véase Entropía (desambiguación).


Escultura dedicada a la Entropía en los jardines centrales de la Universidad de Monterrey, México
En el ámbito de la teoría de la información la entropía, también llamada entropía de la información y entropía de Shannon (en honor a Claude E. Shannon), mide laincertidumbre de una fuente de información.
La entropía también se puede considerar como la cantidad de información promedio que contienen los símbolos usados. Los símbolos con menor probabilidad son los que aportan mayor información; por ejemplo, si se considera como sistema de símbolos a las palabras en un texto, palabras frecuentes como "que", "el", "a" aportan poca información, mientras que palabrasmenos frecuentes como "corren", "niño", "perro" aportan más información. Si de un texto dado borramos un "que", seguramente no afectará a la comprensión y se sobreentenderá, no siendo así si borramos la palabra "niño" del mismo texto original. Cuando todos los símbolos son igualmente probables (distribución de probabilidad plana), todos aportan información relevante y la entropía es máxima.
Elconcepto de entropía es usado en termodinámica, mecánica estadística y teoría de la información. En todos los casos la entropía se concibe como una "medida del desorden" o la "peculiaridad de ciertas combinaciones". La entropía puede ser considerada como una medida de la incertidumbre y de la información necesarias para, en cualquier proceso, poder acotar, reducir o eliminar la incertidumbre. Resultaque el concepto de información y el de entropía están ampliamente relacionados entre sí, aunque se necesitaron años de desarrollo de la mecánica estadística y de la teoría de la información antes de que esto fuera percibido.
Índice
1 Relación con la entropía termodinámica
2 Concepto intuitivo
3 Definición formal
3.1 Ejemplos
3.2 Información mutua
4 Propiedades
5 Codificador óptimo
5.1Ejemplo
6 Entropía condicional
6.1 Aplicación en criptoanálisis
6.2 Ejemplo
7 Entropía de un proceso estocástico
7.1 Ratio de entropía
8 Referencias
8.1 Bibliografía
9 Véase también
10 Enlaces externos
Relación con la entropía termodinámica
La entropía de la teoría de la información está estrechamente relacionada con la entropía termodinámica. En la termodinámica se estudia unsistema de partículas cuyos estados X (usualmente posición y velocidad) tienen una cierta distribución de probabilidad, pudiendo ocupar varios microestados posibles (equivalentes a los símbolos en la teoría de la información). La entropía termodinámica es igual a la entropía de la teoría de la información de esa distribución (medida usando el logaritmo neperiano) multiplicada por la constante deBoltzmann k, la cual permite pasar de nats (unidad semejante al bit) a J/K. Cuando todos los microestados son igualmente probables, la entropía termodinámica toma la forma k log(N). En un sistema aislado, la interacción entre las partículas tiende a aumentar su dispersión, afectando sus posiciones y sus velocidades, lo que causa que la entropía de la distribución aumente con el tiempo hasta llegar a uncierto máximo (cuando el mismo sistema es lo más homogéneo y desorganizado posible); lo que es denominado segunda ley de la termodinámica. La diferencia entre la cantidad de entropía que tiene un sistema y el máximo que puede llegar a tener se denomina neguentropía, y representa la cantidad de organización interna que tiene el sistema. A partir de esta última se puede definir la energía libre deGibbs, la que indica la energía que puede liberar el sistema al aumentar la entropía hasta su máximo y puede ser transformada en trabajo (energía mecánica útil) usando una máquina ideal de Carnot. Cuando un sistema recibe un flujo de calor, las velocidades de las partículas aumentan, lo que dispersa la distribución y hace aumentar la entropía. Así, el flujo de calor produce un flujo de entropía en...