gggggg

Relación con la entropía termodinámica [editar]

La entropía de la teoría de la información está estrechamente relacionada con la entropía termodinámica. En la termodinámica se estudia un sistema de partículas cuyos estados X (usualmente posición y velocidad) tienen una cierta distribución de probabilidad, pudiendo ocupar varios microestados posibles (equivalentes a los símbolos en la teoríade la información). La entropía termodinámica es igual a la entropía de la teoría de la información de esa distribución (medida usando el logaritmo neperiano) multiplicada por la constante de Boltzmann k, la cual permite pasar de nats (unidad semejante al bit) a J/K. Cuando todos los microestados son igualmente probables, la entropía termodinámica toma la forma k log(N). En un sistema aislado, lainteracción entre las partículas tiende a aumentar su dispersión, afectando sus posiciones y sus velocidades, lo que causa que la entropía de la distribución aumente con el tiempo hasta llegar a un cierto máximo (cuando el mismo sistema es lo más homogéneo y desorganizado posible); lo que es denominado segunda ley de la termodinámica. La diferencia entre la cantidad de entropía que tiene un sistemay el máximo que puede llegar a tener se denomina neguentropía, y representa la cantidad de organización interna que tiene el sistema. A partir de esta última se puede definir laenergía libre de Gibbs, que indica la energía que puede liberar el sistema al aumentar la entropía hasta su máximo y puede ser transformada en trabajo (energía mecánica útil) usando una máquina ideal de Carnot. Cuando unsistema recibe un flujo de calor, las velocidades de las partículas aumentan, lo que dispersa la distribución y hace aumentar la entropía. Así, el flujo de calor produce un flujo de entropía en la misma dirección.

El concepto básico de entropía en teoría de la información tiene mucho que ver con la incertidumbre que existe en cualquier experimento o señal aleatoria. Es también la cantidad de"ruido" o "desorden" que contiene o libera un sistema. De esta forma, podremos hablar de la cantidad de información que lleva una señal.




La Segunda Ley
Por último, vamos a ver el contenido de la segunda ley de la termodinámica. En términos más o menos sencillos diría lo siguiente: "No existe unproceso cuyo único resultado sea la absorción de calor de una fuente y la conversión íntegra deeste calor en trabajo". Este principio (Principio de Kelvin-Planck) nació del estudio del rendimiento de máquinas y mejoramiento tecnológico de las mismas. Si este principio no fuera cierto, se podría hacer funcionar
una central térmica tomando el calor del medio ambiente; aparentemente no habría ninguna contradicción, pues el medio ambiente contiene una cierta cantidad de energía interna, perodebemos señalar dos cosas: primero, la segunda ley de la termodinámica no es una consecuencia de la primera, sino una ley independiente; segundo, la segunda ley nos habla de las restricciones que existen al utilizar la energía en diferentes procesos, en nuestro caso, en una central térmica. No existe una máquina que utilice energía interna de una sola fuente de calor.
El concepto de entropía fueintroducido por primera vez por R. J. Clausius a mediados del siglo XIX. Clausius, ingeniero francés, también formuló un principio para la Segunda ley: "No es posible proceso alguno cuyo único resultado sea la transferencia de calor desde un cuerpo frío a otro más caliente". En base a este principio, Clausius introdujo el concepto de entropía, la cual es una medición de la cantidad de restriccionesque existen para que un proceso se lleve a cabo y nos determina también la dirección de dicho proceso. Vamos ahora a hablar de las tres acepciones más importantes de la palabra entropía.
La entropía, el desorden y el grado de organización.
Vamos a imaginar que tenemos una caja con tres divisiones; dentro de la caja y en cada división se encuentran tres tipos diferentes de canicas: azules,...