Estudiante

Sistemas abiertos: son los sistemas que presentan relaciones de intercambio con el ambiente, a través de entradas y salidas. Los sistemas abiertos intercambian materia y energía regularmente con el medio ambiente. Son eminentemente adaptativos, esto es, para sobrevivir deben reajustarse constantemente a las condiciones del medio.

En el ámbito de la teoría de la información la entropía, tambiénllamadaentropía de la información y entropía de Shannon (en honor a Claude E. Shannon), mide la incertidumbre de una fuente de información.
La Entropía también se puede considerar como la cantidad de información promedio que contienen los símbolos usados. Los símbolos con menor probabilidad son los que aportan mayor información; por ejemplo, si se considera como sistema de símbolos a laspalabras en un texto, palabras frecuentes como "que", "el", "a" aportan poca información. Mientras que palabras menos frecuentes como "corren", "niño", "perro" aportan más información. Si de un texto dado borramos un "que", seguramente no afectará a la comprensión y se sobreentenderá, no siendo así si borramos la palabra "niño" del mismo texto original. Cuando todos los símbolos son igualmente probables(distribución de probabilidad plana), todos aportan información relevante y la entropía es máxima.
El concepto de entropía es usado en termodinámica, mecánica estadística yteoría de la información. En todos los casos la entropía se concibe como una "medida del desorden" o la "peculiaridad de ciertas combinaciones". La Entropía puede ser considerada como una medida de la incertidumbre y de lainformación necesarias para, en cualquier proceso, poder acotar, reducir o eliminar la incertidumbre. Resulta que el concepto de información y el de entropía están ampliamente relacionados entre sí, aunque se necesitaron años de desarrollo de la mecánica estadística y de la teoría de la información antes de que esto fuera percibido.

Shannon ofrece una definición de entropía que satisface lassiguientes afirmaciones:
* La medida de información debe ser proporcional (continua). Es decir, el cambio pequeño en una de las probabilidades de aparición de uno de los elementos de la señal debe cambiar poco la entropía.
* Si todos los elementos de la señal son equiprobables a la hora de aparecer, entonces la entropía será máxima.
Ejemplos de máxima entropía: Suponiendo que estamos a laespera de un texto, por ejemplo un cable con un mensaje. En dicho cable solo se reciben las letras en minúscula de la a hasta la z, entonces si el mensaje que nos llega es "qalmnbphijcdgketrsfuvxyzwño" el cual posee una longitud de 27 caracteres, se puede decir que este mensaje llega a nosotros con la máxima entropía (o desorden posible); ya que es poco probable que se pueda pronosticar la entrada decaracteres, pues estos no se repiten ni están ordenados en una forma predecible.

Codificador óptimo
Un codificador óptimo es aquel que utiliza el mínimo número de bits para codificar un mensaje. Un codificador óptimo usará códigos cortos para codificar mensajes frecuentes y dejará los códigos de mayor longitud para aquellos mensajes que sean menos frecuentes. De esta forma se optimiza elrendimiento del canal o zona de almacenamiento y el sistema es eficiente en términos del número de bits para representar el mensaje.
Por ejemplo, el código Morse se aprovecha de este principio para optimizar el número de caracteres a transmitir a partir del estudio de las letras más frecuentes del alfabeto inglés. El código Morse no es un codificador óptimo pero sí asigna a las letras más frecuentecódigo más cortos. Otro ejemplo sería el algoritmo de Huffman de codificación que sirve para compactar información.3 Este método se basa en el codificador óptimo. Para ello lo primero que hace es recorrer toda la información para encontrar la frecuencia de los caracteres y luego a partir de esta información busca el codificador óptimo por medio de árboles binarios. Algunas técnicas de compresión...