Teoria de la informacion

TEORIA DE LA INFORMACION

La Teoría de la Información es una teoría matemática creada por Claude Shannon en el año 1948 y que forma la piedra angular sobre la que se ha desarrollado toda la teoría actual de la comunicación y la codificación. Esta teoría establece los límites de cuánto se puede comprimir la información y de cuál es la máxima velocidad a la que se puede transmitir información. LaTeoría de la Información es, por tanto una teoría de límites alcanzables: máxima compresión de datos y máxima tasa de transmisión de información transmitida sin errores. Las aplicaciones de esta teoría son enormes y abarcan desde las ciencias de la computación (criptografía, aprendizaje), la ingeniería eléctrica (Teoría de la comunicación y teoría de la codificación), la estadística o la biología(secuencias de ADN, código genético). La última parte de la asignatura (Unidad Temática 5) estudia el hecho de que la información es algo que inevitablemente necesita un soporte físico sobre el que manifestarse. Así, se verá que la termodinámica sólo impone un coste energético mínimo a la operación de "borrar" información mientras que las restantes operaciones se pueden ejecutar de formareversible. Siguiendo este estudio de la física de la información, la asignatura termina estudiando las diferencias entre la información clásica ("bit clásico") y la información cuántica ("bit cuántico"). Los avances tecnológicos actuales y futuros harán que la informática trabaje con este nuevo tipo de información. La criptografía cuántica se muestra actualmente como una de las aplicaciones másprometedoras dentro de la Teoría de la Información cuántica.

Claude E. Shannon es conocido como el padre de la teoría de la información. Su teoría considera la transmisión de la información como un fenómeno estadístico y ofrece a los ingenieros en comunicaciones una forma de determinar la capacidad de un canal de comunicación en términos comunes de medida llamados bits. La parte de la teoría que hacereferencia  a la transmisión no está relacionada con el contenido de información o el mensaje en sí mismo, aún cuando el lado complementario de la teoría de la información se preocupa con el contenido a través de la compresión con pérdida de los mensajes sujetos a un criterio de fidelidad. Estas dos ramas de la teoría de la información están unidas y justificadas mutuamente por los teoremas detransmisión de información, o los teoremas de separación de canal de origen que justifican el uso de bits como el formato universal de información en diversos contextos.
ENTROPIA
Entropía es un concepto en termodinámica, mecánica estadística y Teoría de la información. Los conceptos de información y entropía están ampliamente relacionados entre sí, aunque se tardó años en el desarrollo de lamecánica estadística y la teoría de la información para hacer esto aparente. Este artículo versa sobre la entropía, en la formulación que hace de ella la Teoría de la información. Esta entropía se llama frecuentemente Entropía de Shannon, en honor a Claude E. Shannon.
[pic]
[pic]
Entropía de la información en un ensayo de Bernoulli X (experimento aleatorio en que X puede tomar los valores 0 o 1). Laentropía depende de la probabilidad P(X=1) de que X tome el valor 1. Cuando P(X=1)=0.5, todos los resultados posibles son igualmente probables, por lo que el resultado es poco predecible y la entropía es máxima.
El concepto básico de entropía en Teoría de la Información tiene mucho que ver con la incertidumbre que existe en cualquier experimento o señal aleatoria. Es también la cantidad de "Ruido"o "desorden" que contiene o libera un sistema. De esta forma, podremos hablar de la cantidad de información que lleva una señal.
Como ejemplo, consideremos algún texto escrito en español, codificado como una cadena de letras, espacios y signos de puntuación (nuestra señal será una cadena de caracteres). Ya que, estadísticamente, algunos caracteres no son muy comunes (por ejemplo, 'y'),...