Teoría De La Información. Entropia De Shanon

ÍNDICE
INTRODUCCIÓN | 3 |
| |
OBJETIVO | 4 |
| |
PLANTEAMIENTO DEL PROBLEMA | 5 |
| |
DESARROLLO (MARCO TEÓRICO) | 5 |
| |
PRESENTACIÓN DE RESULTADOS | 8 |
| |
CONCLUSIONES | 11 |
| |
BIBLIOGRAFÍA | 12 |
| |

INTRODUCCIÓN
La necesidad de una base teórica para la tecnología de la comunicación surgió del aumento de la complejidad y de la masificación delas vías de comunicación, ya que abarca todas las formas de transmisión y almacenamiento de información, en base a ello se desarrolla el primer modelo científico del proceso de comunicación conocido como la Teoría de la Información o Teoría Matemática de la Comunicación.
La teoría de la información fue desarrollada inicialmente, en 1948, por el ingeniero electrónico estadounidense Claude E.Shannon, en su artículo, A Mathematical Theory of Communication (Teoría matemática de la comunicación).
Esta teoría está ampliamente relacionada con las leyes matemáticas que rige la transmisión y el procesamiento de la información, es decir se ocupa de la medición de la información y de la representación de la misma, como su codificación y de la capacidad de los sistemas de comunicación paratransmitir y procesar información.
El modelo comunicacional desarrollado por Shannon se basa en un sistema de comunicación general que puede ser representado de la siguiente manera:

Los componentes de dicho sistema son:
* Fuente de información: es todo aquello que emite mensajes. Por ejemplo, una fuente puede ser una computadora y mensajes sus archivos, una fuente puede ser un dispositivode transmisión de datos y mensajes los datos enviados, etc.

* Mensaje: cualquier cosa que tenga una representación binaria puede considerarse un mensaje y un archivo, es un paquete de datos que viaja por una red. El concepto de mensaje se aplica también a alfabetos de más de dos símbolos, aunque debido a que está enfocada con información digital es referida casi siempre a mensajesbinarios.

* Transmisor: transforma o codifica esta información en una forma apropiada al canal o medio por el cual viaja el mensaje.

* Señal: mensaje codificado por el transmisor.

* Canal: medio a través del cual las señales son transmitidas al punto de recepción.

* Fuente de ruido: conjunto de distorsiones o adiciones no deseadas por la fuente de información que afectan a laseñal. Pueden consistir en distorsiones del sonido (radio, teléfono), distorsiones de la imagen (T.V.), errores de transmisión (telégrafo), etc.
* Receptor: decodifica o vuelve a transformar la señal transmitida en el mensaje original o en una aproximación de este haciéndolo llegar a su destino.
OBJETIVO
Los objetivos consisten en relacionar desde una visión más amplia el uso de laprobabilidad en teorías correspondientes al manejo y transmisión de datos, analizando algunos ejemplos a partir de la Teoría de la Información de Shannon.

PLANTEAMIENTO DEL PRIBLEMA
El problema consiste en determinar la capacidad límite de una fuente para lograr la transmisión de un mensaje, y lograr hacerla más eficiente, por lo que está teoría ha desarrollado y descubierto elementos esenciales parael manejo de la misma. Estamos hablando de un nuevo concepto, Entropía de una fuente. Y tenemos como elementos claves a determinar:
1. Pi: La probabilidad de ocurrencia del mensaje-i de una fuente, que describiremos más adelante.
2. Li: Longitud del código utilizado para representar ha dicho mensaje.
MARCO TEÓRICO
La Entropía puede ser considerada como una medida de la incertidumbre, yla información tiene que ver con cualquier proceso que permite acotar, reducir o eliminar la incertidumbre; resulta que el concepto de información y el de entropía están ampliamente relacionados entre sí.
En este caso es entendida como la cantidad de información promedio que contienen los símbolos usados. Los símbolos con menor probabilidad son los que aportan mayor información; mientras que...