Teoria de la informacion
Páginas: 14 (3402 palabras)
Publicado: 14 de febrero de 2010
Teoría de la información |
Comunicaciones Digitales |
|
|
|
|
07/12/2009 |
|
Índice
* Introducción
* Medición de la cantidad de información de un mensaje.
* Entropía.
* Algoritmos para obtener códigos de mínima longitud.
* Ventajas y desventajas de los códigos de mínima longitud.
* Campos de aplicación de los códigos de mínima longitud.
* Códigoscriptográficos.
FUNDAMENTOS BÁSICOS DE LA TEORÍA DE LA INFORMACIÓN
La información es almacenada en forma digital, sin embargo hubo un periodo durante el cual las computadoras eran una novedad, y donde los únicos medios de almacenamiento conocidos eran los libros. Es en ese marco que un matemático francés: Claude Shannon se dedicó a elaborar una teoría sobre cómo tratar a la informaciónalmacenada en forma digital.
En la denominada 'teoría de la información' elaborada por Shannon en 1948 ha cobrado mucha vigencia con el advenimiento de la era de las computadoras digitales. Para comenzar debemos partir de algunas definiciones sobre la nomenclatura a utilizar, nomenclatura basada en la teoría de la información de Shannon.
Fuente
Una fuente es todo aquello que emite mensajes. Porejemplo, una fuente puede ser una computadora y mensajes sus archivos, una fuente puede ser un dispositivo de transmisión de datos y mensajes los datos enviados, etc. Una fuente es en sí misma un conjunto finito de mensajes: todos los posibles mensajes que puede emitir dicha fuente. En compresión de datos tomaremos como fuente al archivo a comprimir y como mensajes a los caracteres que conforman dichoarchivo.
Mensaje
Un mensaje es un conjunto de ceros y unos. Un archivo, un paquete de datos que viaja por una red y cualquier cosa que tenga una representación binaria puede considerarse un mensaje. El concepto de mensaje se aplica también a alfabetos de mas de dos símbolos, pero debido a que tratamos con información digital nos referiremos casi siempre a mensajes binarios.
Código
Un códigoes un conjunto de unos y ceros que se usan para representar a un cierto mensaje de acuerdo a reglas o convenciones preestablecidas. Por ejemplo al mensaje 0010 lo podemos representar con el código 1101 usando para codificar la función (NOT). La forma en la cual codificamos es arbitraria.
Un mensaje puede, en algunos casos representarse con un código de menor longitud que el mensaje original.Supongamos que a cualquier mensaje S lo codificamos usando un cierto algoritmo de forma tal que cada S es codificado en L(S) bits, definimos entonces a la información contenida en el mensaje S como la cantidad mínima de bits necesarios para codificar un mensaje.
Clasificación de Fuentes
* Por la naturaleza generativa de sus mensajes una fuente puede ser aleatoria o determinística.
* Por larelación entre los mensajes emitidos una fuente puede ser estructurada o no estructurada.
* Existen varios tipos de fuentes. Para la teoría de la información interesan las fuentes aleatorias y estructuradas. Una fuente es aleatoria cuando no es posible predecir cual es el próximo mensaje a emitir por la misma.
* Una fuente es estructurada cuando posee un cierto nivel de redundancia, unafuente no estructurada o de información pura es aquella en que todos los mensajes son absolutamente aleatorios sin relación alguna ni sentido aparente, este tipo de fuente emite mensajes que no se pueden comprimir, un mensaje para poder ser comprimido debe poseer un cierto nivel de redundancia, la información pura no puede ser comprimida pues perderíamos un grado de conocimiento sobre el mensaje.Ejemplos
| |
Fuente Estructurada. | Fuente no-estructurada. |
MEDICIÓN DE INFORMACIÓN
De acuerdo a ciertas consideraciones probabilísticas es posible establecer un primer principio de la medición de información. Este establece que mientras más probable sea un mensaje menos información proporcionará. Esto puede expresarse de la siguiente manera:
I(xi) > I(xk) si y sólo si p(xi) <...
Comunicaciones Digitales |
|
|
|
|
07/12/2009 |
|
Índice
* Introducción
* Medición de la cantidad de información de un mensaje.
* Entropía.
* Algoritmos para obtener códigos de mínima longitud.
* Ventajas y desventajas de los códigos de mínima longitud.
* Campos de aplicación de los códigos de mínima longitud.
* Códigoscriptográficos.
FUNDAMENTOS BÁSICOS DE LA TEORÍA DE LA INFORMACIÓN
La información es almacenada en forma digital, sin embargo hubo un periodo durante el cual las computadoras eran una novedad, y donde los únicos medios de almacenamiento conocidos eran los libros. Es en ese marco que un matemático francés: Claude Shannon se dedicó a elaborar una teoría sobre cómo tratar a la informaciónalmacenada en forma digital.
En la denominada 'teoría de la información' elaborada por Shannon en 1948 ha cobrado mucha vigencia con el advenimiento de la era de las computadoras digitales. Para comenzar debemos partir de algunas definiciones sobre la nomenclatura a utilizar, nomenclatura basada en la teoría de la información de Shannon.
Fuente
Una fuente es todo aquello que emite mensajes. Porejemplo, una fuente puede ser una computadora y mensajes sus archivos, una fuente puede ser un dispositivo de transmisión de datos y mensajes los datos enviados, etc. Una fuente es en sí misma un conjunto finito de mensajes: todos los posibles mensajes que puede emitir dicha fuente. En compresión de datos tomaremos como fuente al archivo a comprimir y como mensajes a los caracteres que conforman dichoarchivo.
Mensaje
Un mensaje es un conjunto de ceros y unos. Un archivo, un paquete de datos que viaja por una red y cualquier cosa que tenga una representación binaria puede considerarse un mensaje. El concepto de mensaje se aplica también a alfabetos de mas de dos símbolos, pero debido a que tratamos con información digital nos referiremos casi siempre a mensajes binarios.
Código
Un códigoes un conjunto de unos y ceros que se usan para representar a un cierto mensaje de acuerdo a reglas o convenciones preestablecidas. Por ejemplo al mensaje 0010 lo podemos representar con el código 1101 usando para codificar la función (NOT). La forma en la cual codificamos es arbitraria.
Un mensaje puede, en algunos casos representarse con un código de menor longitud que el mensaje original.Supongamos que a cualquier mensaje S lo codificamos usando un cierto algoritmo de forma tal que cada S es codificado en L(S) bits, definimos entonces a la información contenida en el mensaje S como la cantidad mínima de bits necesarios para codificar un mensaje.
Clasificación de Fuentes
* Por la naturaleza generativa de sus mensajes una fuente puede ser aleatoria o determinística.
* Por larelación entre los mensajes emitidos una fuente puede ser estructurada o no estructurada.
* Existen varios tipos de fuentes. Para la teoría de la información interesan las fuentes aleatorias y estructuradas. Una fuente es aleatoria cuando no es posible predecir cual es el próximo mensaje a emitir por la misma.
* Una fuente es estructurada cuando posee un cierto nivel de redundancia, unafuente no estructurada o de información pura es aquella en que todos los mensajes son absolutamente aleatorios sin relación alguna ni sentido aparente, este tipo de fuente emite mensajes que no se pueden comprimir, un mensaje para poder ser comprimido debe poseer un cierto nivel de redundancia, la información pura no puede ser comprimida pues perderíamos un grado de conocimiento sobre el mensaje.Ejemplos
| |
Fuente Estructurada. | Fuente no-estructurada. |
MEDICIÓN DE INFORMACIÓN
De acuerdo a ciertas consideraciones probabilísticas es posible establecer un primer principio de la medición de información. Este establece que mientras más probable sea un mensaje menos información proporcionará. Esto puede expresarse de la siguiente manera:
I(xi) > I(xk) si y sólo si p(xi) <...
Leer documento completo
Regístrate para leer el documento completo.