Teora de la informacion
Páginas: 16 (3784 palabras)
Publicado: 14 de octubre de 2009
Introducción a la
Teoría de la Información
Contenido
1. – Introducción
2. – Fuentes de información
2.1. – Tipos
2.2. – Fuentes digitales
3. – Entropía de fuentes sin memoria
3.1. – Concepto intuitivo de información
3.2. – Información de un símbolo
3.3. – Información de una fuente: entropía
3.4. – Fuentes extendidas: agrupación de símbolos
4. – Entropía de fuentes conmemoria
4.1. – Interpretación de la simulación de una fuente con memoria
5. – Codificación y compresión de datos
5.1. – Primer Teorema de Shannon
5.2. – Justificación del Primer Teorema de Shannon
6. – Simulación de una fuente con memoria
6.1. – Código y comentarios
1. – Introducción
Hay gente que habla por los codos, pero dicen muy poco. En cambio hay otros quetodo lo que dicen es útil. Estos son los dos casos de datos con redundancia y datos sin redundancia. Aunque el primer caso puede ser deseable en alguna circunstancia (actos sociales...), no lo es en la mayoría.
La transmisión de datos no es tan rápida como quisiéramos, los dispositivos de almacenamiento no tienen capacidad ilimitada, las cantidades muy grandes de datos son poco manejables...los que menos deseamos es que la mitad de los datos que recibimos, encima, no sirvan para nada. Sería interesante reducir la cantidad de datos, pero sin perder información.
La Teoría de la Información nos muestra, entre otras cosas, el camino a seguir para determinar la cantidad de información útil de unos datos y para comprimir la información de manera que los datos se representen deuna manera eficiente.
La Teoría de la Información se desarrolla en términos de probabilidades, ya que la información tiene una naturaleza aleatoria (si supiésemos de antemano la información, ¿para qué la querríamos?). Por supuesto, en la realidad no disponemos a priori de las probabilidades necesarias, por lo que habrá que estimarlas de los datos existentes. En este trabajo supondremosconocidas las características estadísticas de nuestros datos.
No vamos a tratar en este trabajo de lo que probablemente sean los resultados más interesantes (o por lo menos, más sorprendentes) de la Teoría de la información, ya que se necesitan algunos conocimientos de transmisión digital de datos. Estos resultados establecen la capacidad máxima de transmisión fiable de datos de un canal,entre otras cosas.
2. – Fuentes de información
Una fuente de información es un elemento que entrega información, como pueden ser una persona hablando, un ordenador entregando datos... La visión de la persona hablando (por ejemplo), nos puede servir para ver los elementos más importantes en la emisión de la información. La información viaja sobre la voz de la persona (como una onda depresión). La voz es lo que llamamos señal, que es el soporte de la información. Pero es el hombre quien emite la voz, y es el hombre la verdadera fuente de información.
Esto se puede formalizar con unas definiciones más rigurosas. Una fuente de información es un elemento que entrega una señal, y una señal es una función de una o más variables que contiene información acerca de la naturaleza ocomportamiento de algún fenómeno. Es decir, vamos a considerar señal tanto al fenómeno físico que transporta la información como a la función matemática que representa a ese fenómeno. Cualquiera de las dos formas sirve como soporte a la información.
En esta discusión, consideraremos únicamente señales unidimensionales, es decir, aquellas que dependen únicamente de una variable. Además aesta variable la llamaremos tiempo, aunque no represente necesariamente el tiempo.
Las fuentes de información se clasifican basándose en el tipo de señal que entregan. Se pueden clasificar, según el tipo de variable independiente (tiempo) en:
• Fuentes de tiempo continuo: la función está definida para cualquier valor de la variable independiente.
• Fuentes de tiempo discreto: la...
Teoría de la Información
Contenido
1. – Introducción
2. – Fuentes de información
2.1. – Tipos
2.2. – Fuentes digitales
3. – Entropía de fuentes sin memoria
3.1. – Concepto intuitivo de información
3.2. – Información de un símbolo
3.3. – Información de una fuente: entropía
3.4. – Fuentes extendidas: agrupación de símbolos
4. – Entropía de fuentes conmemoria
4.1. – Interpretación de la simulación de una fuente con memoria
5. – Codificación y compresión de datos
5.1. – Primer Teorema de Shannon
5.2. – Justificación del Primer Teorema de Shannon
6. – Simulación de una fuente con memoria
6.1. – Código y comentarios
1. – Introducción
Hay gente que habla por los codos, pero dicen muy poco. En cambio hay otros quetodo lo que dicen es útil. Estos son los dos casos de datos con redundancia y datos sin redundancia. Aunque el primer caso puede ser deseable en alguna circunstancia (actos sociales...), no lo es en la mayoría.
La transmisión de datos no es tan rápida como quisiéramos, los dispositivos de almacenamiento no tienen capacidad ilimitada, las cantidades muy grandes de datos son poco manejables...los que menos deseamos es que la mitad de los datos que recibimos, encima, no sirvan para nada. Sería interesante reducir la cantidad de datos, pero sin perder información.
La Teoría de la Información nos muestra, entre otras cosas, el camino a seguir para determinar la cantidad de información útil de unos datos y para comprimir la información de manera que los datos se representen deuna manera eficiente.
La Teoría de la Información se desarrolla en términos de probabilidades, ya que la información tiene una naturaleza aleatoria (si supiésemos de antemano la información, ¿para qué la querríamos?). Por supuesto, en la realidad no disponemos a priori de las probabilidades necesarias, por lo que habrá que estimarlas de los datos existentes. En este trabajo supondremosconocidas las características estadísticas de nuestros datos.
No vamos a tratar en este trabajo de lo que probablemente sean los resultados más interesantes (o por lo menos, más sorprendentes) de la Teoría de la información, ya que se necesitan algunos conocimientos de transmisión digital de datos. Estos resultados establecen la capacidad máxima de transmisión fiable de datos de un canal,entre otras cosas.
2. – Fuentes de información
Una fuente de información es un elemento que entrega información, como pueden ser una persona hablando, un ordenador entregando datos... La visión de la persona hablando (por ejemplo), nos puede servir para ver los elementos más importantes en la emisión de la información. La información viaja sobre la voz de la persona (como una onda depresión). La voz es lo que llamamos señal, que es el soporte de la información. Pero es el hombre quien emite la voz, y es el hombre la verdadera fuente de información.
Esto se puede formalizar con unas definiciones más rigurosas. Una fuente de información es un elemento que entrega una señal, y una señal es una función de una o más variables que contiene información acerca de la naturaleza ocomportamiento de algún fenómeno. Es decir, vamos a considerar señal tanto al fenómeno físico que transporta la información como a la función matemática que representa a ese fenómeno. Cualquiera de las dos formas sirve como soporte a la información.
En esta discusión, consideraremos únicamente señales unidimensionales, es decir, aquellas que dependen únicamente de una variable. Además aesta variable la llamaremos tiempo, aunque no represente necesariamente el tiempo.
Las fuentes de información se clasifican basándose en el tipo de señal que entregan. Se pueden clasificar, según el tipo de variable independiente (tiempo) en:
• Fuentes de tiempo continuo: la función está definida para cualquier valor de la variable independiente.
• Fuentes de tiempo discreto: la...
Leer documento completo
Regístrate para leer el documento completo.