Teoria de la informacion

Teoría de la información es una rama de la teoría matemática de la probabilidad y la estadística que estudia la información y todo lo relacionado con ella: canales, compresión de datos, criptografíay temas relacionados.

Fue iniciada por Claude E. Shannon a través de un artículo publicado en el Bell System Technical Journal en 1948, titulado Una teoría matemática de la comunicación (textocompleto en inglés).
Contenido

* 1 Introducción
* 2 Entropía e información
* 3 Otros tópicos de la teoría
* 4 Véase también
* 5 Enlaces externos

Introducción

Cuando enun texto escrito en español y parcialmente oculto encontramos que cierta palabra empieza por una letra digamos C tenemos cierta información sobre ante qué posible palabra estamos. Si la primera letraes en vez de la C una X tenemos una mejor pista para adivinar de qué palabra se trata. La teoría de la información investiga la probabilidad de sucesos inciertos (como la palabra que debe adivinarse enel caso anterior) y trata de cuantificar numéricamente cuanta información aporta cada pista o hecho conocido que ayuda a reducir la incertidumbre. Por eso la información encerrada en un cierto"pedazo de conocimiento" es una función de las probabilidades de cada suceso posible en un evento incierto:

(1) I = I(p_1,\dots,p_n|\mbox{conocimiento})

Donde las pi son las probabilidades deocurrencia de cada uno de los sucesos posibles compatibles con el conocimiento cierto que tenemos. La teoría de la información no puede decirnos si cierto conocimiento es verdadero o falso, sólocuantificar numéricamente cuanto es ese conocimiento en relación a la incertidumbre existente bajo la suposición de que el conocimiento que tenemos es verdadero. Una propiedad interesante con la función de (1)es la aditividad. Bajo un conjunto de condiciones matemáticas razonables relacionadas con la probabilidad de eventos sencillos y compuestos, se puede demostrar que la cantidad de información es...