Fernandez 12 Intro Teoria Informacion

Introducci´on a la Teor´ıa de la Informaci´on
Resumen de definiciones + Ejemplos

Alicia Fernandez
A pesar de que la teor´ıa de se˜
nales es una herramienta valiosa, no se centra
en el proceso fundamental de las comunicaciones que es la transferencia de
informaci´on. En 1948 Claude E. Shannon desarroll´o una teor´ıa1 que despu´es
di´o lugar a una nueva disciplina: Teor´ıa de la Informaci´
on.
Elcuestionamiento que se plante´o Shannon es, “...dada una fuente productora de
mensajes que no son de nuestra elecci´on, c´omo se deben representar los mensajes
para obtener una comunicaci´on confiable sobre un canal con limitaciones f´ısicas.”
Teorema fundamental de Shannon para canales con ruido
Si la cantidad de informaci´on de la fuente no excede la capacidad del canal existe
una t´ecnica decodificaci´on tal que la informaci´on puede ser trasmitida con una
probabilidad de ocurrencia de errores arbitrariamente peque˜
na, a pesar de la presencia de ruido.
Haremos las definiciones para el caso discreto y generalizaremos para el caso
continuo, en este repartido no veremos demostraciones.

Medida de la Informaci´
on
Usaremos el t´ermino informaci´on como un t´ermino t´ecnico, el que no debeconfundirse con conocimiento o significado.
Definici´
on: La informaci´on que env´ıa una fuente digital cuando transmite el
mensaje j-´esimo est´a dada por:
Ij = logb

1
Pj

Pj es la probabilidad que el mensaje j-´esimo sea seleccionado por la fuente para
ser trasmitido.
Observaci´on: Ij informaci´on propia del mensaje xj , independiente del contenido
o la posible interpretaci´on del mensaje. Labase del logaritmo detemina las
unidades de medida de la informaci´on, si b = e la unidad es nats, si b = 2 la
unidad es el bits, y si b = 10 la unidad es el hartley.
Bit aqu´ı se usa como unidad de informaci´on y no como unidad de dato binario
(a veces se usa binit para no confundir).
En el caso de una fuente que emite dos mensajes equiprobables cada dato binario
lleva un bit de informaci´on. SiP1 = 1/4 ⇒ I1 = 2 mientras que P0 = 3/4 ⇒
1 A Mathematical Theory of Communication. C.E.Shannon. Bell System Technical Journal. Julio 1948

1

I0 = 0.41. El bit 1 lleva 2 bits de informaci´on mientras que el 0 lleva 0.41
(menor, por ser m´as probable).
Consecuencias de la definici´
on
1. Ij ≥ 0 si 0 ≤ Pj ≤ 1
2. Ij → 0 si Pj → 1
3. Ii < Ij si Pi > Pj
Si suponemos los mensajes independientes, P (xi, xj ) = Pi Pj ⇒
Iij = log2

1
1
1
= log2
+ log2
= Ii + Ij
Pi Pj
Pi
Pj

Interpretaci´
on: Los mensajes menos probables son los que llevan m´as informaci´on.
Por ejemplo si estamos por viajar y queremos saber el estado del tiempo y
escuchamos uno de estos tres mensajes: Amanecer´a – Llover´a – Tornado
El primer mensaje no agrega informaci´on al receptor, pues no existe incertidumbre sobre esepunto. Mientras que el segundo si lleva alguna informaci´on (puede
ser mucho mayor en Palma que en Londres). El u
´ltimo mensaje que es el m´as
improbable es el que trasmite m´as informaci´on por lo inesperado y nos puede
llevar a suspender el viaje.
Si la fuente es de memoria nula, es decir, los mensajes sucesivos son independientes, la informaci´on que obtengo al recibir dos mensajes es la suma deinformaciones individuales.

Entrop´ıa
Asumiremos que la fuente es estacionaria, por lo tanto las probabilidades se
mantienen constantes en el tiempo y que s´ımbolos sucesivos son estad´ısticamente
independientes y se trasmiten a una velocidad promedio (cadencia) de r s´ımbolos
por segundo. Estas hip´otesis corresponden al modelo de fuente discreta sin
memoria.
Sea X = {x1 , x2 , . . . , xN } unafuente que emite un conjunto de N s´ımbolos.
Definici´
on:
N

H(x) = E{I(x)} =

N

Pi I i =
i=1

Pi log2
i=1

bits
1
Pi simbolo

Observar que 0 ≤ H(x) ≤ log2 N
La entrop´ıa s´olo depende de las probabilidades y del tama˜
no del alfabeto.
Analizaremos el caso particular de N = 2, para ver como var´ıa H(X). El 0
corresponde a tener P1 = 1 y P0 = 0 (o viceversa) es decir el caso en el que
no hay...