Teoría de la información

Teoría de la Información

2 de mar de 2004

Codificación de imágenes y v ideo

El clima en el Río de la Plata...
N: nublado; S: soleado; L: lluvia; T: tormenta
N N N T L L N L N L T L L S NN S S N L L L T S S S T N T N N L L L N S S N S N L L L N S N N N N ... ... ... ... ... ... ...

p(N)=0.5, p(S)=0.25, p(L)=0.125, p(T)=0.125
2 de mar de 2004 Codificación de imágenes y v ideo 2Motivación
 Para comunicar estos cuatro símbolos se acuerda usar el siguiente código: C(N) = 00 C(S) = 01 C(L) = 10 C(T) = 11  Típicamente uno se pasa usando el código C(N)=00. La pregunta es:¿existe otra codificación más eficiente?

2 de mar de 2004

Codificación de imágenes y v ideo

3

Formalización
 Se puede considerar al estado del tiempo como una variable aleatoria discreta X,con un alfabeto

A={N,L,T,S}
y una función de probabilidad

p(x)=Probabilidad(X=x)
con x en A.

2 de mar de 2004

Codificación de imágenes y v ideo

4

Formalización: información
Dado que típicamente esta nublado, el símbolo N contiene poca “información”, es “predecible”, es más probable, “no es noticia”.  Información. Una medida de la información podría ser:

I(x) =-log2(p(x))
 I(N) = 1, I(S) = 2, I(L) = 3, I(T) = 3

2 de mar de 2004

Codificación de imágenes y v ideo

5

Información
 ¿Qué pasa si supiéramos que siempre está nublado (p (N)=1)?. En este casoI(N) = 0, podemos predecir con probabilidad 1 que va a estar nublado, no hay incertidumbre, no hay información.  La situación de mayor incertidumbre es cuando p(N) =p(L)=p(S)=p(T)=1/4.

2 de marde 2004

Codificación de imágenes y v ideo

6

Información
 Si pudiéramos elegir libremente (símbolos equiprobables) entre 2 símbolos necesitaríamos 1 bit, para 16 símbolos necesitaríamos 4bits y en general para N símbolos se necesitan log2(N) bits.  log2(N) = -log2(1/N), lo que nos dice que hay una relación entre información y cantidad de bits necesarios.

2 de mar de 2004...