Fuentes de información

Fundamentos de Informática I

3

Tema 3 La información y sus fuentes

La Información y
Sus Fuentes

3.1 Definición de Información
La cuestión a resolver es cómo calcular la cantidad de información que nos proporciona
el conocimiento de un determinado suceso.
Una manera acorde con nuestra experiencia de valorarla, es mediante el nivel de
sorpresa, o lo que es lo mismo, mediante elgrado de desconocimiento que se tenga a
priori del suceso:
(1).-Cuanto menos esperado sea mayor será cantidad de información
proporcionada.
Que esta forma de plantear el problema es coherente con nuestra experiencia, es
inmediato de ver: los sucesos que más nos impresionan son aquellos inesperados, de
hecho, la cualidad de noticia, por ejemplo, está inherentemente unida a la falta denormalidad del hecho sucedido.
Retomando el razonamiento anterior, lo que se plantea ahora es como medir el grado
de sorpresa de un determinado suceso. La respuesta, es este caso, es clara: por su
probabilidad de aparición. Ambos conceptos están íntimamente ligados, de manera que:
(2).-Cuanto más probable sea un suceso, menor será la sorpresa que cause su
conocimiento.
Uniendo lo indicado en lospuntos (1) y (2), se puede concluir que la cantidad de
información proporcionada por un suceso es función del inverso de su probabilidad:
I(suceso) = f(1/P(suceso))
Sólo queda por definir la forma que ha de tener esta función. Para ello. vamos a partir
de algunas de las propiedades que, intuitivamente, debe cumplir:
1. Cuando la ocurrencia de un suceso sea segura: P(suceso)=1, la cantidad deinformación que nos proporciona será nula:
I(suceso) = 0
2. Sean S1 y S2 dos sucesos estadísticamente independientes. La probabilidad
del suceso simultaneo será:
P(S1,S2)=P(S1) P(S2)
1

Fundamentos de Informática I

Tema 3 La información y sus fuentes

Por el hecho de ser independientes, es lógico que la cantidad de información
proporcionada por el conocimiento de ambos, sea la suma dela proporcionada por
cada uno:
I(S1,S2)=I(S1) + I(S2)
3. Por la definición de información, se ha de cumplir que:
si P(S1) > P(S2) ⇒ I(S1) < I(S2)
Se tiene, que la función logaritmo aplicada al inverso de la probabilidad, proporciona
valores coherentes con estas condiciones, por lo que parece razonable establecer la
siguiente definición:
Sea E un suceso que puede aparecer con probabilidadP(E). Cuando E tiene
lugar, decimos que hemos recibido:

I(E) = lg

1
P(E)

unidades de información.
La elección de la base del logaritmo equivale a elegir la unidad de medida de la
información.
Si la base escogida es 2, la unidad correspondiente se denomina bit (BInary uniT):

I(E) = lg 2

1
bits
P(E)

Si se emplean logaritmos neperianos, la unidad recibe el nombre de nat(NAtural uniT)

I(E) = ln

1
nats
P(E)

En el caso de logaritmos de base 10, la unidad de información es Hartley:

I(E) = lg 10

1
hartleys
P(E)

En general, empleando una base genérica r:

I(E) = lg r

1
unidades de orden r
P(E)

El cambio de unidades es inmediata, sin más que aplicar la siguiente relación:

lg a x =

lg b x
lg b a

A partir de esta relación es fácildeducir que:
1 hartley = 3.32 bits

1 nat = 1.44 bits

En el resto del tema, por defecto vamos a medir la información en bits, de manera que
para aligerar notación se va a suponer la base del logaritmo implícita, o sea, que donde
debiera aparecer "lg2", vamos a usar tan solo "lg".
2

Fundamentos de Informática I

Tema 3 La información y sus fuentes

Ejemplo 1
Supongamos que tenemos unsuceso de probabilidad: P(E) = 1/2, entonces:
I(E) = 1 bit
Por lo tanto, un bit es la cantidad de información obtenida al especificar una de dos
posibles alternativas igualmente probables
--------------------------Ejemplo 2
Calculemos la cantidad de información obtenida cada vez que se realiza una lectura de
la hora de un reloj, suponiendo que esta se hace en horas y minutos (hh:mm):
El...