CONCEPTOS BÁSICOS DE LA TEORÍA DE LA INFORMACIÓN

CONCEPTOS BÁSICOS DE LA TEORÍA DE LA INFORMACIÓN

Medida de la Información:
1.1 Fuentes de Información: Una fuente de información es un objeto, que produce a su salida un evento; dicha salida es seleccionada aleatoriamente de acuerdo a una probabilidad de distribución. En un sistema de comunicación, es un elemento que produce mensajes, y éstos pueden ser análogos o discretos. Una fuentediscreta está formada por un conjunto finito de símbolos. Las fuentes de información pueden clasificarse en fuentes con memoria y fuentes sin memoria. Una fuente sin memoria pude especificarse por: la lista de símbolos, la probabilidad de ocurrencia de los símbolos, y la rata de generación de los símbolos de la fuente.
1.2 Contenido de Información de Fuentes discretas sin memoria.
La cantidad deinformación de un mensaje, es inversamente proporcional a la probabilidad de ocurrencia.
Si un evento es conocido, la información aportada es cero, de hecho su probabilidad de ocurrencia es uno.
La probabilidad de un mensaje siempre estará en un valor entre cero y uno.
La información contenida en eventos independientes debería sumarse.

bits

Si existe un mensaje x1, con una probabilidad deocurrencia P(x1), el contenido de información puede expresarse según .
tendrá como unidad el bit, si empleamos logaritmos binarios.
Tendrá como unidad el HARTLEY, si empleamos logaritmos decimales.
Tendrá como unidad el NAT, si empleamos logaritmos naturales.
La conversión de unidades podrá realizarse de acuerdo a la siguiente expresión:


1.3 Entropía de una Fuente de Información: HEs un parámetro que nos permite determinar el contenido promedio de información de una fuente o un mensaje en particular. En un proceso de comunicación, transmitimos usualmente secuencias largas de símbolos, y estamos mas interesados en el contenido promedio de información que la fuente produce, que en la información contenida en cada símbolo. Luego:



1.4 Rata de Información:
Si lafuente emite símbolos a una rata r (símbolos/segundo), la rata o velocidad de emisión de información de la fuente puede expresarse como:

Por lo anterior podemos decir que el contenido de información de cualquier mensaje es igual al mínimo número de digitos que se requieren para codificarlo. La entropía es igual al mínimo número de digitos por mensaje o símbolo, en promedio, necesarios paracodificarlo.

EL CANAL DE COMUNICACIÓN
Es la trayectoria o medio a través del que fluyen los símbolos del origen al destino. Un canal discreto sin memoría, (DMC), es un modelo estadístico, con una entrada X, y una salida Y. Durante cada unidad de tiempo, o intervalo de señalización, el canal acepta un símbolo de entrada de X, y en respuesta genera un símbolo de salida de Y. El canal es discreto, cundolos alfabetos X, Y, son finitos. Es “sin memoria” , cuando el símbolo de salida corriente, depende solamente del símbolo corriente a la entrada, y no de ningún símbolo previo. La figura muestra un canal DMC, con m entradas y n salidas.

x1
x2
x3


xi
xm

X y

La entrada X, consiste de los símbolos de entrada x1, x2, xi,... xm. Sus probabilidades a priori se conocen:P(xi). La salida Y, consiste de los símbolos y1, y2, yj,....yn. Cada posible trayectoria de entrada – salida, se expresa con una probabilidad condicional P(yi/xj), donde P (xi/yj) P( y1/x1 ) P( y1/x1 ), es la probabilidad condicional de obtener la salida yj, dada la entrada xi, y es llamada la probabilidad de transcición del canal.

Matrix del Canal.
Un canal pude especificarse por el conjuntocompleto de probabilidades de transcición. Se genera la matrix [P(Y/X)] , conocida como matriz del canal.


P( y1/x1 ) P( y2/x1 ) ................ P( yn/x1 )
P( y1/x2 ) P( y2/x2 ).... ...... P( yn/x2 )
[ P ( Y/X ) ] = P( y1/x3 ) P( y2/x3 ) ................. .P( yn/x3 )
P( y1/xm ) P( y2/xm ) ................ P( yn/xm )




Si las probabilidades de entrada...