Teoria De Sistemas

|TEORIA DE LA INFORMACION |
|Resumen del libro de H. Placoná. |
| |





Contenido


CAPITULO 1 “CONCEPTOS INTRODUCTORIOS” 1
CAPITULO 2 “FUENTES DE INFORMACION DE MEMORIA NULA” 3
CAPITULO 3 “VELOCIDAD DE TRANSMISION DE LAINFORMACION” 8
CAPITULO 4 “FUENTES CON MEMORIA” 9
CAPITULO 5 “CODIFICACION DE FUENTES” 11
CAPITULO 6 “CANALES DE INFORMACION” 17
CAPITULO 7 “MENSAJES CONFIABLES EN PRESENCIA DE RUIDO” 18
CAPITULO 8 “DETECCION Y CORRECCION DE ERRORES” 25






CAPITULO 1 “CONCEPTOS INTRODUCTORIOS”



1.7.- Medición de la cantidad de información

Puede decirse que la comunicación es el proceso por el cualse transmite información.

¿Cuánto contenido de información hay en cada noticia, en cada mensaje?

Cuanto menos esperado es el hecho y se produce, mayor es el contenido de información que aporta.

El contenido de información de un mensaje está ligado a la probabilidad de ocurrencia del mismo: a menor probabilidad de ocurrencia mayor contenido de información y viceversa.

Formulaciónmatemática: [pic]

o sea, la cantidad de información es función de la inversa de la probabilidad de ocurrencia del suceso.

I: Cantidad de información.
P: Probabilidad del suceso.

[pic]

Esta expresión también se denomina información propia.

Que la función sea logarítmica es conveniente por varias razones:

1. En la práctica es más útil: Los parámetros que habitualmente se manejanson tiempo, ancho de banda, número de interruptores (o relés), entre otros, y ellos varían linealmente con el logaritmo del número de posibilidades.
2. Se halla más próxima a nuestro método intuitivo de medición: Normalmente efectuamos mediciones comparando linealmente dos magnitudes.
3. Matemáticamente es más adecuado: Muchas de las operaciones que se realizan con logaritmos dan números muysencillos en comparación con las magnitudes a las que ellos se refieren (por ejemplo, el logaritmo base 10 del número 1.000.000 es 6; luego, es más simple hablar y escribir 6 que 1.000.000).

1.8.- Unidades de medida de la cantidad de información


Habitualmente se emplean tres unidades que se corresponden con tres bases de logaritmos, a saber: base 2, base 10, base e.

a) Si la basees el número 2, la unidad de información se denomina bit, contracción que proviene de las palabras Binary unit.


Es bien conocido que un dispositivo como el Flip-Flop puede almacenar 1 bit de información. Si se emplean N Flip-Flops se logran almacenar N bits, pues el número total de estados posibles es 2N y [pic].


El empleo de esta unidad es útil cuando las magnitudesrepresentativas de los mensajes son pulsos con dos estados posibles, es decir, son unos y ceros.


b) Si la base es el número 10, la unidad de información se denomina unidad decimal o, también, Hartley.


Su empleo es adecuado cuando se emplean dispositivos de ruedas dentadas con diez dientes o una computadora de 10 estados posibles que tiene la capacidad de almacenar 1 (uno) dígitodecimal.


c) Si la base es el número e, la unidad de información se denomina unidad natural o, abreviadamente, nat.

Su mejor aplicación es cuando se está desarrollando un análisis matemático que requiere integración y diferenciación.

1.9.- Relaciones entre unidades


Es sencillo relacionar las distintas unidades entre sí, es decir, expresar una magnitud en bits, por ejemplo, y pasarla aHartleys o nats o efectuar cualquier otra relación. A tal efecto, se aplica la conocida elación que hay entre los logaritmos cuando se debe efectuar un cambio de base:

[pic]













Apéndice 1B.- Teoría de la Información


La teoría de la información es la teoría matemática de la comunicación de datos y el almacenamiento de los mismos. Como teoría matemática, se basa en...