Introduccion A La Teoria De La Informacion

Introducción a la Teoría de la
Información
Tomás V. Arredondo
8/4/2011

Introducción a la a la Teoría de la Información y
Aplicaciones
Contenidos:
• Introducción a algunos aspectos de la teoría de la
información (T.I.): información y probabilidades
• Entropía
• Reseña de algunas aplicaciones en diferentes áreas
incluyendo:
Comunicaciones,
Encripción
y
Bioinformática.

Introducción a la a laTeoría de la Información y
Aplicaciones: Introducción

¿Que es la información?
• La información como es conocida comúnmente es una
amalgama de muchas nociones vagas e imprecisas que
generalmente es medida basada en la cantidad de
noticia (o sorpresa) que provee.
¿Que es la teoría de la información?
• Serie de las leyes para relacionar determinado orden de
fenómenos relacionados con la comunicaciónde la
información entre su origen y su destino a través de un
canal.

Introducción a la a la Teoría de la Información y
Aplicaciones: Introducción
Sistema de Comunicaciones Básico

Origen

Mensaje M

Canal

Destino

Mensaje M’

Introducción a la a la Teoría de la Información y
Aplicaciones: Introducción
¿Cuál es el rol de las probabilidades en las
comunicaciones?
• Las probabilidades nos danuna manera de determinar
cuantitativamente las características que queremos
estudiar en los sistemas (ej. la distribución de la
información de un origen, la confiabilidad de un canal, la
relación entre el origen y el destino de la información
entre otras)
• Las probabilidades están basadas en las frecuencias
observables de la ocurrencia de eventos

Introducción a la a la Teoría de la Informacióny
Aplicaciones: Introducción
Las frecuencias y las probabilidades
• Si repetimos un experimento N veces que tiene M diferentes
resultados posibles y contamos el numero de veces que se observan
las diferentes posibilidades n1, n2,..., nM entonces podemos
determinar la frecuencia de estas observaciones (f1, f2, ..., fM) al dividir
n1, n2,..., nM por N.
Si N → ∞ estas frecuencias son la probabilidad(p1, p2, ..., pM) de
ocurrencia del evento y sus valores posibles son entre 0 y 1.
• El siguiente es el caso de tener los eventos A, B, AB (A y B, ambos
eventos ocurriendo), A’B’ (ninguno de los dos).
•

A’B’

A

AB

B

Introducción a la a la Teoría de la Información y
Aplicaciones: Introducción
Las frecuencias y las probabilidades (cont)
Permutaciones:
Las
permutaciones
son
el
•
reordenamientode objetos o símbolos en secuencias
distinguibles:
El numero de permutaciones de n objetos es n!
n(n-1)(n-2)...·3·2·1
0! = 1
La formula para el numero de permutaciones de
r objetos seleccionados de un conjunto de n objetos:
P n , r =

n!
n−r !

Cada uno de los objetos es distinguible de los otros

Introducción a la a la Teoría de la Información y
Aplicaciones: Introducción
Las frecuencias ylas probabilidades (cont)
Ejemplo:
•
Si tengo 6 tarros de pintura de color y una flota de 4 autos
(Ferrari, Jaguar, Corvette, Citroen), el numero de
permutación posibles para pintar los autos es
6·5·4·3 o usando la formula:
P n , r = P 6, 4=

6!
=360
6−4!

Si alguien eligiera una permutación de colores para su flota
al azar la probabilidad de ella seria = 1/360

Introducción a la a laTeoría de la Información y
Aplicaciones: Introducción
Las frecuencias y las probabilidades (cont)
En otras situaciones no nos importa la posición de selección
•
de los objetos en cuestión.
En ese caso se quieren determinar el numero de las
•
combinaciones de elegir r objetos de un set de n objetos:
n n−1 n−2...n−r 1
n!
C n , r = n =
=
r!
n−r ! r !
r



•

Estas cantidades se llamancoeficientes binomiales porque
fueron estudiados en relación con la expansion de binomiales
en los cuales las maneras de seleccionar el numero de las
variables es dado por la relación descrita anteriormente
– (a + b)3 = a3 + 3a2b + 3ab2 + b3

0 1  2 3

– (a + b)3 = 3 a 3 3 a 2b 3 ab 2 3 b3

Introducción a la a la Teoría de la Información y
Aplicaciones: Introducción
Las frecuencias y las...