Introducción A La Teoría De La Información

Introducción a la Teoría de la Información
Comunicaciones Eléctricas
Leslie Murray
leslie@eie.fceia.unr.edu.ar

´
Escuela de Ingenier´a Electronica
ı
Facultad de Ciencias Exactas, Ingenier´a y Agrimensura
ı
Universidad Nacional de Rosario

´
´
Introduccion a la Teor´a de la Informacion – p. 1
ı

Fuentes Discretas sin Memoria

S

C

S = {s0 , s1 , · · · , sK −1 }
p(s0 )↓
p(s1 )

p(sK −1 )

´
´
Introduccion a la Teor´a de la Informacion – p. 2
ı

Cantidad de Información

RELACIÓN INVERSA (respecto a p)
CONTINUA
NO NEGATIVA
ACUMULATIVA
p(si , sj ) = p(si ) p(sj ), se pretende que la IX aportada por los
dos símbolos se pueda sumar, es decir: I (si , sj ) = I (si ) + I (sj )

´
´
Introduccion a la Teor´a de la Informacion – p. 3
ıCantidad de Información

1
I (sk ) = log
= − log p(sk ) 0 ≤ p(sk ) ≤ 1
p(sk )

Unidad de medida: Bit (Binary Digit)

´
´
Introduccion a la Teor´a de la Informacion – p. 4
ı

Cantidad de Información vs. Probabilidad
I (sk )

p(sk )
0

1

´
´
Introduccion a la Teor´a de la Informacion – p. 5
ı

Sobre el número de BIT S

I (si ) = log2

1
pi

= log2
s0
s1
s2
s3
s4s5
s6
s7

1
1
8

= log2 (8) = 3

000
001
010
011
100
101
110
111

´
´
Introduccion a la Teor´a de la Informacion – p. 6
ı

Sobre el número de BIT S

La elección (codificación) mostrada en la tabla es arbitraria, no
obstante es claro que no alcanza con menos de tres BITS y
que un número mayor sería redundante.
Si en lugar de 8, la fuente fuese de 10 símbolosequiprobables,
el valor resultante de IX de cada símbolo ya no sería 3 sino
3.322.
1
El número 3 obtenido a través de la expresión log2 ( pi )
únicamente se alcanza para símbolos con probabilidad 1/8, y
sólo será el mismo si todos los símbolos si son equiprobables.

´
´
Introduccion a la Teor´a de la Informacion – p. 7
ı

Sobre el número de BIT S

Resulta evidente la relación entre la base dellogaritmo
empleado para determinar la cantidad de IX del símbolo y el
número de BITS resultantes. Esa base es precisamente la que
determina el sistema de numeración en el que resultará
medida la cantidad de IX . En tal sentido el resultado 3 debe
interpretarse como: tiras de 3 símbolos, cada uno de los cuales
puede asumir uno de 2 valores posibles. El 3 es la cantidad de
IX resultante y el2 la base del logaritmo utilizado.

´
´
Introduccion a la Teor´a de la Informacion – p. 8
ı

Sobre el número de BIT S

I (si ) = log10

1
pi

= log10

1
1
100

= log10 (100) = 2

´
´
Introduccion a la Teor´a de la Informacion – p. 9
ı

Sobre el número de BIT S

Cuando la I (si ) es medida mediante logB (logaritmo en base B ), el
valor resultante es el número dedígitos necesario para representar
si en un sistema de numeración tal que cada dígito puede asumir
uno de B valores posibles.
Así, por ejemplo,
B = 2 ⇒ [I (si )] =número de dígitos binarios(BITS)
B = 10 ⇒ [I (si )] =número de dígitos decimales, etc.

´
´
Introduccion a la Teor´a de la Informacion – p. 10
ı

Entropía

H (S ) = E {I (sk )}
K −1

=

p(sk ) I (sk )
k=0
K −1

=p(sk ) log2
k=0

1
p(sk )

K −1

=
k=0

− p(sk ) log2 p(sk )

0 ≤ H (S ) ≤ log2 K

´
´
Introduccion a la Teor´a de la Informacion – p. 11
ı

Sobre el número medio de BIT S por símbolo
CASO 1

1
p ( A) = p ( B ) = p ( C ) = p ( D ) = p ( E ) = p ( F ) = p ( G ) = p ( H ) =
8
H (S ) = 3
A
B
C
D
E
F
G
H

000
001
010
011
100
101
110
111
´
´
Introduccion ala Teor´a de la Informacion – p. 12
ı

Sobre el número medio de BIT S por símbolo
CASO 2
1
1
p(A) = 1 , p(B ) = 1 , p(C ) = 1 , p(D) = 16 , p(E ) = 32 ,
2
4
8
1
1
1
p(F ) = 64 , p(G) = 128 , p(H ) = 128 → H (S ) ≈ 1.9844

A
B
C
D
E
F
G
H

0
10
110
1110
11110
111110
1111110
11111110
1
1
1
1
1
1
1
1
+5·
+6·
+7·
+8·
≈ 1.9922
1· +2· +3· +4·
2
4
8...