Teoria de la informacion y la codificacion

Scaned and edited By YORCH®

Teoría
de la

Información

Y Codificación

Scaned and edited By YORCH®

Norrnan Abramson

1 eoria

Inf ormacion y Codificación
QUINTA EDlCION

r

198 1

MADRID

Scaned and edited By YORCH®

Traducida por JUAN ANTONIO DI3 MIGUEL MENOYO 1ng6niero de Telecomunicación

@ NORMAN ABRAMSON
Version española de la obra inglesa: INFORMATION THEORYAND CODING Publicado por McGRAW-HILL Book Company, Inc. Reservados los derechos de reproducción, traducción y adaptación para todos los países de lengua española, IMPRESO EN I~SPAÑA PRINTID IN SPAIN ISBN: 84-283-02324 Depósito Legal: M-33268-1 980

& A R A N -

Magallanes, 25 - MADRID (1 5)

(3-2988-5)

AL€(?, artes gráficas. Jaspe, 34. MADRID-26

Scaned and edited By YORCH®

PROLOGOEste libro ha surgido de un conjunto de notas sobre la teoría de la información y Ia codificación binaria, preparadas con motivo de un ciclo de conferencias en los ITT Federal Laboratories. Posteriormente, estas notas se ppliaron, utilizándose.como texto en un curso trimestral de ingeniería eléctrica en la Universidad de Stanford. La mayor parte de la versión final ha sido elaborada en uncurso semestral que sobre teoría de la información tuvo lugar en los laboratorios de desarrollo de IBM, de San José, California.
'5'

El objeto del libro es presentar los conceptos básicos de la teoría de la información en su aspecto, siempre que sea posible, no matemático. Existe la posibilidad de tratar la teoría en forma puramente matemática, estudiando las propiedades de ciertas magnitudesabstractas, a las que se aplica una medida de probabilidad definida previamente. Nuestro interés, sin embargo, se centrará en las relaciones de la teoría con el mundo real y la correspondencia entre las magnitudes sometidas a estudio y ciertos conceptos naturales que influyen en un vasto número de campos. Con objeto de desarrollar completamente esta correspondencia, se emplea el lenguaje de lasmatemáticas para expresar la teoría de la información. Los teoremas se enuncian y demuestran con todo rigor. Todas las afirmaciones son comprobadas, no requiriendo la ayuda de la intuición más que para interpretar los resultados deducidos.

A pesar de todo lo dicho, los conocimientos matemáticos exigidos son limitados. Simplemente es necesario conocer los logaritmos y el significado, cuando menosintuitivo, de las probabilidades y valores medios. El cálculo n o s e emplea en el texto. Aprovechamos para advertir al lector no familiarizado con las matemáticas que requerirá tiempo y esfuerzo para comprender ciertas transformaciones de algunas demostraciones. Sin embargo, las demostraciones en sí mismas y su significado,.no precisan ningún conocimiento matemático.

-

Scaned and edited ByYORCH®

-

TEORIA DE LA INFORMACION Y CODIFICACION

Se ha alcanzado esta simplicidad limitando la generalidad matemática de los desarrollos. Se han considerado únicamente las fuentes de información de un número finito de símbolos de salida, así como los canales de información de un número finito de entradas y salidas y memoria nula. Estas restricciones nos han permitido tratar todos losconceptos fundamentales de la teoría de la información, no siguiendo, en contrapartida, una línea matemática demasiado elegante. Para los que estén interesados en esto, sin embargo, es fácil generalizar volviendo a plantear las demostraciones en el campo de Borel.
La materia de que trata el libro ha pasado ya tanto por la Universidad como por cursos industriales. Estudiantes de ingeniería, cálculooperacional y calculadoras pueden desarrollarla cómodamente en un semestre. Aquellos con una mayor formación matemática o especial interés pueden analizar más en detalle ciertos temas avanzados contenidos en las notas del final de cada capítulo. Estas notas sugieren un cierto número de áreas de desarrollo interesantes en el dominio de la teoría de la información. Al final de cada capítulo se han...