Informatica

Una Teoría Matemática de Comunicación

Por C. E. SHANNON

EL reciente desarrollo de varios métodos de modulación como PCM y PPM que intercambian

la banda ancha para la proporción del signo-a-ruido ha intensificado el interés en una teoría general de comunicación. Una base para semejante teoría se contiene en los papeles importantes de Nyquist y Hartley en este asunto. En el papelpresente nosotros extenderemos la teoría para incluir varios nuevos factores, en particular el efecto de ruido,

en el canal, y las economías la posible deuda a la estructura estadística del mensaje original y deuda al

naturaleza del destino final de la información.

El problema fundamental de comunicación es eso de reproducirse en un momento dado exactamente o aproximadamente

un mensajeseleccionó a otro punto. Frecuentemente los mensajes tienen significando; eso es que ellos se refieren a o se pone en correlación según algún sistema con ciertas entidades físicas o conceptuales. Estos semántico

los aspectos de comunicación son no pertinente al problema de la ingeniería. El aspecto significante es que el real

el mensaje es seleccionado de un juego de posibles mensajes. El sistemadebe diseñarse para operar para cada uno

posible selección, no sólo el que realmente se escogerá desde que esto es desconocido en el momento de plan.

Si el número de mensajes en el juego es entonces finito este número o cualquier monotonic funciona de este número

puede considerarse como una medida de la información producida cuando un mensaje es escogido del juego, todos,

opciones queson igualmente probable. Como estaba fuera puntiagudo por Hartley la opción más natural es el logarítmico

función. Aunque esta definición debe generalizarse considerablemente cuando nosotros consideramos la influencia del

estadísticas del mensaje y cuando nosotros tenemos un rango continuo de mensajes, nosotros queremos en todos los casos use un

medida esencialmente logarítmica.

Lamedida logarítmica es más conveniente por las varias razones:

1. es prácticamente más útil. Los parámetros de importancia de la ingeniería como tiempo, bandwidth, número,

de paradas, etc., tienda a variar linealmente con el logaritmo del número de posibilidades. Por ejemplo,

la una parada agregando a un grupo dobla el número de posibles estados de las paradas. Agrega 1 a la base 2logaritmo de este número. Doblando el tiempo bruscamente los cuadrados el número de posibles mensajes, o

dobla el logaritmo, etc.,

2. está más cercano a nuestro sentimiento intuitivo acerca de la medida apropiada. Esto se relaciona estrechamente a (1) desde que nosotros intuitivamente

entidades de las medidas por comparación lineal con normas comúnes. Por ejemplo, uno siente eso

dos tarjetaspicadas deben tener la capacidad de uno dos veces por el almacenamiento de información, y dos idéntico

cauces dos veces la capacidad de uno por transmitir información.

3. es matemáticamente más conveniente. Muchos de los funcionamientos limitando son simples en términos del logaritmo

pero requeriría restatement torpe en términos del número de posibilidades.

La opción de una baselogarítmica corresponde a la opción de una unidad por medir información. Si el

base 2 se usa las unidades resultantes pueden llamarse dedos binarios, o más brevemente los pedazos, una palabra sugerida por,

J. W. Tukey. Un dispositivo con dos posiciones estables, como una parada o un circuito de capirotazo-fracaso, puede guardar que uno mordió de

información. N los tales dispositivos puedenguardar pedazos de N, desde el número total de posibles estados 2N y log2 2N =N está.

Si la base 10 se usa que las unidades pueden llamarse dedos decimales. Subsecuentemente

un dedo decimal es aproximadamente 313

pedazos. Una rueda del dedo en un escritorio que computa máquina tiene diez posiciones estables y

por consiguiente tiene una capacidad del almacenamiento de un dedo decimal. En...