Teoria de la informacion

1. TEORÍA DE LA INFORMACIÓN. Información: La tercera cantidad fundamental del Universo Werner Gitt ( Physikalish- technische Bundesanstalt ) Forum. 1990 Traducción Ernesto Lleras. Universidad de los Andes Adaptación: Fabiola Pinzón Hoyos La información se nos aparece a cada momento tanto en sistemas tecnológicos como naturales. En procesamiento de datos, en ingeniería de comunicaciones, eningeniería de control, en los lenguajes naturales, en los sistemas de comunicación biológicos, y en procesos de información de las células vivas. Es por esto que la información se ha vuelto conocida como la tercera cantidad universal fundamental con la materia y la energía. Mano a mano con los rápidos desarrollos en tecnología de computación, un nuevo campo de estudio, el de la ciencia de lainformación, ha logrado una significación que difícilmente se hubiera provisto hace dos décadas. Además, la información se ha vuelto un concepto interdisciplinario de indiscutida importancia, crucial en campos como tecnología, biología y lingüística. El concepto de información por consiguiente requiere una discusión exhaustiva, en particular con respecto a su definición, la comprensión de sus característicasespecíficas y el establecimiento de principios empíricos. Este trabajo pretende contribuir a la discusión. Información: un estudio estadístico Con su trabajo llamado “una Teoría Matemática de la Información” (1948), Claude Shannon fue el primero en desarrollar una definición matemática del concepto de información. Su medida de la información, bits (dígitos binarios) tenía la ventaja de permitirelaborar sentencias matemáticas con respecto a relaciones que habían desafiado anteriormente la descripción matemática precisa. Sin embargo este método tiene un problema evidente; la información de acuerdo a Shannon no está relacionada con la naturaleza cualitativa de los datos. Se confina a un aspecto particular que es pertinente para la transmisión y el almacenamiento por medios tecnológicos.Shannon ignora absolutamente si un texto es significativo, comprensible, correcto, incorrecto, o simplemente sin sentido. De igual manera se

excluyen preguntas importantes tales como de donde viene la información (emisor) y a quien va dirigida (receptor). En términos de Shannon es totalmente irrelevante si una serie de letras presenta un texto excepcionalmente significativo y cargado de sentido osi resultó de un proceso aleatorio como tirar dados. Puede sonar paradójico, pero considero desde el punto de vista de teoría de información una sucesión aleatoria de letras posee el máximo contenido de información mientras que un texto de igual longitud, aunque sea significativo lingüísticamente tiene valor menor. La definición de información de acuerdo con Shannon está limitada a sólo un aspectode la información, su propiedad de expresar algo nuevo, el contenido de información de una frase se mide en términos de novedad. Esto no significa una nueva idea, un nuevo pensamiento o un nuevo elemento de información (esto implicaría un aspecto semántico) sino que se relaciona solamente al efecto sorpresa que se causa por un signo poco común. La información se interpreta entonces como unamedida de improbabilidad de un evento. Un signo muy improbable tiene, por tanto, desde esta perspectiva, un alto contenido de información. Antes de que una fuente de símbolos (no una fuente de información) genere un símbolo, existe incertidumbre con respecto a que símbolo se producirá del depósito de símbolos disponibles (por ejemplo un alfabeto). Solo después de que el símbolo se ha generadodesaparece la incertidumbre. De acuerdo con Shannon, entonces la información es igual a la incertidumbre que es eliminada cada vez que aparece un símbolo. Puesto que él estaba interesado solamente en la probabilidad de ocurrencia de los símbolos, solamente se preocupaba por la dimensión estadística de la información. Su concepto de información está restringido, entonces al aspecto no semántico de ésta....