practica 3
Páginas: 7 (1554 palabras)
Publicado: 7 de septiembre de 2014
INSTITUTO POLITECNICO NACIONAL
“La técnica al servicio de la patria”
ESCUELA SUPERIOR DE INGENIERIA MECANICA Y ELECTRICA UNIDAD CULHUACAN
“Nuestros colores son verde y blanco por que el rojo lo llevamos en la sangre”
Practica 1 “Cantidad de información en .txt”
Teoría de la información y codificaciónGuzmán Rodríguez José Eduardo
Alumna: Montes de Oca Medina Karla Judith
Semestre: 7°
Fecha: 22 de agosto del 2014
Índice
Practica 1 “Cantidad de información en tx6.”
Marco teórico
La teoría de la información, también conocida como teoría matemática de la comunicación (mathematical theory of communication) o teoríamatemática de la información, es una propuesta teórica presentada por Claude E. Shannon y Warren Weaver a finales de la década de los años 1940. Esta teoría está relacionada con las leyes matemáticas que rigen la transmisión y el procesamiento de la información y se ocupa de la medición de la información y de la representación de la misma, así como también de la capacidad de los sistemas de comunicaciónpara transmitir y procesar información. La teoría de la información es una rama de la teoría matemática y de las ciencias de la computación que estudia la información y todo lo relacionado con ella: canales, compresión de datos y criptografía, entre otros.
La información contenida en un mensaje es proporcional a la cantidad de bits que se requieren como mínimo para representar al mensaje. Elconcepto de información puede entenderse más fácilmente si consideramos un ejemplo. Supongamos que estamos leyendo un mensaje y hemos leído "string of ch"; la probabilidad de que el mensaje continúe con "caracters" es muy alta. Por lo tanto, cuando realmente leemos "caracters" del archivo la cantidad de información que recibimos es muy baja pues estábamos en condiciones de predecir qué era lo que ibaa ocurrir. La ocurrencia de mensajes de alta probabilidad de aparición aporta menos información que la ocurrencia de mensajes menos probables. Si luego de "string of ch" leemos "imichurri" la cantidad de información que recibimos es mucho mayor ya que su probabilidad es menor.
La información es tratada como magnitud física, caracterizando la información de una secuencia de símbolos utilizandola entropía. Se parte de la idea de que los canales no son ideales, aunque muchas veces se idealicen las no linealidades, para estudiar diversos métodos de envío de información o la cantidad de información útil que se pueda enviar a través de un canal.
La información necesaria para especificar un sistema físico tiene que ver con su entropía. En concreto, en ciertas áreas de la física, extraerinformación del estado actual de un sistema requiere reducir su entropía, de tal manera que la entropía del sistema y la cantidad de información extraíble están relacionadas por:
S >= S – I >= 0
De acuerdo a la teoría de la información, el nivel de información de una fuente se puede medir según la entropía de la misma. Los estudios sobre la entropía son de suma importancia en la teoría de lainformación y se deben principalmente a C. E. Shannon. Existe, a su vez, un gran número de propiedades respecto de la entropía de variables aleatorias debidas a A. Kolmogorov. Dada una fuente "F" que emite mensajes, resulta frecuente observar que los mensajes emitidos no resulten equiprobables sino que tienen una cierta probabilidad de ocurrencia dependiendo del mensaje. Para codificar los mensajes deuna fuente intentaremos pues utilizar menor cantidad de bits para los mensajes más probables y mayor cantidad de bits para los mensajes menos probables, de forma tal que el promedio de bits utilizados para codificar los mensajes sea menor a la cantidad de bits promedio de los mensajes originales. Esta es la base de la compresión de datos. A este tipo de fuente se la denomina fuente de orden-0,...
INSTITUTO POLITECNICO NACIONAL
“La técnica al servicio de la patria”
ESCUELA SUPERIOR DE INGENIERIA MECANICA Y ELECTRICA UNIDAD CULHUACAN
“Nuestros colores son verde y blanco por que el rojo lo llevamos en la sangre”
Practica 1 “Cantidad de información en .txt”
Teoría de la información y codificaciónGuzmán Rodríguez José Eduardo
Alumna: Montes de Oca Medina Karla Judith
Semestre: 7°
Fecha: 22 de agosto del 2014
Índice
Practica 1 “Cantidad de información en tx6.”
Marco teórico
La teoría de la información, también conocida como teoría matemática de la comunicación (mathematical theory of communication) o teoríamatemática de la información, es una propuesta teórica presentada por Claude E. Shannon y Warren Weaver a finales de la década de los años 1940. Esta teoría está relacionada con las leyes matemáticas que rigen la transmisión y el procesamiento de la información y se ocupa de la medición de la información y de la representación de la misma, así como también de la capacidad de los sistemas de comunicaciónpara transmitir y procesar información. La teoría de la información es una rama de la teoría matemática y de las ciencias de la computación que estudia la información y todo lo relacionado con ella: canales, compresión de datos y criptografía, entre otros.
La información contenida en un mensaje es proporcional a la cantidad de bits que se requieren como mínimo para representar al mensaje. Elconcepto de información puede entenderse más fácilmente si consideramos un ejemplo. Supongamos que estamos leyendo un mensaje y hemos leído "string of ch"; la probabilidad de que el mensaje continúe con "caracters" es muy alta. Por lo tanto, cuando realmente leemos "caracters" del archivo la cantidad de información que recibimos es muy baja pues estábamos en condiciones de predecir qué era lo que ibaa ocurrir. La ocurrencia de mensajes de alta probabilidad de aparición aporta menos información que la ocurrencia de mensajes menos probables. Si luego de "string of ch" leemos "imichurri" la cantidad de información que recibimos es mucho mayor ya que su probabilidad es menor.
La información es tratada como magnitud física, caracterizando la información de una secuencia de símbolos utilizandola entropía. Se parte de la idea de que los canales no son ideales, aunque muchas veces se idealicen las no linealidades, para estudiar diversos métodos de envío de información o la cantidad de información útil que se pueda enviar a través de un canal.
La información necesaria para especificar un sistema físico tiene que ver con su entropía. En concreto, en ciertas áreas de la física, extraerinformación del estado actual de un sistema requiere reducir su entropía, de tal manera que la entropía del sistema y la cantidad de información extraíble están relacionadas por:
S >= S – I >= 0
De acuerdo a la teoría de la información, el nivel de información de una fuente se puede medir según la entropía de la misma. Los estudios sobre la entropía son de suma importancia en la teoría de lainformación y se deben principalmente a C. E. Shannon. Existe, a su vez, un gran número de propiedades respecto de la entropía de variables aleatorias debidas a A. Kolmogorov. Dada una fuente "F" que emite mensajes, resulta frecuente observar que los mensajes emitidos no resulten equiprobables sino que tienen una cierta probabilidad de ocurrencia dependiendo del mensaje. Para codificar los mensajes deuna fuente intentaremos pues utilizar menor cantidad de bits para los mensajes más probables y mayor cantidad de bits para los mensajes menos probables, de forma tal que el promedio de bits utilizados para codificar los mensajes sea menor a la cantidad de bits promedio de los mensajes originales. Esta es la base de la compresión de datos. A este tipo de fuente se la denomina fuente de orden-0,...
Leer documento completo
Regístrate para leer el documento completo.