Teoria de la informacion
Páginas: 3 (512 palabras)
Publicado: 14 de octubre de 2009
[pic]
Instituto Universitario Politécnico
Santiago Mariño.
Escuela: 44 Electrónica
Electiva V.
Profesor: Ing. Carlos Torres
TEORIA DE LA INFORMACIÓN
Integrantes:
14.875.301 Arcila Jesús.473. De La Cruz Jamil.
Caracas, 20 de Mayo de 2009.
Teoría de la Información.
Es una rama de la teoría matemática de la probabilidad y la estadística que estudia la información ytodo lo relacionado con ella: canales, compresión de datos, criptografía y temas relacionados.
Fue iniciada por Claude E. Shannon a través de un artículo publicado en el Bell System TechnicalJournal en 1948, titulado Una teoría matemática de la comunicación.
Autoinformación
Sea un mensaje “A” de probabilidad de ocurrencia “P(A)”, la información que conlleva ese mensaje definidacomo autoinformación es:
[pic]
donde f(P(A)) debe ser determinada.
Para encontrar f(P(A)) se suponen los siguientes requerimientos:
[pic][pic]
La única función que satisface estascuatro condiciones es:
[pic]
Donde K es una constante positiva y b la base. Hartley demostró que K es 1.
Al especificar la base se selecciona la unidad de información así
[pic]
EntropíaEl concepto básico de entropía en teoría de la información tiene mucho que ver con la incertidumbre que existe en cualquier experimento o señal aleatoria. Es también la cantidad de "ruido" o"desorden" que contiene o libera un sistema. De esta forma, podremos hablar de la cantidad de información que lleva una señal.
Shannon ofrece una definición de entropía que satisface las siguientesafirmaciones:
• La medida de información debe ser proporcional (continua). Es decir, el cambio pequeño en una de las probabilidades de aparición de uno de los elementos de la señal debe cambiarpoco la entropía.
• Si todos los elementos de la señal son equiprobables a la hora de aparecer, entonces la entropía será máxima.
La entropía nos indica el límite teórico para la...
Instituto Universitario Politécnico
Santiago Mariño.
Escuela: 44 Electrónica
Electiva V.
Profesor: Ing. Carlos Torres
TEORIA DE LA INFORMACIÓN
Integrantes:
14.875.301 Arcila Jesús.473. De La Cruz Jamil.
Caracas, 20 de Mayo de 2009.
Teoría de la Información.
Es una rama de la teoría matemática de la probabilidad y la estadística que estudia la información ytodo lo relacionado con ella: canales, compresión de datos, criptografía y temas relacionados.
Fue iniciada por Claude E. Shannon a través de un artículo publicado en el Bell System TechnicalJournal en 1948, titulado Una teoría matemática de la comunicación.
Autoinformación
Sea un mensaje “A” de probabilidad de ocurrencia “P(A)”, la información que conlleva ese mensaje definidacomo autoinformación es:
[pic]
donde f(P(A)) debe ser determinada.
Para encontrar f(P(A)) se suponen los siguientes requerimientos:
[pic][pic]
La única función que satisface estascuatro condiciones es:
[pic]
Donde K es una constante positiva y b la base. Hartley demostró que K es 1.
Al especificar la base se selecciona la unidad de información así
[pic]
EntropíaEl concepto básico de entropía en teoría de la información tiene mucho que ver con la incertidumbre que existe en cualquier experimento o señal aleatoria. Es también la cantidad de "ruido" o"desorden" que contiene o libera un sistema. De esta forma, podremos hablar de la cantidad de información que lleva una señal.
Shannon ofrece una definición de entropía que satisface las siguientesafirmaciones:
• La medida de información debe ser proporcional (continua). Es decir, el cambio pequeño en una de las probabilidades de aparición de uno de los elementos de la señal debe cambiarpoco la entropía.
• Si todos los elementos de la señal son equiprobables a la hora de aparecer, entonces la entropía será máxima.
La entropía nos indica el límite teórico para la...
Leer documento completo
Regístrate para leer el documento completo.