Fuente De Markov

Andrei Andreyevich Markov

Nacido: 14 de junio de 1856 en Riazán, Rusia
Murió: 20 de julio de 1922 en Petrogrado (hoy San Petersburgo), Rusia

FUENTES DE INFORMACION CON MEMORIA O FUENTES DE MARKOV

* Fuentes de Markov: Son aquellas en las que la probabilidad de un símbolo cualquiera viene determinada por los ‘m’ símbolos precedentes. Al existir ´q´ símbolos existirán qm estadosposibles. ‘m’ es el orden de la fuente.


H(s) = p(sj1 , sj2 ,..., sjm ,si)logr [1/p(si /sj1 , sj2 ,..., sjm )
Sm+1

* Redundancia: Diferencia entre la entropía máxima y la entropía de la fuente con memoria

FUENTES DE MARKOV O DE MEMORIA NO NULA
Dado una fuente S representada por el conjunto de elementos S1, S2 y hasta Sq elementos, digamos que, es una fuente deMarkov de orden n, si la emisión de cada símbolo de la fuente está condicionada por la aparición de n símbolos precedentes al símbolo en cuestión; en consecuencia, la probabilidad de emisión de esta fuente a nivel de cada símbolo que la integra se halla definida como una probabilidad condicionada, por lo tanto, deberá leerse como la probabilidad de emisión de un símbolo, dado que n símbolosprecedentes fueron emitidos.
La probabilidad de emisión de un símbolo depende de todos los símbolos que salieron antes. Cómo lo concebís? Suponete que estamos hablando de una fuente de memoria de dos posiciones (estamos trabajando con una fuente de orden 2, con 2 bits de memoria, esos 2 bits tienen asignados símbolos: la fuente tiene capacidad de emitir de a un elemento de los símbolos originales,cada vez que emite no puede emitir dos 1 simultáneamente. Por ejemplo: estaba en 00, de repente emite un 1 (también puede generar un 0) y lo guarda (tiene capacidad de generar), y ahora si yo miro digo: ahora está en 01.
A una observación a largo plazo de esa fuente la probabilidad es 1, porque seguro que en algún momento lo voy a ver, salvo que se trate de una fuente no ergódica (por ejemplo queentre en el 00 y que no pueda salir nunca más del 00); ahora, si fuese ergódica, que entre en 00 no significa que lo próximo que pueda emitir sea un 1. Entonces, cómo conozco yo el orden de la fuente? Viendo los n símbolos precedentes; estaba en 00, emite un elemento, emite otro elemento, entonces digo que es una fuente de orden 2.
Qué diferencia hay entre esto y lo que hablamos antes? Lo quenosotros hablamos antes no se almacenaba en ningún lado, ahora sí se almacena; el hecho de que esté almacenado puede condicionar la emisión de lo que venga. Si vos fueses una persona que no tiene memoria, cualquier cosa que diga va a ser una “gansada”, en la medida en que empezás a evolucionar en tu aprendizaje parte de lo que vos aprendés lo guardás en tu memoria; si vos dijiste una vez: “mamá”,seguro que la próxima vez vas a decir: “mamá”; en algún momento vas a cambiar, pero lo más seguro es que sigas diciendo “mamá” hasta que generes un cambio. Por eso cuando una fuente que tiene memoria está en un estado, lo más probable es que siga repitiendo el estado hasta que incorpore una cosa nueva, pero va a estar en el orden de lo que tenía antes incorporado. Si vos dijiste: “mamá”, la próximapalabra que decís seguro no va a ser”motoniveladora”. Todavía no sabés el abecedario, por lo tanto el tema de combinar cosas para generar palabras tampoco lo sabés. Suponete una cosa: lo primero que vos aprendes es una poesía (con n cantidad de palabras, con palabras de longitud 4, 5, 6), para vos los símbolos son cada una de las palabras que integra la poesía, por lo tanto, para vos esa vendría aser tu orden de fuente; para vos que no tenés capacidad de combinar, tu orden de fuente sería S, o sea 4, 5, 6.
Si la fuente tiene capacidad de emitir 2 elementos (0 ó 1), la pregunta es: dado que ahora está en 00, cuál es la probabilidad de que el próximo elemento sea 01? Pero para eso vos tenés que considerar que la fuente emite un 0 ó un 1, esa probabilidad va a estar condicionada, por eso...