Procesos de Markov

Diferencia entre proceso de Markov y cadena de Markov.
En la teoría de la probabilidad y en estadística, un proceso de Márkov, es un fenómeno aleatorio dependiente del tiempo para el cual se cumple una propiedad específica: la propiedad de Márkov. En una descripción común, un proceso estocástico con la propiedad de Márkov, o sin memoria, es uno para el cual la probabilidad condicional sobre elestado presente, futuro y pasado del sistema son independientes.
En la teoría de la probabilidad, se conoce como cadena de Márkov a un tipo especial de proceso estocástico discreto en el que la probabilidad de que ocurra un evento depende del evento inmediatamente anterior. En efecto, las cadenas de este tipo tienen memoria. "Recuerdan" el último evento y esto condiciona las posibilidades de loseventos futuros. Esta dependencia del evento anterior distingue a las cadenas de Márkov de las series de eventos independientes, como tirar una moneda al aire o un dado.

Definiciones de:
a) Estados transitorios, recurrentes y absorbentes.

Estado Transitorio
Un estado es transitorio si, después de haber entrado a este estado, el proceso nunca regresa a el. Por consiguiente, el estado ies transitorio si y solo si existe un estado j(j≠i) que es accesible desde el estado j, pero no viceversa, esto es, si el estado i no es accesible desde el estado j.

Estado Recurrente
Un estado es recurrente si, después de haber entrado a este estado, el proceso definitivamente regresara a ese estado. Por consiguiente, un estado es recurrente si y solo si no es transitorio.
Un estado i esperiódico con periodo K > 1 si K es el numero más pequeño tal que la trayectoria que conducen del estado i de regreso al estado i tienen una longitud que es múltiplo de K. si un estado recurrente no es periódico, se conoce como aperiódico.

Estado absorbente
Los estados absorbentes tendrás sumas de probabilidades que con el correr del tiempo llegarán a ser cero, todo esto debido a que hay estadosque tiene probabilidad 1 y por ende los demás estados tenderán a llegar a esta clase de estados .





b) Estados periódicos y aperiódicos
Para la clasificación de estados de una Cadena de Markov en tiempo discreto utilizaremos 2 ejemplos:
Ejemplo 1:

Ejemplo 2:

Si existe una probabilidad no nula que comenzando en un estado i se pueda llegar a un estado j al cabo de un ciertonúmero de etapas (digamos n) se afirma que el estado j es accesible desde el estado i. Si consideramos el ejemplo 1 podemos afirmar que el estado 3 es accesible desde el estado 1. Aún cuando en una etapa no podemos llegar desde el estado 1 al estado 3, si podemos hacerlo al cabo de 2, 3, ..., n etapas. Cabe destacar en este punto que es relevante que exista una probabilidad no nula que comenzandoen 1 se pueda llegar a 3 al cabo de un cierto número de etapas no importando el valor exacto de esta probabilidad para un n cualquiera. En cuanto al ejemplo 2, se puede verificar que el estado 2 es accesible desde el estado 3, sin embargo, el estado 2 no es accesible desde el estado 4 (esto porque una vez que se llega al estado 4 no se sale de ese estado). Finalmente, dos estados que sonaccesibles viceversa se dice que se comunican y que pertenecen a una misma clase de estados.
Una Cadena de Markov donde todos sus estados son accesibles entre sí y por tanto se comunican se dice que es irreducible, es decir, que existe una única clase de estados. Este es el caso del ejemplo 1.
En cambio si al menos existen 2 clases de estados la cadena ya no es irreducible. Si tenemos 2 estados que nose comunican (esto porque no son accesibles viceversa) estos estados pertenecerán a distintas clases de estados. En el ejemplo 2 existen 3 clases de estados {0}, {1,2,3}, {4} (en consecuencia no es una cadena irreducible). En cuanto al estado 0 y estado 4, estos son estados absorbentes debido a que una vez que se accede a ellos la probabilidad de seguir en ese estado es de un 100%. Un estado...