Cadena De Markov

LAS CADENAS DE MARKOV
Las cadenas de Markov son una herramienta para analizar el comportamiento de determinados procesos estocásticos, estos procesos evolucionan de forma determinística a lolargo del tiempo en torno a un conjunto  de estados. Para desarrollar correctamente esta herramienta es necesario tener claros  los siguientes conceptos:
Estados
Los estados son lacaracterización de la situación en que se halla el sistema en un instante dado, de dicha caracterización puede ser tanto cuantitativa como cualitativa.
El estado de un sistema en un instante t es unavariable cuyos valores solo pueden pertenecer al conjunto de estaos en el sistema. El sistema modelizado por la cadena, por lo tanto, es una variable que cambia con el valor del tiempo,cambio al que llamamos transición.
Matriz de transición
Una matriz de transición es el arreglo numérico donde se encuentran las probabilidades de un estado a otro. Dicha matriz es cuadrada contantas filas y columnas como estados que tiene el sistema, y los elementos de matriz representan la probabilidad de que el estado próximo sea el correspondiente a la columna si el estado actuales el correspondiente a la fila. La matriz debe cumplir con ciertos requisitos: La suma de las probabilidades de los estados debe ser igual a 1,  la matriz de transición debe ser cuadrada  ylas probabilidades de transición deben estar entre 0 y 1.

Los valores dentro de la matriz representan la probabilidad de pasar de un estado a otro. 
Distribución actual (Vector Po): Es lamanera en la que se distribuyen las probabilidades de los estados en un periodo inicial, (periodo 0). Esta información te permitirá averiguar cual será la distribución en periodos posteriores.Estado estable: Se puede decir que el estado estable es la distribución de probabilidades que en cierto punto quedará fija para el vector P y no presentará  cambios en periodos posteriores.