cadenas de markov

Mexicali B.C; a 14 de Octubre de 2013
Cadenas de Markov
Clasificación de las Cadenas de Markov
Cadenas irreducibles
Una cadena de Márkov se dice irreducible si se cumple cualquiera de lassiguientes condiciones (equivalentes entre sí):
Desde cualquier estado de E se puede acceder a cualquier otro.
Todos los estados se comunican entre sí.
C(x)=E para algún x∈E.
C(x)=E para todo x∈E.El único conjunto cerrado es el total.
Cadenas positivo-recurrentes
Una cadena de Márkov se dice positivo-recurrente si todos sus estados son positivo-recurrentes. Si la cadena es además irreduciblees posible demostrar que existe un único vector de probabilidad invariante y está dado por:

Cadenas regulares
Una cadena de Márkov se dice regular (también primitiva o ergódica) si existe algunapotencia positiva de la matriz de transición cuyas entradas sean todas estrictamente mayores que cero.
Cuando el espacio de estados E es finito, si P denota la matriz de transición de la cadena setiene que:

Cadenas absorbentes
Una cadena de Márkov con espacio de estados finito se dice absorbente si se cumplen las dos condiciones siguientes:
La cadena tiene al menos un estado absorbente.
Decualquier estado no absorbente se accede a algún estado absorbente.
Si denotamos como A al conjunto de todos los estados absorbentes y a su complemento como D, tenemos los siguientes resultados:
Sumatriz de transición siempre se puede llevar a una de la forma

donde la submatriz Q corresponde a los estados del conjunto D, I es la matriz identidad, 0 es la matriz nula y R alguna submatriz.
,esto es, no importa en donde se encuentre la cadena, eventualmente terminará en un estado absorbente.
Cadenas de Márkov en tiempo continuo
Si en lugar de considerar una secuencia discreta X1,X2,..., Xi,.. con i indexado en el conjunto  de números naturales, se consideran las variables aleatorias Xt con t que varía en un intervalo continuo del conjunto  de números reales, tendremos una cadena...