cadenas de markov

CADENAS DE MARKOV Y SUS APLICACIONES

Las cadenas de markov son modelos probabilísticos que se usan para predecir la evolución y el comportamiento a corto y a largo plazo de determinados sistemas.
Ejemplos: reparto del mercado entre marcas; dinámica de las averías de máquinas para decidir política de mantenimiento; evolución de una enfermedad,…
Una Cadena de Markov (CM) es:
o Un procesoestocástico
o Con un número finito de estados (M)
o Con probabilidades de transición estacionarias
o Que tiene la propiedad markoviana.

ELEMENTOS DE UNA CADENA MARKOVIANA
o Un conjunto finito de M estados, exhaustivos y mutuamente excluyentes (ejemplo: estados de la enfermedad)
o Ciclo de markov (“paso”) : periodo de tiempo que sirve de base para examinar las transiciones entre estados(ejemplo, un mes)
o Probabilidades de transición entre estados, en un ciclo (matriz P)
o Distribución inicial del sistema entre los M estados posibles


TIPOS DE MODELOS DE MARKOV
o Procesos de Markov (Modelos semi-markovianos): Las probabilidades de transición entre estados pueden variar a medida que transcurren más ciclos
Ejemplo: para modelizar la esperanza de vida, el riesgo de muerteaumenta con la edad
o Cadenas de Markov: Las probabilidades de transición se suponen constantes a lo largo del tiempo



TIPOS DE CADENAS DE MARKOV

Cadenas irreducibles
Una cadena de Márkov se dice irreducible si se cumple cualquiera de las siguientes condiciones (equivalentes entre sí):
1. Desde cualquier estado de E se puede acceder a cualquier otro.
2. Todos los estados se comunicanentre sí.
3. C(x)=E para algún x∈E.
4. C(x)=E para todo x∈E.
5. El único conjunto cerrado es el total.
La cadena de Ehrenfest o la caminata aleatoria sin barreras absorbentes son ejemplos de cadenas de Márkov irreducibles.
Cadenas positivo-recurrentes
Una cadena de Márkov se dice positivo-recurrente si todos sus estados son positivo-recurrentes. Si la cadena es además irreducible es posibledemostrar que existe un único vector de probabilidad invariante y está dado por:

Cadenas regulares
Una cadena de Márkov se dice regular (también primitiva o ergódica) si existe alguna potencia positiva de la matriz de transición cuyas entradas sean todas estrictamente mayores que cero.
Cuando el espacio de estados E es finito, si P denota la matriz de transición de la cadena se tiene que:donde W es una matriz con todos sus renglones iguales a un mismo vector de probabilidad w, que resulta ser el vector de probabilidad invariante de la cadena. En el caso de cadenas regulares, éste vector invariante es único.
Cadenas absorbentes
Una cadena de Márkov con espacio de estados finito se dice absorbente si se cumplen las dos condiciones siguientes:
o La cadena tiene al menos unestado absorbente.
o De cualquier estado no absorbente se accede a algún estado absorbente.

Su matriz de transición siempre se puede llevar a una de la forma

donde la submatriz Q corresponde a los estados del conjunto D, I es la matriz identidad, 0 es la matriz nula y R alguna submatriz.
• , esto es, no importa en donde se encuentre la cadena, eventualmente terminará en un estado absorbente.Cadenas de Márkov en tiempo continuo
Si en lugar de considerar una secuencia discreta X1, X2,..., Xi,.. con i indexado en el conjunto de números naturales, se consideran las variables aleatorias Xt con t que varía en un intervalo continuo del conjunto de números reales, tendremos una cadena en tiempo continuo. Para este tipo de cadenas en tiempo continuo la propiedad de Márkovse expresa dela siguiente manera:
tal que
Para una cadena de Márkov continua con un número finito de estados puede definirse una matriz estocástica dada por:

La cadena se denomina homogénea si . Para una cadena de Márkov en tiempo continuo homogénea y con un número finito de estados puede definirse el llamado generador infinitesimal como:2

Y puede demostrarse que la matriz estocástica viene dada...