Cadenas de markov

CADENA DE MARKOV Ingeniería de Sistemas Universidad Gran Mariscal de Ayacucho Cátedra: “PROCESOS ESTOCÁSTICOS”
Introducción instante actual, su estado presente resume toda la información relevante para describir Una cadena de Márkov, que recibe su , nombre del matemático ruso Andrei Tipos de cadenas de Markov en probabilidad su estado futuro.

Andreevitch Markov (1856-1922), es una serie deeventos, en la cual la probabilidad de que ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas de cad este tipo tienen memoria. "Recuerdan" el último evento y esto condiciona las

Cadenas irreducibles:

Una cadena de Markov se dice irreducible si se cumple cualquiera de las siguientes condiciones (equivalentes entre sí): • • • • •

posibilidades de los eventosfuturos. Esta dependencia del evento anterior distingue a las cadenas de Márkov de las series de eventos independientes, como tirar una moneda al aire o un dado. Este tipo de proceso, introducido por Márkov en un artículo publicado en 1907, presenta una forma de dependencia simple, pero muy útil en muchos modelos, entre las variables aleatorias que forman un proceso

Desde cualquier estado de E sepuede acceder a cualquier otro. Todos los estados se comunican entre sí. C(x)=E para algún x∈E. x C(x)=E para todo x∈E. x El único conjunto cerrado es el total.

estocástico. En los negocios, las cadenas de . Márkov se han utilizado para analizar los patrones de compra de los deudores

La cadena de Ehrenfest o la caminata aleatoria sin barreras absorbentes son

ejemplos de cadenas de Markovirreducibles.

morosos, para planear las necesidades de , personal y para analizar el reemplazo de equipo. Ejemplo:

Definición

Es un proceso estocástico discreto que cumple con la propiedad de Márkov, es decir, Márkov si se conoce la historia del sistema hasta su

CADENA DE MARKOV Ingeniería de Sistemas Universidad Gran Mariscal de Ayacucho Cátedra: “PROCESOS ESTOCÁSTICOS”
Los estadosconectados entre sí forman un cluster. En el dibujo hay dos, y están rodeados en rojo y azul. Si denotamos como A al conjunto de todos los estados absorbentes y a su complemento como D, tenemos los siguientes resultados: •

Un estado es transitorio si, después de pasar por él una o varias veces, no se vuelve a pasar después por él ninguna vez más.

Su matriz de transición siempre se puede llevara una de la forma

Si todos los estados están conectados entre sí y no son transitorios, se dice que la cadena es irreducible. donde la submatriz Q corresponde a los estados del conjunto D, I es la matriz En el ejemplo anterior, hay una cadena reducible compuesta por dos cadenas identidad, 0 es la matriz nula y R alguna submatriz.

irreducibles (los clusters antes mencionados). Cuando se pasadel estado b al c (transición en color verde), ya no hay manera de volver a los estados a y b. Por lo tanto, estos dos estados son transitorios en la cadena total. • , esto es, no importa en donde se encuentre la cadena, eventualmente terminará en un estado absorbente. Cadenas absorbentes: Ejemplo: Una cadena de Markov con espacio de estados finito se dice absorbente si se cumplen las doscondiciones siguientes: • • En un juego participan dos jugadores, A y B. En cada turno, se lanza una moneda al aire. Si sale cara, A le da 1 € a B. Si sale cruz, B La cadena tiene al menos un estado absorbente. De cualquier estado no absorbente se accede a algún estado • La probabilidad de que A termine arruinándose. le da 1 € a A. Al principio, A tiene 3 € y B tiene 2 €. El juego continúa hasta quealguno de los dos se arruine. Calcular:

absorbente.

CADENA DE MARKOV Ingeniería de Sistemas Universidad Gran Mariscal de Ayacucho Cátedra: “PROCESOS ESTOCÁSTICOS”
• La probabilidad de que B termine arruinándose. El número medio de tiradas que tarda en acabar el juego. Como empezamos en el 3 estado transitorio (A empieza con 3 €), debemos consultar la 3ª fila, 2ª columna de (I–Q’) R, que nos...