Markov

2.3.- CADENAS DE MARKOV

Las cadenas de Markov tienen la propiedad particular de que las probabilidades que describen la forma en que el proceso evolucionará en el futuro, depende sólo del estado actual en que se encuentra el proceso, y por lo tanto, son independientes de los eventos ocurridos en el pasado.

Sea el proceso estocástico {Xn donde n = 0, 1, 2, ….n} donde Xn = t, es elestado t del sistema en el tiempo n.

Ejemplo: Modelo de enfermedades contagiosas

Propiedad Markoviana (independencia Condicional)
El estado futuro del sistema depende de su trayectoria pasada solo a través del presente:

Pij = Pr{ Xn+1=j / X0=i0, X1=i1, …Xn-1= in-1, Xn=i} = Pr{ Xn+1 = j / Xn = i }

Por tanto:
Pij = Pr{ Xn+1=j / Xn=i } para todo n=0, 1, ……….

Llamaremos Pij laprobabilidad de transición de estar en el estado j en el momento n+1, conocidos los estados anteriores.

Propiedad de estacionalidad
La probabilidad del estado futuro depende del valor del estado presente, pero no de la etapa en que nos encontramos, es decir, no depende de n. La probabilidad de transición no cambia en el tiempo.

Pij = Pr{ Xn+1=j / Xn=i} = Pr{ Xn+m+1=j / Xn+m=i}

Definición 5:Sea {Xn = 0,1,2,….n} un proceso estocástico con la propiedad markoviana y con la propiedad de estacionalidad, entonces este proceso se denomina “cadena de Markov” en tiempo discreto.

Pij= probabilidad de transición en una etapa
P = ( Pij ) = matriz de probabilidades de transición en una etapa.
[pic]


Propiedades de la matriz P:
• Es una matriz cuadrada y puede ser finita o infinita• P no tiene porqué ser simétrica Pij ≠ Pji
• La dimensión de P corresponde al número de estados del sistema.
• La suma de los estados de una fila debe ser 1
[pic] i = 0,1,2…..n
• La suma de los estados de una columna no tiene ninguna interpretación especial.

Ejemplo:
Una multi-tienda tiene un modelo especial de cámaras fotográficas que puede ordenar cada semana.Sean D1, D2, …..Dn, las demandas durante la primera, segunda y n-ésima semana respectivamente. (se supone que las Di son v.a. que tienen una distribución de probabilidad conocida)
.
X0 : número de cámaras que se tiene al iniciar el proceso. Suponga que X0=0
X1 : número de cámaras que se tiene al final de la semana 1
X2 : número de cámaras que se tiene al final de la semana 2
Xn : número decámaras que se tiene al final de la semana n

Suponga que la multitienda utiliza una política de pedidos (s,S), es decir siempre que el nivel de inventario sea menor que s, se ordenan hasta S unidades (S>s). Si el nivel de inventario es mayor o igual, no se ordena. Se tiene: s=1; S=3

Se supone que las ventas se pierden cuando la demanda excede el inventario. Entonces {Xt } para t=1,2, ………n es un proceso estocástico

El número posible de cámaras en inventario al final de la semana t son: { 0, 1, 2, 3 } estados posibles del sistema.

Las v.a. Xt son dependientes y se pueden evaluar en forma iterativa por medio de la expresión:

Max {(3 – Dt+1), 0} si Xt < 1
Xt+1 =
Max {(Xt – Dt+1), 0} si Xt ≥ 1
Para este caso observe que {Xt} es una cadena de Markov.Xt= número de cámaras al final de la semana t (antes de recibir el pedido)

Dt= demanda de cámaras en la semana t. Suponga que tiene
Dt~Poisson(λ=1)

P00= Pr{ Xt=0 / Xt-1=0} = Pr { Dt≥3} = 1 - Pr { Dt ≤ 2 } = 0.08

P10= Pr{ Xt=0 / Xt-1=1} = Pr { Dt≥1} = 1 - Pr { Dt = 0 } = 0.632

P21= Pr{ Xt=1 / Xt-1=2} = Pr { Dt=1} = 0.368

Similarmente se obtienen las otras probabilidades

[pic]Probabilidad de Transición en m etapas
Ecuaciones de Chapman-Kolmogorov

Las ecuaciones de Chapman-Kolmogorov proporcionan un método para calcular las probabilidades de transición de n pasos

[pic]
Pij(n) = probabilidad condicional de la v.a. X, comenzando en el estado i se encuentre en el estado j después de n etapas.

Pij(n) = P{Xm+n = j / Xm = i } = P{Xn = j / X0 = i }...