Cadenas de Markov

Cadenas de Markov

Agenda
1. Problema de Inventario
– Revisión periódica con demanda estocástica

2.
3.
4.
5.

Formulación (Matricial) de Cadenas de Markov
Dinámica de Sistemas
Propiedad markoviana aplicado a tiempos
Proceso de Nacimiento y Muerte

¿Qué es un proceso estocástico?
La sucesión de observaciones de las variables aleatorias S0, S1, ... se llama un
proceso estocástico o procesoaleatorio, donde:

t = 1,2,…

En un proceso de este tipo los valores de
las observaciones no pueden predecirse
con precisión de antemano. Sin embargo
puede especificarse una probabilidad de
observar determinado valor.

Por ejemplo St podría
representar los niveles
de inventario al final de
la semana t.

1. Problema de Inventario
Una tienda de cámaras tiene en almacén un modelo de cámara que puedeordenar semanalmente, donde:

t  0,1, 2,...

El sábado en la noche la tienda hace un pedido que es entregado el lunes.
La política de la tienda es la siguiente: si no hay cámaras en el inventario,
ordena 3. De otra manera si se cuentan con cámaras en el almacén no se
hace pedido.
Por estudios anteriores, se sabe que la demanda semanal Dt tiene una
distribución Poisson con media 1.
Considerar S0 = 3 yque las ventas se pierden cuando la demanda excede
el inventario.

1. Problema de Inventario
a)

Deducir la función Xt(St-1) que representa la cantidad de compra semanal

b) Deducir la función St(St-1,Dt) que describe la evolución del estado en
función de la demanda, incorporando la política de compra
c) Construir la matriz de transición
d) Construir el diagrama de transición de estados
e)Obtener la distribución probabilística del estado después de una y de dos
semanas. (Es decir, obtenga la distribución prob. de S1 y de S2)
a)

La política es de comprar sólo cuando se acaba el inventario, y de comprar lotes de 3.

1. Problema de Inventario
b) Deduce la función St(St-1,Dt) que describe la evolución del estado en
función de la demanda, incorporando la política de compra
Considerando laposibilidad de que la demanda exceda a la oferta,
la evolución se da por

La política es que

Entonces,

1. Problema de Inventario
c)

pij = P(St = j| St-1 = i)

Construya la matriz de transición
St

0

1

2

3

St-1

P=

0

P(Dt>3)

P(Dt = 2) P(Dt = 1) P(Dt = 0)

1

P(Dt>1)

P(Dt = 0)

2

P(Dt>2)

P(Dt = 1) P(Dt = 0)

3

P(Dt>3)

P(Dt = 2) P(Dt = 1) P(Dt = 0)

0

0
0

=

(La matriz de transiciónmuestra la evolución St(St-1,Dt) , según la distribución de Dt)

1. Problema de Inventario

P=
d) Construya el diagrama de transición de estados

0

0,080

0,184

1

0,632
0,368

0,368

0,368
0,184

0,368
0,264
0,368

2

0,080
0,368

3

0,368

1. Problema de Inventario
e) Obtener la distribución probabilística del estado después de una y de
dos semanas. (Es decir, obtenga la distribución prob.de S1 y de S2)

•

Utilicemos p(t) para representar la distribución probabilística de St, en forma
vectorial
En el contexto de nuestro ejemplo, p(t)= [P(St = 0);P(St = 1);P(St = 2);P(St = 3)]

•

Ya que So = 3, según el enunciado, p(0) = [0 0 0 1]

•

La matriz de transición está hecha a propósito para que p(t)= p(t-1)P

•
•

Entonces, p(1) = [0,080 0,184 0,368 0,368 ]
Luego, p(2)= p(1)P = [0,2490,286 0,300 0,165 ]

•

1. Problema de Inventario
e) Obtener la distribución probabilística del estado después de una y de
dos semanas. (Es decir, obtenga la distribución prob. de S1 y de S2)
•
•

p(1) = [0,080 0,184 0,368 0,368 ]
p(2) = [0,249 0,286 0,300 0,165 ]

¿Cómo interpretar estos resultados?
Si empezamos con 3 cámaras, hay una probabilidad de …
• 8% que nos queda 0 después de una semana,y 24,9% después de dos semanas.
• 18,4% que nos queda 1 después de una semana, y 28,6% después de dos
semanas.
• 36,8% que nos queda 2 después de una semana, y 30% después de dos
semanas.
• 36,8% que nos queda 3 después de una semana, y 16,5% después de dos
semanas, etc.

2. Formulación de Cadenas de Markov
• Acabamos de ver un ejemplo de un proceso
estocástico, además es un ejemplo de una...