Ejercicios cadena de markov

Ejercicios de Cadenas de Markov Discretas Profesor Ivan Derpich Contreras EJERCICIOS RESUELTOS
1.- Considere la matriz de transición de una etapa, donde el espacio de estados es {1,2,3,4,5}. 0,75 0 0,25 0 0 0,25 0 0 0 0,75 0 0 P = 0,75 0 0,25 0 0,8 0,2 0 0 0 0,5 0,25 0,25 0 a) Clasifique los estados del sistema, justifique. (1 punto) b) Obtenga la distribución de probabilidades en el largo plazosi se sabe que inicialmente el sistema se encuentra en los estados 3, 4 y 5 con igual probabilidad. (1 punto) c) Calcule P{x7 = 3; x5 = 1; x4 = 2; x0 = 4 x3 = 5} , si se sabe que el sistema inicialmente se encuentra en los estados 2, 4 y 5 con igual probabilidad. (2 puntos) d) Obtenga la distribución de probabilidades del tiempo que demora volver al estado 2. (1 punto) e) ¿Cuál es el tiempo medioque se demora en volver al estado 3? (1 punto) Desarrollo: .- Grafico de red :
0,75 0,25 2 0,75 0,5 5 0,25 0,75 0,25 1 0,25 0,8 4 3 0,2 0,25

1 a) Se distinguen 2 clases C1 = { ,3} y C2 = {2,4,5}
Análisis de Recurrencia y periodicidad Clase C 1 : analizaremos el estado 1

F (1,1) = 0,75 + 0,25 * 0,75 * ∑ (0,25)
k =2

∞

k −2

=

Haciendo un cambio de variable

j = k −2
∞ j

⎛⎞ 3 1 3 ⎜ 1 ⎟ 3 1 3 4 ⎟ = + * * =1 F (1,1,) = 0,75 + 0,25 * 0,75 * ∑ (0,25) = + * * ⎜ 1⎟ 4 4 4 3 4 4 4 ⎜ j =0 ⎜1− ⎟ 4⎠ ⎝ el estado 1 es recurrente , además la clase C1 es recurrente.

Período: se puede volver al estado 1 en todas las etapas , Clase C 2 : analizaremos el estado 2

es aperiódico.

F (2,2 ) = F1 (2,2) + F2 (2,2 ) + F3 (2,2 ) = 0 +

3 1 3 1 * + * * 0,8 = 4 2 4 4

3 3 8 3 315 + 6 21 + * = + = = = 0,525 8 16 10 8 20 40 40 El estado 2 es transientes y la clase C 2
Período: se puede volver al estado 2 en etapas múltiplos de 2 y además se puede volver al estado 2 en múltiplos de 3. Luego se puede volver en todas las etapas, excepto en la etapa 1. Luego es aperiódico.

b) Veamos primero si existe distribución estacionaria. Para ello aplicamos la proposición 2. Dadoque existe una clase recurrente y que se cumple: P⎛ ⎜ ⎝ X n ∈ C1 ⎞ = 1 por lo tanto ∃π X n ∈ C2 ⎟ ⎠
y lo otros valores deben calcularse

Además

π2 = π4 = π5 = 0

3 ⎛3 1⎞ π1 = ⎜ ⎟ 4 (π 1 π 3 ) = (π 1 π 3 )⎜ 4 4 ⎟ y π 1 + π 3 = 1 ⎜3 1⎟ 1 π3 = ⎜ ⎟ 4 ⎝4 4⎠ X = 3; X 5 = 1; X 4 = 2; X 0 = 4 ⎞ = P( X 7 = 3; X 5 = 1; X 4 = 2; X 0 = 4; X 3 = 5) = c) P⎛ 7 ⎜ X 3 = 5⎟ P ( X 3 = 5) ⎝ ⎠ ( 2 ) (1) (1) (3 )1 P( X 7 = 3; X 5 = 1; X 4 = 2; X 3 = 5 / X 0 = 4 )P( X 0 = 4 ) p13 p 21 p52 p 45 3 = P ( X 3 = 5) P ( X 3 = 5) 31 11 1 (2 p13 ) = p11 p13 + p12 p 23 + p13 p33 + p14 p 43 + p15 p53 = +0+ +0+0 = 44 44 4 1 1 (1 (1 p12) = p52) = 4 2

(3 p 45) = p 42 ( p 21 p15 + p 22 p 25 + p 23 p35 + p 24 p 45 + p 25 p55 ) +

p 43 ( p31 p15 + p32 p 25 + p33 p35 + p34 p 45 + p35 p55 )

p 43 ( p31 * 0 + 0 * p25 + p33 * 0 + p34 * 0 + p35 * 0 ) = 0
Luego

(3 p 45) = p 42 ( p 21 * 0 + 0 * p 25 + p 23 * 0 + p 24 * 0 + p 25 * 0 ) +

P⎛ ⎜ ⎝

X 7 = 3; X 5 = 1; X 4 = 2; X 0 = 4

⎞=0 X 3 = 5⎟ ⎠

d) F1 (2,2 ) = 0

3 1 3 * = 4 2 8 3 1 3 F3 (2,2 ) = * * 0,8 = 4 4 10 Fk (2,2 ) = 0 ∀k > 3
e) E (T (3,3)) =

F2 (2,2 ) =

1

π3

=4

2.- Una agencia de arriendo de vehículos ha definido lavariable aleatoria Xt como el número de automóviles disponibles en la agencia al empezar la semana t+1. Sea Dt una variable aleatoria que representa la demanda por automóviles la semana t. La agencia utiliza una política de reorden (s,S) con s=1 y S=3. No se acepta demanda pendiente. Sea Xo = 3 y suponga que la variable aleatoria Dt tiene distribución de Poisson con λ =1. a) b) c) d) Obtenga losvalores de la variable Xt Exprese a través de una fórmula de recurrencia la relación entre xt y Xt+1 Encuentre la matriz P (valores númericos) Suponga ahora que el costo incurrido es un valor fijo de $ 110.000 por orden más un valor variable de $ 25.000 por automóvil. Encuentre el costo esperado de inventario.

Desarrollo:
a) b)

Ω X t = {s, S } = { ,2,3} 1 si X t − Dt +1 < s si X t − Dt +1 ≥ s...