ejercicios markov

Ejercicios de Cadenas de Markov Discretas
Profesor Ivan Derpich Contreras
EJERCICIOS RESUELTOS
1.- Considere la matriz de transición de una etapa, donde el espacio de estados es
{1,2,3,4,5}.
0,75 0 0,25
0
0
0,25 0
0
0
0,75
0
0
P = 0,75 0 0,25
0
0,8 0,2
0
0
0
0,5 0,25 0,25
0
a) Clasifique los estados del sistema, justifique. (1 punto)
b) Obtenga la distribución de probabilidades en el largo plazosi se sabe que
inicialmente el sistema se encuentra en los estados 3, 4 y 5 con igual
probabilidad. (1 punto)
c) Calcule P{x7 = 3; x5 = 1; x4 = 2; x0 = 4 x3 = 5} , si se sabe que el sistema
inicialmente se encuentra en los estados 2, 4 y 5 con igual probabilidad. (2
puntos)
d) Obtenga la distribución de probabilidades del tiempo que demora volver al
estado 2. (1 punto)
e) ¿Cuál es el tiempo medioque se demora en volver al estado 3? (1 punto)
Desarrollo:
.- Grafico de red :

0,75
0,25

0,75

3

1
0,25

0,2

0,25

0,8

0,25

2

4
0,75
0,25

0,5
5
a) Se distinguen 2 clases C1 = {1,3} y C2 = {2,4,5}
Análisis de Recurrencia y periodicidad
Clase C 1 : analizaremos el estado 1
∞

F (1,1) = 0,75 + 0,25 * 0,75 * ∑ (0,25)
k =2

k −2

=

Haciendo un cambio de variable

j = k −2

⎛
⎞
3 1 3 ⎜⎜ 1 ⎟⎟ 31 3 4
F (1,1,) = 0,75 + 0,25 * 0,75 * ∑ (0,25) = + * *
= + * * =1
1⎟ 4 4 4 3
4 4 4 ⎜
j =0
⎜1− ⎟
4⎠
⎝
Î el estado 1 es recurrente , además la clase C1 es recurrente.
∞

j

Período: se puede volver al estado 1 en todas las etapas , Î es aperiódico.
Clase C 2 : analizaremos el estado 2

F (2,2 ) = F1 (2,2) + F2 (2,2 ) + F3 (2,2 ) = 0 +

3 1 3 1
* + * * 0,8 =
4 2 4 4

3 3 8 3 3 15 + 6 21
+ * = +
=
== 0,525
8 16 10 8 20
40
40
El estado 2 es transientes y la clase C 2
Período: se puede volver al estado 2 en etapas múltiplos de 2 y además se puede volver al
estado 2 en múltiplos de 3. Luego se puede volver en todas las etapas, excepto en la etapa
1. Luego es aperiódico.

b) Veamos primero si existe distribución estacionaria. Para ello aplicamos la proposición 2.
Dado que existe una claserecurrente y que se cumple:
P⎛⎜
⎝

X n ∈ C1

Además

⎞ = 1 por lo tanto ∃π
X n ∈ C 2 ⎟⎠

π2 = π4 = π5 = 0

y lo otros valores deben calcularse

3
⎛3 1⎞
π1 =
⎜
⎟
4
(π 1 π 3 ) = (π 1 π 3 )⎜ 4 4 ⎟ y π 1 + π 3 = 1 Î
⎜3 1⎟
1
π3 =
⎜
⎟
4
⎝4 4⎠
X = 3; X 5 = 1; X 4 = 2; X 0 = 4
⎞ = P( X 7 = 3; X 5 = 1; X 4 = 2; X 0 = 4; X 3 = 5) =
c) P⎛⎜ 7
⎟
X
=
5
3
P ( X 3 = 5)
⎝
⎠
( 2 ) (1) (1) (3 ) 1
P( X 7 = 3; X 5 = 1; X 4= 2; X 3 = 5 / X 0 = 4 )P( X 0 = 4 ) p13 p 21 p52 p 45 3
=
P ( X 3 = 5)
P ( X 3 = 5)
31
11
1
(2 )
p13
= p11 p13 + p12 p 23 + p13 p33 + p14 p 43 + p15 p53 =
+0+
+0+0 =
44
44
4
1
1
(1)
(1)
p12
=
p52
=
4
2

(3 )
p 45
= p 42 ( p 21 p15 + p 22 p 25 + p 23 p35 + p 24 p 45 + p 25 p55 ) +

p 43 ( p31 p15 + p32 p 25 + p33 p35 + p34 p 45 + p35 p55 )

(3 )
p 45
= p 42 ( p 21 * 0 + 0 * p 25 + p 23 * 0 + p 24* 0 + p 25 * 0 ) +

p 43 ( p31 * 0 + 0 * p 25 + p33 * 0 + p34 * 0 + p35 * 0 ) = 0
Luego

P⎛⎜
⎝

X 7 = 3; X 5 = 1; X 4 = 2; X 0 = 4

d) F1 (2,2 ) = 0

F2 (2,2 ) =

3 1 3
* =
4 2 8
3 1
3
F3 (2,2 ) = * * 0,8 =
4 4
10
Fk (2,2 ) = 0 ∀k > 3
e) E (T (3,3)) =

1

π3

=4

⎞=0
X 3 = 5 ⎟⎠

2.- Una agencia de arriendo de vehículos ha definido la variable aleatoria Xt como el
número de automóvilesdisponibles en la agencia al empezar la semana t+1.
Sea Dt una variable aleatoria que representa la demanda por automóviles la semana t. La
agencia utiliza una política de reorden (s,S) con s=1 y S=3. No se acepta demanda
pendiente. Sea Xo = 3 y suponga que la variable aleatoria Dt tiene distribución de Poisson
con λ =1.
a)
b)
c)
d)

Obtenga los valores de la variable Xt
Exprese a través de una fórmula derecurrencia la relación entre xt y Xt+1
Encuentre la matriz P (valores númericos)
Suponga ahora que el costo incurrido es un valor fijo de $ 110.000 por orden más un
valor variable de $ 25.000 por automóvil. Encuentre el costo esperado de inventario.

Desarrollo:
a)

Ω X t = {s, S } = {1,2,3}

b)

⎧S = 3
X t +1 = ⎨
⎩ X t − Dt +1
c)

P(Dt = 0)

si X t − Dt +1 < s
si X t − Dt +1 ≥ s
0

P(Dt > 0 )...