Markov Discreto 2

Problemas Resueltos de Modelos Estocásticos

Marzo de 2005

Contenidos
I

Cadenas de Markov Discreta

1

1 Cadenas de Markov Discreta

2

i

Parte I

Cadenas de Markov Discreta

1

Capítulo 1

Cadenas de Markov Discreta
1. Tres bolitas blancas y tres bolitas negras se distribuyen en dos urnas de modo que cada una contiene tres
bolitas. Decimos que el sistema está en el estado i (i = 0, 1, 2,3) si la primera urna contiene i bolitas blancas.
En cada etapa, se saca simultáneamente una bolita de cada urna y se pone la bolita sacada de la primera
urna, en la segunda, y la bolita sacada de la segunda urna, en la primera.
Sea Xn el estado del sistema después de la etapa n.
(a) ¿Es este proceso una cadena de Markov discreta?
(b) Calcule las probabilidades de transición en una etapa
(c)Suponga ahora que se han realizado un gran número de intercambios de bolitas. ¿Cuál es la probabilidad
que la primera urna contenga las tres bolitas blancas? ¿Depende esta probabilidad de la distribución
inicial de las bolitas?
Solución:
Sabemos que en cada etapa, se saca una bolita de cada urna, y se pone la bolita sacada de la primera urna,
en la segunda y recíprocamente.
Sea Xn el número de bolitasblancas en la urna 1 después de la etapa n.
(a) Este proceso es una cadena de Markov discreta debido a que cumple la propiedad markoviana y la
propiedad de estacionariedad.
El proceso cumple la propiedad markoviana, puesto que el número de bolitas blancas en la urna 1 después
de la etapa n + 1 depende de todo el pasado, pero sólo a través de lo ocurrido en n (Xn contiene la
información anterior).Además, cumple la propiedad de estacionariedad, puesto que Pr{Xn+1 = j/Xn =
i} es independiente de la etapa en que se observa el sistema, es decir, independiente de n (debido a que
la extracción de bolitas es completamente al azar).
(b) Las probabilidades de transición se calculan como sigue:
P0,0 = Probabilidad de pasar del estado 0 al estado 0, es decir,
P0,0

= Pr { bolita que pasa de la urna 2a la urna 1 sea negra / hay 3 blancas en la urna 2}
= 0

P0,1 = Probabilidad de pasar del estado 0 al estado 1, es decir,
P0,0

= Pr {bolita que pasa de la urna 2 a la urna 1 sea blanca / hay 3 blancas en la urna 2}
= 1

2

CAPÍTULO 1. CADENAS DE MARKOV DISCRETA

3

Luego, la matriz de transición de probabilidades,

0
1/9
P =
 0
0

P , es:

1
0
0
4/9 4/9 0 

4/9 4/9 1/9
0
1
0

(c) Se pidela probabilidad que la primera urna contenga las tres bolitas blancas, en el largo plazo, es decir,
(n)
se pide π3 = lim f3
n→∞

Esta cadena de Markov es irreducible con estados recurrentes positivos aperiódicos, por lo que existe
distribución estacionaria con todos los πi > 0 (i = 0, 1, 2, 3). Por lo tanto, es independiente de la
distribución inicial.
Para calcular π3 , se resuelve el sistema:πT

= πT · P

πi

= 1

3
i=0

Resolviendo el sistema de ecuaciones se obtiene que:
π0
π1
π2
π3

=
=
=
=

0, 05
0, 45
0, 45
0, 05

2. En una fábrica existe espacio para guardar desperdicios de la producción, con capacidad para almacenar K
metros cúbicos. Cada semana, la fábrica produce N metros cúbicos de desperdicio, siendo N una variable
aleatoria, tal que Pr{N = j} = a(j) , j = 0, 1, 2, 3, ...
Sila cantidad de desperdicio producido en una semana supera la capacidad disponible, el exceso debe eliminarse forzosamente a través de un procedimiento especial a un costo de $A por metro cúbico.
Al final de cada semana existe la posibilidad de remover desperdicios a través de un procedimiento regular a
un costo fijo de $B y un costo variable de $C por metro cúbico. (Asuma que A > C y que A · K > B+ C · K).
La empresa ha decidido utilizar la siguiente política (sujeta a los costos indicados): si al final de la semana,
el espacio dedicado a guardar desperdicios contiene más de D metros cúbicos (D < K), el espacio se vacía
completamente; en caso contrario no se hace nada.
Sea Xn el nivel de desperdicio, en el espacio dedicado a ello, al principio de la semana n.
(a) ¿Es este proceso una...