licenciada

CADENAS DE MARKOV
1. Una urna contiene dos bolas sin pintar. Se selecciona una bola al azar y se lanza una
moneda. Si la bola elegida no esta pintada y la moneda produce cada, pintamos la bola
de rojo; si la moneda produce cruz, la pintamos de negro. Si la bola ya está pintada,
entonces cambiamos el color de la bola de rojo a negro o de negro a rojo,
independientemente de si la monedaproduce cara o cruz.
a) Modele el problema como una cadena de markov y encuentre la matriz de
probabilidades de transición.
b) Después de haber pintado dos bolas, ¿cuál es la probabilidad que el estado sea
[0 2 0] (0 sin pintar, 2 rojas, 0 negras)?
c) Después de haber pintado tres bolas, ¿cuál es la probabilidad que el estado sea
[0 1 1] (0 sin pintar, 1 roja, 1 negra)?
a)
Identificandoestados:
Vamos a utilizar vectores con el siguiente formato: [S R N] donde S es el número
de bolas sin pintar, R el número de bolas rojas y N el número de bolas negras que
hay en la urna.
E0: [2
E1: [1
E2: [1
E3: [0
E4: [0
E5: [0

0
1
0
1
2
0

0]
0]
1]
1]
0]
2]

Inicialmente, cuando las dos bolas están sin pintar.
Una bola pintada de rojo.
Una bola pintada de negro.
Una bolaroja y una negra.
Dos bolas rojas.
Dos bolas negras.

Probabilidades de transición:
De E0 sólo podemos pasar a
E1: si la bola que saquemos (que siempre será sin pintar p = 1) la pintamos
de rojo (cae cara p = ½ ).
E2: si la bola que saquemos la pintamos de negro (cae cruz p = ½).
De E1 podemos pasar a:
E3: si se saca la bola sin pintar (p = ½) y se pinta de negro (cae cruz p = ½).
E4: sise saca la bola sin pintar (p = ½) y se pinta de rojo (cae cara p = ½).
E2: si se saca la bola ya pintada (de rojo p = ½) y se le cambia color (a negro
p = 1, porque no importa si cae cara o cruz siempre se le cambia el color).
De E2 podemos pasar a:
E3: si se saca la bola sin pintar (p = ½) y se pinta de rojo (cae cara p = ½).
E5: si se saca la bola sin pintar (p = ½) y se pinta de negro(cae cruz p = ½).

2
E1: si se saca la bola ya pintada (de negro p = ½) y se le cambia color (a rojo
p = 1, porque no importa si cae cara o cruz siempre se le cambia el color).
De E3 podemos pasar a:
E4: si se saca la bola negra (p = ½), entonces se le cambia de color a rojo (p
= 1, porque no importa si cae cara o cruz).
E5: si se saca la bola roja (p = ½), entonces se le cambia de color anegro (p
= 1, porque no importa si cae cara o cruz).
De E4 sólo podemos pasar a E3 porque siempre sacaremos una bola roja (p = 1) y le
cambiaremos de color a negro (p = 1).
De E5 sólo podemos pasar a E3 porque siempre sacaremos una bola negra (p = 1) y
le cambiaremos de color a rojo (p = 1).

Transición
E0 E1
E0 E2
E1 E2
E1 E3
E1 E4
E2 E1
E2 E3
E2 E5
E3 E4
E3 E5
E4 E3
E5 E3Probabilidad
1*½=½
1*½=½
½*1=½
½*½ =¼
½*½=¼
½*1=½
½*½ =¼
½*½=¼
½*1=½
½*1=½
1*1=1
1*1=1

Matriz de probabilidades de transición
E0

E1

E2

1/ 2 1/ 2

E3

E4

E5

0

0

0

E0

0

E1

0

0

P! E 2
E3

0

/ 2

0

1/ 4

0

0

0

0

E4

0

0

0

1

0

0

E5

0

0

0

1

0

0

1/ 2 1/ 4 1/ 4
0

0
1/ 4

1/ 21/ 2

b)
Se inicia con las dos bolas sin pintar (E0) y nos piden la probabilidad de que
pasemos al estado [0 2 0] (E4) después de pintar dos bolas (a dos pasos). Entonces
nos piden P04(2)

3
Elevamos la matriz P al cuadrado:
E0

E1

E2

E3

E4

E5

E0

0

0.25 0.25 0.25 0.125 0.125

E1
E2
E3
E4
E5

0
0
0
0
0

0.25
0 0.375 0.125
0
0.25 0.375 0.25
0
0
10
0
0
0
0.5
0
0
0
0.5

0.25
0.125
0
0.5
0.5

De la matriz vemos que P04(2) = 0.125

c)
Nuevamente iniciamos en E0 y nos preguntan cual es la probabilidad de pasar al
estado [0 1 1] (E3) después de haber pintado tres bolas (a tres pasos). Entonces nos
piden P03(3).
Elevamos la matriz P al cubo y nos queda:
E0

E1

E2

E3

E4

E5

E0

0

0.125 0.125 0.375...