Problemas resueltos - cadenas de markov

INVESTIGACIÓN DE OPERACIONES 2
SECCIÓN R
Auxiliar: Samuel Orozco

PROBLEMAS RESUELTOS - CADENAS DE MARKOV

1. Una urna contiene dos bolas sin pintar. Se selecciona una bola al azar y se lanza una moneda. Si la bola elegida no esta pintada y la moneda produce cada, pintamos la bola de rojo; si la moneda produce cruz, la pintamos de negro. Si la bola ya está pintada, entonces cambiamos elcolor de la bola de rojo a negro o de negro a rojo, independientemente de si la moneda produce cara o cruz.
a) Modele el problema como una cadena de markov y encuentre la matriz de probabilidades de transición.
b) Después de haber pintado dos bolas, ¿cuál es la probabilidad que el estado sea [0 2 0] (0 sin pintar, 2 rojas, 0 negras)?
c) Después de haber pintado tres bolas,¿cuál es la probabilidad que el estado sea [0 1 1] (0 sin pintar, 1 roja, 1 negra)?

a)

Identificando estados:
Vamos a utilizar vectores con el siguiente formato: [S R N] donde S es el número de bolas sin pintar, R el número de bolas rojas y N el número de bolas negras que hay en la urna.

E0: [2 0 0] Inicialmente, cuando las dos bolas están sin pintar.
E1: [1 1 0] Una bola pintadade rojo.
E2: [1 0 1] Una bola pintada de negro.
E3: [0 1 1] Una bola roja y una negra.
E4: [0 2 0] Dos bolas rojas.
E5: [0 0 2] Dos bolas negras.

Probabilidades de transición:
De E0 sólo podemos pasar a
E1: si la bola que saquemos (que siempre será sin pintar p = 1) la pintamos de rojo (cae cara p = ½ ).
E2: si la bola que saquemos la pintamos de negro (cae cruz p = ½).
De E1podemos pasar a:
E3: si se saca la bola sin pintar (p = ½) y se pinta de negro (cae cruz p = ½).
E4: si se saca la bola sin pintar (p = ½) y se pinta de rojo (cae cara p = ½).
E2: si se saca la bola ya pintada (de rojo p = ½) y se le cambia color (a negro p = 1, porque no importa si cae cara o cruz siempre se le cambia el color).
De E2 podemos pasar a:
E3: si se saca la bola sin pintar (p =½) y se pinta de rojo (cae cara p = ½).
E5: si se saca la bola sin pintar (p = ½) y se pinta de negro (cae cruz p = ½).
E1: si se saca la bola ya pintada (de negro p = ½) y se le cambia color (a rojo p = 1, porque no importa si cae cara o cruz siempre se le cambia el color).
De E3 podemos pasar a:
E4: si se saca la bola negra (p = ½), entonces se le cambia de color a rojo (p = 1, porque noimporta si cae cara o cruz).
E5: si se saca la bola roja (p = ½), entonces se le cambia de color a negro (p = 1, porque no importa si cae cara o cruz).
De E4 sólo podemos pasar a E3 porque siempre sacaremos una bola roja (p = 1) y le cambiaremos de color a negro (p = 1).
De E5 sólo podemos pasar a E3 porque siempre sacaremos una bola negra (p = 1) y le cambiaremos de color a rojo (p = 1).Transición | Probabilidad |
E0 E1 | 1 * ½ = ½ |
E0 E2 | 1 * ½ = ½ |
E1 E2 | ½ * 1 = ½ |
E1 E3 | ½ * ½ = ¼ |
E1 E4 | ½ * ½ = ¼ |
E2 E1 | ½ * 1 = ½ |
E2 E3 | ½ * ½ = ¼ |
E2 E5 | ½ * ½ = ¼ |
E3 E4 | ½ * 1 = ½ |
E3 E5 | ½ * 1 = ½ |
E4 E3 | 1 * 1 = 1 |
E5 E3 | 1 * 1 = 1 |

Matriz de probabilidades de transición

b)

Se inicia con las dos bolas sin pintar(E0) y nos piden la probabilidad de que pasemos al estado [0 2 0] (E4) después de pintar dos bolas (a dos pasos). Entonces nos piden P04(2)

Elevamos la matriz P al cuadrado:

| E0 | E1 | E2 | E3 | E4 | E5 |
E0 | 0 | 0.25 | 0.25 | 0.25 | 0.125 | 0.125 |
E1 | 0 | 0.25 | 0 | 0.375 | 0.125 | 0.25 |
E2 | 0 | 0 | 0.25 | 0.375 | 0.25 | 0.125 |
E3 | 0 | 0 | 0 | 1 | 0 | 0 |
E4 | 0 | 0 | 0| 0 | 0.5 | 0.5 |
E5 | 0 | 0 | 0 | 0 | 0.5 | 0.5 |

De la matriz vemos que P04(2) = 0.125

c)

Nuevamente iniciamos en E0 y nos preguntan cual es la probabilidad de pasar al estado [0 1 1] (E3) después de haber pintado tres bolas (a tres pasos). Entonces nos piden P03(3).

Elevamos la matriz P al cubo y nos queda:

| E0 | E1 | E2 | E3 | E4 | E5 |
E0 | 0 | 0.125 | 0.125 |...