Markov

TRABAJO CADENAS DE MARKOV

PLANTEAMIENTO DEL PROBLEMA

Después de varios años de haber estado cautivo en una prisión markoviana, usted ha decidido que es tiempo de escapar.
Un esquema de la prisión es mostrado en la figura 1. La ruta de fuga empieza cuando usted entra al cuarto No. 1 y sale de la prisión cuando ha pasado por el cuarto No. 16. Desafortunadamente para usted, dos guardias deseguridad están atentos y han recorrido los cuartos año tras año. Si usted y un guardia se encuentran en el mismo cuarto al mismo tiempo, usted será atrapado y sentenciado a cadena perpetua. Sin embargo, usted ha observado que los guardias se mueven de acuerdo con las siguientes probabilidades.

Guardia No. 1:
20% de las veces se mueve hacia el norte 20% de las veces se mueve hacia el oeste
40% de lasveces se mueve hacia el sur 20% de las veces se mueve hacia el este

Guardia No. 2:
40% de las veces se mueve hacia el norte 20% de las veces se mueve hacia el oeste
10% de las veces se mueve hacia el sur 30% de las veces se mueve hacia el este

Cada segundo que pasa usted y los guardias se mueven a un cuarto diferente, si las instrucciones de movimiento de un guardia lo orientan hacia unapared, el guardia se mantendrá en el mismo lugar con la probabilidad asociada a este movimiento. Los guardias al igual que usted no pueden moverse en forma diagonal

Figura 1.

1. ¿Qué ruta tomaría usted para tener mejor oportunidad de escapar?
2. ¿Cuál es la probabilidad asociada a esta ruta?
DESARROLLO
1. Sistema: Analizar la mejor ruta para escapar
2. Estados: {1, 2, 3, 4…, 16}Siendo 1 el cuarto No. 1, 2 El cuarto No.2 y así sucesivamente.
3. Paso: 1 segundo
Matriz de transición de un paso Guardia No.1
P1G1=
| 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 |
1 | 0,4 | 0,2 | 0 | 0 | 0,4 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
2 | 0,2 | 0,2 | 0,2 | 0 | 0 | 0,4 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
3 | 0 | 0,2 | 0,2 | 0,2 | 0 | 0 | 0,4 |0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
4 | 0 | 0 | 0,2 | 0,4 | 0 | 0 | 0 | 0,4 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
5 | 0,2 | 0 | 0 | 0 | 0,2 | 0,2 | 0 | 0 | 0,4 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
6 | 0 | 0,2 | 0 | 0 | 0,2 | 0 | 0,2 | 0 | 0 | 0,4 | 0 | 0 | 0 | 0 | 0 | 0 |
7 | 0 | 0 | 0,2 | 0 | 0 | 0,2 | 0 | 0,2 | 0 | 0 | 0,4 | 0 | 0 | 0 | 0 | 0 |
8 | 0 | 0 | 0 | 0,2 | 0 | 0 | 0,2 | 0,2 | 0 | 0 | 0 | 0,4| 0 | 0 | 0 | 0 |
9 | 0 | 0 | 0 | 0 | 0,2 | 0 | 0 | 0 | 0,2 | 0,2 | 0 | 0 | 0,4 | 0 | 0 | 0 |
10 | 0 | 0 | 0 | 0 | 0 | 0,2 | 0 | 0 | 0,2 | 0 | 0,2 | 0 | 0 | 0,4 | 0 | 0 |
11 | 0 | 0 | 0 | 0 | 0 | 0 | 0,2 | 0 | 0 | 0,2 | 0 | 0,2 | 0 | 0 | 0,4 | 0 |
12 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0,2 | 0 | 0 | 0,2 | 0,2 | 0 | 0 | 0 | 0,4 |
13 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0,2 | 0 | 0 | 0 | 0,6 | 0,2 | 0| 0 |
14 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0,2 | 0 | 0 | 0,2 | 0,4 | 0,2 | 0 |
15 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0,2 | 0 | 0 | 0,2 | 0,4 | 0,2 |
16 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0,2 | 0 | 0 | 0,2 | 0,6 |

Matriz de transición de un paso Guardia No.1
P1G2=
| 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 |
1 | 0,6 | 0,3 | 0 | 0 | 0,1 | 0 |0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
2 | 0,2 | 0,4 | 0,3 | 0 | 0 | 0,1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
3 | 0 | 0,2 | 0,4 | 0,3 | 0 | 0 | 0,1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
4 | 0 | 0 | 0,2 | 0,7 | 0 | 0 | 0 | 0,1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
5 | 0,4 | 0 | 0 | 0 | 0,2 | 0,3 | 0 | 0 | 0,1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
6 | 0 | 0,4 | 0 | 0 | 0,2 | 0 | 0,3 | 0 | 0 | 0,1 | 0| 0 | 0 | 0 | 0 | 0 |
7 | 0 | 0 | 0,4 | 0 | 0 | 0,2 | 0 | 0,3 | 0 | 0 | 0,1 | 0 | 0 | 0 | 0 | 0 |
8 | 0 | 0 | 0 | 0,4 | 0 | 0 | 0,2 | 0,3 | 0 | 0 | 0 | 0,1 | 0 | 0 | 0 | 0 |
9 | 0 | 0 | 0 | 0 | 0,4 | 0 | 0 | 0 | 0,2 | 0,3 | 0 | 0 | 0,1 | 0 | 0 | 0 |
10 | 0 | 0 | 0 | 0 | 0 | 0,4 | 0 | 0 | 0,2 | 0 | 0,3 | 0 | 0 | 0,1 | 0 | 0 |
11 | 0 | 0 | 0 | 0 | 0 | 0 | 0,4 | 0 | 0 | 0,2 | 0 | 0,3 | 0 | 0...