Cadenas de Markov erg dicas

Cadenas de Markov ergódicas

Si el sistema o proceso que se modela con Markov tiene ciertas propiedades, es posible determinar las probabilidades de los sucesos después de alcanzar condiciones de estado estable. Luego de un largo tiempo de funcionamiento del proceso, un evento dado puede presentarse durante un porcentaje x del tiempo. Se desea estar en capacidad de determinar estos porcentajes.Lo que los detractores señalan en este punto es la condición de que la matriz de transición contenga probabilidades que permanezcan constantes con el tiempo. 
Para asegurar la condición de estado estable, la cadena debe ser ergódica (algunas veces denominada cadena irreductible).


Una cadena ergódica describe de forma matemática un proceso en el cual es posible avanzar desde un estado hastacualquier otro estado, no es necesario que esto se dé en un sólo paso, pero debe ser posible para que cualquier resultado sea logrado independientemente del estado presente.


Ejemplo 4: Jazmín conduce una moto por un sector cuyas calles están trazadas como se indica a continuación:


Cada vez que Jazmín llega a un esquina puede dar vuelta o seguir derecho con igual probabilidad. es decir, que si ellaestá en la esquina 2, ella puede avanzar a 1, 3, o 5 con una probabilidad de 1/3, y de igual modo partiendo de las otras esquinas. Un estado describe la esquina en la cual está Jazmín cuando toma su decisión. Por tanto hay 9 estados posibles. La matriz de transición es:



1
2
3
4
5
6
7
8
9
1
0
1/2
0
1/2
0
0
0
0
0
2
1/3
0
1/3
0
1/3
0
0
0
0
3
0
1/2
0
0
0
1/2
0
0
0
4
1/3
0
0
0
1/3
0
1/3
0
0
5
0
1/40
1/4
0
1/4
0
1/4
0
6
0
0
1/3
0
1/3
0
0
0
1/3
7
0
0
0
1/2
0
0
0
1/2
0
8
0
0
0
0
1/3
0
1/3
0
1/3
9
0
0
0
0
0
1/2
0
1/2
0

Jazmín puede eventualmente llegar a cualquier localización dada (estado) a partir de cualquier localización presente (estado). Por tanto esta es una cadena ergódica. 
Se efectúa una prueba sencilla para determinar la posibilidad de llegar a todos los estados a partir decualquier estado inicial. Considerar la matriz de transición: 



1
2
3
4
5
1
X
X
0
X
X
2
0
X
X
0
X
3
0
0
0
X
X
4
X
0
X
0
X
5
X
X
0
0
0


Sea X igual a cualquier valor positivo de pij. Es posible ir directamente desde el 1 hacia cada estado excepto al 3. Sin embargo es posible ir desde 1 hasta 2 y luego hacia 3. Con esto es posible ir desde el estado 1 hacia cualquier otro. Ahora se compruebanlos demás estados:


Estado 2: ir hasta 5, luego desde 5 hacia 1.
E 3= ir hasta 5, luego de 5 hacia 1.
E 4= ir hasta 1.
E 5= ir hasta 1.
Se puede decir entonces que esta es la matriz de transición de una cadena ergódica.
  
Un caso mas especifico de cadena ergódica, es una cadena regular. Una cadena regular es definida como una cadena que tiene una matriz de transición P la cual para alguna potenciade Ptiene únicamente elementos positivos de probabilidad (diferente de 0). La forma más sencilla de verificar si una cadena es regular consiste en elevar sucesivamente al cuadrado la matriz hasta que todos los valores sean mayores de 0 o hasta que se desarrolle un patrón que demuestre que por lo menos un 0 nunca podrá eliminarse. Todas las cadenas  regulares pueden ser ergódicas pero lo contrario no esnecesariamente lo cierto, no todas las cadenas ergódicas son regulares.


Ejemplo 5: Se tiene la siguiente matriz, comprobar si es regular:



1
2
3
4
5
1
X
X
0
X
X
2
0
X
X
0
X
3
0
0
0
X
X
4
X
0
X
0
X
5
X
X
0
0
0




 P ^2=

1
2
3
4
5
1
X
X
X
X
X
2
X
X
X
X
X
3
X
X
X
0
X
4
X
X
X
X
X
5
X
X
X
X
X


P ^4=

1
2
3
4
5
1
X
X
X
X
X
2
X
X
X
X
X
3
X
X
X
X
X
4
X
X
X
X
X
5
X
X
X
X
X


Determinación de las condicionesde estado estable


La existencia de condiciones de estado estable en una cadena ergódica regular puede demostrarse de una manera sencilla calculando P ^n para diversos valores de n. A continuación se presentan los valores de P ^n del ejemplo del comprador de autos para valores de n=1 hasta 8.


A medida que aumenta el valor de n, los valores pij tienden hacia un límite fijo y cada vector...