Cadenas de markov

Probabilidad de transiciones estacionarias de n pasos.

Supónganse que el sistema se encuentra en el estado 2 (esto, es el depósito tiene 2 unidades de agua) al inicio de una semana y que se desearía conocer la probabilidad de que el sistema se encuentre en cada uno de los 4 estados después de 126 semanas o 16 transiciones. A esto se le denomina probabilidad de estado después de 16transiciones.

Denótese p (n)ij a la probabilidad de que el sistema se encuentre en el estado j después de n transiciones dado que el estado inicial es i. (Obsérvese que n no es exponente). Al termino p (n)ij se le denomina probabilidad de transición de n pasos. Resulta claro, por la definición, que p (n)ij = Pij , probabilidad de transición de n pasos. En 2 transiciones, el proceso puede pasare del estadoi al estado k en la primera transición y después al estado j en la segunda. La probabilidad de esto es p(1)ij p kj. Ya que k puede ser cualquiera de r estados, entonces existen r formas mutuamente excluyentes de hacer esto. Por tanto, p (2) ij es igual a la suma de sus probabilidades:

(13 -4) p (2)ij = Σk p (1)ik p kj

El uso repetido del mismo razonamiento permite construirlas probabilidades de transiciones de n pasos, p (n)ij , para n = 3,4,…, de la siguiente forma:

(13 – 5) p (n)ij = Σk p (n-1)ik pkj, i,j = 1,…, r

Ahora observes la expresión (13 – 4) con más cuidado. Los valores de las p (1)ik (=p ik), para toda k, son los elementos del renglón i en la matriz de transición P. De manera semejante, los valores pkj son los elementos de la columna j deP. Entonces cada p(2)kj es el resultado de multiplicar el vector de las probabilidades de transición dado por el renglón i de P por el vector de las probabilidades de transición dado por la columna j de P. Por lo tanto, os valores p(2)ij son los elementos de un matriz estocástica que se obtiene multiplicando la matriz de transición por sí misma. En otras palabras, la matriz de las probabilidades detransición de dos pasos es simplemente igual a PP = P2. Por analogía a partir de la expresión de (13 – 5) se encuentra que la matriz de las probabilidades de transición de tres pasos con elementos p (3) ij está dada por P2P = P3. En general, la matriz de las probabilidades de transición de n pasos, p(n)ij, es igual a

(13 – 6) Pn-1 P = Pn

Cada renglón i de Pn representa ladistribución probabilística de estados después de n transiciones, dado que el proceso empieza en el estado i.

Aplicando esto al problema del depósito, se obtiene

0.7 0.2 0.1 0 0.7 0.2 0.1 0 0.55 0.25 0.15 0.05

P2 = P P = 0.3 0.4 0.2 0.1 0.3 0.4 0.2 0.1 = 0.33 0.280.22 0.17

0 0.3 0.4 0.3 0 0.3 0.4 0.3 0.09 0.24 0.31 0.36

0 0 0.3 0.7 0 0 0.3 0.7 0 0.09 0.33 0.58

0.399 0.248 0.200 0.153

P2 = P3P = P2 P2 = 0.2940.229 0.235 0.242

0.157 0.196 0.281 0.366

0.059 0.157 0.314 0.470

0.210 0.203 0.263 0.324

P16 = P4 P4 P4 P4 = 0.205 0.201 0.265 0.329

0.198 0.200 0.267 0.3350.193 0.198 0.269 0.340

Si el proceso empieza en el estado 2 como se considero, entonces la distribución probabilística de estado después de encontrar el proceso después de 16 semanas está dada por el renglón 2 de P16. De manera que la probabilidad de encontrar el proceso en el estado s = 1 después de unas 16 semanas es 0.205, para s = 2 es 0.201,...