Cadenas de markov

TEMA: Probabilidades de transición estacionarias de un solo paso y Probabilidades de transición estacionarias en n pasos.

OBJETIVO Conocer la aplicación de las Cadenas de Markov en la vida cotidiana, así como su interpretación y método adecuado para aplicarlas.

DESARROLLO DEL TEMA
Probabilidades de transición estacionarias de un solo paso.
Se dice que un proceso estocástico tienela propiedad markoviana si:
P { Xt+1 = j | X0 = K0 , X1 = K1 , . ., Xt-1 = Kt-1 , = Kt-1, Xt=1}= P {X t+1 | X1 = i }, para toda t = 0, 1, . . y toda sucesión i, j , K0 , K1 , . . , Ki-1 .
    Se puede demostrar que esta propiedad markoviana es equivalente a establecer una probabilidad condicional de cualquier "evento" futuro dados cualquier "evento " pasado y el estado actual Xi = i,es independiente del evento pasado y sólo depende del estado actual del proceso. Las probabilidades condicionales P {Xt+1 = j | Xt = i} se llaman probabilidades de transición. Si para cada i y j, P { Xt+1 = j | | Xt = i } = p{X1 = j | X0 = i }, para toda t = 0, 1, ....
    Entonces se dice que las probabilidades de transición (de un paso) son estacionarias y por lo general se denotan por pij . Así, tenerprobabilidades de transición estacionarias implica que las probabilidades de transición no cambian con el tiempo. La existencia de probabilidades de transición (de un paso) estacionarias también implica que, para cada i, j y n (n = 0, 1, 2,...),
P{ Xt+n = j | | Xt = i } = p{Xn = j | X0 = i },
Para toda t = 0, 1, . . . Estas probabilidades condicionales casi siempre se denotan por   y se llamanprobabilidades de transición de n pasos. Así,  es simplemente la probabilidad condicional de que la variable aleatoria X, comenzando en el estado i, se encuentre en el estado j después de n pasos (unidades de tiempo).
Como las  son probabilidades condicionales, deben satisfacer las propiedades: 

1 si i ≠ j
0 si i = j

Pij (0)= δij0=
Probabilidades de transición estacionarias en n pasos.La probabilidad P (Xn+m = j | Xm = i) corresponde a la probabilidad de pasar del estado i al tiempo m, al estado j al tiempo m + n. Dado que hemos supuesto la condición de homogeneidad en el tiempo, esta probabilidad no depende realmente de m, por lo tanto coincide con P (Xn = j | X0 = i), y se le denota por pij (n). A esta probabilidad también se le denota como p(n)ij, en donde el número depasos n se escribe entre paréntesis para distinguirlo de algún posible exponente, y se le llama probabilidad de transición en n pasos. Cuando n = 1 simplemente se omite su escritura, a menos que se quiera hacer énfasis en ello. También cuando n = 0 es natural definir

Es decir, después de realizar cero pasos la cadena no puede estar en otro estado más que en su lugar de origen. Esta esla función delta de Kronecker.

Suponga que se esta estudiando una Cadena de Markov con una matriz de probabilidad de transición conocida P. Una pregunta de interés es: si una cadena de Markov esta en el estado i en el tiempo m, ¿Cuál es la probabilidad de que n periodos después de la cadena este en el estado j? Puesto que se trata con una cadena de Markov estacionaria, esta probabilidad esindependiente de m, asi que se podría escribir.
P(Xm+n = jIXm = i) = P(Xn = jIX0 = i) = Pij(n)
Donde Pij(n) se llama probabilidad del n-esimo paso de una transición del estado i al estado j.
K=s
Resulta claro que Pij(1) = pij. Para determinar Pij(2), observe que si el sistema ahora esta en el estado i, entonces para que el sistema termine en el estado j dos periodos a partir de ahora, se debe irdel estado i a algún estado k y luego del estado k al estado j. Este razonamiento nos permite escribir:
K=1
Pij(2) = Σ(probabilidad de transición de i a k) x (probabilidad de transición de k a j)
K=s
Usando la definición de P, la matriz de probabilidad de transición, se reescribe la ultima ecuación como:
K=1
Pij(2) = Σ pik pkj
2
2
El lado derecho de la ecuación anterior, es solo el...