Cadena De Marcov

Cadena de Marcov

Proceso estocástico.

Un proceso estocástico es una colección indexada de variables aleatorias Xt, t con valores en algún conjunto T. En adelante T = 1, 2, ..., el conjunto de los números naturales. Consideraremos variables aleatorias Xt que tienen soporte discreto común para todas.

Los valores que pueden asumir las variables aleatorias Xt los etiquetaremos 0, 1, 2,...,M,
y se denominan estados del proceso estocástico.

Propiedad de Markov.

Un proceso estocástico {X(t)} tiene la propiedad de Markov si

Prob{Xt+1 = j | X0 = k0,X1 = k1, ...,Xt−1 = kt−1,Xt = i} = Prob{Xt+1 = j | Xt = i}

Es decir, la probabilidad condicional de un evento futuro dado el evento actual, es independiente de los eventos pasados.

Probabilidades de transición.

Lasprobabilidades condicionales del cambio del estado i al estado j en un paso o unidad de tiempo Prob{Xt+1 = j | Xt = i} se denominan probabilidades de transición.

Probabilidades de transición estacionarias.

Las probabilidades de transición son estacionarias (de un paso) si cumplen la propiedad

Prob{Xt+1 = j | Xt = i} = Prob{X1 = j | X0 = i} para todo t

En tal caso se denotan pij .

Propiedad:Si las probabilidades de transición (de un paso) son estacionarias, entonces se cumple que

Prob{Xt+n = j | Xt = i} = Prob{Xn = j | X0 = i} para todo t

Estas probabilidades de transición se denominan probabilidades de transición de n pasos y se denotan
[pic]

Propiedad:

Cadena de Markov.

Un proceso estocástico que cumple con la propiedad markoviana se denomina cadena de markov.
Enadelante se considerarán sólo cadenas de Markov estacionarias.

Matriz de transición de un paso.

Si pij es la probabilidad de transición del estado i al estado j, (0 ≤ i, j ≤ M), entonces

[pic]

se denomina matriz de transición, o matriz de probabilidades de transición de un paso.

Propiedad: Observar que las filas de la matriz de transici´on suman uno.
[pic]
Matriz de transición den pasos.
De forma análoga, si p(n) ij es la probabilidad de transición del estado i al estado j en n pasos, (0 ≤ i, j ≤ M), entonces la matriz P(n) que contiene todos estos valores se denomina matriz de transición de n pasos.

Propiedad: La matriz de transición de n pasos P(n) se puede obtener multiplicando la matriz de transición de un paso P, n veces:

P(n) = P ・ P ・ P ・ ... ・ P = Pn

Engeneral,

P(n) = P(m) ・ P(n−m)


para 0 ≤ m ≤ n.

Si se toman los elementos (i,j) de esta ´ultima igualdad, se tienen la ecuaciones de Chapman-Kolmogorov
[pic]
para todo i, j, n, y 0 ≤ m ≤ n.

Probabilidades incondicionales.
Para conocer las probabilidades incondicionales de alcanzar un estado j, en n pasos, es necesario conocer las probabilidades marginales de los estados iniciales.Sean estas

[pic]

Entonces
[pic]
Si se define el vector
[pic]
entonces la igualdad anterior se puede expresar en forma vectorial,

q(n) = q(0)P(n)

Estados accesibles.

Un estado j de una cadena de Markov es accesible desde un estado i si
[pic] para algún n > 0.

Estados que se comunican.

Si el estado j es accesible desde el estado i, y el estado i es accesible desde el estadoj,
entonces estos dos estados se comunican.

Propiedades:
1) Todo estado se comunica consigo mismo (reflexividad).
2) Si i se comunica con j, entonces j se comunica con i (simetría).
3) Si i se comunica con j y j se comunica con k, entonces i se comunica con k (transitividad).

Las tres propiedades anteriores indican que la relación ¨comunicárseles una relación de equivalencia
en elconjunto de todos los estados de una cadena de Markov. Por lo tanto define una partición en este conjunto, en que cada clase contiene los estados que se comunican entre si. Si dos estados no se comunican, están en clases diferentes.

Cadena de Markov irreductible.

Si existe una sola clase, es decir, si todos los estados se comunican, entonces la cadena de Markov es irreductible. En tal caso...