cadena de markov

Cadenas homogéneas y no homogéneas[editar]
Una cadena de Márkov se dice homogénea si la probabilidad de ir del estado i al estado j en un paso no depende del tiempo en el que se encuentra lacadena, esto es:
P(X_{n}=j|X_{{n-1}}=i)=P(X_{1}=j|X_{0}=i)\, para todo n y para cualquier i, j.
Si para alguna pareja de estados y para algún tiempo n la propiedad antes mencionada no se cumple diremosque la cadena de Márkov es no homogénea.
Probabilidades de transición y matriz de transición[editar]
La probabilidad de ir del estado i al estado j en n unidades de tiempo esp_{{ij}}^{{(n)}}=\Pr(X_{n}=j\mid X_{0}=i)\,,
en la probabilidad de transición en un paso se omite el superíndice de modo que queda
p_{{ij}}=\Pr(X_{1}=j\mid X_{0}=i).\,
Un hecho importante es que las probabilidades detransición en n pasos satisfacen la ecuación de Chapman-Kolmogórov, esto es, para cualquier k tal que 0 < k < n se cumple que
p_{{ij}}^{{(n)}}=\sum _{{r\in E}}p_{{ir}}^{{(k)}}p_{{rj}}^{{(n-k)}}donde E denota el espacio de estados.
Cuando la cadena de Márkov es homogénea, muchas de sus propiedades útiles se pueden obtener a través de su matriz de transición, definida entrada a entrada comoA_{{i,j}}=p_{{ij}}\,
esto es, la entrada i, j corresponde a la probabilidad de ir del estado i a j en un paso.
Del mismo modo se puede obtener la matriz de transición en n pasos como:A_{{i,j}}^{{(n)}}=P_{{ij}}^{{(n)}}, donde P_{{ij}}^{{(n)}}=P(X_{n}=j|X_{0}=i).
Vector de probabilidad invariante[editar]
Se define la distribución inicial \pi (x)=P(X_{0}=x)\,.
Diremos que un vector deprobabilidad (finito o infinito numerable) es invariante para una cadena de Márkov si
\nu P=\nu \,
donde P denota la matriz de transición de la cadena de Márkov. Al vector de probabilidad invariante tambiénse le llama distribución estacionaria o distribución de equilibrio.
Clases de comunicación[editar]
Para dos estados i,j en el espacio de estados E, diremos que de i se accede a j (y se denotará...