Procesos Markovianos

En la teoría de la probabilidad, se conoce como cadena de Márkov a un tipo especial de proceso estocástico discreto en el que la probabilidad de que ocurra un evento depende del eventoinmediatamente anterior. En efecto, las cadenas de este tipo tienen memoria. "Recuerdan" el último evento y esto condiciona las posibilidades de los eventos futuros. Esta dependencia del evento anterior distinguea las cadenas de Márkov de las series de eventos independientes, como tirar una moneda al aire o un dado.
Reciben su nombre del matemático ruso Andrei Andreevitch Markov (1856-1922), que lasintrodujo en 1907.1
Estos modelos muestran una estructura de dependencia simple, pero muy útil en muchas aplicaciones.
En matemática se define como un proceso estadístico discreto que cumple con lapropiedad de Márkov, es decir, si se conoce la historia del sistema hasta su instante actual, su estado presente resume toda la información relevante para describir en probabilidad su estado futuro.
Unacadena de Márkov es una secuencia X1, X2, X3,... de variables aleatorias. El rango de estas variables, es llamado espacio estado, el valor de Xn es el estado del proceso en el tiempo n. Si ladistribución de probabilidad condicional de Xn+1 en estados pasados es una función de Xn por sí sola, entonces:

Donde xi es el estado del proceso en el instante i. La identidad mostrada es la propiedadde Márkov.
Cadenas homogéneas y no homogéneas
Una cadena de Markov se dice homogénea si la probabilidad de ir del estado i al estado j en un paso no depende del tiempo en el que se encuentra lacadena, esto es:
para todo n y para cualquier i, j.
Si para alguna pareja de estados y para algún tiempo n la propiedad antes mencionada no se cumple diremos que la cadena de Markov es no homogénea.[editar]Probabilidades de transición y matriz de transición
La probabilidad de ir del estado i al estado j en n unidades de tiempo es
,
en la probabilidad de transición en un paso se omite el...