cadenas de markov

UNIVERSIDAD NACIONAL EXPERIMENTAL POLITÉCNICA
“ANTONIO JOSÉ DE SUCRE”
VICERRECTORADO BARQUISIMETO
DIRECCIÓN DE INVESTIGACIÓN Y POSTGRADO















Dobobuto, Karina
Poletto, Ivonne




Diciembre, 2013
Definición de Cadenas de Markov
(Discretas y Continuas)

Los procesos estocásticos son sucesiones de eventos regidos por leyes probabilísticas.Varios investigadores han estudiado las características y el comportamiento de estas sucesiones, para aplicarlos a los procesos estocásticos en física, ingeniería, biología, medicina y otras disciplinas así como también en otras ramas de la matemática y han establecido sus teorías y propiedades.
Propiedad Markoviana
Según las fuentes consultadas, entre ellas Vega (s.f), se puede afirmar que unapropiedad que poseen los procesos aleatorios y de ramificación, es que sus valores en el n-ésimo paso solo dependen de los valores en el (n − 1)-ésimo paso, y no de los anteriores. Esta propiedad conocida como propiedad markoviana es de gran importancia en el estudio de estos procesos, y en el estudio general de la teoría de procesos estocásticos.
Cadena de Markov (CM)
Las fuentes consultadascoinciden en la siguiente definición: Un proceso X = {Xn : n ≥ 0}, es una cadena de Markov si satisface la siguiente condición, llamada condición de Markov:



La probabilidad de que la secuencia tome un valor dado en el instante n+1 solo está condicionada por el valor de la secuencia en el instante n y es independiente de los valores de la secuencia en los instantes anteriores (n − 1, n − 2,...)
Puede interpretarse esta ecuación como que, dado el “presente” del proceso, el “futuro” es independiente del “pasado”. Es decir, una cadena de Markov es una sucesión de variables que “ven el pasado a través del último suceso”.




Cadenas de Markov Discretas
En documento consultado en la web denominado CMTD.pdf, (ver referencias bibliográficas) se encuentra que un proceso estocástico{Xn, n = 0, 1, 2,…} es una Cadena de Markov en Tiempo Discreto (CMTD) si para cada n y xj, j=0,…,n+1, se verifica

Por otro lado, Vega (s.f) expone:
Cadenas de Markov Continuas
Sea {Xt}t≥0 un proceso estocástico de tiempo continuo (es decir t [0; T] con T R fijo), que toma valores en un conjunto numerable E. Decimos que el proceso {Xt}t≥0 es una Cadena de Markov de Tiempo Continuo (CMTC) sis, t ≥ 0 y i, j, Xu E con 0 ≤ u ≤ s se cumple que
P(Xt+s = j / Xs = i , Xu = xu 0 ≤ u < s) = P(Xt+s = j /Xs = i)
Es decir, una cadena de Markov de tiempo continuo es un proceso estocástico que verifica la propiedad markoviana donde la probabilidad condicional de un futuro estado en el tiempo t + s, dado el estado presente en el tiempo s y todos los estados pasados, solo depende del presenteestado y en independiente del pasado.
P(Xt+s = y / Xt = x ; Xu = xu 0 ≤ u < t) = P(Xt+s = y/Xt = x)
donde x, y, xu E ; 0 ≤ u < t.

Ecuaciones de Chapman-Kolmogorov
De las fuentes consultadas a través de internet se recoge la información que se presenta a continuación.
La ecuación de Chapman-Kolmogorov es una identidad sobre las distribuciones de probabilidad conjunta de los diferentesconjuntos de coordenadas en un proceso estocástico.
Supongamos que { fi } es una colección indexada de variables aleatorias, es decir, un proceso estocástico. Hacemos

sea la función conjunta de densidad de probabilidad de los valores de las variables aleatorias de f1 a fn. Entonces, la ecuación de Chapman-Kolmogorov es

usando el proceso estocástico considerado es markoviano, la ecuación deChapman-Kolmogorov es equivalente a una identidad en las densidades de transición. En la formación de la cadena de Markov, se supone que i1  0. De este modo, los estados de A no son alcanzables desde estados de A.
Después de definir las propiedades de los estados individuales, se va a definir una importante propiedad de una cadena de Markov considerada como un todo.
Estado Irreducible
Una...