Resumen De Cadenas De Markov

CADENAS DE MARKOV
PROCESOS ESTOCASTICOS

Un proceso estocástico se define como una colección indexada de variables aleatorias (Xt), donde el índice t toma valores de un conjunto T dado. Con frecuencia T se considera el conjunto de enteros no negativo mientras que Xt representa una característica de interés cuantificable en el tiempo t. Por ejemplo, Xt puede representar los niveles deinventario al final de la semana t.
Los procesos estocásticos son de interés para describir el comportamiento de un sistema en operación durante algunos periodos. Un proceso estocástico tiene la siguiente estructura.
La condición actual del sistema puede estar en una M+1 categorias mutuamente excluyentes llamados estados. Por conveniencia en la notación, estos estados se etiquetan 0, 1, 2,…,M. lavariable aleatoria Xt representa el estado del sistema en el tiempo t, de manera que sus único valores posibles son 0,1,…,M. El sistema se observa en puntos del tiempo dados, etiquetados t=0, 1, 2,…De esta forma los procesos estocásticos {Xt} = {X0, X1, X2…} proporcionan una representación matemática de la forma en que evoluciona la condición del sistema físico a través del tiempo.
Este tipo de procesosse conocen como procesos estocásticos de tiempo discreto con espacio de estados finito.
CADENAS DE MARKOV

Es necesario hacer algunos supuestos sobre la distribución conjunta X0, X1,…para obtener resultados analíticos. Un supuesto que conduce el manejo analítico es que el proceso estocástico es una cadena de Markov que tiene una probabilidad markoviana que establece que la probabilidadcondicional de cualquier “evento” futuro dado cualquier “evento” pasado y el estado actual Xt=i, es independiente de los eventos pasados y solo depende del estado actual del proceso.
Un proceso estocástico {Xt} (t = 0, 1,…) es una cadena de Markov si presenta la propiedad markoviana.
Las probabilidades condicionales P{Xt+1 =j|X0=i} de una cadena de Markov se llaman probabilidades de transición (de unpaso). Si para cada i y j,
P{Xt+1 =j|X0=i} = P{X1=j | X0=i}, para toda t=1, 2,…,
Entonces se dice que las probabilidades de transición (de un paso) son estacionarias. Así, tener probabilidades de transición estacionarias implica que las probabilidades de transición no cambian con el tiempo. La existencia de probabilidades de transición (de un paso) estacionarias también implica que para cada i,j, y n (n=0, 1, 2,. . .),
P{Xt+n =j|Xt=i} = P{Xn=j | X0=i}
Para toda t=0, 1,. . . estas probabilidades condicionales se llaman probabilidades de transición de n pasos.
Para simplificar la notación de las probabilidades de transición estacionarias, sea
pij = P{Xt+n =j|Xt=i}.
pij(n) = P{Xt+n =j|Xt=i}.
Así, las probabilidades de transición de n pasos Pij(n) son simplemente la probabilidadcondicional de que el sistema se encuentre en el estado j exactamente después de n pasos (unidades de tiempo), dado que comenzó en el estado i en cualquier tiempo t. Cuando n=1 observe que Pij(1) = Pij*1
Cuando las Pij(n) son probabilidades condicionales, deben ser no negativas y, como el proceso debe hacer transición a algún estado, deben satisfacer las propiedades
pij(n) ≥ 0, para toda i y j; n =0, 1, 2,…,
∑j=0 M pij(n) = 1 para toda i; n = 0, 1, 2….
Una notación conveniente para representar las probabilidades de transición de n pasos es la matriz de transición de n pasos.
ECUACIONES DE CHAPMAN – KOLMOGOROV

Las ecuaciones de Chapman – Kolmogorov proporcionan un método para calcular las probabilidades de transición de n pasos:
pij(n) = ∑k=0 M pik(m) pkj(n-m), para toda i = 0, 1, .. . , M,
j = 0, 1, . . . , M,
y cualquier m = 1, 2, . . . , n, - 1,
n = m + 1, m + 2,…3
Estas ecuaciones simplemente señalan que al ir del estado i al estado j en n pasos, el proceso estará en algún estado k después de exactamente m (menor que n) pasos. Así, pik(m) pkj(n-m) es solo la probabilidad condicional de que, si comienza en el estado i, el proceso vaya al estado k después de m pasos...