Cadenas de markov

Cadenas de Markov a tiempo continuo

Cadenas de Markov a tiempo continuo
Definición
Sea un proceso estocástico a tiempo continuo con espacio o bien un subconjunto

de estados numerable S. Usualmente de S. Decimos que

que es una cadena de Markov a tiempo continuo

si las probabilidades de transición tienen la siguiente propiedad: Para cada h, t ≥ 0 y j є S (1)

Cadenas de Markov atiempo continuo
En un proceso estocástico es común que las variables en el tiempo sean independientes entre sí. En otras palabras el presente, pasado y futuro de un proceso están correlacionados. Por ejemplo, sabemos que en un proceso de Poisson mayor o igual que Cuando un proceso satisface la propiedad de Markov, la dependencia de con un historial se reduce a conocer debe ser

En otras palabrasCadenas de Markov a tiempo continuo
Otra forma de apreciar la propiedad de Markov, es que, condicionado al presente, el pasado y el futuro son independientes

en consecuencia para, De hecho, para

son independiente dado

Cadenas de Markov a tiempo continuo

esto debido a

Cadenas de Markov a tiempo continuo
Una cadena de Markov, es de incrementos estacionarios u homogeneos silas probabilidades de transición (1) no dependen del tiempo t (pero tal vez si de la longitud del intervalo correspondiente), es decir, para cualquier par de estados

Note en particular que Por ejemplo, para un PP (homogeneo)

Cadenas de Markov a tiempo continuo
Una cadena de Markov con incrementos estacionarios satisface las ecuaciones de Chapman Kolmogorov

y

Estas expresiones seobtienen de la ley de probabilidad total.

Proceso de Nacimiento y Muerte

Proceso de Nacimiento y Muerte
Los procesos de nacimiento y muerte, básicamente, describen sistemas cuyo estado, en cada instante, representa el número de individuos en el mismo.

Cuando éste es n, se producen llegadas con tasa exponencial λn y salidas con tasa exponencial µn, de forma independiente.

Las únicastransiciones que existen, son del estado i a los estados i+1 ó i-1 si estos estados existen

Proceso de Nacimiento y Muerte
Un proceso de nacimiento y muerte con:
Tasa de llegada

(nacimiento) (muerte)

Tasas de salida

Es una CMTC con espacio de estados {0, 1, 2,…} tasas de permanencia

Proceso de Nacimiento y Muerte
Cálculo de las tasas de entrada y salida Definiciones

En(t) = númerode veces que el proceso entra al estado n, hasta el tiempo t Lim t → ∞ En(t)/t = tasa media a la que el proceso entra al estado n

Ln(t) = número de veces que el proceso sale del estado n, hasta el tiempo t Lim t → ∞ Ln(t)/t = tasa media a la que el proceso sale del estado n

Proceso de Nacimiento y Muerte
Una CMTC con espacio de estados {0, 1, 2,…} tasas de permanencia

y probabilidadesde transición

Proceso de Nacimiento y Muerte
El diagrama de transición de un proceso de nacimiento y muerte es

λ0
0 1

λ1
2

λ2
3

λn-2
...
n-2 n-1

λn-1
n

λn
n+1 . . .

µ1

µ2

µ3

µn-1

µn

µn+1

Sus tasas de transición son

Proceso de Nacimiento y Muerte
El generador infinitesimal del proceso Q es de la forma

Proceso de Nacimiento y Muerte
Elsistema de ecuaciones diferenciales de Kolmogorov es:

Nota: Resolver este sistema no es tan sencillo.

Proceso de Nacimiento y Muerte
De la ecuación de balanceo

π Q = 0, ∑ π k = 1 y tomando en cuenta
k

las ecuaciones diferenciales de Kolmogorov, se tiene:

☺

0 = −λ 0π 0 + µ 1π 1 , k = 0

☻

0 = −(λ

k

+ µ k )π k + λ
∀k

k -1

π k -1 + µ k +1π k +1 , k ≥ 1

∑π

k=1

Proceso de Nacimiento y Muerte
La ecuación ☻se puede ver de la siguiente forma

λ k-1 i-1 µk i

λk i+1 µ k+1

Flujo saliente = Flujo entrante

Proceso de Nacimiento y Muerte
La ecuación ☻se puede ver de la siguiente forma

λ k-1 i-1 µk
(λ + µ
k

λk i µ k+1
) π = Flujo entrante
k

i+1

k

Proceso de Nacimiento y Muerte
La ecuación ☻se puede ver de la siguiente...