Cadenas De Markov

Clase # 6

Se ha venido suponiendo que el parámetro t del tiempo es discreto (es decir t = 0,1,...).

Cadenas de Markov de tiempo continuo

Tal suposición es adecuada para muchos problemas, pero existen ciertos casos (como en algunos modelos de líneas de espera) en los que se requiere un parámetro de tiempo continuo , debido a que el proceso se está observando de manera continua a travésdel tiempo.
6-1 6-2

Diseñó: Andrés Gómez

Sean: Estados posibles del sistema 0,1,..,M Los estados son discretos t´=r t´=s t ´ = s+t Tiempo pasado Tiempo presente t unidades al futuro

Tiempo

t ´ : Parámetro continuo

El sistema se observa en los tiempos r y s, y sus respectivos estados son X(s) = i
6-3

X(r) = x(r)
6-4

¿ Cuál es la distribución de probabilidad del estado delsistema en el tiempo t ´ = s+t ?

Un proceso estocástico de tiempo continuo tiene la propiedad Markoviana si P { X(s+t) = j | X(s) = i y X(r) = x(r) } = P { X(s+t) = j | X(s) = i}

Es decir P { X(s+t) = j | X(s) = i y X(r) = x(r) } para j=0,1,...,M

para j=0,1,...,M

para toda r ≥ 0 s>r y t>0

P { X(s+t) = j | X(s) = i}
6-5

Probabilidad de transición igual que en eventos discretos
6-61

Si las probabilidades de transición son independientes de s, de manera que P { X(s+t) = j | X(s) = i } = P { X(t) = j | X(0) = i } para toda s > 0 Se llaman Probabilidades de transición estacionarias

Se supone que Lim pij (t)
t 0

1 0

si i = j si i ≠ j

Algunas variables aleatorias importantes Se denotan por pij(t) = P { X(t) = j | X(0) = i }
Función de probabilidad detransición de tiempo continuo
6-7

Sea la variable aleatoria Ti : el tiempo que pasa cada vez que el proceso está en un estado i antes de ir a otro estado diferente
6-8

Si el proceso entra en i en el tiempo s, entonces para t>0 , se observa que Ti > t si y sólo si X(t´)=i para t´ en s ≤ t´ ≤ s+t

Por tanto la propiedad Markoviana probabilidades de transición estacionarias

con

P { X(s+t) = j| X(s) = i } = P { X(t) = j | X(0) = i } i Implica que s t´ t P { Ti > t+s | Ti > s} = P { Ti > t}

6-9

6-10

Esta propiedad de la variable aleatoria Ti se conoce como la falta de memoria

Existe sólo una distribución continua con esta propiedad

La exponencial

Se expresa diciendo que

La distribución del tiempo que falta para que el proceso haga una transición fuera de un estadodado, es la misma independientemente de cuánto tiempo haya pasado.

Está definida por P { Ti > t} = 1 - e-qt para t ≥ 0

La función de densidad es f(t) qe-qt con media 1/q
6-11 6-12

2

Intensidades de transición Sea pij la probabilidad de pasar de un estado i a otro distinto (sin considerar el tiempo). Definamos pij (t) : P { X(t) = j | X(0) = i } Entonces pii = 0 para todo i qi : Tasade transición hacia fuera del estado i por unidad de tiempo que pasa en i para todo i qij : Tasa de transición del estado i al j por unidad de tiempo que pasa en i
6-13 6-14

pij :

P { Pasar a j | Se está en i }

j=0

Σ pij =1
M

qi = Lim
t 0

Pi (otro≠ i) (t) ≠ t

= Lim
t 0

1-pii (t) t

qij = Lim
t 0

Pij (t) t

= Lim
t 0

pij (0+t) - 0 t

-(pii (t) - 1) = Lim t t0 = -dpii (0) dt

(p (0+t) - pii (0) = - Lim ii t t 0 Para i = 1,2,...M

= Lim
t 0

pij (0+t) - pij (0) t Para toda j ≠ i

=

dpij (0) dt

qi =

-dpii (0) dt

qij =

dpij (0) dt
6-16

6-15

qij = qi pij
∀ j≠ i ∀ ≠

qi =

Σ qij ≠ ≠
i j

Probabilidades de estado estable ChapmanKolmogorov para procesos continuos

Sea Tij una variable aleatoria que representa eltiempo que el proceso permanece en el estado i antes de pasar al j ( si no ocurre una transición a otro estado).

pij(t) =

Σ =
k

M

1

pik (s) * pkj (t - s)

Tij tiene una distribución exponencial con parámetro qij , es decir con media 1/ qij

Los estados i,j se comunican si existen tiempos t1 ,t2 tales que pij(t 1 ) > 0 y pji(t2 ) > 0

6-17

6-18

3

Una cadena de Markov...