Procesos De Markov

Chapter 2 Procesos de Markov de Salto Puro o Cadenas de Markov a tiempo continuo.
En este capítulo estudiaremos una clase de procesos estocásticos que constituye una generalización de los dos capítulos anteriores. En las cadenas de Markov, estudiamos procesos a tiempo y espacio de estados discreto. En la capítulo anterior estudiamos a los procesos de Poisson, que constituyen una generalizaciónde las cadenas de Markov puesto que son procesos a tiempo continuo y cuyo espacio de estados es Z+ . Vimos que los procesos de Poisson homogéneos permanecen en un nivel k durante un tiempo aleatorio que sigue una ley exponencial de parámetro λ y brinca al estado k + 1 donde permanecerá otro tiempo exponencial del mismo parámetro λ, y así sucesivamente. Vimos que los procesos de Poisson están regidopor un reloj aleatorio cuya alarma suena al final de periodos de longitud exponencial de parámetro λ que es el mismo para todos los estados del proceso de Poisson. Los procesos que estudiaremos ahora generalizan estas ideas en tres aspectos: el espacio de estados será cualquier conjunto S discreto, el parámetro λ del tiempo exponencial durante el cual el proceso permanece en cualquier estado x ∈ Edependerá del estado y al sonar el reloj aleatorio el proceso brincara a cualquier estado y ∈ E \ {x}. Veremos que los procesos que acabamos de describir verbalmente son procesos de Markov a tiempo continuo y espacio de estados discretos y por supuesto mucho mas generales que los procesos de Poisson. 68

2.1. CONSTRUCCIÓN

69

2.1

Construcción

Supongamos que el proceso que estudiamostiene por estado inicial x0 ∈ E, en el cual permanece durante un tiempo τ1 , instante al cual al proceso brinca a algún estado x1 ∈ E \ {x0 }. Permitiremos que el proceso no se mueva de x0 , es decir que τ1 = ∞. Si τ1 < ∞, entonces una vez que el estado alcanza el nivel x1 , el proceso permanece a ese nivel hasta un tiempo τ1 , instante al cual brinca a otro estado x2 ∈ E{x1 }. Si el estado nuncaparte de x1 pondremos τ2 = ∞. El procedimiento se repite infinitamente. Si para algún m τm = ∞, entonces tomaremos τn = ∞, para todo n > m. Entonces, si X(t) denota el estado del proceso descrito arriba, al tiempo t, tendremos que  x0    x1 X(t) = x2  . . . si 0 ≤ t < τ1 , si τ1 ≤ t < τ2 , si τ2 ≤ t < τ3 ,

(2.1.1)

t ≥ 0.

A un proceso definido de esta manera se le llama procesode saltos. Al parecer esta relación define un proceso no trivial para todo t ≥ 0, pero veremos que esto en general no es cierto. Veamos un ejemplo, supongamos que queremos describir el proceso de numero de rebotes de una pelota en el piso. Supongamos que el proceso describe el numero de rebotes de la pelota y por razones físicas se puede suponer que el el tiempo en segundos entre el n y n+1 saltoses 2−n . Entonces, xn = n y τn = 1 + 2−1 + 2−2 + · · · + 2−n = 2 − 1 . 2n

Por lo tanto τn < 2, para todo n ≥ 1, y τn ↑n→∞ 2. Según esta descripción, el proceso X(t) esta definido solamente para 0 ≤ t ≤< 2. Al tiempo 2, la pelota habrá hecho una infinidad de brincos, y por lo tanto sería apropiado definir X(t) = ∞ para t ≥ 2. En general si limn→∞ τn < ∞, diremos que el proceso X explota.Observación. En este caso es útil introducir un estado «auxiliar» que denotaremos por ∞, que lo pensaremos como un estado absorbente, y para

70CHAPTER 2. PROCESOS DE MARKOV DE SALTO PURO O CADENAS DE MARKOV definir al proceso X para todo  x0    x1   (2.1.2) X(t) = x2 . . .     ∞ t ≥ 0, lo hacemos de la siguiente manera, si 0 ≤ t < τ1 , si τ1 ≤ t < τ2 , si τ2 ≤ t < τ3 , si limn→∞ τn ≤ t.

t≥ 0.

Así, en el caso explosivo el espacio de estados es E ∪ {∞}. En el caso en que limn→∞ τn = ∞, la relación (2.1.2) define al proceso X(t), para todo t ≥ 0. Hasta ahora no hay nada de estocástico en nuestra construcción, a lo cual nos dedicaremos enseguida. Para ello supondremos que hay dos tipos de estados absorbentes y no absorbentes. Como su nombre lo indica una vez que el proceso entra...