Actuaria

Cap´ ıtulo 3: Cadenas de Markov.
Una propiedad de especial importancia que poseen los ya estudiados caminos aleatorios y procesos de ramificaci´n, es que sus valores en el n−´simo paso s´lo dependen de o e o los valores en el (n − 1)−´simo paso, y no de los anteriores. Esta propiedad conocida e como propiedad markoviana es de gran importancia en el estudio de estos procesos, y en el estudiogeneral de la teor´ de procesos estoc´sticos, y por ello prestamos especial ıa a dedicaci´n en este cap´ o ıtulo. A lo largo del cap´ ıtulo se supondr´ que trabajamos con a procesos de par´metro discreto, que toman valores discretos en un conjunto numerable. a

3.1.

Cadenas de Markov

Definici´n 3.1 Un proceso X = {Xn : n ≥ 0}, es una cadena de Markov si satisface o la siguiente condici´n,llamada condici´n de Markov: o o P (Xn = xn | X0 = x0 , X1 = x1 , . . . , Xn−1 = xn−1 ) = P (Xn = xn | Xn−1 = xn−1 ) ∀n ≥ 1 y ∀x0 , x1 , . . . , xn−1 , xn ∈ S. Observaci´n: Intuitivamente, se interpreta esta ecuaci´n como que, dado el “presente” o o del proceso, el “futuro” es independiente del “pasado”. Es decir, una cadena de Markov es una sucesi´n de v.a. que “ven el pasado a trav´s del ultimosuceso”. o e ´ Nota 3.1 La propiedad markoviana es equivalente a cualquiera de las siguientespropiedades: 1. P (Xn = xn |Xn1 = xn1 , Xn2 = xn2 , . . . , Xnk = xnk ) = P (Xn = xn |Xnk = xnk ) ∀n ≥ 0, ∀k; 0 ≤ n1 ≤ n2 ≤ . . . ≤ nk ≤ n; xn1 , . . . , xnk , xn ∈ S. 2. P (Xn+m = xn+m | X0 = x0 , . . . , Xn = xn ) = P (Xn+m = xn+m | Xn = xn ) ∀n ≥ 0, m ≥ 1; x0 , . . . , xn , xn+m ∈ S. Es decir, el valor en elinstante n−´simo depende solamente de la ultima observaci´n, e ´ o e que no tiene porque ser la del instante (n − 1)−´simo. 41

Nota 3.2 La evoluci´n de una cadena de Markov viene descrita por sus “probabilidades o de transici´n”, pn = P (Xn+1 = j | Xn = i), que en un principio dependen de n, i y j. o ij Restringiremos nuestro estudio al caso de que no dependa de n , y s´lo sean relevantes i o yj. No obstante, se˜ alar que cuando las probabilidades de transici´n dependan de la etapa n o n, se dir´ que la cadena de Markov es no homog´nea. a e Definici´n 3.2 Diremos que una cadena de Markov X es homog´nea si o e P (Xn+1 = j | Xn = i) = P (X1 = j | X0 = i) ∀n, es decir, la probabilidad de transici´n no depende de la etapa n. o Nota 3.3 A partir de ahora consideraremos que todas las cadenasde Markov que tratemos son homog´neas, a no ser que se diga expl´ e ıcitamente lo contrario. Definici´n 3.3 Dada una cadena de Markov X , definimos su matriz de transici´n, o o P, como la matriz de las probabilidades de transici´n de dimensi´n |S| × |S|, Esto o o es: P = (pij )i,j∈S donde pij = P (X1 = j | X0 = i). Ejemplo: (El clima en la tierra de Oz) Seg´n el cuento, en la tierra de Oz nunca haydos d´ seguidos con buen tiempo. A u ıas un d´ soleado siempre le sigue (con igual probabilidad) un d´ de lluvia o nieve. Por otra ıa ıa parte, si un d´ tenemos mal tiempo hay 2 posibilidades, que el tiempo sea el mismo al d´ ıa ıa siguiente o que cambie. De este modo, si un d´ nieva (o llueve) al d´ siguiente nevar´ (o ıa ıa a o a llover´) con probabilidad 1 ; pero si cambia el tiempo s´lo lamitad de las veces ser´ un a 2 d´ soleado. ıa Resoluci´n: o Sea Xn ≡ Tiempo en la tierra de Oz el d´ n-´simo. ıa e (Xn ) es una cadena de Markov, ya que el tiempo en el d´ n-´simo s´lo ıa e o depender´ del tiempo que haga el d´ anterior. a ıa Para estudiar este problema, en primer lugar calculamos las probabilidades de transici´n; es decir, las probabilidades de que teniendo cierto tiempo un d´determinado al o ıa d´ siguiente el tiempo cambie. Para ello, notaremos por s si el d´ est´ soleado, con l si ıa ıa a llueve y con n si nieva.

42

pss = 0 psl = 1/2 psn = 1/2 pll = 1/2 pls = 1/4 pln = 1/4 pnn = 1/2 pnl = 1/4 pns = 1/4

de de de de de de de de de

un un un un un un un un un

d´ ıa d´ ıa d´ ıa d´ ıa d´ ıa d´ ıa d´ ıa d´ ıa d´ ıa

soleado a un d´ soleado ıa soleado a un...