Cadenas De Markov

Cadenas de Markov

Cadenas de Markov
Hace m´s de un siglo se escribi´ el primer trabajo seminal sobre Cadenas a o de Markov y a´n siguen siendo un instrumento tremendamente util de u ´ modelaci´n estoc´stica. o a

Su importancia obedece a dos razones:
1

Muchos ejemplos f´ ısicos, biol´gicos, econ´micos y sociales puedes ser o o descritos con ellas. Son modelos sencillos y su teor´ est´ biendesarrollada. ıa a
Procesos Estoc´sticos a Diciembre 2008 1 / 14

2

Ra´l Jim´nez y Rosario Romera (UC3M) u e

Cadenas de Markov

Definici´n o
El proceso {Xn } es una Cadena de Markov (CM) si para cualquier n ∈ N, j, i, in−1 , . . . , i0 ∈ S (espacio de estados) P(Xn+1 = j|Xn = i, Xn−1 = in−1 , . . . , X0 = i0 ) = P(Xn+1 = j|Xn = i) Esta expresi´n es llamada propiedad de Markov y establece que dado elo presente cualquier otra informaci´n del pasado es irrelevante para predecir o el futuro. Nos restringiremos al caso temporalmente homog´neo, en el cual la e probabilidad P(Xn+1 = j|Xn = i) = p(i, j) no depende del tiempo n. La matriz P con componente [P]i,j = p(i, j) es llamada matriz de transici´n de la cadena {Xn }. o

Ra´l Jim´nez y Rosario Romera (UC3M) u e

Procesos Estoc´sticos aDiciembre 2008

2 / 14

Cadenas de Markov

Ejemplo 1: Ruina del jugador
A y B son jugadores que tienen k y N − k euros respectivamente. Lanzan una moneda repetidamente y en cada turno B le paga a A un euro si es cara. En caso contrario A le paga un euro a B. El juego termina cuando uno de los jugadores se arruina. La cantidad de euros que A tiene luego de n turnos es una CM con probabilidades detransici´n o 1 p(i, i − 1) = p(i, i + 1) = , si 0 < i < N, 2 p(0, 0) = p(N, N) = 1 y p(i, j) = 0 en caso contrario A veces es util representar la cadena por un diagrama. Para el ejemplo ´ anterior, con N = 4, ser´ ıa
1/2 1 1/2 1/2 1/2

0

1
1/2

2
1/2

3

4

1

Ra´l Jim´nez y Rosario Romera (UC3M) u e

Procesos Estoc´sticos a

Diciembre 2008

3 / 14

Cadenas de Markov

Ejemplo 2: Urnas de EhrenfestConsidere la CM que toma valores en {0, 1, . . . , a} con probabilidades de transici´n o  i si j = i + 1  1− a i P(Xn+1 = j|Xn = i) = si j = i − 1  a 0 en cualquier otro caso En forma matricial, para a = 5, 0 1 2 0 0 1 0 1 1 0 4 5 5 2 2 0 5 0 3 0 0 3 5 4 0 0 0 5 0 0 0 3 4 5 0 0 0 0 0 0 3 5 0 0 0 2 0 5 1 1 5 0 5 0 1 0 Se tienen dos urnas, con a bolas repartidas dentro de ellas, y en cada etapa seescoge una bola al azar y se cambia de urna. La cadena Xn representa el n´mero de bolas de u una de las urnas tras n etapas.

Ra´l Jim´nez y Rosario Romera (UC3M) u e

Procesos Estoc´sticos a

Diciembre 2008

4 / 14

Cadenas de Markov

Ecuaciones de Chapman-Kolmogorov
Usando la propiedad de Markov y la homogeneidad temporal, es f´cil a comprobar que la probabilidad de ir de i a j en m etapas esP(Xm = j|X0 = i) =
k

p(i, k)P(Xm−1 = j|X0 = k)

Iterando, se obtiene que P(Xm = j|X0 = i) = p m (i, j) Es decir, la probabilidad de ir de i a j en m etapas es el elemento (i, j) de P m . La esencia de las ecuaciones anteriores est´ recogida en las a ecuaciones de Chapman-Kolmogorov p m+n (i, j) =
k
Ra´l Jim´nez y Rosario Romera (UC3M) u e Procesos Estoc´sticos a Diciembre 2008 5 / 14

p m (i, k)p n(k, j)

Cadenas de Markov

Conjuntos cerrados e irreductibles
Decimos que: j es accesible desde i (i → j) si, para alg´n n, p n (i, j) > 0 u los estados i y j se comunican entre si (i ↔ j) si i → j y j → i. Un conjunto de estados es: cerrado si no existe ning´n estado fuera del conjunto que sea u accesible desde adentro del conjunto. Es decir, una CM no puede escapar de un conjunto cerrado.irreductible, si todos los estados del conjunto se comunican entre si. Si el conjunto de estados de una CM es irreductible entonces la cadena puede visitar cualquier estado del conjunto. Como ejemplo, considere la CM asociada a la ruina del jugador con N euros en juego. Entonces, {0, N} es cerrado pero no es irreductible y {1, . . . , N − 1} es irreductible pero no es cerrado.
Ra´l Jim´nez y Rosario...