Ingenierio

Tema 5 CADENAS DE MARKOV
Una cadena de Markov es un proceso de Markov que toma valores en un conjunto I ⊆ Z. A estos valores que puede tomar se les llama estados de la cadena e I es el espacio de estados. La propiedad esencial de estos procesos es que, dados k instantes t1 < · · · < tk cualesquiera y k estados i1 , ..., ik (k ∈ N), se tiene: P (X(t1 ) = i1 , ..., X(tk ) = ik ) = P (X(t1 ) = i1)P (X(t2 ) = i2 |X(t1 ) = i1 ) · · · P (X(tk ) = ik |X(tk−1 ) = ik−1 ) El esquema es: (Prob. en el primer instante) × (Cadena de probs. de transici´n) o (5.1)

5.1.

Cadenas en tiempo discreto

Como se deduce de lo anterior, un elemento fundamental en el estudio de las cadenas de Markov son las probabilidades de transici´n entre estados. En el momento o en que hablamos de tiempo discretoaparece el concepto de instantes consecutivos, lo que nos lleva a distinguir entre probabilidades de transici´n en un s´lo paso y en o o varios pasos. Como veremos las segundas se pueden obtener f´cilmente a partir de las a primeras.

5.1.1.

Probabilidades de transici´n o

Se definen las probabilidades de transici´n en un s´lo paso como sigue: o o

1

TEMA 5. CADENAS DE MARKOV

2

pij(n) = P (Xn = j|Xn−1 = i) A partir de ahora nos referiremos a ellas simplemente como probabilidades de transici´n de la cadena. o Decimos que la cadena tiene probabilidades de transici´n homog´neas si o e estos valores son independientes de n, es decir, pij (n) = pij para todo i, j ∈ I y todo n ∈ N. Ahora la propiedad 5.1 se puede expresar como: P (X0 = i0 , X1 = i1 , ..., Xn−1 = in−1 , Xn = in ) =pi0 (0)pi0 i1 · · · pin−1 in donde estamos usando la notaci´n pi (n) ≡ P (X(n) = i). o A la hora de aplicar esta propiedad nos ser´ util trabajar con la llamada matriz a´ de probabilidades de transici´n: o   p00 p01 p02 · · ·   P =  p10 p11 p12 · · ·  . . . . . . . . . a Observaci´n: Por la forma en que la hemos definido, las filas de esta matriz sumar´n o siempre 1, es lo que se llama unamatriz estoc´stica. a Como veremos, las probabilidades de transici´n en k pasos se obtienen a partir de o ´stas, por lo que la distribuci´n de una cadena de Markov en tiempo discreto queda e o determinada por P y p(0) (distribuci´n inicial). o Ejemplo 5.1. Una cadena con dos estados presentar´ el siguiente diagrama de tranıa sici´n: o
α

1

2

β

y la siguiente matriz de probabilidades detransici´n: o P = 1−α α β 1−β

TEMA 5. CADENAS DE MARKOV

3

Ejemplo 5.2. El proceso binomial es una cadena de Markov con diagrama de transici´n: o
q q q q

0 p

1 p

2 p

3 p

···

y matriz de probabilidades de transici´n: o  1−p p 0  0 1−p p  P = 0 0 1−p  . . . . . . . . .

 0 ··· 0 ···   p ···   . . .

5.1.2.

Probabilidades de transici´n en k pasos o
P (Xn =i, Xn+2 = j) = P (Xn = i)

Podemos calcular una probabilidad de transici´n en dos pasos del siguiente modo: o P (Xn+2 = j|Xn = i) = P(
k (Xn

= i ∩ Xn+1 = k ∩ Xn+2 = j)) = P (Xn = i)

k

P (Xn = i)P (Xn+1 = k|Xn = i)P (Xn+2 = j|Xn+1 = k) P (Xn = i)

Cancelando t´rminos llegamos a que: e P (Xn+2 = j|Xn = i) =
k

pik pkj

que resulta ser precisamente el elemento (i, j) de la matrizP 2 . Razonando de forma similar se observa que, en general, la probabilidad P (Xn+k = j|Xn = i) coincide ser el elemento (i, j) de la matriz P k . Ejemplo 5.3. En el sistema con dos estados del ejemplo 5.1, sean α = 1/4 y β = 1/2. Entonces:

TEMA 5. CADENAS DE MARKOV

4

P =

3/4 1/4 1/2 1/2

→ P2 =

11/16 5/16 5/8 3/8

Podemos decir ahora, por ejemplo, que P01 (2) = 5/16.5.1.3.

Probabilidades de estado

Se definen las probabilidades de estado en el instante n como los valores de la forma pi (n) ≡ P (Xn = i) para cada i ∈ I. As´ ımismo, se define el vector de probabilidades de estado en el instante n como: p(n) = (p0 (n), p1 (n), ..., pi (n), ...) L´gicamente los elementos de este vector deben verificar o pi (n) = 1
i∈I

Por otra parte se tiene que: pj (n) = P...