Cadenas de markov

Cap´
ıtulo 3:
Cadenas de Markov.
Una propiedad de especial importancia que poseen los ya estudiados caminos aleatorios
y procesos de ramificaci´n, es que sus valores en el n−´simo paso s´lo dependen de
o
e
o
los valores en el (n − 1)−´simo paso, y no de los anteriores. Esta propiedad conocida
e
como propiedad markoviana es de gran importancia en el estudio de estos procesos, y
en elestudio general de la teor´ de procesos estoc´sticos, y por ello prestamos especial
ıa
a
dedicaci´n en este cap´
o
ıtulo. A lo largo del cap´
ıtulo se supondr´ que trabajamos con
a
procesos de par´metro discreto, que toman valores discretos en un conjunto numerable.
a

3.1.

Cadenas de Markov

Definici´n 3.1 Un proceso X = {Xn : n ≥ 0}, es una cadena de Markov si satisface
o
lasiguiente condici´n, llamada condici´n de Markov:
o
o
P (Xn = xn | X0 = x0 , X1 = x1 , . . . , Xn−1 = xn−1 ) = P (Xn = xn | Xn−1 = xn−1 )
∀n ≥ 1 y ∀x0 , x1 , . . . , xn−1 , xn ∈ S.
Observaci´n: Intuitivamente, se interpreta esta ecuaci´n como que, dado el “presente”
o
o
del proceso, el “futuro” es independiente del “pasado”. Es decir, una cadena de Markov
es una sucesi´n de v.a. que “ven elpasado a trav´s del ultimo suceso”.
o
e
´
Nota 3.1 La propiedad markoviana es equivalente a cualquiera de las siguientespropiedades:
1. P (Xn = xn |Xn1 = xn1 , Xn2 = xn2 , . . . , Xnk = xnk ) = P (Xn = xn |Xnk = xnk )
∀n ≥ 0, ∀k; 0 ≤ n1 ≤ n2 ≤ . . . ≤ nk ≤ n; xn1 , . . . , xnk , xn ∈ S.

2. P (Xn+m = xn+m | X0 = x0 , . . . , Xn = xn ) = P (Xn+m = xn+m | Xn = xn )
∀n ≥ 0, m ≥ 1; x0 , . . . ,xn , xn+m ∈ S.

Es decir, el valor en el instante n−´simo depende solamente de la ultima observaci´n,
e
´
o
que no tiene porque ser la del instante (n − 1)−´simo.
e
41

Nota 3.2 La evoluci´n de una cadena de Markov viene descrita por sus “probabilidades
o
de transici´n”, pn = P (Xn+1 = j | Xn = i), que en un principio dependen de n, i y j.
o
ij
Restringiremos nuestro estudio alcaso de que no dependa de n , y s´lo sean relevantes i
o
y j.
No obstante, se˜ alar que cuando las probabilidades de transici´n dependan de la etapa
n
o
n, se dir´ que la cadena de Markov es no homog´nea.
a
e
Definici´n 3.2 Diremos que una cadena de Markov X es homog´nea si
o
e
P (Xn+1 = j | Xn = i) = P (X1 = j | X0 = i) ∀n,
es decir, la probabilidad de transici´n no depende de la etapan.
o
Nota 3.3 A partir de ahora consideraremos que todas las cadenas de Markov que tratemos
son homog´neas, a no ser que se diga expl´
e
ıcitamente lo contrario.
Definici´n 3.3 Dada una cadena de Markov X , definimos su matriz de transici´n,
o
o
P, como la matriz de las probabilidades de transici´n de dimensi´n |S| × |S|, Esto
o
o
es:
P = (pij )i,j∈S donde pij = P (X1 = j | X0 = i).Ejemplo: (El clima en la tierra de Oz)
Seg´n el cuento, en la tierra de Oz nunca hay dos d´ seguidos con buen tiempo. A
u
ıas
un d´ soleado siempre le sigue (con igual probabilidad) un d´ de lluvia o nieve. Por otra
ıa
ıa
parte, si un d´ tenemos mal tiempo hay 2 posibilidades, que el tiempo sea el mismo al d´
ıa
ıa
siguiente o que cambie. De este modo, si un d´ nieva (o llueve) al d´siguiente nevar´ (o
ıa
ıa
a
o
a
llover´) con probabilidad 1 ; pero si cambia el tiempo s´lo la mitad de las veces ser´ un
a
2
d´ soleado.
ıa
Resoluci´n:
o
Sea Xn ≡ Tiempo en la tierra de Oz el d´ n-´simo.
ıa e
(Xn ) es una cadena de Markov, ya que el tiempo en el d´ n-´simo s´lo
ıa e
o
depender´ del tiempo que haga el d´ anterior.
a
ıa
Para estudiar este problema, en primer lugarcalculamos las probabilidades de transici´n; es decir, las probabilidades de que teniendo cierto tiempo un d´ determinado al
o
ıa
d´ siguiente el tiempo cambie. Para ello, notaremos por s si el d´ est´ soleado, con l si
ıa
ıa
a
llueve y con n si nieva.

42

pss = 0
psl = 1/2
psn = 1/2
pll = 1/2
pls = 1/4
pln = 1/4
pnn = 1/2
pnl = 1/4
pns = 1/4

de
de
de
de
de
de
de
de...