Markov

Cadenas de Markov
en Tiempo Discreto
Fabi´an Mancilla
U. de Santiago de Chile
fabian.mancillac@usach.cl

Fabi´
an Mancilla (Usach)

Modelos Estoc´
asticos

1 / 32

Cadenas de Markov
En esta unidad consideraremos procesos estoc´asticos de tiempo y estados
discretos. Es decir, procesos del tipo {Xn ; n ∈ N} donde Xn corresponden a
variables aleatorias discretas.
Un ejemplo de este tipo de procesoes el lanzamiento de una moneda repetidas
veces; Xk representa el resultado de la moneda en el k-´esimo lanzamiento, en
donde el espacio muestral es ΩXk = {cara, sello} = {0, 1}.

Propiedad markoviana
Se dice que el proceso {Xn ; n ∈ N} cumple con la propiedad markoviana de
primer orden si
P (Xn+1 = j/Xn = i, Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0 ) = pij
donde pij = P (Xn+1 = j/Xn = i) sedenomina probabilidad de transici´on en una
etapa.
Esta propiedad describe la falta de memoria de un proceso.
Fabi´
an Mancilla (Usach)

Modelos Estoc´
asticos

2 / 32

Cadenas de Markov

Propiedad de estacionariedad
El proceso {Xn ; n ∈ N} cumple con la propiedad de estacionariedad si la
probabilidad de transici´on en una etapa pij = P (Xn+1 = j/Xn = i) depende s´
olo
de i y de j, pero no de n.Esta propiedad indica que el tiempo n no influye en la probabilidad de transici´on,
por tanto se puede tener que
P (Xn+1 = j/Xn = i) = P (X1 = j/X0 = i),
en donde X0 indica el estado inicial del proceso.
Un proceso estoc´astico {Xn ; n ∈ N} que cumple con la propiedad markoviana y
de estacionariedad se denomina Cadena de Markov homog´enea.

Fabi´
an Mancilla (Usach)

Modelos Estoc´
asticos

3 / 32Matriz de transici´on
Se acostumbra a presentar las probabilidades de transici´
on como las componentes
de una matriz P de n × n, en donde n corresponde al n´
umero de estados que
puede tomar la cadena.
Ejemplo: Consideremos nuevamente el lanzamiento de una moneda honesta que
se lanza varias veces al aire.
Sea Xk el resultado del lanzamiento de la moneda en el k-´esimo lanzamiento.
Sabemos queΩXk = {cara, sello}, adem´as #ΩXk = 2, por lo tanto la matriz de
transici´
on (en una etapa) es:

cara

cara

sello

p11

p12

P =
sello

p21

p22



=

1/2

1/2

1/2

1/2




Este tipo de matrices se denominan matrices estoc´asticas debido a que, para
cualquier fila i, se tiene j pij = 1.
Fabi´
an Mancilla (Usach)

Modelos Estoc´
asticos

4 / 32

Diagrama de Transici´on
Es posible representargr´aficamente una cadena de Markov mediante una grafo
dirigido, en el cual cada estado es representado por un nodo y cada probabilidad
de transici´
on pij > 0 es representada por un arco entre los nodos i y j.
En el ejemplo del lanzamiento de la moneda el diagrama de transici´on es el
siguiente:
1
2
1
2

cara

sello

1
2

1
2

¿Este proceso corresponde a una cadena de Markov?

Fabi´
an Mancilla(Usach)

Modelos Estoc´
asticos

5 / 32

Probabilidad de Transici´on de n-etapas
Probabilidad de Transici´on de n-etapas
Se denota por pij (n) la probabilidad que la cadena pase del estado i al estado j
despu´es de n etapas. Es decir, si {Xn ; n ∈ N} es una cadena de Markov entonces:
pij (n) = P (Xm+n = j/Xm = i)
Ejemplo: Consideremos la probabilidad de transici´
on de dos etapas pij (2)
definidacomo pij (2) = P (Xm+2 = j/Xm = i). Si asumimos m = 0, entonces
pij (2) = P (X2 = j/X0 = i) =

P (X2 = j, X1 = k/X0 = i)
k

=

P (X2 = j/X1 = k, X0 = i)P (X1 = k/X0 = i)
k

=

P (X2 = j/X1 = k)P (X1 = k/X0 = i)
k

=

pik pkj
k

Fabi´
an Mancilla (Usach)

Modelos Estoc´
asticos

6 / 32

Ecuaciones de Chapman-Kolmogorov
El siguiente resultado establece una clase de ecuaciones las cuales entreganuna
generalizaci´
on del resultado del ejemplo anterior.

Ecuaciones de Chapman-Kolmogorov
Para todo 0 < r < n se tiene pij (n) =

pik (r)pkj (n − r).
k

Esta proposici´
on establece que la probabilidad de ir desde el estado i hasta el
estado j al finalizar n transiciones es el producto entre la probabilidad de ir desde
el estado i hasta un estado intermedio k despu´es de r transiciones y la...