Cadenas De Markov

Escuela de Matem´atica
1era. Escuela de Matem´
atica Pura y Aplicada
Guatemala 2012.
•
Curso 1
Introducci´
on a Cadenas de Markov1
Antonio Murillo Salas
Departamento de Matem´aticas
Universidad de Guanajuato.
Del 19 al 24 de noviembre de 2012.

1 Versi´
on

preliminar.

´Indice general
1. Cadenas de Markov
1.1. Definici´on y propiedades b´asicas
1.2. Clasificaci´on de estados . . . . .
1.3.Algunos modelos importantes .
1.4. An´alisis de un paso . . . . . . .

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

3
3
6
8
10

2. Caminatas aleatorias simples
14
2.1. Introducci´on . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.2. Propiedades de las caminatas aleatorias simples . . . . . . . . . . . . . . . . . . . . 16
2.3. Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3. Procesos de Galton-Watson
26
3.1. Funciones generadoras de probabilidades . . . . . . . . . . . . . . . . . . . . . . . .26
3.2. Una breve introducci´on a procesos de Galton-Watson . . . . . . . . . . . . . . . . . 30
3.3. Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

1

Introducci´
on

2

Cap´ıtulo 1
Cadenas de Markov
1.1.

Definici´
on y propiedades b´
asicas

Definici´
on 1.1.1 Un proceso estoc´astico es una colecci´on de variables aleatorias, {Xt ; t ∈ T },definidas sobre un mismo espacio de probabilidad (Ω, F, P), donde T es un conjunto de indices.
Para prop´ositos del presente curso, T = Z+ := {0, 1, 2, · · · } y las variables aleatorias Xt , t ∈ T ,
toman valores en alg´
un conjunto E (finito o numerable).
Definici´
on 1.1.2 La sucesi´on {Xn ; n ≥ 0} es llamada cadena de Markov si para todo n ≥ 1 y
cualquier colecci´on x0 , x1 , · · · , xn ∈ E secumple
P(Xn = xn |X0 = x0 , X1 = x1 , · · · , Xn−1 = xn−1 ),

(1.1)

siempre que P(X0 = x0 , X1 = x1 , · · · , Xn−1 = xn−1 ) > 0.
Observaciones:
(i) La identidad (1.1) es llamada propiedad de Markov.
(ii) La distribuci´on de X0 , π0 (x) := P(X0 = x) (x ∈ E), es llamada distribuci´on inicial de la
cadena.
(iii) La familia {P(Xn = y|Xn−1 = x); n ∈ N, x, y ∈ E} es conocida como familia deprobabilidades de transici´on de la cadena.
(iv) Si P(Xn = y|Xn−1 = x) no depende de n, se dice que la cadena es homog´enea con respecto
al tiempo. En tal caso, se escribe
pxy ≡ P(Xn = y|Xn−1 = x),

(1.2)

px,y es la probabilidad de pasar del punto x al punto y en un paso.
Por otro lado, en el caso de que la cadena sea homog´enea, para cada m ≥ 1 se define
p(m)
xy := P(Xn+m = y|Xn = y),
(m)

(1.3)

donde px,ydenota la probabilidad de pasar de x a y en m pasos. En el presente curso
s´
olo estudiar´
emos cadenas de Markov homog´
eneas.
3

(v) Para cada x, y ∈ E, se define
1, si x = y,
0, en otro caso.

p(0)
xy = δxy =

(vi) En el caso de que la cadena sea homog´enea, (pxy ; x, y ∈ E) es llamada matriz de transici´
on
de la cadena. Notemos que, la suma por renglones de los elementos de la matriz detransici´on
es 1. M´as precisamente,
pxy = 1, para todo x ∈ E.
y∈E

En efecto, sabemos que
1 = P(Ω) = P(X1 ∈ E|X0 = x)
= P(∪y∈E X1 = y|X0 = x)
=

P(X1 = y|X0 = x)
y∈E

=

pxy .
y∈E

La siguiente proposici´on nos dice como determinar la distribuci´on de una cadena de Markov
apartir de su distribuci´on inicial y sus probabilidades de transici´on.
Proposici´
on 1.1.3 La distribuci´on de {Xn , n ≥ 0}queda determinada por las probabilidades de
transici´on y la distribuci´on inicial, es decir, para cada n ∈ N y x0 , x1 , · · · , xn ∈ E
P(Xn = xn , Xn−1 = xn−1 , · · · , X0 = x0 ) = π0 (x0 )px0 x1 px1 x2 · · · pxn−1 xn .
Demostraci´
on: Usando varias veces la propiedad de Markov, tenemos que
P(Xn = xn , Xn−1 = xn−1 , · · · , X0 = x0 )
= P(Xn = xn |Xn−1 = xn−1 , · · · , X1 = x1 , X0 = x0 )P(Xn−1 =...