teorema de markov

Capítulo 10
Cadenas de Markov
PROCESOS ESTOCÁSTICOS

Una sucesión de observaciones X1 , X2 , . . . se denomina proceso estocástico
¨

Si los valores de estas observaciones no se pueden predecir exactamente

¨

Pero se pueden especificar las probabilidades para los distintos valores
posibles en cualquier instante de tiempo.

X1 : v.a. que define el estado inicial del proceso
Xn :v.a. que define el estado del proceso en el instante de tiempo n
Para cada posible valor del estado inicial s1 y para cada uno de los sucesivos
valores sn de los estados Xn , n = 2, 3, . . ., especificamos:
P (Xn+1 = sn+1 | X1 = s1 , X2 = s2, . . . , Xn = sn )
103

104

Cadenas de Markov

CADENAS DE MARKOV
Una cadena de Markov es un proceso estocástico en el que
Si el estado actual Xn ylos estados previos X1 , . . . , Xn−1 son conocidos

⇓
La probabilidad del estado futuro Xn+1
F

No depende de los estados anteriores X1, . . . , Xn−1 , y

F

Solamente depende del estado actual Xn .

Es decir,
♣

Para n = 1, 2, . . . y

♣

Para cualquier sucesión de estados s1 , . . . , sn+1

P (Xn+1 = sn+1 | X1 = s1 , X2 = s2, . . . , Xn = sn ) =
= P (Xn+1 = sn+1 | Xn = sn)

Cadenas de Markov

105

EJEMPLO
Consideremos que en un locutorio telefónico con 5 líneas de teléfono en
un instante de tiempo dado puede haber un número cualquiera de líneas
ocupadas. Durante un periodo de tiempo se observan las líneas telefónicas
a intervalos de 2 minutos y se anota el número de líneas ocupadas en cada
instante.
¥

Sea X1 la v.a. que representa el número delíneas ocupadas al principio del
periodo.

¥

Sea X2 la v.a. que representa el número de líneas ocupadas cuando se
observa en el segundo instante de tiempo, 2 minutos más tarde.

¥

En general, n = 1, 2, . . . Xn es una v.a. que representa el número de
líneas ocupadas cuando se observan en el instante de tiempo n−ésimo.

♣

El estado del proceso en cualquier instante de tiempo es elnúmero de líneas
que están siendo utilizadas en ese instante.

♣

Un proceso estocástico como el que acabamos de describir se llama proceso
de parámetro discreto, ya que las líneas se observan en puntos discretos
a lo largo del tiempo.
Para que el proceso estocástico del número
de líneas ocupadas sea una cadena de Markov
es necesario que la probabilidad de cada posible número de
líneasocupadas en cualquier instante de tiempo
dependa solamente del número de
líneas ocupadas 2 minutos antes.

106

Cadenas de Markov

CADENAS DE MARKOV FINITAS
CON PROBABILIDADES DE
TRANSICIÓN ESTACIONARIAS
CADENA DE MARKOV FINITA
Es una cadena de Markov para la que existe sólo un número finito k de
estados posibles s1 , . . . , sk y en cualquier instante de tiempo la cadena está
en unode estos k estados.

PROBABILIDAD DE TRANSICIÓN
Es la probabilidad condicionada
P (Xn+1 = sj | Xn = si )

PROBABILIDAD DE TRANSICIÓN ESTACIONARIA

Una cadena de Markov tiene probabilidades de transición estacionarias si para cualquier par de estados si y sj existe una probabilidad de
transición pij tal que
P (Xn+1 = sj | Xn = si ) = pij para n = 1, 2, . . .

Cadenas de Markov

107MATRIZ DE TRANSICIÓN
MATRIZ ESTOCÁSTICA
Es una matriz cuadrada cuyos elementos son no negativos y tal que la
suma de los elementos de cada fila es igual a 1.
MATRIZ DE TRANSICIÓN EN UN SOLO PASO
Dada una cadena de Markov con k estados posibles s1 , . . . , sk y probabilidades de transición estacionarias.

Si pij = P (Xn+1





= sj |Xn = si ) =⇒ P = 


p11 · · ·
p21 · · ·.
.
.
pk1 · · ·

p1k
p2k
.
.
.
pkk







La matriz de transición P de cualquier cadena de Markov finita con
probabilidades de transición estacionarias es una matriz estocástica
EJEMPLO
Supongamos que el clima de una determinada región sólo puede ser soleado
(s1) o nublado (s2 ) y que las condiciones del clima en mañanas sucesivas forman
una cadena de Markov con...