Tacometro

Cálculo científico y técnico con
HP49g/49g+/48gII/50g
Módulo 3: Aplicaciones
Tema 3.5 Cadenas de Markov
Francisco Palacios
Escuela Politécnica Superior de Ingeniería de Manresa
Universidad Politécnica de Catalunya
Dep. Matemática Aplicada III
Abril 2008, versión 1.3

1
1.1

Introducción
Matriz de transición

Consideremos el siguiente grafo

donde los nodos P1 , P2 , P2 , P4 ,representan los estados de un sistema y los
arcos las posibles transiciones. La variable Xk indica el estado del sistema
−→
−
en la etapa k. El arco P1 P2 tiene asociado el valor 0.5, este número es el
valor de la probabilidad condicionada de que el sistema evolucione al estado
P2 si actualmente está en el estado P1 , esto es
Pr(Xk+1 = P2 |Xk = P1 ) = 0.5.
En general, definimos
mij = Pr(Xk+1= Pi |Xk = Pj )
1

como la probabilidad de que el sistema evolucione al estado Pi si actualmente
se encuentra en el estado Pj. En el grafo del ejemplo podemos observar
m22 = 0.5,

m24 = 1,

m43 = 0.8.

La matriz de transición en una etapa M recoge los valores mij .
⎛
⎜
⎜
⎝

M =⎜

0
0
0
0.5 0.5
0
0 0.5 0.2
0.5
0 0.8

0
1
0
0

⎞
⎟
⎟
⎟
⎠

La columna j de Mcontiene las probabilidades de transición desde Pj . Así
vemos que la tercera columna indica que desde P3 se puede permanecer en
P3 con probabilidad 0.2 o bien pasar a P4 con probabilidad 0.8.

1.2

Vector de estado

La situación del sistema en la etapa k queda definida por un vector de estado

(k)

p

⎛

(k)

p1
(k)
p2
(k)
p3
(k)
p4

⎜
⎜
=⎜
⎜
⎝

⎞
⎟
⎟
⎟
⎟
⎠

Elvector de estado indica la probabilidad de que el sistema se encuentre en
cada uno de los estados en la etapa k. Por ejemplo el vector de estado
⎛
⎜
⎜
⎝

p(0) = ⎜

0
0.5
0.5
0

⎞
⎟
⎟
⎟
⎠

indicaría que, inicialmente, el sistema puede encontrarse en estado P2 o en
P3 con una probabilidad del 50%.
El vector estado en la etapa k + 1 puede calcularse multiplicando por la
matrizde transición por el vector de estado p(k) , esto es
p(k+1) = M p(k) .
Por ejemplo, si en la etapa k = 3 tenemos el vector de estado
⎛
⎜
⎜
⎝

p(3) = ⎜
2

0.25
0.25
0.25
0.25

⎞

⎟
⎟
⎟.
⎠

El vector de estado en la etapa siguiente k = 4 es
⎛
⎜
⎜
⎝

p(4) = ⎜

0
0
0
0.5 0.5
0
0 0.5 0.2
0.5
0 0.8

0
1
0
0

⎞⎛
⎟⎜
⎟⎜
⎟⎜
⎠⎝

0.25
0.25
0.25
0.25

⎞⎛

⎟⎜
⎟⎜
⎟=⎜
⎠⎝

0
0. 5
0. 175
0. 325

⎞
⎟
⎟
⎟
⎠

Actividad 1.1 Calcula manualmente el vector p(4) del ejemplo anterior.

1.3

Transición en n etapas

El vector de estado tras n etapas puede obtenerse multiplicando el vector
de estado actual por M n
p(k+n) = M n p(k) ,
la matriz de transición en n etapas es, por lo tanto, M (n) = M n .
Para nuestro ejemplo, la matrizde transición en 2 etapas es
⎛
⎜
⎜
⎝

M (2) = M 2 = ⎜

0
0
0
0
0.75 0.25 0.8 0.5
0.25 0.35 0.04 0.5
0
0.4 0.16 0

⎞
⎟
⎟
⎟
⎠

Actividad 1.2 Calcula manualmente la matriz M 2 del ejemplo anterior.
Actividad 1.3 Calcula el vector de estado p(4) si el sistema se encuentra
inicialmente en P1 , es decir si p(0) = (1, 0, 0, 0)T .

1.4

Estado estacionario

Cuando partiendodesde cualquier vector de estado inicial el sistema alcanza,
a largo plazo, siempre un mismo vector de estado, decimos que el sistema
ha alcanzado el vector de estado estacionario. Si representamos por p(∞) el
vector de estado estacionario, resulta
p(∞) = lim M n p(0) .
n→∞

Para que el límite anterior exista, las potencias de la matriz de transición
deben converger a una matriz M (∞)
limM n = M (∞) .

n→∞

La matriz M (∞) tiene una estructura peculiar: todas sus columnas son iguales al vector de estado estacionario p(∞) .

3

Para la matriz de transición
⎛
⎜
⎜
⎝

M =⎜

0
0
0
0.5 0.5
0
0 0.5 0.2
0.5
0 0.8

0
1
0
0

⎞
⎟
⎟
⎟
⎠

podemos estimar M ∞ calculando una potencia suficiente grande de M , en
particular, si calculamos la potencia 30 de...