cadenas de markov

Cadenas de Markov
Los procesos de paseo aleatorio en realidad son un caso particular de procesos más
generales que son las cadenas de Markov. En esencia, una cadena es un proceso en tiempo
discreto en el que una variable aleatoria Xn va cambiando con el paso del tiempo. Las
cadenas de Markov tienen la propiedad de que la probabilidad de que Xn = j sólo depende
del estado inmediatamenteanterior del sistema: Xn−1 . Cuando en una cadena dichas
probabilidades no dependen del tiempo en que se considere, n,
P (Xn = j | Xn−1 = i)
se denomina cadena homogénea, esto es, las probabilidades son las mismas en cada paso.

Probabilidades de Transición
En una cadena homogénea finita con m posibles estados E1 , E2 , . . . , Em se puede introducir la notación
pij = P (Xn = j | Xn−1 = i) ,donde i, j = 1, 2, . . . , m. Si pij > 0 entonces se dice que el estado Ei puede comunicar con
Ej . La comunicación puede ser mutua si también pji > 0.
Para cada i fijo, la serie de valores {pij } es una distribución de probabilidad, ya que
en cualquier paso puede ocurrir alguno de los sucesos E1 , E2 , . . . , Em y son mutuamente
excluyentes. Los valores pij se denominan probabilidades detransición que satisfacen la

1

condición
pij > 0,
m
X
pij = 1,
j=1

para cada i = 1, 2, . . . , m. Todos estos valores se combinan formando una matriz de
transición T de tamaño m × m, donde
⎡
⎢
⎢
T = [pij ] = ⎢
⎣

p12 · · · p1m
p22 · · · p2m
.
.
...
.
.
.
.
pm2 · · · pmm

p11
p21
.
.
.
pm1

⎤
⎥
⎥
⎥
⎦

Se puede observar que cada fila de la matriz es unadistribución de probabilidad, es decir,
Pm
j=1 pij = 1.
Observación.
Si las matrices A = [aij ] y B = [bij ] son matrices estocásticas, entonces C = A · B es
también estocástica.
Por la regla de multiplicación de matrices,
C = [cij ] = [aij ] · [bij ] =

"m
X

aik bkj

k=1

#

De este modo
m
X

cij =

j=1

m m
XX
j=1 k=1

aik bkj =

m
X
k=1

aik

m
X
j=1

bkj =m
X
k=1

aik · 1 = 1.

Una consecuencia es que cualquier potencia de la matriz T es también una matriz estocástica: T n .
(n)

Probabilidad pj

Una probabilidad de bastante interés es la probabilidad de llegar a Ej después de n
n o
(0)
.
pasos, dada una distribución de probabilidad pi
2

n o
(0)
es la probabilidad de que el sistema ocupe inicialmente el estado
Se observaque pi

Ei , de modo que

m
X

(0)

pi = 1.

i=1

(1)

Si se denomina pj a la probabilidad de alcanzar Ej en un solo paso, entonces, por el
teorema de probabilidad total
(1)
pj

=

m
X

(0)

pi pij .

i=1

Esto se puede expresar de forma vectorial: sean p(0) y p(1) los vectores fila de probabilidad
dados por

y

´
³
(0)
p(0) = p1 , . . . , p(0)
m
´
³
(1)p(1) = p1 , . . . , p(1) ,
m

donde p(0) es la distribución de probabilidad inicial y p(1) es la probabilidad de que se
alcance cada uno de los estados E1 , . . . , Em después de un paso. Con esta notación, se
puede expresar

h

(1)

p(1) = pj
donde T es la matriz de transición.

i

=

"m
X

(0)

#

pi pij = p(0) T

i=1

Del mismo modo,
p(2) = p(1) T = p(0) T 2
y en npasos,
p(n) = p(n−1) T = p(0) T n
donde

y de manera general,

´
³
(n)
p(n) = p1 , . . . , p(n)
m
p(n+r) = p(r) T n

3

(n)

NOTA: pj

es la probabilidad incondicional de estar en el estado Ej en el n-ésimo paso,

dado que la probabilidad inicial es p(0) , esto es,
(n)

P (Xn = j) = pj ,
que es tal que
m
X

(n)

pj

= 1.

j=1

(n)

Probabilidad de transiciónen n pasos pij
(n)

Se define pij como la probabilidad de que la cadena esté en el estado Ej después de
n pasos, dado que la cadena empezó en el estado Ei . Se tiene que
(n)

pij = P (Xn = j | X0 = i)
por la propiedad markoviana se tiene que
(n)

pij =

m
X
k=1

P (Xn = j, Xn−1 = k | X0 = i) ,

para n ≥ 2, ya que la cadena debe haber pasado por uno de los m posibles estados en...