Cadenas de markov

Cadenas de Markov
Los procesos de paseo aleatorio en realidad son un caso particular de procesos más generales que son las cadenas de Markov. En esencia, una cadena es un proceso en tiempo discreto en el que una variable aleatoria Xn va cambiando con el paso del tiempo. Las cadenas de Markov tienen la propiedad de que la probabilidad de que Xn = j sólo depende del estado inmediatamente anteriordel sistema: Xn−1 . Cuando en una cadena dichas probabilidades no dependen del tiempo en que se considere, n, P (Xn = j | Xn−1 = i) se denomina cadena homogénea, esto es, las probabilidades son las mismas en cada paso.

Probabilidades de Transición
En una cadena homogénea finita con m posibles estados E1 , E2 , . . . , Em se puede introducir la notación pij = P (Xn = j | Xn−1 = i) , donde i, j =1, 2, . . . , m. Si pij > 0 entonces se dice que el estado Ei puede comunicar con Ej . La comunicación puede ser mutua si también pji > 0. Para cada i fijo, la serie de valores {pij } es una distribución de probabilidad, ya que en cualquier paso puede ocurrir alguno de los sucesos E1 , E2 , . . . , Em y son mutuamente excluyentes. Los valores pij se denominan probabilidades de transición quesatisfacen la

1

condición pij > 0, m X pij = 1,
j=1

para cada i = 1, 2, . . . , m. Todos estos valores se combinan formando una matriz de transición T de tamaño m × m, donde ⎡ ⎢ ⎢ T = [pij ] = ⎢ ⎣ ⎤ ⎥ ⎥ ⎥ ⎦

p11 p21 . . . pm1

p12 · · · p1m p22 · · · p2m . . ... . . . . pm2 · · · pmm

Se puede observar que cada fila de la matriz es una distribución de probabilidad, es decir, Pm j=1 pij= 1. Observación. Si las matrices A = [aij ] y B = [bij ] son matrices estocásticas, entonces C = A · B es también estocástica. Por la regla de multiplicación de matrices, C = [cij ] = [aij ] · [bij ] = De este modo
m X j=1

"m X
k=1

aik bkj

#

cij =

m m XX j=1 k=1

aik bkj =

m X k=1

aik

m X j=1

bkj =

m X k=1

aik · 1 = 1.

Una consecuencia es que cualquierpotencia de la matriz T es también una matriz estocástica: T n .

Probabilidad pj

(n)

Una probabilidad de bastante interés es la probabilidad de llegar a Ej después de n n o (0) . pasos, dada una distribución de probabilidad pi 2

Ei , de modo que

n o (0) es la probabilidad de que el sistema ocupe inicialmente el estado Se observa que pi
m X i=1

pi = 1.

(0)

Si se denomina pj ala probabilidad de alcanzar Ej en un solo paso, entonces, por el teorema de probabilidad total
(1) pj m X i=1

(1)

=

pi pij .

(0)

Esto se puede expresar de forma vectorial: sean p(0) y p(1) los vectores fila de probabilidad dados por ´ ³ (0) p(0) = p1 , . . . , p(0) m ´ ³ (1) p(1) = p1 , . . . , p(1) , m

y

donde p(0) es la distribución de probabilidad inicial y p(1) es laprobabilidad de que se alcance cada uno de los estados E1 , . . . , Em después de un paso. Con esta notación, se puede expresar h i "m X
i=1

p(1) = pj donde T es la matriz de transición. Del mismo modo,

(1)

=

pi pij = p(0) T

(0)

#

p(2) = p(1) T = p(0) T 2 y en n pasos, p(n) = p(n−1) T = p(0) T n donde ´ ³ (n) p(n) = p1 , . . . , p(n) m p(n+r) = p(r) T n

y de manera general,3

NOTA: pj

(n)

es la probabilidad incondicional de estar en el estado Ej en el n-ésimo paso,

dado que la probabilidad inicial es p(0) , esto es, P (Xn = j) = pj , que es tal que
m X j=1 (n)

pj

(n)

= 1.

Probabilidad de transición en n pasos pij
(n)

(n)

Se define pij como la probabilidad de que la cadena esté en el estado Ej después de n pasos, dado que la cadenaempezó en el estado Ei . Se tiene que pij = P (Xn = j | X0 = i) por la propiedad markoviana se tiene que pij =
(n) m X k=1 (n)

P (Xn = j, Xn−1 = k | X0 = i) ,

para n ≥ 2, ya que la cadena debe haber pasado por uno de los m posibles estados en la etapa n − 1. NOTA: Se tiene la siguiente igualdad, para tres posibles sucesos A, B y C : P (A ∩ B | C) = P (A | B ∩ C) · P (B | C) Si se sustituye A...