Teoria Basica Cadenas De

Teor´ıa b´asica:
Cadenas de Markov
discretas
2.1. Introducci´on
En la f´ısica cl´asica, el principio fundamental del determinismo cient´ıfico desempe˜na un papel fundamental: a partir del estado de un sistema f´ısico en el
instante t0 se puede deducir su estado en un instante posterior t. Como consecuencia de este principio se obtiene un m´etodo b´asico para analizar sistemas
f´ısicos: sepuede deducir el estado de un sistema f´ısico en un instante dado t2 a
partir del conocimiento de su estado en un instante cualquiera anterior t1 y no
depende del historial del sistema antes del instante t1.
Para sistemas f´ısicos que obedecen leyes probabil´ısticas en vez de leyes determin´ısticas, se puede enunciar un principio an´alogo: la probabilidad que el
sistema f´ısico est´e en unestado dado en un instante t2 se puede deducir del conocimiento de su estado en un instante anterior t1 y no depende del historial del
sistema antes del instante t1. Los procesos estoc´asticos que representan observaciones de sistemas f´ısicos que satisfacen esta condici´on son llamados procesos
de Markov.[10]
Una clase especial de procesos de Markov es una cadena de Markov; se puede
definir como unproceso estoc´astico cuyo desarrollo se puede considerar como
910CAP´
ITULO 2. TEOR´
IA BASICA:CADENAS DE MARKOV DISCRETAS ´
una serie de transiciones entre valores determinados (llamados estados del proceso) que tienen la propiedad de que la ley de probabilidad del desarrollo futuro
del proceso, una vez que est´a en un estado dado, depende s´olo del estado y no
de c´omo lleg´o el proceso adicho estado. El n´umero de estados posibles es finito
o num´ericamente finito.
A lo largo de este cap´ıtulo se exponen los conceptos b´asicos de las cadenas
de Markov de par´ametro discreto as´ı como los principales resultados necesarios
para el desarrollo de la tesis.
2.2. Definici´on
Un proceso discreto X0, . . . , Xn, . . . definido en el espacio de probabilidad
(Ω, =,P) y con valores enun espacio mesurable discreto (E, ξ) es una cadena de
Markov discreta si
P(Xn+1 ∈ A | X0, . . . , Xn) = P(Xn+1 ∈ A | Xn) (2.1)
∀A ∈ ξ, ∀n ≥ 0. El espacio (E, ξ) recibe el nombre de espacio de estados y ξ es
la σ-´algebra de todos los subconjuntos de E. [36]
2.3. Probabilidades de transici´on y la ecuaci´on
de Chapman - Kolmogorov
Para todos los instantes n ≥ m ≥ 0, y los estados ei y ej seestablece la
funci´on de probabilidad:
pi(n) = P[Xn = i] (2.2)
y la funci´on de probabilidad condicional:
pij (m, n) = P[Xn = j | Xm = i] (2.3)
que recibe el nombre de probabilidad de transici´on de la cadena de Markov.
Se dice que una cadena de Markov discreta es homog´enea en el tiempo o que
tiene probabilidades de transici´on estacionarias si pij (m, n) s´olo depende de la
diferencia n −m. Entonces se llama funci´on de probabilidad de transici´on en n
pasos de la cadena de Markov homog´enea {Xn} a:
pij (n) = P[Xn = j | Xn−1 = i] = P[Xn+t = j | Xn+t−1 = i] (2.4)2.4. DETERMINACION DE LAS PROBABILIDADES DE TRANSICI
´ ON´
11
para cualquiera entero t ≥ 0 y ei
, ej ∈ E, es decir, pij (n) es la probabilidad
condicional de que una cadena de Markov homog´enea que se encuentra enel
estado ei al cabo de n pasos se encuentre en el estado ej que, con la finalidad
de unificar notaciones, escribiremos como p
(n)
ij
. Las probabilidades de transici´on
de una paso pij (1) se escriben pij .
Una relaci´on fundamental que satisface la funci´on de probabilidad de transici´on de una cadena de Markov {Xn} es la ecuaci´on llamada ecuaci´on de
Chapman-Kolmogorov: para instantescualesquiera 0 ≤ m < u < n y los estados ei y ej ,
pij (m, n) =
X
k∈E
pik(m, u)pkj (u, n) (2.5)
Las probabilidades de transici´on de una cadena de Markov {Xn} con valores
en el espacio de estados (E, ξ) se representan en forma de matriz, llamada matriz
de probabilidades de transici´on:
P(m, n) =


p11(m, n) p12(m, n) . . . p1j (m, n) . . .
.
.
.
.
.
. . . .
.
.
. . . .
pi1(m,...