Cadenas De Markov


1. Sea Ω un espacio simple y P una medida de probabilística del espacio. Considerar un proceso estocástico X = (xn, n N) con un espacio de estados contable E, es decir, para cada n N =0, 1, 2, … y w Ω, xn(w) es un elemento del conjunto contable E. Es acostumbrado decir “El proceso está en estado j en el tiempo n” para xn = j. Así, xn es referido al estado del proceso Xen el tiempo n, y el conjunto E es llamado el espacio de estados del proceso X.
DEFINICIÓN
El proceso estocástico X = {Xn; n N} es llamado cadena de Markov siempre que
P(Xn+1 = j / X0,… , Xn) = P(Xn+1 = j / Xn) (1)
Para todo j E y n N
Una cadena de Markov, entonces es una secuencia de variables aleatorias tal que para cada n, Xn+1 es una variable condicionalmenteindependiente de X0, … , Xn-1 dado Xn. Es decir, el siguiente estado Xn+1 del proceso es independiente de los estados anteriores X0, … , Xn-1 siempre que el estado presente Xn es conocido.
A lolargo de la discusión, nosotros nos limitaremos a las cadenas de Markov para las cuales la probabilidad condicional
P(Xn+1 = j / Xn = i) = P(i,j) i,j E (2)
Es independiente de n. Estarestricción es conveniente para el punto de vista computacional. Las probabilidades P(i,j) también son llamadas probabilidades de transición para la cadena de Markov X, y una cadena de MarkovX que satisface (2) se dice ser de tiempo homogéneo si necesita énfasis. Es acostumbrado arreglar el P(i,j) en una serie cuadrada y llamar al resultado de la matriz P la matriz transiciónde la cadena de MArkov X. Si E = 0, 1, … , por ejemplo la matriz transición es

P(0,0) P(0,1) … …
P(1,0) P(1,1) … …
P = … … … … … …
… … … … … …
DEFINICIÓN
Sea P una matrizcuadrada de entradas P(i,j) definida para todo i, j E.
Luego P es llamada una matriz de Markov sobre E siempre que

a) Para cualquier i, j E, P(i,j) ≥ 0
b) Para cada i E, ∑jE P(i,j) = 1