Ensayos

CADENA DE MARKOV
Una cadena de Márkov, que recibe su nombre del matemático ruso Andrei Andreevitch Markov (1856-1922), es una serie de eventos, en la cual la probabilidad de que ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas de este tipo tienen memoria. "Recuerdan" el último evento y esto condiciona las posibilidades de los eventos futuros. Esta dependencia delevento anterior distingue a las cadenas de Márkov de las series de eventos independientes, como tirar una moneda al aire o un dado.
Este tipo de proceso, introducido por Márkov en un artículo publicado en 1907,[1] presenta una forma de dependencia simple, pero muy útil en muchos modelos, entre las variables aleatorias que forman un proceso estocástico. En los negocios, las cadenas de Márkov se hanutilizado para analizar los patrones de compra de los deudores morosos, para planear las necesidades de personal y para analizar el reemplazo de equipo.
DEFINICIÓN FORMAL
En matemáticas, se define como un proceso estocástico discreto que cumple con la propiedad de Márkov, es decir, si se conoce la historia del sistema hasta su instante actual, su estado presente resume toda la informaciónrelevante para describir en probabilidad su estado futuro.
Una cadena de Márkov es una secuencia X1, X2, X3,... de variables aleatorias. El rango de estas variables, es llamado espacio estado, el valor de Xn es el estado del proceso en el tiempo n. Si la distribución de probabilidad condicional de Xn+1 en estados pasados es una función de Xn por sí sola, entonces:

Donde xi es el estado del procesoen el instante i. La identidad mostrada es la propiedad de Márkov.

Cadenas homogéneas y no homogéneas
• Una cadena de Markov se dice homogénea si la probabilidad de ir del estado i al estado j en un paso no depende del tiempo en el que se encuentra la cadena, esto es:
para todo n y para cualquier i, j.
Si para alguna pareja de estados y para algún tiempo n la propiedad antes mencionada nose cumple diremos que la cadena de Markov es no homogénea.

Probabilidades de transición y matriz de transición
• La probabilidad de ir del estado i al estado j en n unidades de tiempo es
,
en la probabilidad de transición en un paso se omite el superíndice de modo que queda

• Un hecho importante es que las probabilidades de transición en n pasos satisfacen la ecuación deChapman-Kolmogorov, esto es, para cualquier k tal que 0 < k < n se cumple que

Donde E denota el espacio de estados.
• Cuando la cadena de Markov es homogénea, muchas de sus propiedades útiles se pueden obtener a través de su matriz de transición, definida entrada a entrada como Ai,j = pij
esto es, la entrada i, j corresponde a la probabilidad de ir del estado i a j en un paso.
Del mismo modo sepuede obtener la matriz de transición en n pasos como:
, donde .

Vector de probabilidad invariante
• Se define la distribución inicial .
• Diremos que un vector de probabilidad (finito o infinito numerable) es invariante para una cadena de Markov si

donde P denota la matriz de transición de la cadena de Markov. Al vector de probabilidad invariante también se le llama distribuciónestacionaria o distribución de equilibrio.
Clases de comunicación
• Para dos estados i,j en el espacio de estados E, diremos que de i se accede a j (y se denotará ) si
para algún n,
si y entonces diremos que i comunica con j y se denotará i↔j.
La propiedad "↔" es una relación de equivalencia. Esta relación induce una partición en el espacio de estados. A estas clases de equivalencia lasllamaremos clases de comunicación.
Dado un estado x, denotaremos a su clase de comunicación como C(x).
• Diremos que un subconjunto C del espacio de estados (al que denotaremos E) es cerrado si ningún estado de E-C puede ser accedido desde un estado de C, es decir, si para todo x∈C, para todo y∈E-C y para todo natural m>0.
Tiempos de entrada
Si , definimos el primer tiempo de entrada a C...