Cadenas de markov

JOSÉ JONATHAN TORRES GONZÁLEZ |
INVESTIGACION DE OPERACIONES II | CADENAS DE MARKOV |

INVESTIGACION DE OPERACIONES II | CADENAS DE MARKOV |

CADENAS DE MARKOV
Las cadenas de Markov se incluyen dentro de los denominados procesos estocásticos. Dichos estudian el comportamiento de variables aleatorias a lo largo del tiempo X(t,w). Se definen como  una colección de variables aleatorias{X(t,w), t Î I}, donde X (t,w) puede representar por ejemplo los niveles de inventario al final de la semana t. El interés de los procesos estocásticos es describir el comportamiento de un sistema e operación durante algunos periodos.
         Los procesos estocásticos se pueden clasificar atendiendo a dos aspectos: si el espacio de estados posibles de la variable aleatoria contiene valores discretoso continuos y de si los valores del tiempo son discretos o continuos.
         Las cadenas de Markov es un proceso estocástico en el que los valores del tiempo son discretos y los estados posibles de la variable aleatoria contiene valores discretos, es decir, es una cadena estocástica de tiempo discreto.
         Las cadenas de Markov, se clasifican, además, dentro de los procesos estocásticosde Markov, que son aquellos en el que el estado futuro de un proceso es independiente de los estados pasados y solamente depende del estado presente. Por lo tanto las probabilidades de transición entre los estados para los tiempos k-1 y k solamente depende de los estados que la variable adquiere dichos tiempos.
La teoría de la probabilidad, se conoce como cadena de Márkov a un tipo especial deproceso estocástico discreto en el que la probabilidad de que ocurra un evento depende del evento inmediatamente anterior. En efecto, las cadenas de este tipo tienen memoria. "Recuerdan" el último evento y esto condiciona las posibilidades de los eventos futuros. Esta dependencia del evento anterior distingue a las cadenas de Márkov de las series de eventos independientes, como tirar una moneda alaire o un dado.
Reciben su nombre del matemático ruso Andrei Andreevitch Markov (1856-1922), que las introdujo en 1907.
En matemáticas, se define como un proceso estocástico discreto que cumple con la propiedad de Márkov, es decir, si se conoce la historia del sistema hasta su instante actual, su estado presente resume toda la información relevante para describir en probabilidad su estado futuro.Una cadena de Márkov es una secuencia X1, X2, X3,... de variables aleatorias. El rango de estas variables, es llamado espacio estado, el valor de Xn es el estado del proceso en el tiempo n. Si la distribución de probabilidad condicional de Xn+1 en estados pasados es una función de Xn por sí sola, entonces:

Clasificación de los estados en una cadena de Markov
         Las probabilidades detransición asociadas a los estados juegan un papel importante en el estudio de las cadenas de Markov. Para describir con más detalles las propiedades de una cadena de Markov es necesario presentar algunos conceptos y definiciones que se refieren a estos estados.
         U estado j es accesible desde el estado i si para algún n se tiene que pij ^(n) >0.
         Una cadena de Markov se puededividir en clases. Una clase está formada por todos los estados que son accesibles entre sí .
Considerando las probabilidades fii  de que el proceso regrese al estado i comenzando en el estado i se puede clasificar los estados en recurrente sí fii =, transitorio sí fii <1y absorbente sí pii =1.
En una cadena de Markov finita e irreducible todos los estados de dicha cadena so recurrentes.
Elperíodo de u estado i es el número T de períodos para el cual se cumple que pij ^(n) =0, siendo  los valores distintos de T, 2T, 3T,.. y T es el valor más elevado que cumple esa propiedad.
Un estado es aperiódico si la variable aleatoria puede encontrarse en el mismo estado en dos períodos consecutivos.
Un estado i es recurrente positivo si comenzando en el estado i el tiempo esperado para que...