Cadenas de markov

MARCO TEORICO

Ensayos: Las ocurrencias repetidas de un evento que se estudia.
Ensayo del proceso: Eventos que muestran las transiciones del sistema, de un estado a otro. En muchos casos, los periodos de tiempos sucesivos representan los ensayos del proceso.
Estados: Las condiciones en las cuales se encuentra un ente ó sucesos posibles.
Estado absorbente: Se dice que un estado es absorbentesi es cero la probabilidad de hacer una transición fuera de ese estado, por tanto, una vez que el sistema hace una transición hacia un estado absorbente, permanece en el siempre.
Estado de transición: Se dice a aquel estado que aun no llega a ser absorbente; sus probabilidades cambian constantemente con respecto al periodo anterior.
Estado del sistema: Condición en que se encuentra el sistemaen cualquier periodo o ensayos específicos.
Matriz fundamental: Matriz necesaria para el cálculo de las probabilidades correspondientes a los estados absorbentes en los procesos de Markov.
Probabilidad del estado: Probabilidad de que el sistema se encuentre en cualquier estado y en periodo determinado.
Probabilidad del estado estable: Probabilidad de que el sistema se encuentre estadodeterminado después de un numero grande de transiciones. Una vez que se alcanza su estado estable, las probabilidades de estado no cambian de un periodo al siguiente.
Probabilidad de Transición: La probabilidad de pasar de un estado actual al siguiente en un período ó tiempo, y se denota por p¬ij (la probabilidad de pasar del estado i al estado j en una transición ó período)
Procesos estocásticos: Esuna colección indexada de variables aleatorias { que son medibles en el tiempo t, en donde t toma valores de un conjunto T enteros no negativos o T=0.

CADENAS DE MARKOV

Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas de este tipo tienen memoria. “Recuerdan" el último evento y estocondiciona las posibilidades de los eventos futuros. Esta dependencia del evento anterior distingue a las cadenas de Markov de las series de eventos independientes, como tirar una moneda al aire o un dado.

En cada uno inmediato el sistema puede cambiar su estado del estado actual a otro estado, o permanezca en el mismo estado, según cierta distribución de la probabilidad. Los cambios del estadose llaman las transiciones, y las probabilidades asociadas a vario estado-cambian se llaman las probabilidades de la transición.
Las cadenas de Markov, se clasifican, además, dentro de los procesos estocásticos de Markov, que son aquellos en el que el estado futuro de un proceso es independiente de los estados pasados y solamente depende del estado presente. Por lo tanto las probabilidades detransición entre los estados para los tiempos k-1 y k solamente depende de los estados que la variable adquiere dichos tiempos.

Un análisis de Markov es un procedimiento que puede utilizarse para describir el comportamiento de un sistema en una situación dinámica. Específicamente, describe y predice los movimientos de un sistema entre los diferentes estados posibles con el paso del tiempo.
Elanálisis de Markov hace predicciones como: la probabilidad de encontrar un sistema en un estado particular en cualquier instante dado.
Una cadena de Markov (CM) es una sucesión de variables aleatorias Xi, iÎN, tal que:

Cadenas homogéneas y no homogéneas
Una cadena de Markov se dice homogénea si la probabilidad de ir del estado i al estado j en un paso no depende del tiempo en el que se encuentrala cadena, esto es:
, para todo n y para cualquier i, j.
Si para alguna pareja de estados y para algún tiempo n la propiedad antes mencionada no se cumple diremos que la cadena de Markov es no homogénea.
Cuando la cadena de Markov es homogénea, muchas de sus propiedades útiles se pueden obtener a través de su matriz de transición, definida entrada a entrada como Ai,j = pij
Probabilidades de...