Markov

CADENAS DE MARKOV

INTRODUCCION

El análisis de Markov tuvo su origen en los estudios de A.A.Markov(1906-1907) sobre la secuencia de los experimentos conectados en cadena y los intentos de descubrir matemáticamente los fenómenos físicos conocidos como movimiento browiano. La teoría general de los procesos de Markov se desarrollo en las décadas de 1930 y 1940

Los procesos estocásticos sepueden clasificar atendiendo a dos aspectos: si el espacio de estados posibles de la variable aleatoria contiene valores discretos o continuos y de si los valores del tiempo son discretos o continuos.
Las cadenas de Markov es un proceso estocástico en el que los valores del tiempo son discretos y los estados posibles de la variable aleatoria contiene valores discretos, es decir, es una cadenaestocástica de tiempo discreto.

OBJETIVOS

Conocer un proceso estocástico(aleatorio).
Identificar las características de un proceso estocástico Markoviano.
Formular Modelos que pueden ser resueltos mediante cadenas de Markov.
Clasificar de manera general las cadenas de Markov.
Diferenciar claramente entre una cadena de Markov regular y otra absorbente.
Determinar el comportamiento deuna Cadena de Markov a corto y largo plazo: analíticamente y por el uso de computadoras.
Determinar el número de pasos en que una Cadena de Markov alcanza su estado estable (convergente)
Formular aplicaciones variadas del ámbito de la especialidad: mantenimiento, comercialización, inventario, reemplazamiento, Recursos Humanos, etc.

MARCO TEORICO

Ensayos: Las ocurrencias repetidas de unevento que se estudia.
Ensayo del proceso: Eventos que muestran las transiciones del sistema, de un estado a otro. En muchos casos, los periodos de tiempos sucesivos representan los ensayos del proceso.
Estados: Las condiciones en las cuales se encuentra un ente ó sucesos posibles.
Estado absorbente: Se dice que un estado es absorbente si es cero la probabilidad de hacer una transición fuera deese estado, por tanto, una vez que el sistema hace una transición hacia un estado absorbente, permanece en el siempre.
Estado de transición: Se dice a aquel estado que aun no llega a ser absorbente; sus probabilidades cambian constantemente con respecto al periodo anterior.
Estado del sistema: Condición en que se encuentra el sistema en cualquier periodo o ensayos específicos.
Matrizfundamental: Matriz necesaria para el cálculo de las probabilidades correspondientes a los estados absorbentes en los procesos de Markov.
Probabilidad del estado: Probabilidad de que el sistema se encuentre en cualquier estado y en periodo determinado.
Probabilidad del estado estable: Probabilidad de que el sistema se encuentre estado determinado después de un numero grande de transiciones. Una vez quese alcanza su estado estable, las probabilidades de estado no cambian de un periodo al siguiente.
Probabilidad de Transición: La probabilidad de pasar de un estado actual al siguiente en un período ó tiempo, y se denota por p¬ij (la probabilidad de pasar del estado i al estado j en una transición ó período)
Procesos estocásticos: Es una colección indexada de variables aleatorias {x_t} que sonmedibles en el tiempo t, en donde t toma valores de un conjunto T enteros no negativos o T=0.

CADENAS DE MARKOV

Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas de este tipo tienen memoria. “Recuerdan" el último evento y esto condiciona las posibilidades de los eventos futuros. Estadependencia del evento anterior distingue a las cadenas de Markov de las series de eventos independientes, como tirar una moneda al aire o un dado.

En cada uno inmediato el sistema puede cambiar su estado del estado actual a otro estado, o permanezca en el mismo estado, según cierta distribución de la probabilidad. Los cambios del estado se llaman las transiciones, y las probabilidades...