procesos de markov


PROCESOS DE MARKOV.
Cuando se introduce el tiempo en los problemas de optimización, se pasa de un enfoque estático a uno dinámico, lo cual combinado con la aleatoriedad de las variables de decisión, produce la entrada a los procesos estocásticos. La combinación de los aspectos estocásticos y dinámicos en los problemas de optimización, se revisa a través de los llamados procesos markovianos dedecisión.
Andrei Andreivich Markov fue un matemático ruso (1856 – 1922), que postuló el principio de que existen ciertos procesos estocásticos cuyo futuro depende únicamente de su presente y es independiente de su pasado; éstos reciben el nombre de Cadenas de Markov. Los modelos de Markov son útiles para estudiar y predecir la evolución y el comportamiento a corto y a largo plazo de los sistemasde ensayos repetidos, los cuales contienen lapsos de tiempo sucesivos en los que el estado de los sistemas de cualquier periodo particular no puede determinarse con certeza o dependen del estado inmediatamente anterior. Estos eventos se desarrollan en el tiempo en el cual el resultado en cualquier etapa contiene algún elemento que depende del azar, a esto se le denomina proceso aleatorio oproceso estocástico. Dicho de otra manera, se utilizan probabilidades de transición para describir la manera en la que el sistema pasa de un periodo al siguiente, es decir, el sistema está situado en uno de un conjunto de estados mutuamente excluyentes y colectivos (variables de holgura; S0,S1, S2,...., Sn).
Por lo tanto es de suma importancia la probabilidad de que el sistema esté en un estadoparticular en un periodo de tiempo determinado. Una característica importante es caracterizan el comportamiento futuro del sistema, dado a que un proceso de Markov se encuentra en un estado determinado ya que su futuro no depende de su historia anterior a su entrada a ese estado.
Estos modelos pueden utilizarse para describir la probabilidad de que un hecho pasó en un periodo y vuelva a hacerlo en elque sigue, o simplemente de que no pase. Este proceso se representa de la siguiente manera:
X1: Define el estado inicial del proceso
Xn: Define el estado del proceso en el instante de tiempo n

En esta simbología X1 no depende de los estados anteriores desde X1 hasta Xn. y Xn solamente depende de su estado actual.
Ejemplo:
Consideremos que en un locutorio telefónico con 5 líneas de teléfonoen un instante de tiempo dado puede haber un número cualquiera de líneas ocupadas. Durante un periodo de tiempo se observan las líneas telefónicas a intervalos de 2 minutos y se anota el número de líneas ocupadas en cada instante. Sea X2 la que representa el número de líneas ocupadas cuando se observa en el segundo instante de tiempo, 2 minutos más tarde.
En general, n = 1, 2, . . . Xn representael número de líneas ocupadas cuando se observan en el instante de tiempo n−ésimo.El estado del proceso en cualquier instante de tiempo es el número de líneas que están siendo utilizadas en ese instante.
Un proceso estocástico como el que se acaba de describir se llama proceso de parámetro discreto, ya que las líneas se observan en puntos discretos a lo largo del tiempo.
Esta sucesión deobservaciones (procesos estocásticos) que se representan mediante X1 y X2 sea una cadena de Markov es necesario que la probabilidad de cada posible número de líneas ocupadas en cualquier instante de tiempo dependa solamente del número de las líneas ocupadas 2 minutos antes.
Estas cadenas deben de reunir los siguientes principios:
1. La matriz de transición debe ser cuadrada.
2. Las probabilidades delos estados entre 0 y 1.
3. Las suma de las probabilidades de los estados es igual a 1

Las cadenas de Markov, como se definió anteriormente se representan en matrices, y de acuerdo al tipo de arreglo que tenga la matriz estas se pueden clasificar en:

1. Matriz regular

Es una un arreglo donde los elementos de una matriz son diferentes de 0 y 1.

2. Matriz Absorbentes

Es un arreglo...