Procesos Markovianos

INTRODUCCIÒN
Introducción
Entre las diferentes clases de procesos estocásticos se destacan los procesos
markovianos, en los cuales el comportamiento y la evolución futura del proceso
no dependen más que del estado actual del proceso, y no de su evolución pasada.
Las cadenas de Markov (C.M.) son procesos markovianos de espacio de estado
discreto. Al igual que para cualquir proceso, sedistingue entre cadenas de Markov de
tiempo discreto y aquellas de tiempo continuo.
El resto de esta sección se ocupa de las cadenas de Markov finitas de tiempo
discreto, es decir aquellas cuyo espacio de estado E es finito, y que evolucionan en
etapas o pasos (T es discreto).
Definimos formalmente una cadena de Markov como una secuencia de v.a. discretas
{Xn, n ÎN} que poseen la propiedadsiguiente:
(X e X e X e X e ) (X e X e ) n N e e e e E n n n n n n n n n n = = = = = = = " Î " Î +1 +1 0 0 1 1 +1 +1 0 1 +1 P | , ,..., P | , , , ,... ,
(siempre que estas probabilidades estén bien definidas).
Esta propiedad se interpreta como la afirmación de que la probabilidad (condicional)
de que el proceso alcance el estado futuro xn+1 dados los estados pasados x0, x1,...xn-1
y el estado actualxn es independiente de los estados pasados y depende solamente
del estado presente xn (el pasado no influye en el futuro más que a través del
presente).
Andrei Andreivich Markov fue un matematico ruso (1856-1922) que portulo el principio de que existen ciertos proceosos estocásticos cuyo futuro dependen únicamente de su presente y es independiente de su pasado , estos reciben el nombre decadenas de markov . el proceso de optimización se presenta en un sistema cualquiera cuando en cada periodo de tiempo se dispone de una serie de alternativas de decisión cada una con un costo asociado y cuya instrumentación coloca al sistema en en otro estado con una determinada distribución de probabilidad. El proceso marcaviano de decisión genera las acciones òptimas que minimizan el costo totalesperado, en todo el horizonte de tiempo considerado.
La transición de un estado a otro de dos periodos consecutivos de tiempo se puede graficar en un diagrama de transición

DR. JUAN PRAWDA WITENBERG. METODOS Y MODELOS DE INVESTIGACIÒN DE OPERACIONES VOL.2 MODELOS ESTOCASTICOS . 10ª edición. Editorial Limusa. Mexico 1996 p.p. 395-396
En el presente trabajo se abordara que es una cadena demarkov
Las cadenas es una aplicación de programación dinámica a la solución de procesos de decisión estocástico, que se puede describir a través de un número finito de estados. Las probabilidades de transición entre los estados se describen por medio de la cadena de Markov. La estructura de remunertaciòn del proceso la des cribe también una matriz, cuyos elementos individules representan el ingreso(o costo) resultante del cambio de un estado a otro. Las matrices de transición y de ingreso, dependen de las alternativas de decisión disponibles para la persona que toma la decisión. El objetivo del problema es determinar la política o curso de acción óptimo que maximice el ingreso esperado del proceso en un numero de etapas finito o infinito.
Hamdy A. Taha. INVESTIGACIÒN DE OPERACIONES. 5aedición. Editorial Alfaomega. Mexico D.F.1992. p.p. 798
Las cadenas de Markov tienen la propiedad particular de que la probabilidades que describen la forma en que el proceso evolucionara en el futuro dependen solo del estado actual en que se encuentra el proceso y, por lo tanto, son independientes de los eventos ocurridos en el pasado. Muchos procesos se ajustan a esta descripción por lo quelas cadenas de Markov constituyen una clase de modelo probabilístico de gran importancia.

Un proceso estocástico se define como una colección indexada de variables aleatorias ( Xt ), donde el índice toma valores de un conjunto T dado. Con frecuencia T se toma como el conjunto de enteros no negativos y Xt representa una característica de interés mesurable en el tiempo t por ejemplo, Xt puede...