Proceso de decisión de markov

PROCESO DE DECISIÓN MARKOVIANO; CASO LINEA RECTA
El proceso de decisión Markoviano es la aplicación de la programación dinámica (enfoque general para la solución de problemas en los que es necesario tomar decisiones en etapas sucesivas. Las decisiones tomadas en una etapa condicionan la evolución futura del sistema, afectando a las situaciones en las que el sistema se encontrará en el futuro;denominadas estados) a un proceso de decisión estocástico (cuando se ajusta un modelo teórico que nos permite hacer predicciones sobre el comportamiento futuro de un proceso) o procesos aleatorios; en términos mas generales, un proceso aleatorio es una familia, o grupo ordenado de variables relacionadas X(t) donde t es un parámetro de indexación, usualmente tiempo cuando se habla de realizarevaluaciones.
Dos de las características más distinguidas de los procesos aleatorios son:
1. su estado espacial o el conjunto de valores del proceso que las variables aleatorias pueden tener, y 2. la naturaleza de los parámetros de indexación. Podemos clasificar procesos aleatorios en cada una de estas dimensiones.
1. Estado Espacial:
* estado- continuo: X(t) puede tomar cualquier valorsobre el intervalo continuo o conjunto de dichos intervalos
* estado- discreto: X(t) tiene solo valores posibles contables o finitos. {x0, x1 … ,xi,..}
Un proceso aleatorio de estado- discreto es llamado comúnmente una cadena.
2. Parámetro de Indexación (normalmente es el tiempo t):
* tiempo- discreto: los tiempos permitidos a los cuales los cambios en valores que puedan ocurrir sonfinitos o contables X(t) que pueden ser representados como conjunto {Xi}
* estado- continuo: los cambios pueden ocurrir en cualquier lugar dentro del intervalo finito o del conjunto de dichos intervalos
El estado de un proceso aleatorio de tiempo-continuo al tiempo t tiene un valor de X(t); el estado de un proceso de tiempo-discreto al tiempo n es el valor de X p. Una cadena de Markov es unproceso aleatorio de estado-discreto que comienza en el tiempo t (cadena de tiempo- continuo) o n (cadena de tiempo- discreto) que solo depende del estado actual X(t) o Xp, y ni de cómo la cadena alcanzo su estado corriente o de cuanto tiempo ha permanecido en ese estado. Consideramos una cadena de Markov de estado-finito de tiempo {Xt, t= 0, 1, 2, } con probabilidades de transición estacionarias(condicionales):
P [Xt+1 = j | Xt = i ] donde i, y j pertenecen al conjunto S.
Supongamos que P = pij denota la matriz de probabilidades de transición. Las probabilidades de transición entre t y t + 1 son indicadas por pn ij y por la matriz de transición Pn = Pn
Las probabilidades de transición entre estado están descritas por una cadena de Markov en la cual su estructura de recompensas delproceso; está descrita por una matriz cuyos elementos individuales son el coste o el beneficio de moverse de un estado a otro. Las matrices de transición y de recompensas dependen de las alternativas de decisión.
Su objetivo es determinar la política óptima que maximice el ingreso esperado en un número finito o infinito de etapas.
Permitiendo predecir los cambios con el tiempo cuandola información sobre la conducta de los sistemas es conocida. Aunque el uso más conocido de esta técnica es la predicción de lealtad a marcas (la conducta de los consumidores en relación a marcas con el tiempo), el análisis de Markov también tiene un uso considerable en áreas de contabilidad (el movimiento de clientes con crédito de una clasificación de recuperación a otra) y la administración financiera general(el movimiento de compañía de un estado de viabilidad financiera a otro.
El cual podemos aplicar al caso de la programación lineal, que es una técnica que se aplica a una amplia gama de problemas administrativos y a otros de decisión.
Es de valor cuando se debe escoger entre alternativas demasiado numerosas para evaluarlas con los métodos convencionales. Al usar la programación lineal,...