Procesos Markovianos

PROCESOS DE DECISION_MARKOVIANOS
• .MODELOS PARA PROCESOS DE DECISION MARKOVIANOS El modelo para los procesos de decisión markovianos considerados en este capítulo se pueden resumir como sigue: 1. Se observa el estado i de una cadena de Markov de tiempo discreto después de cada transición ( i = 0,1,..., M ) 2. Después de cada observación, se selecciona una decisión (acción) k de un conjunto de kdecisiones posibles ( k = 1,2,..., k ) (Algunas de las k decisiones pueden no ser relevantes para algunos estados.) 3. Si se elige la decisión d i = k en el estado i, se incurre en un costo inmediato que tiene un valor esperado Cik . 4. La decisión d i = k en el estado i determina cuáles serán las probabilidades de transición para la siguiente transición desde el estado i . Denote estasprobabilidades de transición por Pij ( k ) para j = 0,1,. M 5. Una especificación de las decisiones para los estados respectivos ( d 0 , d1 , d M ) prescribe una política para el proceso de decisión markoviano. 6. El objetivo es encontrar una política óptima de acuerdo con algún criterio de costo que considere tanto los costos inmediatos como los subsecuentes que resulten de la evolución futura delproceso. Un criterio común es minimizar el costo promedio esperado por unidad de tiempo (a la larga). (En la sección 21.5 se considera un criterio alternativo.) A continuación se citara un ejemplo para ver como se lleva a cabo el desarrollo de un proceso de markov. EJEMPLO PROTOTIPO Un fabricante tiene maquina clave en el núcleo de uno de sus proceso. Debido a que tiene un uso pesado, la maquina sedeteriora con rapidez tanto en calidad como en la cantidad de producción que obtienen. Por lo tanto, al final de cada semana, se realiza una inspección exhaustiva cuyo resultado es la clasificación de las condiciones de la maquina en uno de cuatro estados posibles: Estado Condición 0 Tan buena como nueva 1 Operable deterioro menor 2 Operable deterioro mayor 3 Inoperable producción de calidadinaceptable
• 2. Después de recolectar datos históricos sobre los resultados de estas inspecciones, se hace un análisis estadístico de la evolución del estado de la máquina de un mes a otro. La siguiente matriz muestra la frecuencia relativa (probabilidad) de cada transición posible del estado en el que se encuentra en un mes (un renglón de la matriz) al estado en el que se encuentra el siguiente mes (unacolumna de la matriz). Estado 0 1 2 3 0 0 7 1 1 8 16 16 1 0 3 1 1 4 8 8 2 0 0 1 1 2 2 3 0 0 0 1 Además del análisis estadístico, se ha encontrado que estas probabilidades de transición no se afectan por considerar también en qué estados se encontraba en meses anteriores. Esta “propiedad de falta de memoria” es la propiedad markoviana descrita en la sección 16.2. Así, para la variable aleatoria Xt , que es el estado de la máquina al final del mes t, se ha concluido que el proceso estocástico { X t 't = 0,1,2,...} es una cadena de Markov de tiempo discreto cuya matriz de transición (de un paso) es justo la matriz anterior. Como lo indica el último elemento de esta matriz de transición, una vez que la máquina se vuelve inoperable (entra al estado 3), permanece inoperable. En otras palabras,el estado 3 es un estado absorbente. Dejar la máquina en este estado sería intolerable ya que esto detendría el proceso de producción, por lo que la máquina debe reemplazarse. (La reparación no es factible en este estado). La nueva máquina comenzaría entonces en el estado 0. El proceso de reemplazo toma 1 semana de manera que la producción se pierde durante este periodo. El costo de la producciónperdida (ganancia perdida) es de $2.000 y el costo de reemplazar la máquina es de $4.000, de manera que el costo total en el que se incurre siempre que la máquina actual entra al estado 3 es de $6.000. Aun antes de que la máquina llegue al estado 3, puede incurrirse en costos por producir artículos defectuosos. Los costos esperados por semana por este concepto son: Estado Costo esperado debido...