Procesos markovianos de decision

5.3 PROCESOS DE DECISION MARKOVIANOS
Para hacer una presentación intuitiva de los procesos markovianos de decisión se supone una máquina herramienta de una empresa manufacturera que en cualquier periodo de tiempo se pueden encontrar en alguno de los siguientes estados mutuamente excluyentes:
Estado | Condición |
0 | Operable como si fuera nueva |
1 | Operable con descomposturas de ordenmenor |
2 | Parada con descomposturas de orden mayor |
3 | Inoperable, sin posibilidad de reparación |

Sea Xt el estado de la maquina una vez observada en el periodo t, (día t). Se supone que {Xt] es un proceso de Markov, con una matriz de transferencia
Estados
ji | 0 | 1 | 2 | 3 |
0 | 0 | 7/8 | 1/16 | 1/16 |
P= {pij} =
1 | 0 | 3/4 | 1/8 | 1/8 |
2 | 0 | 0 | 1/2 | 1/2 |
3 | 0 |0 | 0 | 1 |

La matriz anterior indica que, de no tomarse alguna decisión cuando se observa el estado de la maquina, una vez que esta se encuentra inoperable (estado 3), permanece eternamente en ese estado (que es absorbente). Así, el problema no tiene ningún interés. Pero suponga ahora que en el momento de la observación, la gerencia de producción de la empresa tiene la posibilidad deinstrumentar alguna de las siguientes alternativas:
Decisión | Acción |
1 | No hacer nada |
2 | Compostura mayor necesaria |
3 | Reemplazo por una maquina nueva |

Es obvio que la instrumentación de una acción cualquiera en el tiempo t, cambiara la matriz P.
Asociado a cada acción existe un costo y un beneficio. Por ejemplo, si la maquina se encuentra en el estado 3, no existe un costo decompostura, pero se pierde dinero por no producir nada esa maquina. En compartida, si para ese mismo estado la decisión es de reemplazo, costara mucho dinero una maquina nueva, pero al mismo tiempo se produce mas y, por lo tanto, se pueden generar más ingresos a plazo medio para la empresa.
La posible pregunta a plantearse es: ¿A largo plazo que acción se recomienda para cada estado, tal que seoptimice la relación costo- beneficio?
Formalmente, se definen a continuación los procesos markovianos de decisión.
Sea {Xt} una cadena de Markov finita que se observa en el tiempo t, t=0,1,… y que puede encontrarse en cualquiera de los estados mutuamente excluyentes 0,1,2,…M. después de cada observación el decisor puede elegir un camino de acción entre k posibles alternativas. El numero k es finito.Asociado al estado i (i=0,1,2,…,M)en donde se encuentra el sistema, y la acción q que se elige, q=1,2,…,k), existe un costo esperado conocido, Ciq. Se conoce la probabilidad de transferencia, p ij, del estado i al estado j, (i,j=0,1,…, M). El conjunto {∆t, t= 0,1, 2,…} indica la secuencia de decisiones escogidas e instrumentadas a lo largo de t periodos.
Una política, denotada por R, es unaregla decisión en cada periodo de tiempo t. Por lo tanto, una política no es más que la especificación de la decisión que se toma en el periodo t. Así, la secuencia {d0 (R), d1 (R),…dM (R)} indica explícitamente la política, o reglas de decisión, que se deben tomar cuando el proceso se encuentra entre los estados 0,1,…, M, respectivamente.
Se define como proceso markoviano de decisión al conjunto{Xt, ∆ t} que indica el estado de un sistema y la decisión que se toma en el periodo t, t=0, 1,2…
Si se conoce Ciq para toda i, i=0,1,…,M y para toda q, q= 1,2,…, k, el costo esperado por unidad de tiempo para cualquier política R, denotada E(C), se calcula de
EC= i=0MCiqπi
Donde πi es la probabilidad a plazo de que el sistema se estabilice en el estado i, i=0,1,…,M.
El problema de decisiónasociado a los procesos markovianos consiste en encontrar la política R que minimiza E (C).
Existen varias técnicas para resolver este problema. A continuación se explican las siguientes:
a) Programación lineal.
b) Algoritmos para mejorar políticas.
c) Métodos de aproximaciones sucesivas.
Los algoritmos pueden trabajar con o sin criterios de factor de descuento.

5.4 ALGORITMOS DE...