Tesis

Impacto en la tardanza promedio del modo de controlar sistemas de manufactura mediante agentes utilizando Reforzamiento del Aprendizaje y Lógica Difusa
por

Claudia Carolina Soto Marín
Una tesis sometida en completo cumplimiento de los requerimientos para el grado de MAESTRO EN CIENCIAS en Ingeniería Industrial UNIVERSIDAD DE PUERTO RICO RECINTO UNIVERSITARIO DE MAYAGÜEZ 2008 Aprobado por:_____________________________ Sonia M. Bartolomei Suárez, Ph.D. Presidente, Comité Graduado _____________________________ Agustín Rullán Toro Ph.D. Miembro, Comité Graduado _____________________________ María de los Ángeles Irizarry, Ph.D Miembro, Comité Graduado _____________________________ Agustín Rullán Toro, Ph.D. Director, Departamento _____________________________ Loida Rivera BetancourtRepresentante de Estudios Graduados ______________ Fecha

______________ Fecha

______________ Fecha

______________ Fecha

______________ Fecha

RESUMEN

En esta investigación se compararon dos algoritmos para la selección de políticas de despacho en un sistema de tres máquinas. El primer algoritmo tiene un solo agente que controla la toma de decisiones de un sistema de 3 máquinas. Elsegundo algoritmo utiliza un agente para cada máquina, en este caso tres, los cuales controlan la selección de políticas de despacho sólo de la máquina a la que pertenecen. Los algoritmos seleccionan las piezas a procesar mediante la elección dinámica de políticas de despacho óptima utilizando Reforzamiento del Aprendizaje (RL) y Sistemas de Inferencia Difusa (FIS). Los agentes aprenden a tomardecisiones a lo largo del tiempo mediante prueba y error, recibiendo sólo recompensas o penalidades dependiendo del impacto observado en el objetivo del sistema, que es disminuir la medida de rendimiento tardanza promedio del sistema. En cada máquina se evalúa el estado actual y se recomienda una política de despacho a utilizar en la selección de piezas que esperan en fila. El algoritmo recibe elestado del sistema, convierte los valores de las variables de entrada a valores difusos, para luego evaluarlos mediante la base de reglas difusas. Finalmente decide la política de despacho a utilizar. De acuerdo al impacto obervado en la tardanza promedio del sistema, el agente recompensa o penaliza la acción tomada. Para evaluar si existían diferencias entre los algoritmos utilizados, se utilizósimulación. Se modelaron los sistemas en ArenaTM 1 y realizaron corridas experimentales para cada sistema. Se realizó un análisis estadístico de los resultados y se concluyó que para el caso bajo estudio y el tiempo de simulación utilizado, controlar un sistema de manufactura mediante un agente presenta tardanzas promedios del sistema menores que al controlarlo mediante tres agentes.

1

RockwellSoftware Arena es un software de simulación de eventos discretos.

ii

ABSTRACT

In this investigation it is compared two algorithms in the dispatching rule selection in a system of three machines. The first algorithm has an agent that controls the decision-making of a system of three machines. The second algorithm use an agent for each machine, in this case three, which controls only thedispatching rule selection on the machinery it belong. The algorithms select the parts to be processed through the dynamic selection of the optimal dispatching policy by the use of Reinforcement Learning (RL) and Fuzzy Inference Systems (FIS). The agents learn to make decisions throughout the time by trial-error, receiving rewards or penalties depending on the impact observed in the objective ofthe system, which is to reduce the performance measure mean tardiness. On each machinery it is evaluated the actual state and it is recommended a dispatching rule to be used in the selection of the parts that waits in the queue. The algorithm receives the state of the system; it transforms the values of the input variables to fuzzy values, to evaluate them through the fuzzy base rules. Finally,...