Modelo de toma de decisiones y aprendizaje en sistemas multi-agente

UNIVERSIDAD POLITÉCNICA DE MADRID Facultad de Informática Departamento de Inteligencia Artificial

TESIS DOCTORAL

MODELO DE TOMA DE DECISIONES Y APRENDIZAJE EN SISTEMAS MULTI-AGENTE

AUTOR: JOSÉ IGNACIO GIRALDEZ BETRON DIRECTOR: DANIEL BORRAJO MILLÁN Madrid, 1999

índice General
1 Introducción 1.1 Los Sistemas Monolíticos de Toma de Decisión 1.2 La Inteligencia Artificial Distribuida1.3 Sistemas de Decisión Multi-Agente (SDMA) 1.4 Presentación de la Tesis 2 Estado de la Cuestión 2.1 Aprendizaje Automático 2.1.1 Métodos Inductivos Supervisados 2.1.2 Aprendizaje por Refuerzo 2.1.3 Métodos No Inductivos 2.2 El Concepto Agente 2.3 Sistemas Multiagente 2.3.1 Criterio Clasificador de SMA 2.3.2 SMA formados por agentes de ámbito parcial 2.3.3 SMA formados por agentes de ámbitoglobal 2.3.4 SMA formados por agentes con actitud colaborativa . . . 2.3.5 SMA formados por agentes negociadores 2.3.6 SMA formados por agente homogéneos 2.3.7 SMA formados por agentes heterogéneos 2.3.8 SMA formados por agentes con respuesta reactiva . . . . 2.3.9 SMA formados por agentes con respuesta deliberativa . . 2.3.10 SMA con aprendizaje 2.3.11 SMA con modelos de los agentes 2.3.12 SMA sinmodelos de los agentes 2.4 Sistemas de Decisión Multi-Agente (SDMA) 2.4.1 SDMA con agentes de ámbito restringido 2.4.2 SDMA formados por agentes que cooperan 2.4.3 SDMA formados por agentes negociadores 2.4.4 SDMA formados por agentes homogéneos 2.4.5 SDMA formados por agentes heterogéneos 2.4.6 SDMA formados por agentes deliberativos 2.4.7 SDMA con formación de resultado por síntesis 2.4.8 SDMA conagentes con capacidad de aprendizaje 7 8 9 13 14 17 18 19 21 22 24 27 28 30 31 32 32 34 34 35 36 37 40 40 41 41 42 43 45 46 46 49 51

4

ÍNDICE GENERAL
2.4.9 SDMA con agentes que tienen modelos del resto El Juego de las Damas por Ordenador 2.5.1 El Programa de Damas de Samuel 2.5.2 Chinook Predicción de Carcinogénesis 2.6.1 El Reto de la Evaluación de la Toxicología Predictiva 2.6.2Comparación de Métodos Conclusiones 54 56 58 60 61 62 63 64 67 69 69 70 71 74 76 78 79 83 84 84 87 88 94 97 97 105 106 106 107

2.5

2.6

. .

2.7 3

Objetivos

4 El modelo lAO 4.1 Modelado 4.1.1 Modelo del Dominio de Problemas 4.1.2 Modelo de un SDMA 4.1.3 Modelo de un agente del SDMA 4.1.4 Arquitectura de un Agente 4.1.5 Lenguaje de Comunicación entre Agentes 4.2 Algoritmo de Toma deDecisión Distribuida 4.3 Aprendizaje Local y Distribuido 4.3.1 El Aprendizaje de Competencias en lAO 4.3.2 Las Regiones de Competencia y de Preferencia 4.3.3 Partición del Espacio de Problemas 4.3.4 Aprendizaje de las Regiones de Competencia y Preferencia 4.3.5 El Uso del Aprendizaje Distribuido en un SDMA 5 La Aplicación D A M A S 5.1 El SDMA DAMAS 5.2 Experimentos 5.2.1 SDMA no entrenado contraalfa-beta 5.2.2 SDMA entrenado contra alfa-beta 5.2.3 SDMA contra componentes 6

La Aplicación EICAP 109 6.1 El Problema de la Toxicología Predictiva 109 6.2 Modelización del Problema 110 6.3 Planteamiento de los Experimentos 110 6.4 Experimentos con Sistemas Monolíticos 112 6.5 La Aplicación EICAP 114 6.6 Experimentos con SDMA . 116 6.6.1 SDMA no entrenado comparado con SDMA entrenado . . 116 6.6.2SDMA frente a sus componentes 117

ÍNDICE GENERAL 7 Conclusiones 7.1 Estado de la Cuestión 7.2 Modelo Teórico 7.3 Validación Experimental

5 119 119 119 122

8 Futuras Líneas de Investigación 125 8.1 Reentrenamiento de los Agentes Trabajadores 125 8.2 Criterio Variable de Síntesis de Problemas de Entrenamiento . . 127 8.3 Particionamiento Variable 127 8.4 Aplicación a la Minería de Datos 129ÍNDICE GENERAL

Capítulo 1

Introducción
Cuando uno se encuentra ante un problema, definido por un estado inicial, un estado final deseado, una variedad de posibles acciones que emprender, y un entorno sobre el que se ejercen estas acciones (del que se posee un modelo quizá incompleto o parcialmente erróneo), se está ante un problema de decisión. Este problema consiste en decidir qué...