Capitulo 10 Planificación Actuación Y Aprendizaje

Capítulo 10 “Planificación, actuación y aprendizaje”
Los procesos de percepción no siempre podrían obtener la información necesaria acerca del estado del entorno (bien por presencia de ruido, o bienpor haber impedimentos en la medición de propiedades importantes). Cuando dos situaciones del entorno producen la
misma entrada sensorial, tenemos lo que llamamos ficción perceptual.

Las accionespodrían no disponer siempre de modelos de sus efectos (porque los modelos
no son lo suficientemente precisos o porque el sistema ejecutor realiza ocasionalmente
errores al ejecutar las acciones).
Puedehaber otros procesos físicos, u otros agentes, en el mundo (tal como pueden existir, por ejemplo, en los juegos con adversario). Estos procesos podrían cambiar el mundo de manera que interfiriera conlas acciones del agente. 1994]. Una manera de asegurar una realimentación continua consiste en: planificar una secuencia de acciones, ejecutar la primera acción de la secuencia, medir la situaciónresultante en el entorno, recalcular el nodo inicio y repetir el proceso. A los agentes que seleccionan las acciones de esta forma se les llama agente de percepción/planificación/actuación.

Elprocedimiento de iteración del valor opera de la siguiente manera. Comenzamos asignando, de forma aleatoria, un valor estimado Ven) a cada nodo n. Supongamos que en algún paso del proceso estamos en el nodoni' Y que el valor estimado del nodo ni es Ven;). En esta situación, seleccionaremos aquella acción a que maximice la suma de la recompensa inmediata más el valor estimado del nodo sucesor (asumimosaquí que tenemos operadores que modelan los efectos de las acciones y que pueden ser aplicados a los nodos para producir nodos sucesores).

La planificación intercalada y la improvisación difieren en suconceptualización del concepto de duda. En el contexto de la planificación intercalada, uno asume que el estado de cosas obedece a un plan. La duda, por así decirlo, es un fenómeno marginal. En el...