cadena de markov

SOLUCIÓN DE UN PROCESO
MARKOVIANO POR PROGRAMACIÓN
DINÁMICA
Pacheco Mendoza Jesús
Julio de 2003

ii

CONTENIDO
1 PRELIMINARES
1.1 TOMA DE DECISIONES . . . . . . . . . . . . . . . . . . . . . .
1.2 PROGRAMACIÓN DINÁMICA . . . . . . . . . . . . . . . . . .
1.2.1 INTRODUCCIÓN . . . . . . . . . . . . . . . . . . . . . .
1.2.2 ELEMENTOS DE UN MODELO DE PD . . . . . . . . .
1.2.3CARACTERÍSTICAS DE LOS PROBLEMAS DE PROGRAMACIÓN DINÁMICA . . . . . . . . . . . . . . . . .
1.2.4 LA PROGRAMACIÓN DINÁMICA TIPO DETERMINÍSTICA . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.2.5 LA PROGRAMACIÓN DINÁMICA PROBABILÍSTICA
1.3 PROCESOS ESTOCÁSTICOS . . . . . . . . . . . . . . . . . . .
1.3.1 INTRODUCCIÓN . . . . . . . . . . . . . . . . . . . . . .
1.3.2 LA PROPIEDAD DEMARKOV Y MATRICES DE TRANSICIÓN . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.3.3 ECUACIONES DE CHAPMAN-KOLMOGOROV . . . .
1.3.4 CLASIFICACIÓN DE ESTADOS EN UNA CADENA
DE MARKOV . . . . . . . . . . . . . . . . . . . . . . . .
1.3.5 TIEMPOS DE PRIMERA PASADA . . . . . . . . . . . .
1.3.6 PROPIEDADES A LARGO PLAZO DE LAS CADENAS
DE MARKOV . . . . . . . . . . . . . . . . . . . . . . . .1
1
8
8
9
9
11
12
14
14
18
19
21
24
25

2 TEORÍA DE INVENTARIOS
29
2.1 COMPONENTES DE LOS MODELOS DE INVENTARIOS . . 29
2.2 MODELOS DETERMINÍSTICOS . . . . . . . . . . . . . . . . . 31
2.2.1 REVISIÓN CONTINUA, DEMANDA UNIFORME Y NO
SE PERMITEN FALTANTES . . . . . . . . . . . . . . . 31
2.2.2 REVISIÓN CONTINUA, DEMANDA UNIFORME Y SE
PERMITEN FALTANTES . . . . . . . . . . .. . . . . . 32
2.3 MODELOS ESTOCÁSTICOS . . . . . . . . . . . . . . . . . . . 34
2.3.1 MODELO DE UN PERIODO SIN COSTO FIJO . . . . 34
2.3.2 MODELO CON UN INVENTARIO INICIAL . . . . . . . 36
2.3.3 DERIVACIÓN DE LA POLÍTICA ÓPTIMA . . . . . . . 36
2.3.4 MODELO DE INVENTARIOS DE UN PERIODO CON
COSTO DE PREPARACIÓN . . . . . . . . . . . . . . . . 38
iii

iv

CONTENIDO
2.3.5

2.4MODELO DE INVENTARIOS DE DOS PERIODOS SIN
COSTO DE PREPARACIÓN . . . . . . . . . . . . . . . .
2.3.6 MODELO DE VARIOS PERIODOS SIN COSTO DE
PREPARACIÓN . . . . . . . . . . . . . . . . . . . . . . .
PROCESOS DE DECISIÓN . . . . . . . . . . . . . . . . . . . .
2.4.1 MODELO UTILIZADOS PARA PROCESOS DE DECISIÓN MARKOVIANOS . . . . . . . . . . . . . . . . .
2.4.2 MODELO DE ETAPA INFINITA . . . . . .. . . . . . .

40
43
43
43
44

3 APLICACIÓN
51
3.1 INTRODUCCIÓN . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.2 SOLUCIÓN DE UN PROBLEMA DE INVENTARIOS . . . . . 51
3.3 CONCLUSIONES . . . . . . . . . . . . . . . . . . . . . . . . . . 57

CAPÍTULO 1

PRELIMINARES
1.1

TOMA DE DECISIONES

El término toma de decisiones se refiere a la selección de una alternativa deentre
todo un conjunto de ellas. Significa escoger, como tal, la toma de decisiones es
sólo un paso dentro de este proceso de selección.
Surgen las siguientes preguntas:
1.- ¿Cómo debe actuarse al tomar una decisión?
2.- ¿Qué debe hacerse para tomar la mejor decisión?
Una rama de la matemática aplicada dedicada al estudio de la toma de
decisiones lo constituye la investigaci´n de operaciones.Como su nombre lo
o
indica, la investigación de operaciones significa hacer investigaci´n sobre las
o
operaciones. La parte de investigación en el nombre significa que la investigación de operaciones usa un enfoque similar a la manera en que se lleva
acabo la investigación en los campos científicos establecidos. En gran medida
se usa el método científico para investigar el problema en cuestión.El proceso comienza por la observación cuidadosa y la formulación del problema, incluyendo la recolección de los datos pertinentes. El siguiente paso es la construcción de un modelo científico (por lo general matemático) que intenta abstraer
la esencia del problema real. En este punto se propone la hipótesis de que el
modelo es una representación lo suficientemente precisa de las características...