Procesos

16
C A P Í T U L O

Cadenas de Markov
El capítulo 15 se enfocó en la toma de decisiones ante la incertidumbre de uno o más eventos
futuros, con la intención de conocer el verdadero estado de la naturaleza. Sin embargo, algunas
decisiones deben tomar en cuenta la incertidumbre acerca de muchos eventos futuros. Ahora se
presentará el fundamento de la toma de decisiones en este contexto más amplio.En particular, este capítulo presenta modelos de probabilidad de procesos que evolucionan en
el tiempo de una manera probabilística. Tales procesos se llaman procesos estocásticos. Después
de una introducción breve de los procesos estocásticos generales en la primera sección, el resto del
capítulo se dedica a un tipo especial de proceso que se denomina cadena de Markov. Las cadenas
de Markovtienen la propiedad particular de que las probabilidades que describen la forma en que
el proceso evolucionará en el futuro dependen sólo del estado actual en que se encuentra el proceso
y, por lo tanto, son independientes de los eventos que ocurrieron en el pasado. Muchos procesos
se ajustan a esta descripción, por lo que las cadenas de Markov constituyen una clase de modelo
probabilístico de granimportancia.
Por ejemplo, usted podrá observar en el capítulo siguiente que las cadenas de Markov de
tiempo continuo (descritas en la sección 16.8) se utilizan para formular gran parte de los modelos
básicos de la teoría de colas. Las cadenas de Markov también proporcionan las bases para el estudio de los modelos de decisión de Markov en el capítulo 19. Existe una amplia gama de aplicaciones de lascadenas de Markov. Un gran número de libros y artículos presentan algunas de estas
aplicaciones. Una de ellas constituye la referencia seleccionada 4 que describe las aplicaciones
en áreas tan diversas como la clasificación de los clientes, la secuencia del DNA, el análisis de
redes genéticas, la estimación de la demanda de ventas a través del tiempo y el valor del crédito.
También se presenta, enel recuadro de aplicación de la sección 16.2, un ejemplo que involucra
el valor del crédito, mientras que el recuadro de aplicación de la sección 16.8 se relaciona con el
mantenimiento de máquinas. La referencia seleccionada 6 hace hincapié en las aplicaciones en
finanzas y la 3 describe aplicaciones para el análisis de la estrategia del beisbol. La lista continúa
de manera indefinida, pero por elmomento veremos una descripción de los procesos estocásticos
en general y de las cadenas de Markov en particular.

■ 16.1

PROCESOS ESTOCÁSTICOS
Un proceso estocástico se define como una colección indexada de variables aleatorias {Xt}, donde
el índice t toma valores de un conjunto T dado. Con frecuencia T se considera el conjunto de enteros
no negativos mientras que Xt representa unacaracterística de interés cuantificable en el tiempo t.
Por ejemplo, Xt puede representar los niveles de inventario al final de la semana t.
Los procesos estocásticos son de interés para describir el comportamiento de un sistema en
operación durante algunos periodos. Un proceso estocástico tiene la siguiente estructura.
La condición actual del sistema puede estar en una de M 1 1 categorías mutuamenteexcluyentes
llamadas estados. Por conveniencia en la notación, estos estados se etiquetan 0, 1, 2, . . ., M. La

674

CAPÍTULO 16

CADENAS DE MARKOV

variable aleatoria Xt representa el estado del sistema en el tiempo t, de manera que sus únicos
valores posibles son 0, 1, . . ., M. El sistema se observa en puntos del tiempo dados, etiquetados
t 5 0, 1, 2, . . . De esta forma, los procesos estocásticos{Xt} 5 {X0, X1, X2, . . .} proporcionan
una representación matemática de la forma en que evoluciona la condición del sistema físico a
través del tiempo.

Este tipo de procesos se conocen como procesos estocásticos de tiempo discreto con espacio
de estados finito. Excepto en el caso de la sección 16.8, éste será el único tipo de procesos estocásticos que se estudiará en este capítulo. (En la...