Cadenas de markov

Cadenas de Markov

51

3 Cadenas de Markov
3.1 Cadenas de Markov: Introducción
3.1.1 Concepto de cadena de Markov
Las cadenas de Markov son una herramienta para analizar el comportamiento y el gobierno de
determinados tipos de procesos estocásticos, esto es, procesos que evolucionan de forma no
determinista a lo largo del tiempo en torno a un conjunto de estados.
Una cadena de Markov,por tanto, representa un sistema que varía su estado a lo largo del tiempo,
siendo cada cambio una transición del sistema. Dichos cambios no están predeterminados, aunque sí lo
está la probabilidad del próximo estado en función de los estados anteriores, probabilidad que es
constante a lo largo del tiempo (sistema homogéneo en el tiempo). Eventualmente, en una transición,
el nuevo estado puedeser el mismo que el anterior y es posible que exista la posibilidad de influir en
las probabilidades de transición actuando adecuadamente sobre el sistema (decisión).
En este módulo nos ocuparemos de las llamadas cadenas de Markov finitas, caracterizadas porque el
número de estados del sistema es finito.
Formalmente, para definir una cadena de Markov finita hace falta determinar por lo tantolos
siguientes elementos:
a) Un conjunto de estados del sistema.
b) La definición de transición.
c) Una ley de probabilidad condicional, que defina la probabilidad del nuevo estado en función de los
anteriores.
Los estados son una caracterización de la situación en que se halla el sistema en un instante dado,
dicha caracterización puede ser tanto cuantitativa como cualitativa. Desde un puntode vista práctico
probablemente, la mejor definición de qué debe entenderse por estado es la respuesta que se daría a la
pregunta "¿cómo están las cosas?".
Formalmente, el estado de un sistema en un instante t es una variable cuyos valores sólo pueden
pertenecer al conjunto de estados del sistema. El sistema modelizado por la cadena, por lo tanto, es
una variable que cambia de valor en eltiempo, cambio al que llamamos transición.
Dicho de otro modo, se trata de una colección indexada de variables Et, donde t denota intervalos
temporales significativos para el fenómeno estudiado. Los posibles valores de Et se toman de un

© Los autores, 2002; © Edicions UPC, 2002

Métodos cuantitativos de organización industrial II

52

conjunto de categorías mutuamente excluyentes,denominadas estados del sistema. Por ser el sistema
estocástico, no se conocerá con certeza el estado del sistema en un determinado instante, sino tan solo
la probabilidad asociada a cada uno de los estados. Este hecho puede expresarse en términos de
probabilidad condicional:
p{Et = j  Et-1 = i, Et-2 = et-2, Et-3 = et-3, ... , E0 = e0} = p{Et = j  Et-1 = i, Et-2 = et-2, Et-3 = et-3, ..., Et-k =et-k}
donde i, j, ei pertenecen al conjunto de estados posibles del sistema.
Para el caso particular de una cadena de Markov de orden 1, tenemos:
p{Et = j  Et-1 = i, Et-2 = et-2, Et-3 = et-3, ... , E0 = e0} = p{Et = j  Et-1 = i} = pij
Donde pij recibe el nombre de probabilidad de transición del estado i al estado j. En una cadena de
Markov de orden 1, el estado del sistema en el futuro j sólodepende del estado presente i.
En este módulo sólo estudiaremos cadenas de Markov que tengan las propiedades siguientes:
•
•

Con un número n finito de estados (en oposición a cadenas de Markov de infinitos estados
posibles).
De orden 1 (si bien veremos cómo transformar las de orden superior en cadenas de orden 1).

Para este tipo de cadenas, tendremos que la ley de probabilidadcondicional es de la forma:
p{Et+s = j  Et+s-1 = i} = p{Et = j  Et-1 = i}
3.1.2 Matrices de probabilidades de transición
En las cadenas finitas de orden 1 (es decir las que estudiamos aquí), la forma más cómoda de expresar
la ley de probabilidad condicional de la misma es mediante la llamada matriz de probabilidades de
transición P, o más sencillamente, matriz de la cadena.
Dicha matriz es...