hhhh

Cadenas de Markov y Aplicaciones
Eliseo Martínez

1
1.1

Cadenas de Markov
De…nición de Cadena de Markov

Sea fXt ; t 2 Ig una colección de variables aleatorias de modo que Xt toma
valores en un conjunto S, que llamaremos espacio de estado, y al conjunto
índice I le llamaremos, por razones de aplicación, espacio de tiempo. Se
dice que este conjunto de variables aleatorias constituyeun proceso estocástico si para cualquier colección arbitraria t1 ; t2; : : : ; tn la distribución del vector
aleatorio (Xt1 ; Xt2 ; :::; Xtn ) es conocida. Para aclarar esto último, supongamos que cada variable aaleatoria Xt toma valores en el espacio de estado de
los números reales 1

para el caso en que i = 0 se tiene
PrfXn+1 = 0 = Xn = 0g = r0
PrfXn+1 = 1 = Xn = 1g = p0
donde pi + qi +ri = 1 para i ¸ 1 y r0 + p0 = 1.
La designación de paseo aleatorio viene del hecho de que se asemeja a una
trayectoria de una persona que aleatoriamente avanza hacia atrás o hacia
adelante. La matriz de Markov o de transición de este proceso es
0
1
r0 q1 0 0 ¢ ¢ ¢
B p0 r1 q2 0 ¢ ¢ ¢ C
B
C
B 0 p1 r2 q3 ¢ ¢ ¢ C
B
C
B 0 0 p2 r3 ¢ ¢ ¢ C
@
A
. . . . ..
. . . .
.
. . . .

Este modelosirve para describir, entre otros, el siguiente juego
La ruina del jugador
Supongamos que un jugador A con k unidades de dinero juega con otro
in…nitamente rico, y tiene una probabilidad pk de ganar una unidad y qk =
1 ¡ pk , con k ¸ 1, de perder una unidad en cada respuesta o decisión (la
decisión o respuesta en cada etapa del juego puede depender de su fortuna
acumulada hasta entonces), yademás r0 = 1 (es decir, toda vez que el jugador
6

A se queda sin dinero, su contendor no le da crédito). De…namos el proceso
fXn g, donde Xn representa la fortuna de A despues de n jugadas. Notemos
que una vez que el estado 0 es alcanzado el proceso jamás sale de este estado.
Este proceso es claramente un paseo aleatorio.
El paseo aleatorio correspondiente a pk = p y qk = 1 ¡ p = q parak ¸ 1
y r0 = 1, con p > q, describe la situación de decisiones idénticas con una
ventaja de…nida para el jugador A en cada jugada. Más adelante demostraremos que con probabilidad (q=p)X0 el jugador A se arruinará, mientras
que con probabilidad 1 ¡ (q=p)X0 su fortuna aumentará en una larga serie de
jugadas sin límite, donde X0 representa la fortuna inicial. Si p < q entonces la ventaja está afavor del casino, y con probabilidad 1 el jugador A se
arruinará si persiste en jugar tanto como le sea posible. Lo mismo ocurrirá
si p = q = 1=2.
Ahora si el jugador A juega contra un adversario no in…nitamente rico,
obtenemos el siguiente ejemplo
Los jugadores con poco dinero.
Supongamos dos jugadores que juegan un juego donde se pierde o se
gana, y en cada jugada se apuesta un dólar porjugador. El jugador A tiene
a dólares y el jugador B tiene b dólares. Supongamos que no hay ventajas
para ningún jugador, esto es cada uno tiene las mismas opciones de ganar (o
perder). Desde el punto de vista de la ganancia del jugador A, de…namos el
proceso Xn como la ganancia obtenida por A en la n¡ésima jugada.
Es claro que la ganancia de este jugador antes de una determinada jugada,dependerá de la ganancia que haya obtenido en la jugada inmediatamente
anterior (esto es, la propiedad markoviana). Además existe cierta regla de
parada, toda vez que el jugador A pierda todo su dinero, o le gane todo el
dinero a su contrincante, el juego se detiene. Bajo estas condiciones el espacio
de estado de este proceso es S = f0; 1; 2; :::; a + bg, donde las probabilidades
de transiciónson:

7

Pr =

8
>
>
>
>
>
>
>
>
>
>
>
>
<

1
2

si j = i + 1 y 0 < i < a + b

1
2

si j = i ¡ 1 y 0 < i < a + b

1 si i = j = 0
>
>
>
>
>
> 1 si i = j = a + b
>
>
>
>
>
>
:
0 en cualquier otro caso

Esta de…nición no debe extrañarnos, nos dice que si el jugador A lleva
una ganancia (o dólares) que no son ni cero ni a + b entonces en la próxima...