Solucion De Cdmarkov

17.3

Probabilidades de transición en la n-ésima etapa
Suponga que se está estudiando una cadena de Markov con una matriz de probabilidad de
transición conocida P. (puesto que las cadenas con las que se tratará son estacionarias, no
nos molestaremos en marcar nuestras cadenas de Markov como estacionarias). Una pregunta de interés es: si una cadena de Markov está en el estado i en el tiempom, ¿cuál es
la probabilidad de que n periodos después la cadena esté en el estado j? Puesto que se trata con una cadena de Markov estacionaria, esta probabilidad es independiente de m, así que
se podría escribir
P(Xm+ll = jlX

III

= i) = PCXn = jlXo = i) = Pij(n)

donde Pij(n) se llama probabilidad del n-ésimo paso de una transición del estado i al estado j.
Resulta claro que Pij(1) =Pu: Para determinar Pij(2), observe que si el sistema ahora
está en el estado i, entonces para que el sistema termine en el estado j dos periodos a partir de ahora, se debe ir del estado i a algún estado k y luego del estado k al estado j (véase
la figura 3). Este razonamiento nos permite escribir
k=s

Pij(2)

=

I (probabilidad

de transición de i a k)

k=1

X

(probabilidad detransición de k aj)

Usando la definición de P, la matriz de probabilidad de transición, se reescribe la última
ecuación como
k=s

Pij(2)

=

I

(3)

PikPkj

k=!

El lado derecho de (3) es sólo el producto escalar del renglón i de la matriz P con la columna J de la matriz P. Por consiguiente, Pij(2) es el ij-ésimo elemento de la matriz
Al
ampliar este razonamiento, se puededemostrar que para n > 1,

r.

Pij(n) = ij-ésirno elemento de pn
Por supuesto, para n = O, P ij(O) = P(Xo = j IXo = i), así que se debe escribir
p·(O)
1)

=

l
{O·

sij

=

i

.
SI]

-t.

.

-r- 1

Se ilustra el uso de la ecuación (4) en el ejemplo 4.

Estado
Pil

FIGURA

3

= Pilfl1j +
+ ... + p¡sPsj

Pij(2)
P¡2fJ2j

928

Tiempo O

GAP

í TUL

Tiempo1

O

17 Cadenas de Markov

Tiempo 2

(4)

EJ EM PLO

4

Ejemplo de la bebida de cola

.. '~

Suponga que toda la industria de bebidas de cola produce sólo dos, Dado que una persona la última vez compró cola 1, hay 90% de probabilidades de que su siguiente compra sea
cola 1, Dado que la última compra de una persona fue cola 2, hay 80% de probabilidades
de que su siguientecompra sea cola 2.
1 Si una persona en la actualidad es comprador de cola 2, ¿cuál es la probabilidad de que
compre cola 1 dos veces a partir de ahora?
2 Si una persona en la actualidad es comprador de cola 1, ¿cuál es la probabilidad de que
compre cola 1 tres ocasiones a partir de ahora?
Solución

Vemos las compras de cada persona como una cadena de Markov con el estado, en cualquier
tiempodado, del tipo de cola que compró la persona en la última vez. Así, las compras de
cada individuo pueden representarse como una cadena de Markov de dos estados, donde
Estado l
Estado 2

=
=

La persona compró cola del tipo 1 la última vez.
La persona compró cola del tipo 2 la última vez.

Si se define X" como el tipo de cola que una persona compra en su n-ésima compra futura
(compraactual de cola = Xo), entonces Xo, X l s ••• se podría describir como la cadena de
Markov con la siguiente matriz de transición:
Cola 1
Cola 1

P=

Cola 2

.90

.10 ]

Cola 2 [ .20

.80

Ahora se pueden contestar las preguntas 1 y 2.
Se busca

= IIXo = 2) =

P(X2

r

=

[.90
.20

P21(2)

= elemento 21 de

.10] [.90
.80
.20

.10]
.80

=

[.83
.34

r:.17]
.66

Por consiguiente, P21(2) = .34. Esto significa que la probabilidad de que un bebedor de
cola 2 en el futuro compre dos veces cola l es .34. Mediante la teoría de probabilidad
básica, se podría obtener esta respuesta de una manera distinta (véase la figura 4). Observe
que P21(2) = (probabilidad de que la siguiente compra sea cola 1 y la segunda compra sea
cola 1) + (probabilidad de...