Cadenas de markov

CADENAS DE MARKOV
4.8 Probabilidad de transición estacionarias de estados estables.
Teorema
Sea P la matriz de transición de una cadena de M estados . Existe entonces un vector tal que
Seestablece que para cualquier estado inicial i , .
El vector a menudo se llama distribución de estado estable, o también distribución de equilibrio para la cadena de Markov. Para encontrar la distribuciónde probabilidades de estacionario para una cadena dada cuya matriz de transición es P, según el teorema, para n grande y para toda i , (1)
Como Pij (n + 1) = ( renglón i de Pn )(columna j de P),podemos escribir
(2)
Ejemplo :
Suponga que toda la industria de refrescos produce dos colas. Cuando una persona ha comprado la cola 1, hay una probabilidad de 90 % de que su siguiente compra se decola 1. Si una persona compró cola 2, hay un 80 % de probabilidades que su próxima compra sea de cola 2.
Entonces :
Al reemplazar la segunda ecuación por la condición ,
obtenemos el sistemaAl despejar resulta que Por lo tanto, después de largo tiempo, hay probabilidad 2/3 de que una persona dada compre cola 1 y 1/3 de probabilidad de que una persona compre cola 2.
Tiempos de primerpaso.
Con frecuencia es conveniente poder hacer afirmaciones en términos de probabilidades sobre el número de transiciones que hace el proceso al ir de un estado i a un estado j por primera vez . estelapso se llama tiempos de primer paso al ir del estado i al estado j. cuando J=i, esta tiempo de primer paso es justo el número de transiciones hasta que el proceso regresa al estado inicial i. Eneste caso, el tiempo de primer paso se llama tiempo de recurrencia para el estado i.
Para ilustrar estas definiciones, reconsidérese el ejemplo siguiente :
Una tienda de cámaras tiene en almacén unmodelo especial de cámara que se puede ordenar cada semana. Sean D1, D2, … las demandas de esta cámara durante la primera, segunda, … , semana, respectivamente. Se supone que las Di son variables...