problems de markov

PROBLEMAS DE CADENAS DE MARKOV


M1. Estudiar los procesos estocásticos definidos por las matrices:















M2. Considerar un proceso markoviano con la siguiente matriz de probabilidades de transición:

a) ¿Cual es el tiempo medio de primer paso de 3 a 2?
b) ¿Cuales deberian ser las probabilidades iniciales de estado
para que el procesoentrase en estado estacionario despues de una transicion?

M3. Un taller de reparaciones puede efectuar el trabajo A o el trabajo B pero no los dos simultaneamente; la tarea A requiere 2 dias y la B 1 dia. Los posibles estados del taller son pues:
1 = ninguna tarea, 2 = primer dia de la tarea A
3 = segundo dia de la tarea A 4 = tarea B
La probabilidad de una nueva demanda detarea A al principio de cada dia es a; la de la tarea B es b. No hay colas, si el taller está a mitad de ejecución de una tarea A, la llegada de una nueva demanda se pierde. La única ambigüedad se plantea cuando el taller termina un trabajo al final de un dia y tiene la posibilidad de empezar al dia siguiente con una tarea A o una B. Las dos políticas son posibles:
1) Empezar siempre conuna tarea A con preferencia a una B
2) Empezar siempre con una tarea B con preferencia a una A
a) Demostrar que para la política 1 la matriz de probabilidades de transicion es:



b) Encontrar las probabilidades límite de estados para este proceso
c) Encontrar la matriz de probabilidades de transición para la política 2
d) ¿Cual es la relación entre los porcentajes límite de diasde desocupación de ambas políticas?
M4. El siguiente proceso de Markov empieza en el estado 1



Encontrar las probabilidades de que:
a) El proceso esté en el estado 3 despues de tres transiciones
b) El proceso llegue al estado 3 por primera vez después de n transiciones
c) El proceso no haya llegado aún al estado 2 después de n transiciones
d) Después de la tercera transicióndesde el estado 3 hasta el 2 las dos transiciones siguientes sean o
e) El proceso entre en el estado 2 exactamente una vez en las tres primeras transiciones
f) El proceso realice la transición exactamente una vez en las tres primeras transiciones
g) El número esperado de veces que el proceso entrará en el estado 2 durante las tres primeras transiciones.

M5. Supongamos que laprobabilidad de que mañana llueva si hoy está lloviendo es 0.6, y que la probabilidad de que mañana haga buen tiempo si hoy hace buen tiempo es 0.4.
a) Determinar la matriz de probabilidades de transición de la cadena de Markov correspondiente.
b) Hallar la distribución de probabilidad del estado estacionario.

M6. Determinar las clases de las siguientes cadenas de Markov y decir si son ono recurrentes



M7. Consideremos el siguiente juego: un jugador apuesta una unidad en cada partida. Tiene una probabilidad p de ganar y q=1-p de perder. seguirá jugando hasta que se arruina o alcanza una fortuna de T unidades.
Sea Xn la fortuna del jugador en la n-ésima partida.


= 0 < Xn < T

Xn+1 = Xn Xn = 0 ó T


es una cadena de Markov.Supongamos que las sucesivas partidas del juego son independientes y que la fortuna inicial del jugador es X0
a) Determinar la matriz de probabilidades de transición de 1 paso de la cadena de Markov
b) Hallar las clases de la cadena de Markov
c) Sean T = 3 y p = 0.3 Hallar 
d) Sean T = 3 y p = 0.7 Hallar 
¿Qué se puede deducirde c) y d)?



M8. Supongamos que una red de comunicaciones transmite dígitos binarios 0 o 1. Al recorrer la red, existe una probabilidad q de que el dígito binario se reciba de forma incorrecta en el siguiente paso. Si X0 denota un dígito binario que entra en el sistema, X1 el dígito recibido después de la primera transición, X2 el dígito recibido después de la segunda transición, ... Xn ,...