Cadenas de markov

Introducción a la Investigación de Operaciones

Procesos estocásticos de tiempo discreto – Práctico

Introducción a la Investigación de Operaciones Facultad de Ingeniería - Universidad de la República Oriental del Uruguay
Procesos Estocásticos de Tiempo Discreto · Práctico Ejercicio 1
Supongamos que p(x,y,z) es la distribución de probabilidades conjunta de las variables aleatorias X, Y, Z yestá dada por: p(1,1,1) = 1/8 p(1,1,2) = 1/8 p(1,2,1) = 1/16 p(1,2,2) = 0 p(2,1,1) = 1/4 p(2,1,2) = 3/16 p(2,2,1) = 0 p(2,2,2) = 1/4

Calcular las esperanzas condicionales E(X | Y = 2) y E(X | Y = 2, Z = 1)

Ejercicio 2
Describa el siguiente Proceso Estocástico enumerando sus estados y etapas, calcule su distribución conjunta y dibuje su árbol asociado. 1. Lanzo un dado 2.a. Si obtengonúmeros impares, lanzo el dado otra vez. 2.b. Si obtengo números pares lanzo una moneda 3.a. Si obtengo cara lanzo el dado, 3.b. Si obtengo número lanzo la moneda. El proceso finaliza una vez cumplidas estas etapas.

Ejercicio 3
Supongamos ahora que el proceso del ejercicio 3 se repite indefinidamente. ¿Es el nuevo proceso una Cadena de Markov homogénea? Fundamente su respuesta. Si contesta sí,dibuje el grafo asociado que corresponda.

Ejercicio 4
Sean las Matrices de Transición:

 14 1  2 P1 =  0  0 1 

3 1

4 2

0
2 3

0 0 1
1 3

0

0

0 0 0 0  0 0  0 0 0 0 

0 1 P2 =  0  0

0 0 1 1

1

4

3

0 0 0

 0  0  0
4

1 0 P3 =  0 1  2

0
1 1 2 2

0
1 1 2 2

0

0

0 0  0 1  2

a) Clasifique cada uno de losestados de cada Cadena a partir de cada matriz dada. b) Enumere y fundamente la existencia de clases en cada Cadena.

1

Introducción a la Investigación de Operaciones

Procesos estocásticos de tiempo discreto – Práctico

Ejercicio 5
Supongamos que el que llueva o no depende de las condiciones del tiempo de los tres dias anteriores. Si llovió durante los tres días anteriores, lloverámañana con probabilidad 0.8; si no llovió en ninguno de los tres días anteriores, lloverá mañana con probabilidad 0.2; en cualquiera de los otros casos, la probabilidad de que el tiempo de hoy sea igual al de ayer es de 0.6. Analice este proceso como una Cadena de Markov y determine su matriz de transición.

Ejercicio 6
Un hombre juega en dos máquinas tragamonedas. La primera paga monedas conprobabilidad c y la segunda con probabilidad d. Si pierde, el hombre juega en la misma máquina otra vez. Si gana, se cambia a la otra máquina. a) Modele el jugador como una CMTDH (dar el espacio de estados y la matriz de transición). b) Dibuje el grafo asociado. c) Diga para qué valores de c y d la cadena es:1) ergódica, 2) regular, 3) periódica. d) ¿En qué casos los estados son absorbentes?Ejercicio 7
a) Plantear la matriz de transición y el grafo asociado a la siguiente Cadena de Markov discreta: Espacio de Estados: E = {0, 1, ..., n} Probabilidades de transición: q = P00 = Pk, k–1 k = 1, 2, ..., n p = Pnn = Pk, k+1 k = 0, 1, .., n–1 p+q=1 p > 0, q > 0 b) Estudiar la periodicidad y regularidad de esta Cadena. Fundamente. c) ¿Posee esta cadena una Distribución Estacionaria? En casoafirmativo, fundamentar su existencia y calcularla. ¿Cuál es su Distribución Límite? Justificar la respuesta.

Ejercicio 8
Sean dos partidos políticos A y B. Los votantes pueden cambiar su afiliación partidaria solo si se abstienen por un período de elecciones. Las observaciones hasta el momento indican que, para el período siguiente se abstiene la mitad de los votantes del partido A y la cuartaparte de los votantes del partido B. Un votante que se abstuvo durante un período, tiene igual probabilidad de votar al partido A que al B, sin poder abstenerse nuevamente. a) Hallar la matriz de transición de este proceso estocástico y su grafo asociado. b) Hallar la probabilidad que una persona que votó a A se abstenga dentro de 3 períodos. c) Estudiar la cadena y clasificar sus estados. d) En...