cadenas de markov

Cadenas de Markov
En los problemas de toma de decisiones, con frecuencia nos enfrentamos a situaciones que tienen incertidumbre asociada a ellas. Esta incertidumbre proviene de la variación inherente a las fuentes de esa variación que eluden el control o proviene de la inconsistencia de los fenómenos naturales. En lugar de manejar esta variabilidad como cualitativa, puede incorporarse a unmodelo matemático y manejarse en forma cuantitativa. Por lo general, este tratamiento puede lograrse si el fenómeno natural muestra un cierto grado de regularidad, de manera que sea posible describir la variación mediante un modelo probabilístico.
Este capitulo presenta modelos de probabilidad para procesos que evolucionan en el tiempo de una manera probabilística. Tales procesos se llaman procesosestocásticos. Después de introducir brevemente los procesos estocásticos generales en la primera sección, el resto del capítulo está dedicado a un tipo especial de proceso, llamado Cadena de Markov. Las cadenas de Markov tienen la propiedad particular de que las probabilidades que describen la forma en que el proceso evolucionará en el futuro dependen sólo del estado actual en que se encuentra elproceso y, por lo tanto, son independientes de los eventos ocurridos en el pasado. Muchos procesos se ajustan a esta descripción por lo que las cadenas de Markov constituyen una clase de modelos probabilísticos de gran importancia y por lo tanto, se han aplicado con éxito en áreas tales como educación, mercadotecnia, servicios de salud, finanzas, contabilidad y producción, entre otros.
1.1 ¿QUÉ ESUN PROCESO ESTOCÁSTICO?
Suponga que se observa una característica de un sistema en un conjunto de puntos discretos del tiempo (que llamaremos T = {0, 1, 2, , t, } y que no necesariamente son equidistantes) y la cual puede tomar en cada uno de estos tiempos uno de un número finito de estados mutuamente excluyentes, etiquetados como 1, 2, , s1. Sea Xt el valor de la característica del sistemaen el tiempo t (Xt toma valores en el conjunto S = {1, 2, , s}). En la mayor parte de los casos no se conoce Xt con certeza antes del tiempo t y por lo tanto se puede considerar como variable aleatoria. Así, un proceso estocástico de tiempo discreto y estado finito no es más que un conjunto indexado de variables aleatorias idénticamente distribuidas {Xt} sobre un conjunto discreto T, las cualestoman valores en un conjunto S = {1, 2, 3, , s}, y el cual da una descripción de la relación entre las variables aleatorias X0 , X1, X2, , Xt, . A continuación se dan unos ejemplos de procesos estocásticos de tiempo discreto.
Ejemplo 1.1 La ruina del jugador. En el tiempo 0 tengo $2000. En los tiempos 1, 2,  participo en un juego en el que solo puedo apostar $1000. Gano con probabilidad p, ypierdo con probabilidad 1 - p. Mi meta es aumentar mi capital a $4000, y tan pronto como lo logre se suspende el juego. El juego también se suspende si mi capital se reduce a $0.
Sea t el tiempo después de terminada la t-ésina partida y Xt la variable aleatoria que representa el capital que poseo después del juego cuando el tiempo es t, si es que lo hay. Así, los estados que puede tomar elsistema son:
Estado 0 Tener $0
Estado 1 Tener $1000
Estado 2 Tener $2000
Estado 3 Tener $3000
Estado 4 Tener $4000,
y por lo tanto S = {0, 1, 2, 3, 4}. Entonces se puede considerar que {Xt} es un proceso estocástico de tiempo discreto. Nótese que X0 = 2 es una constante conocida, pero que X1 y las demás Xt son aleatorias. Por ejemplo, X1 = 3 con probabilidad p y X1 = 1 con probabilidad 1 - p.Nótese que si Xt = 4, entonces Xt+1 y todas las demás Xt también serán iguales a 4. Igualmente, si Xt = 0, entonces Xt+1 y todas las demás Xt serán también cero. Por razones obvias, a estos casos se les llama problema de la ruina del jugador.
Ejemplo 1.2 Una urna contiene dos bolas, las cuales se encuentran sin pintar. Se selecciona una bola al azar y se lanza una moneda. Si la bola elegida no está...