CADENAS DE MARKOV

CADENAS DE MARKOV

Algunas veces es motivo de interés, saber cómo cambia una variable aleatoria a través del tiempo. Por ejemplo, se desearía conocer como evoluciona el precio de las acciones de una empresa en el mercado a través del tiempo, etc. Esto se explica con lo que se conoce como un proceso estocástico. Hay un tipo de procesos estocásticos conocidos como Cadenas de Markov, que se verán alo largo de esta unidad.
Suponga que se observa una característica de un sistema en puntos discretos en el tiempo ( que llamamos 0,1,2,…). Sea Xt, el valor de la característica del sistema en el tiempo t. En la mayor parte de los casos no se conoce Xt con certeza antes del tiempo t y se puede considerar como variable aleatoria. Un proceso estocástico de tiempo discreto es simplemente unadescripción de la relación entre las variables aleatorias Xo, X1, X2,… .
Un tipo especial de procesos estocásticos de tiempo discreto se llama cadena de Markov. De modo que para simplificar su definición suponga que en cualquier tiempo el proceso puede estar en uno de un número finito de estados identificados por 1,2,…,s, con lo cual así se tiene que:

“ Un proceso estocástico de tiempo discreto es unacadena de Markov si, para t = 0,1,2,…, y todos los estados se define que”:


En esencia, esta ecuación dice que la distribución de probabilidad del estado en el tiempo t+1 depende de la del estado en el tiempo t y no depende de los estados por los cuales pasó la cadena para llegar a it en el tiempo t.
En el estudio de cadenas de Markov se hará la hipótesis adicional que para todos los estado i yj y toda t, P(X t+1 = j │ Xt = i) es independiente de t. Esta hipótesis permite escribir
P(X t+1 = j │ Xt = i) = pij

Donde pij es la probabilidad de que dado que el sistema está en el estado i en el tiempo t, el sistema estará en el estado j en el tiempo t + 1. Si el sistema pasa del estado i durante un período al estado j durante el período siguiente, se dice que ha ocurrido una transición de ia j. Con frecuencia se llaman probabilidades de transición a las pij en una cadena de Markov.
La última expresión indica que la ley de probabilidad que relaciona el estado del siguiente período con el estado actual no cambia, o que permanece estacionaria, en el tiempo. Por este motivo, a menudo se llama hipótesis de estabilidad a esta expresión. Toda cadena de Markov que satisface a dichaexpresión se llama cadena estacionaria de Markov.
El estudio de las cadenas de markov también necesita que se defina a qi como la probabilidad de que la cadena se encuentre en el estado i en el tiempo 0; en otras palabras, P( Xo = i) = qi. Al vector q = [q1,q2,…,qs] se le llama distribución inicial de probabilidad de la cadena de markov. En la mayoría de las aplicaciones, las probabilidades detransición se presentan como una matriz P de probabilidades de transición de tamaño s *s. La matriz de probabilidad de transición P se puede escribir como:


Dado que el estado es i en el tiempo t, el proceso debe estar en algún lugar en el tiempo t + 1. Esto significa que para cada i:




También se sabe que cada elemento de la matriz P debe ser no negativo. Por lo tanto, todos los elementos de lamatriz de probabilidad de transición son no negativos; los elementos de cada renglón deben sumar 1.
Ver ejemplos en Excel.

Ejemplo 1.-

Un jugador empedernido interviene en un juego de azar. En el tiempo 0 tiene 2 dólares. En los tiempos 1,2,… participa apostando 1 dólar. Gana el juego con probabilidad p y lo pierde con probabilidad 1 – p. la meta del jugador es aumentar su capital a 4 dólares y tanpronto esto suceda se sale del juego. También se sale del juego si pierde todo su capital. Si se define a X como el capital de jugador después del juego cuando el tiempo es t, entonces se puede considerar que X0, X1, X2...son procesos estocásticos de tiempo discreto. Nótese que X0 = 2 es una constante conocida pero las demás variables aleatorias son desconocidas.
Diseñe este problema como una...