Cadenas de markov

Cadenas de Markov

1. Introducción y Ejemplos

Se dice que un proceso estocástico {Xt} a “tiempo discreto” tiene la propiedad Markoviana, si la “probabilidad condicional de que mañana el proceso se encuentre en un determinado estado, dado los estados del proceso hoy y los días anteriores, sólo depende del estado del proceso hoy”. ( dados el presente y el pasado, la probabilidad del mañanasólo depende del presente).
Esto se escribe así:

P{ X t+1 = j / Xo = eo , X1 = e1 , X2 = e2 , . . . , Xt = i } = P{ X t+1 = j / Xt = i }
= pij(t)

pij(t) = probabilidad de que el proceso, estando en el estado i en el instante t, pase al estado
j en el instante siguiente.A los pij(t) se les llama probabilidades de transición y cuando estas no dependen de t, se dice que las probabilidades de transición son estacionarias y se escriben pij .

Cuando un proceso estocástico sólo pueda tomar un conjunto finito de estados y satisfaga la propiedad markoviana con probabilidades de transición estacionarias, entonces llamaremos al proceso Cadena de Markov . A lamatriz P = (pij ) se le denomina matriz de transición . Observemos que para toda matriz de transición debe cumplirse:

1) pij ( 0
2) para cada i (para cada fila) se cumple: pi1 + pi2 + . . . + pik = 1

Ejemplo 1:
En el tiempo 0 tengo Bs 20.000 y en los tiempos 1 ,2 ,3 .... participo en un juego en el que apuesto Bs 10.000. Gano el juego (y gano Bs 10.000) con probabilidad py lo pierdo (perdiendo lo apostado: Bs 10.000) con probabilidad 1-p . Mi meta es aumentar mi capital hasta Bs 40.000 y tan pronto como lo logre, me salgo del juego. También salgo cuando me arruine (capital igual a Bs 0). Se define

Xt : mi capital después del juego realizado en el tiempo t

Estados del proceso = { 0 , 20.000 , 30.000 , 40.000 }1 1
p p p

1-p 1-p 1-p

La matriz de transición viene dada por:

||Estado 0 |Estado 1 |Estado 2 |Estado 3 |Estado 4 |
|Estado 0 |1 |0 |0 |0 |0 |
|Estado 1 |1-p |0 |p |0 |0 |
|Estado2 |0 |1-p |0 |p |0 |
|Estado 3 |0 |0 |1-p |0 |p |
|Estado 4 |0 |0 |0 |0 |1 |Ejemplo 2

Consideremos el siguiente modelo para el valor de una acción.
Al final de un día dado se registra el precio y el que la acción suba o no mañana depende de si subió o no hoy y ayer. En particular, si la acción subió los dos días, la probabilidad de que suba mañana es 0,9. Si la acción subió hoy pero ayer bajo, mañana subirá con probabilidad 0,6. Si la acción bajó hoy pero ayer subióayer entonces mañana subirá con probailidad de 0,5. Por último, si bajó los dos días, la probabilidad de que suba mañana es de 0,3. Se definen los siguientes estados:

Estado 0 : la acción subió hoy y ayer. ( + + )
Estado 1 : la acción aumentó hoy pero ayer bajó. ( - + )
Estado 2 : la acción bajó hoy pero ayer subió. ( + - )
Estado 3 : la acción bajó hoy y ayer. ( - - )

La matriz de...