Cadenas de markov

Unidad 4
4.2 Formulacion Cadenas de Markov
4.3 Procesos Estocasticos
4.4 Propiedad Markoviana Primer Orden

CADENAS DE MARKOV
4.4 Propiedad Markoviana de primer orden.
Se dice que un proceso estocástico tiene la propiedad markoviana si
P Xt+1 = j = P X t+1 , para toda t = 0, 1, . . y toda
sucesión i, j , K0 , K1 , . . , Ki-1 .
Se puede demostrar que esta propiedad markoviana esequivalente a establecer una probabilidad condicional de cualquier “evento” futuro dados cualquier “evento “ pasado y el estado actual Xi = i , es independiente del evento pasado y sólo depende del estado actual del proceso. Las probabilidades condicionales PXt+1 = j se llaman probabilidades de transición. Si para cada i y j,
P Xt+1 = j = pX1 = j , para toda t = 0, 1, ….
Entonces se dice quelas probabilidades de transición (de un paso) son estacionarias y por lo general se denotan por pij . Así, tener probabilidades de transición estacionarias implican que las probabilidades de transición no cambian con el tiempo. La existencia de probabilidades de transición (de un paso) estacionarias también implica que, para cada i, j y n (n = 0, 1, 2,…),
P Xt+n = j = pXn = j ,
Para toda t = 0,1, . . . Estas probabilidades condicionales casi siempre se denotan por y se llaman probabilidades de transición de n pasos. Así, es simplemente la probabilidad condicional de que la variable aleatoria X, comenzando en el estado i, se encuentre en el estado j después de n pasos ( unidades de tiempo ).

4.5 Probabilidad Transicion Estacionarias de un solo paso
CADENAS DE MARKOV
4.5Probabilidad de transición de un solo paso.
Probabilidades de transición.
Una forma de describir una cadena de Markov es con un diagrama de estados, como el que se muestra en la figura 4.1.2. En ésta se ilustra un sistema de Markov con cuatro estados posibles : M1, M2 , M3 y M4 . La probabilidad condicional o de transición de moverse de un estado a otro se indica en el diagrama
Otro método paraexhibir las probabilidades de transición es usar una matriz de transición. . La matriz de transición para el ejemplo del diagrama de estados se muestra en la tabla 4.1.1 .
Otro método para exhibir las probabilidades de transición es usar una matriz de transición. .
Para n = 0, 1, 2, ….
El superíndice n no se escribe cuando n = 1.
Una cadena de Márkov se puede caracterizar por la probabilidad deir al estado n+1 condicionada a que antes estábamos en el estado n:

Que es la probabilidad de transición del proceso. La propiedad de las cadenas de Márkov es que las transiciones entre los estados, sólo puede producirse entre estados vecinos. Sólo se puede llegar al estado i desde el estado i-1 ó bien de i+1.
Este tipo de estadística se suele encontrar en la distribución exponencial, cuyafunción de densidad de probabilidad se expresa así:

Vamos a comprobar que un proceso definido por esta fdp no tiene memoria. La probabilidad de que haya una transición entre 0 y un tiempo t cualquiera es:

Integrando obtenemos:

Ahora vamos a calcular la probabilidad para el mismo intervalo t, pero con instante de inicio diferente t0. Calcularemos la probabilidad de tener una transición en elintervalo t, (de t0 hasta t0+t) condicionado a que antes de t0 no ha habido ninguna transición:

Sustituyendo por las fdp y operando obtenemos:

Con lo que queda demostrado que la probabilidad de tener una transición en un estado, no depende del tiempo anterior.

Ejemplo :
Una tienda de cámaras tiene en almacén un modelo especial de cámara que se puede ordenar cada semana. Sean D1, D2, …las demandas de esta cámara durante la primera, segunda, … , semana, respectivamente. Se supone que las Di son variables aleatorias independientes e idénticamente distribuidas que tienen una distribución de probabilidad conocida. Sea X0 el número de cámaras que se tiene en el momento de iniciar el proceso, X1 el número de cámaras que se tienen al final de la semana uno, X2 el número de cámaras al...