Cadenas de markov

4.2 Formulación de las cadenas de Markov.

Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas de este tipo tienen memoria. "Recuerdan" el último evento y esto condiciona las posibilidades de los eventos futuros. Esta dependencia del evento anterior distingue a las cadenas de Markov de lasseries de eventos independientes, como tirar una moneda al aire o un dado.

En la figura 1 se muestra el proceso para formular una cadena de Markov. El generador de Markov produce uno de n eventos posibles, Ej , donde j = 1, 2, . . . , n, a intervalos discretos de tiempo (que no tiene que ser iguales ). Las probabilidades de ocurrencia para cada uno de estos eventos dependen del estado delgenerador. Este estado se describe por el último evento generado. En la figura 1, el último evento generado fue Ej , de manera que el generador se encuentra en el estado Mj .

Fig.1 Formulación de la cadena de Markov

La probabilidad de que Ek sea el siguiente evento generado es una probabilidad condicional: P ( Ek / Mj ). Esto se llama probabilidad de transición del estado Mj al estado Ek. Paradescribir completamente una cadena de Markov es necesario saber el estado actual y todas las probabilidades de transición.

4.3 Proceso Estocástico:
Se define como una colección indexada de variables aleatorias {Xt}, donde el índice t toma valores de un conjunto T dado. Con frecuencia T se toma como el conjunto de enteros no negativos y Xt representan los niveles de inventario al final de lasemana t.

El interés de los procesos estocásticos es describir el comportamiento de un sistema en operación durante algunos periodos.

4.4. Propiedad Markoviana (primer orden)
Se dice que un proceso estocástico {Xt} tiene la probabilidad Markoviana si P {Xt+1 =3|Xo=Ko, X1, K1,…,Xt-1=Kt-1, Xt=i} = P {Xt+1=j|Xt=i}, para t=0,1,… y toda sucesión i,j,Ko,K1,…,Kt-1.

En palabras, esta propiedadMarkoviana establece que la probabilidad condicional de cualquier evento futuro dados cualquier evento pasado y el estado actual Xt=i, es independiente del evento pasado y sólo depende del estado actual del proceso.

Un proceso estocástico {Xt} (t=0, 1,…) es una cadena de Markov si tiene la propiedad Markoviana. Es decir, la propiedad Markoviana condicional de un evento futuro dado el eventoactual, es independiente de los eventos pasados.

El primer orden depende de los resultados del último acontecimiento y no de cualquier comportamiento previo de compras para la probabilidad del acontecimiento siguiente.

4.5 Probabilidad de transición estacionaria de un solo paso
La probabilidad de transición es estacionaria (de un paso) si cumple la propiedad:
P {Xt+1 =j|Xt=i}= P {Xi=j|Xo=i}para todo t=1,2,…, entonces se dice que las probabilidades son estacionarias.

4.5 Probabilidad de transición estacionaria de n pasos
La existencia de probabilidad de transición (de un paso) estacionarias también implica que, para cada i, j y n (n=0,1,2,…), P {Xt+1 =j|Xt=i}= P {Xi=j|Xo=i} para todo t= 0,1,…
Para simplificar la notación de las probabilidades de transición estacionarias a:
Pij=P {Xt+1 =j|Xt=i}
Pij(n)= P{Xt+n =j|Xt=i}

Una notación convincente para presentar las posibilidades de transición de n pasos es la forma matricial

| Estado | 0 | 1 | … | M |
P(n) = | 0 | Pn00 | Pn01 | … | Pn0m |
| 1 | Pn10 | Pn11 | | Pn1m |
| … | … | … | … | … |
| M | PnM0 | PnM1 | … | PnMM |

Las marcas como cadena

A fin de ilustrar el proceso de Markov, se presenta unproblema en el que los estados de actividades son marcas y las probabilidades transición expresan la probabilidad de que los consumidores vayan de una marca a otra.

Supongamos que la muestra inicial de consumidores se compone de 1000 participantes distribuidos entre 4 marcas (A, B, C, D). Una suposición adicional es que la muestra es representativa de todo grupo, desde el punto de vista de su...