cadenas de markov

INDICE

1-introduccion a la cadena de markov
1.1-finitas cadenas de markov
1.1.1 tipos de cadena
1.1.2 cadenas de markov con descuento
1.1.3 clasificación de los estados en las cadenas de markov
2. formulacion de la cadena de markov

3. procesos estadísticos

4. propiedad marcoviana de primer orden

5. propiedad de transición estacionaria de un solo paso5.1 ejemplo de probabilidad de transición de un solo paso
5.2 probabilidad de transición estacionaria de N pasos
5.2.1ejemplo de probabilidad de transición de N pasos
5.3 probabilidad de transición estacionaria de estados estables

























INTRODUCCION A LA CADENA DE MARKOV
El análisis de Markov es una forma de analizar el movimiento actualde alguna variable, a fin de pronosticar un movimiento futuro de la misma.
Definición:
Una cadena de markov o también llamado proceso de markov es un sistema estocástico en el que la ocurrencia de un estado futuro depende del estado inmediatamente precedente y solo de él.
Las cadenas de markov son modelos probabilísticos que se usan para predecir la evolución y el comportamiento a corto y alargo plazo de determinados sistemas.
Ejemplos: reparto del mercado entre marcas; dinámica de las averías de máquinas para decidir política de mantenimiento; evolución de una enfermedad.
Una cadena de Markov es una secuencia X1, X2, X3,… de variables aleatorias. El rango de estas variables, es llamado espacio estado y el valor de Xn es el estado del proceso en el tiempo n. Si la distribución deprobabilidad condicional de Xn+1 en estados pasados es una función de Xn por sí sola, entonces:
Donde xi es el estado del proceso en el instante i.
 
Las cadenas de Markov están constituidas por un conjunto de valores {Xn , n :0,1,2...} que cumplen la probabilidad de alcanzar cualquier estado j de la variable depende exclusivamente del estado i alcanzado en el instante de tiempo anterior.

P[Xn+1= j / Xn = i, Xn-1 = i1,..., X0=in]=P[Xn+1=j / Xn=i] Ñ i,j

Se define para cada par de estados (i, j) que se alcanzan en dos pasos consecutivos de n y n+1 una probabilidad condicional denominada probabilidad de transición pij.
P[X+1=j / Xn=i] = pij
         Las probabilidades de transición de un paso son estacionarias, es decir, que no cambian con el tiempo.
Si   pij no depende delinstante n se dice que la cadena de Markov es homogénea. Las probabilidades de transición estructuradas en forma matricial da lugar a lo que se denomina matriz de transición. Dicha matriz relaciona los estados de la variable en dos pasos consecutivos  y n+1 a través de sus probabilidades de transición.
 



 
 

En los negocios, estas cadenas se han utilizado para analizar los patrones decompra de los deudores morosos (tardados, lentos), para planear las necesidades de personal y para analizar el reemplazo de equipo, así como también se han aplicado en áreas como educación, comercialización, servicios de salud, finanzas, contabilidad y producción.
El análisis de Markov, es llamado así en honor de un matemático ruso que desarrollo el método en 1907, el cual permite encontrar laprobabilidad de que un sistema se encuentre en un estado en particular en un momento dado. Algo más importante aún, es que permite encontrar el promedio a la larga o las probabilidades de estado estable para cada estado. Con esta información se puede predecir el comportamiento del sistema a través del tiempo.
Sin embargo la tarea más difícil es reconocer cuándo puede aplicarse y la característicamás importante es que hay que buscar en la memoria de un evento a otro.
Elementos de la cadena de markov:
Un conjunto finito de M estados, exhaustivos y mutuamente excluyentes (ejemplo: estados de la enfermedad)
Ciclo de markov (“paso”): periodo de tiempo que sirve de base para examinar las transiciones entre estados (ejemplo, un mes)
Probabilidades de transición entre estados, en un ciclo...