cadena de markov


INTRODUCCION

Un proceso o sucesión de eventos que se desarrolla en el tiempo en el cual el resultado en cualquier etapa contiene algún elemento que depende del azar se denomina proceso aleatorio o proceso estocástico. Por ejemplo, la sucesión podría ser las condiciones del tiempo en Paraná en una serie de días consecutivos: el tiempo cambia día a día de una manera que en apariencia esalgo aleatoria. O bien, la sucesión podría consistir en los precios de las acciones que cotizan en la bolsa en donde otra vez interviene cierto grado de aleatoriedad.

El caso más simple de un proceso estocástico en que los resultados dependen de otros, ocurre cuando el resultado en cada etapa sólo depende del resultado de la etapa anterior y no de cualquiera de los resultados previos. Talproceso se denomina proceso de Markov o cadena de Markov (una cadena de eventos, cada evento ligado al precedente) Estas cadenas reciben su nombre del matemático ruso Andrei Andreevitch Markov (1856-1922). Como mencionamos antes, estas cadenas tiene memoria, recuerdan el último evento y eso condiciona las posibilidades de los eventos futuros. Esto justamente las distingue de una serie de eventosindependientes como el hecho de tirar una moneda.

Este tipo de proceso presenta una forma de dependencia simple, pero muy útil en muchos modelos, entre las variables aleatorias que forman un proceso estocástico. Se utilizan, por ejemplo, para analizar patrones de compra de deudores morosos, para planear necesidades de personal, para analizar el reemplazo de un equipo, entre otros.CADENAS DE MARKOV

Las cadenas de Markov son una herramienta para analizar el comportamiento y el gobierno de determinados tipos de procesos estocásticos, esto es, procesos que evolucionan de forma no determinista a lo largo del tiempo en tomo a un conjunto de estados. Por tanto, representa un sistema que varía su estado a lo largo del tiempo. Siendo cada cambio una transicióndel sistema. Dichos cambios no están predeterminados, aunque sí lo está la probabilidad del próximo estado en función de los estados, probabilidad que es constante a lo largo del tiempo (sistema homogéneo en el tiempo). Eventualmente, es una transición, el nuevo estado puede ser el mismo que el anterior y es posible que exista la probabilidad de influir en las probabilidades de transiciónactuando sobre el sistema (decisión).

Matemáticamente se define como un proceso estocástico discreto que cumple con la propiedad de Márkov, es decir, si se conoce la historia del sistema hasta su
Instante actual, su estado presente resume toda la información relevante para describir en probabilidad su estado futuro. Una cadena de Márkov es una secuencia X1, X2, X3,... de variables aleatorias. Elrango de estas variables, es llamado espacio estado, el valor de Xn es el estado del proceso en el tiempo n. Si la distribución de probabilidad condicional de Xn+1 en estados pasados es una función de Xn por sí sola, entonces:



Donde xi es el estado del proceso en el instante i. La identidad mostrada es la propiedad de Markov.

Cadenas homogéneas y no homogéneas

Una cadena deMárkov se dice homogénea si la probabilidad de ir del estado i al estado j en un paso no depende del tiempo en el que se encuentra la cadena, esto es:

Para todo n y para cualquier i, j.

Si para alguna pareja de estados y para algún tiempo n la propiedad antes mencionada no se cumple diremos que la cadena de Márkov es no homogénea.


Cadenas en tiempo discreto

Un elementofundamental en el estudio de las cadenas de Markov son las probabilidades de transición entre estados. En el momento en que hablamos de tiempo discreto aparece el concepto de instantes consecutivos, lo que nos lleva a distinguir entre probabilidades de transición en un solo paso y en varios pasos. Como veremos las segundas se pueden obtener fácilmente a partir de las primeras.

Probabilidades...