E4TRY

CADENAS DE MARKOV

CONCEPTO DE CADENAS DE MARKOV
Las cadenas de Markov son una herramienta para analizar el comportamiento y el comportamiento de determinados tipos de procesos estocásticos, esto es, procesos que evolucionan de forma no deterministica a lo largo del tiempo en torno a un conjunto de estados.

Una cadena de markov, por tanto representa un sistema que varia su estado a lo largodel tiempo, siendo cada cambio una transición del sistema. Dichos cambios no están predeterminados, aunque si lo esta la probabilidad del próximo estado en función de los estados anteriores, probabilidad que es constante a lo largo del tiempo (sistema homogéneo en el tiempo). Eventualmente, en una transición, el nuevo estado puede ser el mismo que el anterior y es posible que exista laposibilidad de influir en las probabilidades de transición actuando adecuadamente sobre el sistema (decisión).

Formalmente para definir una cadena de Markov finita hace falta determinar por lo tanto los siguientes elementos:
a.) Un conjunto de estados del sistema
b.) La definición de transición
c.) Una ley de probabilidad, que defina la probabilidad del nuevo estado de los anteriores.

Los estadosson una característica de la situación en que se halla el sistema en un instante dado, dicha caracterización puede ser tanto cuantitaiva como cualitativa. Desde un punto de vista practico probablemente, la mejor definición de que debe entenderse por estados es la respuesta que se daría a la pregunta “¿Cómo están las cosas?”

Formalmente, el estado de un sistema en un instante t es una variablecuyos valores solo pueden pertenecer al conjunto de estados del sistema. El sistema modelizado por la cadena, por lo tanto, es una variable que cambia de valor en el tiempo, cambio al que llamamos transición.

Dicho de otro modo, se trata de una colección indexada de variables Et donde t denota intervalos temporales significativos para el fenómeno estudiado. Los posibles valores de Et se toman deun conjunto de categorías mutuamente excluyentes, denominados estados del sistema. Por ser el sistema estocástico, no se conocerá con certeza el estado del sistema en un determinado instante, sino tan solo la probabilidad asociada a cada uno de los estados. Este hecho puede expresarse en términos de probabilidad condicional:


Donde i, j, e, pertenece al conjunto de estados posibles delsistema.

Para el caso particular de una cadena de Markov de orden 1, tenemos:

Donde Pij recibe el nombre de probabilidad de transición del estado i al estado j. en Markov de orden 1, el estado del sistema en el futuro j solo depende del estado presente.

Para este tipo de cadenas, tendremos que la ley de probabilidad condicional es de la forma:


Matrices de probabilidades de transiciónEn las cadenas finitas de orden 1, la forma mas cómoda de expresar la ley de probabilidad condicional de la misma es mediante la llamada matriz de probabilidad de transición P, o más sencillamente, matriz de la cadena.

Dicha matriz es cuadrada con tantas filas y columnas como estados tiene el sistema, y los elementos de la matriz representan la probabilidad de que el estado próximo sea elcorrespondiente a la columna si el estado actual es correspondiente a la fila.

Como el sistema debe evolucionar a t a alguno de los n estados posibles, las probabilidades de transición cumplirán la propiedad siguiente:


Además, por definición de probabilidad, cada una de ellas ha de ser no negativa:


Cuando Pij, cumplen las propiedades arriba indicadas, la matriz P es una matrizestocástica; la suma de valores de las filas de la matriz será siempre igual a 1

La cadena de Markov es una serie de eventos, en la cual la probabilidad de que ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas de este tipo tienen memoria. " Recuerdan" el último evento y esto condiciona las posibilidades de los eventos futuros. Esta dependencia del evento anterior...