cadenas de markov



Las cadenas de Márkov son una herramienta para analizar el comportamiento y el gobierno de determinados tipos de procesos estocásticos, esto es, procesos que evolucionan de forma nodeterminística a lo largo del tiempo en torno a un conjunto de estados.
Una cadena de Márkov, por tanto, representa un sistema que varía un estado a lo largo del tiempo, siendo cada cambio una transición delsistema. Dichos cambios no están predeterminados, aunque sí lo está la probabilidad del próximo estado en función de los estados anteriores, probabilidad que es constante a lo largo del tiempo (sistemahomogéneo en el tiempo). Eventualmente, es una transición, el nuevo estado puede ser el mismo que el anterior y es posible que exista la posibilidad de influir en las probabilidades de transiciónactuando adecuadamente sobre el sistema (decisión).

Conceptos básicos
Para el estudio de las cadenas de Márkov, deben tenerse en cuenta algunos conceptos claves como los siguientes:

ESTADOS
Losestados son la caracterización de la situación en que se halla el sistema en un instante dado, de dicha caracterización puede ser tanto cuantitativa como cualitativa.
El estado de un sistema en uninstante t es una variable cuyos valores solo pueden pertenecer al conjunto de estaos en el sistema. El sistema modelizado por la cadena, por lo tanto, es una variable que cambia con el valor del tiempo,cambio al que llamamos transición.

MATRIZ DE TRANSICIÓN
Es el arreglo numérico donde se condensa las probabilidades de un estado a otro. Dicha matriz es cuadrada con tantas filas y columnas comoestados que tiene el sistema, y los elementos de matriz representan la probabilidad de que el estado próximo sea el correspondiente a la columna si el estado actual es el correspondiente a la fila.Posee 3 propiedades básicas:
La suma de las probabilidades de los estados debe ser igual a 1.
La matriz de transición debe ser cuadrada.
Las probabilidades de transición deben estar entre 0 y 1....