Cadenas De Markov

Son útiles para estudiar la evolución de sistemas a lo largo de ensayos repetidos, que a menudo, son períodos sucesivos donde el estado del sistema, en cualquier períodoparticular, no puede determinarse con certeza son llamados también markovianos.

Es útil para describir la probabilidad de que una máquina siga funcionando o se estropeara en el siguienteperiodo y también de que un consumidor que compra la marca A en un periodo compre la marca B en el siguiente período.
En la teoría de la probabilidad y en estadística, unproceso de Márkov, llamado así por el matemático ruso Andréi Márkov, es un fenómeno aleatorio dependiente del tiempo para el cual se cumple una propiedad específica: la propiedad deMárkov. En una descripción común, un proceso estocástico con la propiedad de Márkov, o sin memoria, es uno para el cual la probabilidad condicional sobre el estado presente, futuro ypasado del sistema son independientes.1 Los procesos de Márkov surgen en probabilidad y en estadística en una de dos maneras:
1. Un proceso estocástico, que se define a través de unargumento separado, puede demostrarse (matemáticamente) que tiene la propiedad de Márkov y como consecuencia tiene las propiedades que se pueden deducir de ésta para todos losprocesos de Márkov.
2. De más importancia práctica es el uso de la suposición que la propiedad de Márkov es válida para un proceso aleatorio con el fin de construir, ab initio, unmodelo estocástico para este proceso. En términos de modelado, suponer que la propiedad de Márkov es válida es una de un limitado número de formas sencillas de introducir dependenciaestadística en un modelo para un proceso estocástico, de tal manera que permita que la fuerza de la dependencia en los diferentes retardos decline a medida que el retardo aumenta.