cadena de markov

CADENAS DE MÁRKOV.
Andréi Andréyevich Márkov: (14 de junio de 1856 - 20 de julio de1922) fue un matemático ruso conocido por sus trabajos en la teoría de los números y la teoría de probabilidades.Los principales campos de investigación de Markov fueron la estadística, la teoría de la probabilidad, el cálculo y la teoría de números, su obra más famosa, las cadenas de Markov, fue un producto deun interés exclusivamente teórico.
CONCEPTO DE CADENA DE MARKOV:
Las cadenas de Markov son unas herramientas para analizar el comportamiento y el gobierno de determinados tipos de procesosestocásticos, esto es, procesos que evolucionan de forma no determinísticas a lo largo del tiempo en torno a un conjunto de estados.
Una cadena de Markov, por lo tanto, representa un  sistema de varia suestado a lo largo del tiempo, siendo cada cambio una transición del sistema. Dichos cambios no están predeterminados, aunque sí lo está la probabilidad del próximo estado en función de los estadosanteriores, probabilidad que es constante a lo largo del tiempo (sistema homogéneo en el tiempo). Eventualmente, en una transición, el nuevo estado puede ser el mismo que el anterior y es posible que existala posibilidad de influir en las probabilidades de transición actuando adecuadamente sobre el sistema (decisión). Pn * Mt = Pn+1
Por lo tanto obtenemos la siguiente fórmula de las Cadenas de Markov:P0*Mn = Pn
Probabilidad de transición: dado que el sistema está en estado i durante un periodo, la probabilidad de transición pij es la probabilidad de que el sistema esté en el estado j durante elsiguiente periodo.
Estados: Los estados son la caracterización de la situación en que se halla el sistema en un instante dado, de dicha caracterización puede ser tanto cuantitativa como cualitativa.El estado de un sistema en un instante t es una variable cuyos valores solo pueden pertenecer al conjunto de estados en el sistema. El sistema modelizado por la cadena, por lo tanto, es una...