Cadenas de markov

Las cadenas de Markov
Las cadenas de Markov son una herramienta para analizar el comportamiento y el gobierno de determinados tipos de procesos estocásticos, esto es, procesos que evolucionan deforma no determinística a lo largo del tiempo en torno a un conjunto de estados. Una cadena de Markov, por tanto, representa un sistema que varía un estado a lo largo del tiempo, siendo cada cambio unatransición del sistema. Dichos cambios no están predeterminados, aunque sí lo está la probabilidad del próximo estado en función de los estados anteriores, probabilidad que es constante a lo largo deltiempo (sistema homogéneo en el tiempo). Eventualmente, es una transición, el nuevo estado puede ser el mismo que el anterior y es posible que exista la posibilidad de influir en las probabilidadesde transición actuando adecuadamente sobre el sistema (decisión
Un tipo especial de proceso estocástico discreto en el que la probabilidad de que ocurra un evento depende solamente del eventoinmediatamente anterior. Un proceso estocástico es concepto matemático que sirve para caracterizar una sucesión de variables aleatorias que evolucionan en función de otra variable.
Como vemos Markov decíaque por ejemplo si tirábamos un dado por primera vez, entonces cuando lanzábamos por segunda vez, este resultado tenía una dependencia del resultado anterior y esto sucedería también con el tercerlanzamiento y así sucesivamente.
Las cadenas de Markov son usadas en muchos problemas de la termodinámica y la física estadística. También son usadas en la meteorología pudiendo mediante este método decadena formular modelos climatológicos.
Las cadenas de Markov son utilizadas para proveer una solución analítica a ciertos problemas de simulación, por ejemplo en teoría de colas es de hecho un modelode cadenas de Markov. El modelo de la ruina del jugador, que establece la probabilidad de que una persona que apuesta en un juego de azar finalmente termine sin dinero, así como en el modelo de...