Estados de markov

CADENAS DE MARKOV

Andrey Andreyevich Markov Nació en Rusia el 14 de Junio de 1856 y murió el 20 de Julio de 1922, fue un matemático mejor conocido por su trabajo en la teoría de procesosestocásticos. Su investigación luego recibió el nombre de Cadenas de Markov, Su trabajo teórico en el campo de los procesos en los que están involucrados componentes aleatorios o secuencias de valores de unavariable aleatoria en las que el valor de la variable en el futuro depende del valor de la variable en el presente, pero es independiente de la historia de dicha variable. Las cadenas de Markov, hoydía, se consideran una herramienta esencial en disciplinas como la economía, la ingeniería, la investigación de operaciones y muchas otras.

Concepto de Cadenas de Markov Las cadenas de Markov sonutilizadas como herramientas para analizar el comportamiento de algunos procesos estocásticos no deterministicos en torno a un conjunto de estados. Por lo tanto se puede decir que es un sistema en el cualsu estado varía a lo largo del tiempo, y dichos cambios no están predeterminados, es decir suceden con tiempos desconocidos, siendo cada uno una transición del sistema, sin embargo la probabilidad delpróximo estado si está predeterminada en función a los estados anteriores, esto sucede por ejemplo, en el pronóstico del tiempo, si sabemos cuál es estado del clima hoy, no tenemos que saber cuál fueel de ayer, antier o antes dado que se pueden modelar examinando únicamente la historia más reciente, es decir, examinando su último estado, sin considerar todos los estados anteriores. El nuevoestado puede ser el mismo que el anterior y es posible que exista la posibilidad de de influir en las probabilidades de transición sobre el sistema de decisión. Una cadena de Markov en general, se puededefinir como un proceso de esta naturaleza: en el momento n el estado actual del proceso y todos los estados anteriores son conocidos, entonces las probabilidades de todos los estados futuros Xj (...