Aplicación de cadena de Markov



CADENA DE MARKOV



Un proceso o sucesión de eventos que se desarrolla en el tiempo en el cual el resultado en cualquier etapa contiene algún elemento que depende del azar se denominaproceso aleatorio o proceso estocástico.
en la mayoría de los procesos estocásticos, cada resultado depende de lo que sucedió en etapas anteriores del proceso. Por ejemplo, el tiempo en un día determinadono es aleatorio por completo sino que es afectado en cierto grado por el tiempo de días previos. El precio de una acción al cierre de cualquier día depende en cierta medida del comportamiento de labolsa en días previos.
El caso más simple de un proceso estocástico en que los resultados dependen de otros, ocurre cuando el resultado en cada etapa sólo depende del resultado de la etapa anterior yno de cualquiera de los resultados previos. Tal proceso se denomina proceso de Markov o cadena de Markov (una cadena de eventos, cada evento ligado al precedente) Estas cadenas reciben su nombre delmatemático ruso Andrei Andreevitch Markov (1856-1922).

Definición

Una cadena de Markov es una sucesión de ensayos similares u observaciones en la cual cada ensayo tiene el mismo número finitode resultados posibles y en donde la probabilidad de cada resultado para un ensayo dado depende sólo del resultado del ensayo inmediatamente precedente y no de cualquier resultado previo.Propiedad de Markov


Esta identidad es la denominada propiedad de Markov: El estado en t + 1 sólo depende del estado en t y no de la evolución anterior del sistema.

Matriz de transición

Al trabajarcon cadenas de Markov, a menudo es útil pensar la sucesión de ensayos como experimentos efectuados en cierto sistema físico, cada resultado dejando a este sistema en cierto estado.

Por ejemplo,consideremos una sucesión de elecciones políticas en cierto país: el sistema podría tomarse como el país mismo y cada elección lo dejaría en cierto estado, es decir en el control del partido ganador....