Cadena De Markov

UNIVERSIDAD DE CARTAGENA CATEDRA INVESTIGACION DE OPERACIONES PROGRAMA DE INGENIERIA DE SISTEMAS A DISTANCIA 1º Periodo – 2012 8º SEMESTRE

Fecha

Febrero 25 de 2012

Tutor

Wilfredo Berrio Blanco

Estudiantes

Oscar Arévalo de Fex Ronaldo Alvear Berdugo Enoc Valeta Castello

Capítulo 3

CADENAS DE MARKOV

Temas

Conceptos generales Descripción de una Cadena de Markov Calculode la Probabilidad de Transición Probabilidad de Estado Estable

INTRODUCCION El análisis de Markov tuvo su origen en los estudios de A.A.Markov (1906-1907) sobre la secuencia de los experimentos conectados en cadena y los intentos de descubrir matemáticamente los fenómenos físicos conocidos como movimiento browniano. La teoría general de los procesos de Markov se desarrollo en las décadas de1930 y 1940 por A.N.Kolmagoron, W.Feller, W.Doeblin, P.Levy, J.L.Doob y otros. El análisis de Markov es una forma de analizar el movimiento actual de alguna variable, a fin de pronosticar un movimiento futuro de la misma.

CONCEPTOS GENERALES

CADENA DE EVENTOS Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que ocurra un evento depende del evento inmediato anterior.En efecto, las cadenas de este tipo tienen memoria. “Recuerdan” el último evento y esto condiciona las posibilidades de los eventos futuros. Esta dependencia del evento anterior distingue a las cadenas de Markov de las series de eventos independientes, como tirar una moneda al aire o un dado. En los negocios, las cadenas de Markov se han utilizado para analizar los patrones de Compra de losconsumidores, para pronosticar las concesiones por deudores morosos, para planear las necesidades de personal y para analizar el reemplazo de equipo. Aunque no es una herramienta que se use mucho, el análisis de Markov puede proporcionar información importante cuando es aplicable. ANALISIS DE MARKOV El análisis de Markov, llamado así en honor de un matemático ruso que desarrollo el método en 1907,permite encontrar la probabilidad de que un sistema se encuentre en un estado en particular en un momento dado. Más importante aún, permite encontrar el promedio a la larga o las probabilidades de estado estable para cada estado. Con esta información se puede predecir el comportamiento del sistema a través del tiempo. CLASIFICACION DE ESTADOS EN UNA CADENA DE MARKOV Es evidente que las probabilidadesde transición asociadas a los estados juegan un papel importante en el estudio de las cadenas de Markov. Para describir con mas detalle las propiedades de una cadena de Markov es necesario presentar algunos conceptos y definiciones que se refieren a estos estados. Se dice que el estado (Recuerde que después de es accesible desde el estado si para alguna .

es sólo la probabilidad condicional dellegar al estado

pasos, si el sistema está en el estado .)

Si el estado es accesible desde el estado y el estado desde el estado , entonces se dice que los estados y se comunican. 1. Cualquier estado se comunica consigo mismo (porque ). 2. Si el estado se comunica con el estado , entonces el estado se comunica con el estado . 3. Si el estado se comunica con el estado , y el estado secomunica con el estado , entonces el estado se comunica con el estado . La propiedad 1 y 2 se deducen de la definición de estados que se comunican, mientras que la propiedad 3 se deriva de las ecuaciones de Chapman-Kolmogorov. Como resultado de estas propiedades de comunicación, se puede hacer una partición del espacio de estados en clases ajenas, en donde se dice que dos estados que se comunicanpertenecen a la misma clase (Una clase puede consistir en un solo estado.) Si existe una sola clase, es decir, si todos los estados se comunican, se dice que la cadena de Markov es irreducible Estados recurrentes y estados transitorios Con frecuencia es útil hablar sobre si un proceso que comienza en un estado regresará alguna vez a este estado. La siguiente es una posibilidad. Un estado se llama...