Cadenas De Markov Clase 1

CADENAS DE MARKOV
Clase 1: Introducción
 Ing . Gloria Poémape Rojas

¿Qué esperamos ?
 Definir una cadena de markov
 Explicar la utilidad de una matriz de transición
 Resolver problemas sobre comportamiento a
corto plazo de cadenas de Markov. (Tiempos y
probabilidades del primer paso)
 Resolver problemas sobre comportamiento a
largo plazo de cadenas de Markov.
 Interpretar los resultadosde una matriz
estacionaria

Bibliografía Recomendada
 Hillier, f.S y Lieberman G.J. Introducción a
la investigación de Operaciones.
 Investigación de operaciones - Wayne L.,
Winston - 4 edición - Editorial Thomson

Cadenas de Markov

“Cuando, conociendo el pasado y el

presente, el comportamiento
probabilístico del futuro inmediato sólo
depende del estado presente”

Andrei Andreyevich MarkovMatemático Ruso (1856 -1922)
- Desarrolló la teoría de los procesos
estocásticos.(su maestro
shebyshev).
- Sus estudios fueron desarrollados
por Andrei Kolmogorov y Weiner
- Trabajó en casi la totalidad de los
campos de la matemática.
- Su trabajo se aplica en la biología,
sociología y la lingüística.

Procesos Estocásticos
Al observar características de un sistema en puntos
discretos en el tiempo(Xt) Xt es la variable aleatoria.
La sucesión de observaciones: X1,X2,… se denomina
proceso estocástico si:
 Los valores no se pueden predecir exactamente.
(depende del azar)
 Pero se pueden especificar las probabilidades para
los distintos valores posibles en cualquier instante
de tiempo.

Proc.Estocásticos -Ejemplos
 Condiciones del clima en
Trujillo en los días
consecutivos.
 Precio delas acciones que
cotizan la bolsa.
 Sucesión de lanzamientos
de una moneda.

Procesos Estocásticos
Continuos
 Un proceso estocástico continuo
en el tiempo, es simplemente un
proceso estocástico en el que el
estado del sistema se puede ver
en cualquier instante, no solo en
instantes discretos del tiempo.
 Ejemplo: número de personas
en un supermercado t minutos
después de abrir la tienda.Ejemplos de Procesos
Estocásticos
 Serie mensual de ventas de un
producto
 Estado de una máquina al
final de cada semana
(funciona/averiada)
 Nº de clientes esperando en
una cola cada 30 segundos

Ejemplos de Procesos
Estocásticos
 Marca de detergente que
compra un consumidor cada
vez que hace la compra. Se
supone que existen 6 marcas
diferentes
 Nº de unidades en almacén al
finalizar la semanaEspacio de Estados de un
Proceso
 El conjunto de todos los posibles estados que un
proceso puede ocupar en los distintos movimientos.

Ejemplos:
 Número de cámaras
en una semana dada.
 Nivel de inventarios
al final de la semana t.

Procesos estocásticos
 En la mayoría de procesos estocásticos cada
resultado depende de lo que sucedió en
etapas anteriores.

Cadena de Markov
 …cuando elresultado en cada etapa depende
sólo del resultado en la etapa anterior y no de
cualquiera de los resultados previos. Tal
proceso se denomina proceso de markov o
cadena de markov.

Elementos de una cadena de
Markov
 Un conjunto finito de M estados, exhaustivos y
mutuamente excluyentes (ejemplo: estados de la
enfermedad)
 Ciclo de markov (“paso”) : periodo de tiempo que
sirve de base para examinarlas transiciones entre
estados (ejemplo, un mes)
 Probabilidades de transición entre estados, en un
ciclo (matriz P)
 Distribución inicial del sistema entre los M estados
posibles

Propiedad Markoviana
 Sea {Xn: n  0} un proceso estocástico discreto (es
decir, cada Xn es una variable aleatoria discreta).
Diremos que tiene la propiedad de markoviana si se
cumple:

P{Xn+1= j / X0= i0 , X1= i1 . .. Xn= in } =
P{Xn+1= j / Xn= in } = pi,j(n)

Transición
 Si el sistema se modifica del estado i en un
periodo, al estado j para el siguiente periodo,
entonces se dice que ha ocurrido una
transición de i a j .
 Las pij son llamadas probabilidades de
transición de la cadena de Markov.

Propiedad Markoviana

Probabilidades de Transición
pi,j(n) = la probabilidad de que el proceso,
estando en...