markov

Cadenas de Markov
“Cuando, conociendo el pasado y el
presente,
el
comportamiento
probabilístico del futuro inmediato
sólo depende del estado presente”
Modelos Probabilísticos
Para Ingeniería
Noé Panozo Jiménez
Agosto 2012
NPJ

1

Contenido
1.- Definición de cadenas de Markov
2.- Tipos de estados y de cadenas de Markov.
Propiedades
3.- Clasificación de estados
5.-Comportamiento a largo plazo de cadenas de Markov.
Aplicaciones
6.- Comportamiento a corto plazo de cadenas de Markov.
Tiempos y probabilidades del primer paso
7.- El caso particular de las cadenas absorbentes.
Aplicaciones
8.- Estudio de casos reales de aplicación. Los procesos de
markov en los análisis costo-efectividad
NPJ

2

¿Como se utiliza o entiende la CM?
•
•
•

•

•

•

•Consideremos un cajero que atiende a
las personas que llegan a una sucursal
bancaria.
Pensemos que en la fila nunca hay más
de tres personas (incluyendo la que se
atiende).
Supongamos que los clientes no llegan
en grupos.
Entonces el número de personas en la
fila (incluyendo la que se atiende) puede
tomar los valores 0, 1, 2, 3.

Pensemos que el cajero tarda al menos un
minuto enatender a un cliente y que en un
minuto dado no puede llegar más de un
cliente al banco.
Si observamos el número de personas en la
fila cada minuto, esta cantidad puede:
– Aumentar en 1, si llega otro cliente
antes de que atiendan al que está en
servicio.
– Disminuir en 1, si se termina de
atender al cliente y nadie más llega.
NPJ
Esto se repite a lo largo del día.

Minuto 5

Minuto 6Minuto 7

Minuto 8

3

•

Si podemos considerar que la cantidad de clientes en el próximo minuto depende solamente de la cantidad de clientes
en el minuto actual, entonces podríamos determinar la probabilidad de tener una cierta cantidad de clientes en la fila
en el próximo minuto
Para ello requeriríamos solamente probabilidades condicionales del tipo:
– P(en el siguiente minutohaya i clientes | en este minuto hay j clientes)
A fin de poder calcular tales probabilidades, debemos contar con:
– Información acerca de la “velocidad” con que atiende el cajero a los clientes
– Información sobre la cantidad de clientes que llega al banco por unidad de tiempo

•

•

Una forma adecuada de organizar dicha
información es mediante una tabla o
matriz
En los renglonescolocamos el número
actual de clientes
En las columnas, el número de clientes
en el siguiente minuto
Llamemos Xn al número de clientes en el
minuto n

•
•
•

•

•

p12  P  X n1  2 | X n  1  0.25
Clientes en el minuto n+1
0

Clientes en
el minuto n

•

1

2

3

0

0.5

0.5

0

0

1

0.25

0.5

0.25

0

2
3

0
0

0.7
0

0.2
0.4

0.1
0.6Notemos que el primer renglón de la matriz anterior indica las probabilidades de pasar
a 0, 1, 2 o 3 clientes en la fila dado que ahora hay cero clientes
– Como estos valores representan todos los posibles resultados, deben sumar 1
– Lo mismo ocurre con los otros renglones
A una matriz que cumple con esta condición se le llama matriz estocástica
(probabilística)
NPJ

4

Las cadenasde markov son modelos probabilísticos que se usan para predecir la
evolución y el comportamiento a corto y a largo plazo de determinados sistemas.

Ejemplos: reparto del mercado entre marcas; dinámica de las averías de máquinas
para decidir política de mantenimiento; evolución de una enfermedad,…

• Proceso estocástico
– Es una función aleatoria que varía en el tiempo
– Sus valores nopueden ser predichos con exactitud, sino con cierta
probabilidad

• Proceso o Cadena de Markov
– Es un tipo importante de proceso estocástico que cumple con la
Propiedad Markoviana
– Dicha propiedad implica que el comportamiento futuro del
proceso, dada la trayectoria que ha seguido en el pasado y hasta el
momento actual, depende únicamente de su situación presente
– Esto implica que un...