Cadenas De Markov

CADENAS DE MARKOV

Introducción a los procesos estocásticos

“Podemos definir un Proceso Estocástico como una colección indexada de variables aleatorias {Xt},
donde el índice t toma valores de un conjunto T dado, considerándose generalmente a t como un
momento particular en el tiempo y a T el conjunto de instantes de tiempo en los cuales Xt tomará
valores. Se define pues a Xt como unacaracterística de interés que evoluciona en el tiempo de manera
probabilística”.

Introducción a los procesos estocásticos

1. Instantes de Tiempo “t”

Introducción a los procesos estocásticos

1. Estado

Introducción a las Cadenas de Markov
Andrei Andreyevich Markov (1856-1922)
“La idea es encontrar una herramienta telescópica
que permita aproximarnos objetivamente al futuro.
Elanálisis de Markov, permite encontrar la
probabilidad de que un sistema se encuentre en un
estado futuro en particular en un momento dado.
Con esta información probabilística se pretende
entonces predecir el comportamiento del sistema a
través del tiempo”.

Memoria temporal de las Cadenas de Markov

Introducción a las Cadenas de Markov

Introducción a las Cadenas de MarkovIntroducción a las Cadenas de Markov

Matriz de Probabilidades de Transición de un Paso

Introducción a las Cadenas de Markov

Ejemplo
Después de mucho estudio sobre el clima, hemos visto
que si un día está soleado, en el 70% de los casos el
día siguiente continua soleado y en el 30% se pone
nublado. En términos de probabilidad, lo que nos sirve
entonces para predecir el clima, vemos que laprobabilidad de que continúe soleado el día siguiente
es 0,7 y la probabilidad de que al día siguiente esté
nublado es 0,3. También nos fijamos en que si un día
está nublado, la probabilidad de que esté soleado el día
siguiente es 0,6 y la probabilidad de que se ponga
nublado es 0,4. Si hoy está nublado, ¿cuál es la
probabilidad de que mañana continúe nublado?

Introducción a las Cadenas deMarkov

Introducción a las Cadenas de Markov

Introducción a las Cadenas de Markov

Ecuación de Chapman-Kolmogorov
“Dados tres instantes de tiempo cualquiera n, k y m, tal que n ≤
k ≤ m, se cumple siempre que:

Introducción a las Cadenas de Markov
Cadenas de Markov Homogéneas

La matriz P(n) y su representación con
árboles de decisión

r

Recordemos que:

P
j 1

ij1

P(2) es la probabilidad de pasar de un estado i a un estado j después de dos
periodos
En nuestro ejemplo, existe una probabilidad de 48% que las personas no
viajen en las vacaciones dentro de dos años, dado que en las vacaciones
actuales no viajaron

La matriz P(n) y su representación con
árboles de decisión
Dado que la matriz P es homogénea, única e independiente de
t; y suponiendoque el estado actual del sistema es A:

(2
PAA)  (0.2)(0.2)  (0.5)(0.7)  (0.3)(0.3)  0.48

(2
PAB)  (0.2)(0.5)  (0.5)(0.2)  (0.3)(0.6)  0.38

(2
PAC)  (0.2)(0.3)  (0.5)(0.1)  (0.3)(0.1)  0.14

¡Mismos resultados
obtenidos por la matriz!

La matriz P(n) y su representación con
árboles de decisión
Ejercicio en Clase
Un cliente puede comprar un automóvil de marca Ford,Chevrolet, o Mazda. Para
simplificar se supone que esta situación cubre todas las posibilidades. Cada vez que
compra un nuevo automóvil ocurre un paso. Se puede suponer que los tres
fabricantes de automóviles tienen los siguientes datos con respecto a las compras
de los clientes
Siguiente Compra
Compra Actual
Ford
Chevrolet
Mazda

Ford
40%
20%
25%

Chevrolet
30%
50%
25%

Mazda30%
30%
50%

Si un cliente ha comprado un automóvil Ford, ¿cuál es la probabilidad de que en su
siguiente compra adquiera un Chevrolet? (Utilice la ley inicial del sistema)

(0) = [ Ford(0), Chevrolet(0), Mazda(0)] = [1, 0, 0]

100

.

0.40 0.30 0.30
0.20 0.50 0.30
0.25 0.25 0.50

0.40 0.30 0.30
“30% es la probabilidad de que un cliente
adquiera un Chevrolet en su...