Ingenieria

PROCESOS DE MARKOV
Principio de Markov:
Cuando una probabilidad condicional depende únicamente del suceso inmediatamente
anterior, cumple con el Principio de Markov de Primer Orden, es decir.
P ( X (t + 1) = j X (0) = K 0 , X (1) = K 1 ,....., X (t ) = i ) = P ( X (t + 1) = j X (t ) = i ) = pij

Definiciones en los Procesos de Markov de Primer Orden:
Estados: Las condiciones en las cualesse encuentra un ente ó sucesos posibles.
Ensayos: Las ocurrencias repetidas de un evento que se estudia.
Probabilidad de Transición: La probabilidad de pasar de un estado actual al siguiente
en un período ó tiempo, y se denota por pij ( la probabilidad de pasar del estado i al
estado j en una transición ó período)
Características de los Procesos de Markov de Primer Orden:
Se pueden usar comomodelo de un proceso físico ó económico que tenga las siguientes
propiedades:
a) Que la probabilidad cumpla con el principio de Markov.
b) Existencia de un número finito de estados.
c) Las pij son constante con respecto al tiempo ó período.
d) Ensayos en períodos iguales.
Si un suceso depende de otro además del inmediatamente anterior, este es un proceso de
Markov de mayor orden. Porejemplo, Un proceso de segundo orden describe un
proceso en el cual el suceso depende de los dos sucesos anteriores.
Los procesos de Markov también se les llama Cadenas de Markov.
Notaciones que utilizaremos:
pij = probabilidad de transición en un período.
P = [pij]nxn matriz de transición formada por los valores de pij , donde cada fila representa
el estado inicial donde se parte y las columnael estado al que se ira en un período.
pij( k ) = P( X (k ) = j X (0) = i ) representa la probabilidad de ir del estado i al estado j en k
períodos.
(k )
P(k)=[ pij ]nxn la matriz de transición de k períodos.
Si(t) = probabilidad de encontrarse en el estado i en el período t.
S(t) =(S1(t) , S2(t) , . . . . , Sn(t)) vector de probabilidad de estado en el período t. Para n
estados.

Lossucesos que cumplan con un proceso de Markov, se pueden representar por medio
de un esquema donde los nodos indique los estados y arcos dirigidos de nodo a nodo con
un número que representa la probabilidad de transición de ir de un estado a otro, ó por
medio de una matriz de transición.
Ejemplo:
 0.2 0.3 0.5
P =  0.3 0.4 0.3
 0.2 0.4 0.4

Para calcular:
p11( 2 ) = P ( X ( 2) = 1 X(0) = 1) = p11.p11+ p12.p21+ p13.p31

= 0,2.0,2+0,3.0,3+0,5.0,2 = 0,23
p12( 2 ) = P ( X ( 2) = 2 X (0) = 1) = p11.p12+ p12.p22+ p13.p32

= 0,2.0,3+0,3.0,4+0,5.0,4 = 0,38
p13( 2 ) = P ( X ( 2) = 3 X (0) = 1) = p11.p13+ p12.p23+ p13.p33

= 0,2.0,5+0,3.0,3+0,5.0,4 = 0,39
luego p11( 2) + p12( 2) + p13( 2) =1
Otra forma es usando el vector de probabilidades y la matriz de transición, esdecir:
S(0) = (1, 0, 0) S(1) = S(0).P = (0,2; 0,3; 0,5)
S(2) =S(1).P =(0,23; 0,38; 0,39)
Cadenas de Markov Ergódicas ó cadenas irreductibles.
Describen matemáticamente un proceso en el cual es posible avanzar desde un estado
hasta cualquier otro estado. No es necesario que esto sea posible en un paso.
Una cadena ergódica es regular: Si para alguna potencia de la matriz de transición
tieneúnicamente elementos positivos de probabilidad (diferente de cero)
Ejemplo 1:

 0.5 0.5 0 
P =  0.3 0 0.7 
 0 0.4 0.6

 0.40 0.25 0.35
P =  0.15 0.43 0.42
 0.12 0.24 0.64
2

luego es regular (y por lo tanto ergódica)
Ejemplo 2:
 0.4 0 0.6 0 
 0 0.3 0 0.7

P= 
 0.6 0 0.4 0 


 0 0.5 0 0.5

0
0.48
0 
 0.52
 0
0.44
0
0.56
2

P =
0.48
0
0.52
0 


0.40
0
0.60
 0

p
0
4
P = 
r

0

0 1− p
0 
q
0
1 − q 
0 1− r
0 

h
0
1 − h

Esta matriz repite continuamente este patrón para todas las potencias de P; por
consiguiente no es regular ni tampoco ergódica.
Propiedades de las Cadenas de Markov.
1.- Las probabilidades de estados deben ser igual a uno, es decir.
S1(t)+S2(t)+ . . . ....