MARKOV

CADENAS DE MARKOV

Proceso Estocástico

En muchos problemas nos interesa saber cómo cambia una variable aleatoria a través del tiempo. Por ejemplo, se necesita conocer cómo evoluciona el precio de las acciones de una empresa en el mercado a lo largo del tiempo, o también cómo se comporta un sistema que opera durante un cierto período.
En general, un proceso estocástico es un modelomatemático que describe el comportamiento de un sistema dinámico sometido a un fenómeno de naturaleza aleatoria. Este fenómeno aleatorio hace que el sistema evolucione según un parámetro que normalmente es el tiempo (t), cambiando probabilísticamente de un estado a otro.

Por lo tanto, un proceso estocástico para un sistema S queda definido mediante:

a) Un conjunto de estados posibles S = {s1, s2,..., sm}.

b) La información que en el instante t = t0 el sistema se encuentra en un estado determinado s1  S. El estado inicial del sistema se expresarse como s (t0) = s(0) = si

c) La probabilidad de que encontrándose el sistema en el estado si en el tiempo t0, pase al estado sj en el tiempo t1.

En resumen, si para un sistema S compuesto por n estados diferentes, se conoce la probabilidadde pasar de un estado a otro, estamos en presencia de un proceso estocástico. Podemos expresar esta situación mediante una matriz cuadrada P, llamada “matriz de probabilidad”, “matriz de transición” o “matriz estocástica”.

P =
La matriz P debe cumplir:
i)
ii)
Ejemplo 1:

Para un proceso se utiliza una máquina que se deteriora a lo largo del tiempo.Periódicamente es necesario inspeccionarla, teniendo en cuenta los siguientes estados:
S = {s1, s2, s3, s4}
s1: la máquina se encuentra en perfecto estado.
s2: la máquina presenta un deterioro no importante y puede seguir operando.
s3: la máquina presenta un deterioro importante, con rendimiento muy bajo, pero
puede seguir operando.
s4: la máquina no puede seguir trabajando y por lo tantodebe ser reemplazada
por una nueva.
Siendo la matriz de probabilidad:

P=

La interpretación de esto datos es la siguiente:

Si la máquina se encuentra en el estado s1, se conoce estadísticamente que:

i) La probabilidad de que, pasado un período de tiempo la máquina continúe en el estado s1 es P11 = 0.

ii) La probabilidad de que pasado un período lamáquina se encuentre en s2 es
P12 = 7/8 = 0,875

Si se encuentra en el estado s2 entonces, que pase al estado s1 es imposible, ya que P21 = 0.

Esta matriz es válida para la primera, segunda , n-ésima inspección. O sea que, para la n-ésima inspección, la probabilidad de pasar del estado 2 al estado 3 es P23 = 1/8 .

Grafos asociados al Proceso Estocástico

Todo procesoestocástico se puede representar mediante un grafo. Distinguimos dos casos:

a) Cuando no se especifica el estado inicial del sistema: En este caso, los nodos representan los estados de S y los arcos del grafo, representan la relación que existe entre los estados del sistema, (si los estados si y sj están relacionados, Pij  0).

b) Cuando se especifica el estado inicial: La representación serealiza mediante un árbol.

De hecho, los estados del sistema son “independientes”. Por lo tanto, la probabilidad de que el sistema, partiendo del estado s1 se encuentre en el estado s2 en dos pasos es: (s1, s2, s2) (en dos etapas)



De igual manera, la probabilidad de que el sistema se encuentre en s3 partiendo de s1 es:





También:
Se verifica que:Clasificación de los Procesos Estocásticos (cuando t es continua)

a) Procesos aleatorios puros: cuando la probabilidad de que el sistema se encuentre en el estado sj en la fecha tm es independiente de todos los estados anteriores ocurridos en las fechas anteriores a tm. A estos procesos también se los llama “sin memoria de los estados anteriores”. Ej: la tirada de un dado.

b) Procesos de tipo...