TORIA DE MARKOV

PROCESO ESTOCÁSTICO


Es un conjunto o sucesión de variables aleatorias: {X(t)CG } definidas en un mismo espacio de probabilidad. Normalmente el índice t representa un tiempo y X(t) el estado delproceso estocástico en el instante t. El proceso puede ser de tiempo discreto o continuo si G es discreto o continuo. Si el proceso es de tiempo discreto, usamos enteros para representar el índice:{X1,X2, ...}

Ejemplos de procesos estocásticos
1.Serie mensual de ventas de un producto

2. Estado de una máquina al final de cada semana (funciona/averiada)
3. Nº de clientes esperando en unacola cada 30 segundos
4. Marca de detergente que compra un consumidor cada vez que hace la compra. Se supone que existen 7 marcas diferentes
5. Nº de unidades en almacén al finalizar la semanaNOTACIONES:
CADENAS HOMOGÉNEAS Y NO HOMOGÉNEAS
• Una cadena de Márkov se dice homogénea si la probabilidad de ir del estado i al estado j en un paso no depende del tiempo en el que se encuentra lacadena, esto es:
para todo n y para cualquier i, j.
Si para alguna pareja de estados y para algún tiempo n la propiedad antes mencionada no se cumple diremos que la cadena de Márkov es no homogénea.PROBABILIDADES DE TRANSICIÓN Y MATRIZ DE TRANSICIÓN
• La probabilidad de ir del estado i al estado j en n unidades de tiempo es
,
en la probabilidad de transición en un paso se omite elsuperíndice de modo que queda

• Un hecho importante es que las probabilidades de transición en n pasos satisfacen la ecuación de Chapman-Kolmogórov, esto es, para cualquier k tal que 0 < k < n se cumple quedonde E denota el espacio de estados.
• Cuando la cadena de Márkov es homogénea, muchas de sus propiedades útiles se pueden obtener a través de su matriz de transición, definida entrada a entradacomo
esto es, la entrada i, j corresponde a la probabilidad de ir del estado i a j en un paso.
Del mismo modo se puede obtener la matriz de transición en n pasos como:
, donde .
VECTOR DE...