Cadenas De Markov

Tema 1 Cadenas de Markov en Tiempo Discreto

Investigación Operativa

CONTENIDOS
1.  Procesos Estocásticos y de Markov
2.  Cadenas de Markov en Tiempo Discreto (CMTD)
3.  Comportamiento de Transición de las CMTD
4.  Comportamiento Estacionario de las CMTD

Tema 1 Cadenas de Markov en Tiempo Discreto

Investigación Operativa

1. Procesos Estocásticos y de Markov
1.1. Definición de ProcesoEstocástico

Un fenómeno aleatorio es un fenómeno empírico que obedece a leyes
probabilísticas en lugar de determinísticas.
Un proceso estocástico es un fenómeno aleatorio que surge en un proceso que se
desarrolla en el tiempo de una manera controlada por medio de leyes
probabilísticas.
Así, un proceso estocástico es una familia de variables aleatorias que
proporcionan una descripción de la evolución deun determinado fenómeno
físico a través del tiempo.

estado del proceso en el instante t

conjunto de índices del proceso

Tema 1 Cadenas de Markov en Tiempo Discreto

Investigación Operativa

1.2. Clasificación de los Procesos Estocásticos

Proceso estocástico

Numerable

Proceso estocástico en tiempo discreto

Intervalo de la recta real
Proceso estocástico en tiempo continuo
Espacio de estadosdel proceso es el conjunto de todos los valores posibles que puede
tomar la variable aleatoria
Clasificación de Procesos Estocásticos:
Tiempo discreto y espacio de
estados discreto.
Tiempo discreto y espacio de
estados continuo.
Tiempo continuo y espacio de
estados discreto.
Tiempo continuo y espacio de
estados continuo.

Ejemplo: Jugador con 3 € y en cada jugada puede
ganar o perder 1 € conprobabilidad p y 1-p. Deja de
jugar cuando tenga 0 o 6 €.
Ejemplo: Cantidad de agua almacenada en un pantano
cada hora.
Ejemplo: Número de ordenadores ocupados.
Ejemplo: m3 de agua almacenada en un pantano en
cada instante.

Tema 1 Cadenas de Markov en Tiempo Discreto

Investigación Operativa

La Teoría de la Probabilidad se ha centrado fundamentalmente en el estudio
de la independencia y susconsecuencias

Un Proceso de Markov es un proceso estocástico que verifica

Interpretación de un Proceso de Markov:

Futuro

Presente

Pasado

Futuro
Presente
Las predicciones del futuro del proceso, una vez conocido el estado actual,
no pueden mejorar con conocimiento adicional del pasado.

Tema 1 Cadenas de Markov en Tiempo Discreto

Investigación Operativa

2 Definición de Cadena de Markov en TiempoDiscreto

Cadena es un proceso estocástico con espacio de estados discreto.
Cadena en tiempo discreto es un proceso estocástico en tiempo discreto con
espacio de estados discreto
Cadena en tiempo continuo un proceso estocástico en tiempo continuo con
espacio de estados discreto
Un proceso estocástico {Xn, n = 0, 1, 2,…}es una Cadena de Markov en
Tiempo Discreto (CMTD) si para cada n y xj,j=0,…,n+1, se verifica

La probabilidad de transición en un paso del estado xn al xn+1 en el instante n+1 es:

Tema 1 Cadenas de Markov en Tiempo Discreto

Investigación Operativa

Sin pérdida de generalidad y para simplificar la notación, escribiremos la
probabilidad de transición en un paso del estado i al estado j en el instante n+1
como
La CMTD se denomina homogénea si pij(n) no depende de n, es decir,En tales casos escribiremos pij en lugar de pij(n).
La matriz formada por las probabilidades de transición en un paso se denomina
matriz de transición o matriz de probabilidades de transición y toma la forma

Tema 1 Cadenas de Markov en Tiempo Discreto

Investigación Operativa

P es una matriz cuadrada no negativa cuyas
filas suman la unidad, es decir, 0 ≤ pij ≤ 1 y
∑j pij = 1 para cada i ∈ S.Por lo tanto, P es
una matriz estocástica.
Gráficamente, una CMTD con espacio de estados finito se puede representar
mediante un diagrama de transición, es decir, mediante un grafo dirigido finito,
donde cada nodo representa un estado de la cadena, los arcos representan las
posibles transiciones entre estados y sobre los arcos se indican las probabilidades
de transición entre los estados...