Cadenas de markov

Índice

Introducción 2
19.1 ¿Qué es un proceso estocástico? 3
19.2 ¿Qué es una cadena de Markov? 4
19.3 Probabilidades de transición de n etapas 7
19.4 Clasificación de estados en una cadena de Markov 11
19.5 Probabilidades de estado estable y tiempos medios de primer pasaje 13
19.6 Cadenas absorbentes 18
19.7 Modelos de planeación de personal 22
Conclusión 26
Bibliografía 27
Anexos(Mapas conceptuales)

Introducción

El presente trabajo se refiere al tema “cadenas de Markov”, donde antes de definir este concepto encontraremos la estrecha relación que tiene con el proceso estocástico, el cual es entendido como una sucesión de variables aleatorias que evolucionan en función de otra variable, es decir, cada variable o conjunto de variables sometidas a impactos aleatoriosconstituirán este proceso de acuerdo al tiempo.
Entonces, la cadena de Markov será entendida como un tipo especial de procesos estocásticos de tiempo discreto, la característica principal es que los estados futuros son independientes de los últimos estados y las probabilidades no son las mismas de acuerdo a la distribución.
El campo de aplicación de las cadenas de Markov es amplio, es utilizada enel proceso industrial de fabricación de tejas, en los negocios para analizar los patrones de compra de los deudores, para planear las necesidades de personal, para analizar el reemplazo de equipo, entre otros. También se usa en disciplinas como la física, ingeniería, biología, medicina y otras ramas de la matemática.
Los temas que se presentan a continuación nos describirán el proceso de lascadenas con la ayuda de los ejemplos que se desarrollarán más adelante.

CAPITULO 19 CADENAS DE MARKOV

19-1 ¿Qué es un proceso estocástico?
Supóngase que observamos alguna característica de un sistema en puntos discretos en el tiempo (que llamamos 0, 1, 2,…). Sea Xt el valor de la característica del sistema en el tiempo t. En la mayor parte de los casos no se conoce Xt con certeza antesdel tiempo t y se puede considerar como variable aleatoria. Un proceso estocástico de tiempo discreto es simplemente una descripción de la relación entre las variables aleatorias X0, X1,X2,… Un proceso estocástico de tiempo continuo es simplemente un proceso estocástico en el que el estado del tiempo se puede examinar en cualquier tiempo y no sólo en instantes discretos.

Ejemplo 1
La ruina deljugador. En el tiempo 0 tengo 2 dólares. En los tiempos 1, 2,… participo en un juego en el que apuesto 1 dólar. Gano el juego con probabilidad p, y lo pierdo con probabilidad 1-p. Mi meta es aumentar mi capital a 4 dólares, y tan pronto como lo logre se suspende el juego. El juego también se suspende si mi capital su reduce a 0 dólares. Si definimos que Xt es mi capital después del juego cuando eltiempo es t, si es que lo hay, entonces se puede considerar que X0, X1,…,Xt son procesos estocásticos de tiempo discreto.
Nótese que X0=2 es una constante conocida, pero que X1 y las demás Xt son aleatorias.
Por ejemplo, X1=3 con probabilidad p y X1=1 con probabilidad 1-p. Nótese que si Xt=4, entonces Xt+1 y las demás Xt también serán igual a 4. Igualmente, si Xt=0, entonces Xt+1 y todas lasdemás Xt serán cero también. Por razones obvias, a estos casos se les llama problema de la ruina del jugador.
19-2 ¿Qué es una cadena de Markov?
Es un tipo especial de procesos estocásticos de tiempo discreto. Para simplificar nuestra presentación suponemos que en cualquier tiempo, el proceso estocástico de tiempo discreto puede estar en uno de un número finito de estados identificados por 1,2…,s.
Definición Un proceso estocástico de tiempo discreto se llama cadena de Markov si, para t = 0, 1,2,… y todos los estados,
PXt+1=it+1Xt=it,Xt-1=it-1,…,X1=i1,X0=i0
=PXt+1=it+1Xt=it (1)
En esencia, la ecuación (1) dice que la distribución de probabilidad del estado en el tiempo t + 1 depende de la del estado en el tiempo t (it) y...