Markob

Prof. Ing. Claudio L. R. Sturla

REPÚBLICA ARGENTINA

CADENAS DE MARKOV
THE RECORDING, COPYING, LOAN, UNAUTHORIZED HIRE, PUBLIC SHOWING OR BROADCAST OF THIS DATAGRAM IS STRONGLY ENCOURAGED. Se puede reproducir libremente. Se agradecerá citar la fuente.

Claudio L. R. Sturla
 Bibliografía: • Winston, Wayne L., Investigación de Operaciones, Grupo Editorial Iberoamérica S. A. de C. V.,México, ISBN 970-625-029-8, 1.994. • Software Matlab®

Introducción
A veces nos interesa saber cómo cambia una variable aleatoria a través del tiempo. Por ejemplo, desearíamos conocer cómo evoluciona el precio de las acciones de una empresa en el mercado a través del tiempo. El estudio de cómo evoluciona una variable aleatoria incluye el concepto de procesos estocásticos. Aquí veremos esosprocesos, en especial uno que se conoce como Cadenas de Markov. Las cadenas de Markov se han aplicado en áreas tales como educación, mercadotecnia, servicios de salud, finanzas, contabilidad y producción.

¿Qué es un Proceso estocástico?
Supongamos que observamos alguna característica de un sistema en puntos discretos en el tiempo (que llamamos 0, 1, 2...). Sea X t el valor de la característica delsistema en el tiempo t En la mayor parte de los casos no se conoce X t con certeza antes del tiempo t y se puede considerar como variable aleatoria. Un proceso estocástico de tiempo discreto es simplemente una descripción de la relación entre las variables aleatorias X 0 , X 1 , X 2 , , A continuación vemos unos ejemplos de procesos estocásticos de tiempo discreto. Ejemplo 1 La ruina del jugador. Enel tiempo 0 tengo 2 UM En los tiempos 1, 2,... participo en un juego en el que apuesto 1 UM Gano 1 UM con probabilidad p, y pierdo 1 UM con probabilidad 1 — p Mi meta es aumentar mi capital a 4 UM, y tan pronto como lo logre se suspende el juego. El juego también se suspende si mi capital se reduce a 0 UM Si definimos que X t es mi capital después del juego cuando el tiempo es t, si es que lohay, entonces se puede considerar que X 0 , X 1 , , X t son procesos estocásticos de tiempo discreto. Nótese que X 0 = 2 es una constante conocida, pero que X 1 y las demás X t son aleatorias. cadenas_markov.doc 195

Prof. Ing. Claudio L. R. Sturla Por ejemplo, X 1 = 3 con probabilidad p y X 1 = 1 con probabilidad 1 — p Nótese que si X t = 4, entonces X t + 1 y todas las demás X t también seránigual a 4. Igualmente, si X t = 0, entonces X t + 1 y todas las demás X t , serán cero también. Por razones obvias, a estos casos se les llama problema de la ruina del jugador. Ejemplo 2 En una urna que contiene bolas hay dos sin pintar. Se selecciona una bola al azar y se lanza una moneda. Si la bola elegida no está pintada y la moneda da cara, pintamos la bola de rojo; si la moneda da seca, lapintamos de negro. Si la bola ya está pintada, entonces cambiamos su color de rojo a negro o de negro a rojo, independientemente de si la moneda da cara o seca. Para modelar este caso como proceso estocástico, definimos a t como el tiempo después que la moneda ha sido lanzada por t-ésima vez y se ha pintado la bola elegida. En cualquier tiempo se puede representar el estado mediante el vector [ u ,r , b] , donde u es el número de bolas sin pintar en la urna, r el número de bolas rojas y b el de bolas negras. Se nos dice que X 0 = [ 2 0 0] Después del primer lanzamiento, una bola habrá sido pintada ya sea de rojo o de negro y el estado será [1 1 0] ó [1 0 1] Por lo tanto, podemos asegurar que X 1 = [1 1 0] ó X 1 = [1 0 1] Es claro que debe haber alguna relación entre las X t Por ejemplo, siX t = [ 0 2 0], podemos asegurar que X t + 1 = [ 0 1 1] Ejemplo 3 Sea X 0 el precio de una acción de Computadoras CSL al principio de este día hábil. También, sea X t el precio de esa acción al principio del t-ésimo día hábil en el futuro. Es claro que si se conocen los valores de X 0 , X 1 , , X t nos dicen algo acerca de la distribución de probabilidad de X t + 1 ; el asunto es: ¿qué nos...