cadenas de marcov

Introducción
Un proceso o sucesión de eventos que se desarrolla en el tiempo en el cual el resultado
en cualquier etapa contiene algún elemento que depende del azar se denomina proceso
aleatorio o proceso estocástico. Por ejemplo, la sucesión podría ser las condiciones del
tiempo en Paraná en una serie de días consecutivos: el tiempo cambia día a día de una
manera que en apariencia es algoaleatoria. O bien, la sucesión podría consistir en los
precios de las acciones que cotizan en la bolsa en donde otra vez interviene cierto grado
de aleatoriedad.
Un ejemplo simple de un proceso estocástico es una sucesión de ensayos de Bernoulli,
por ejemplo, una sucesión de lanzamientos de una moneda. En este caso, el resultado en
cualquier etapa es independiente de todos los resultadosprevios (esta condición de
independencia es parte de la definición de los ensayos de Bernoulli). Sin embargo, en la
mayoría de los procesos estocásticos, cada resultado depende de lo que sucedió en
etapas anteriores del proceso. Por ejemplo, el tiempo en un día determinado no es
aleatorio por completo sino que es afectado en cierto grado por el tiempo de días
previos. El precio de una acción alcierre de cualquier día depende en cierta medida del
comportamiento de la bolsa en días previos.
El caso más simple de un proceso estocástico en que los resultados dependen de otros,
ocurre cuando el resultado en cada etapa sólo depende del resultado de la etapa anterior
y no de cualquiera de los resultados previos. Tal proceso se denomina proceso de
Markov o cadena de Markov (una cadena deeventos, cada evento ligado al precedente)
Estas cadenas reciben su nombre del matemático ruso Andrei Andreevitch Markov
(1856-1922). Como mencionamos antes, estas cadenas tiene memoria, recuerdan el
último evento y eso condiciona las posibilidades de los eventos futuros. Esto justamente
las distingue de una serie de eventos independientes como el hecho de tirar una moneda.
Este tipo de procesopresenta una forma de dependencia simple, pero muy útil en
muchos modelos, entre las variables aleatorias que forman un proceso estocástico. Se
utilizan, por ejemplo, para analizar patrones de compra de deudores morosos, para
planear necesidades de personal, para analizar el reemplazo de un equipo, entre otros.
Definición
Una cadena de Markov es una sucesión de ensayos similares uobservaciones en la cual
cada ensayo tiene el mismo número finito de resultados posibles y en donde la
probabilidad de cada resultado para un ensayo dado depende sólo del resultado del
ensayo inmediatamente precedente y no de cualquier resultado previo.
Propiedad de Markov: Dada una secuencia de variables aleatorias , , ,...... 1 2 3 X X X ,
tales que el valor de n X es el estado del proceso en eltiempo n. Si la distribución de
probabilidad condicional de n+1 X en estados pasados es una función de n X por sí sola,
entonces:
P(X x /X x )
P(X x /X x , X x ,....X x , X x )
n 1 n 1 n n
n 1 n 1 n n n 1 n 1 2 2 1 1
= =
= = = = = =
+ +
+ + − −
Donde i x es el estado del proceso en el instante i.
2
Métodos Estadísticos en Ciencias de la Vida
Esta identidad es la denominada propiedad deMarkov: El estado en t + 1 sólo depende
del estado en t y no de la evolución anterior del sistema
Matriz de transición
Al trabajar con cadenas de Markov, a menudo es útil pensar la sucesión de ensayos
como experimentos efectuados en cierto sistema físico, cada resultado dejando a este
sistema en cierto estado.
Por ejemplo, consideremos una sucesión de elecciones políticas en cierto país: elsistema podría tomarse como el país mismo y cada elección lo dejaría en cierto estado,
es decir en el control del partido ganador. Si sólo hay dos partidos políticos fuertes,
llamados A y B, los que por lo regular controlan el gobierno, entonces podemos decir
que el país se encuentra en el estado A o B si el partido A o B ganara la elección. Cada
ensayo (o sea cada elección), coloca al país...