temas





Las cadenas de markov reciben este nombre debido al matemáticoAndrei Andreevitch Markov  y consisten en un proceso discreto en el cual la probabilidad de que se lleve a cabo un evento es dependiente del evento inmediatamente anterior. Por lo tanto, la característica más destacada de esta herramienta es la capacidad de " recordar" el último evento y esto condiciona las posibilidades delos eventos futuros

Para llevar a cabo el desarrollo de la cadena de markov se requiere tener fundamentos matemáticos en:

1. Operaciones con matrices
Suma y resta
Multiplicación
Traspuesta
Inversa- Gauss-Jordan 
 2.    Probabilidad


Propiedad de Markov: "si se conoce la historia del sistema hasta su instante actual, su estado presente resume toda la información relevante paradescribir en probabilidad su estado futuro".

ELEMENTOS DE LA CADENA DE MARKOV

Estado: Una cadena de Markov es una secuencia X1, X2, X3, … de variables aleatorias, el rango de estas variables, es llamado espacio -estado, el valor de Xn es el estado del proceso en el tiempo n. Cuando un estado es igual a cero, significa que no hay vía directa de un estado a otro.

Matriz de transición: Es la matrizque representa la probabilidad de una población de moverse de un estado a otro.  Cumple con las siguientes condiciones:
  La matriz de transición debe ser cuadrada.
  La suma de las probabilidades por fila debe ser igual a 1.
Composición actual (Po): Representa la distribución actual de la distribución de la población, a partir de esta matriz se describen las probabilidades de su estadofututo.  El número de renglones de Po debe ser igual número de elementos del vector columna T.

Para comprender a cabalidad lo expresado anteriormente, desarrollaremos un ejemplo en el cual se reconozca la importancia de las cadenas de markov y los elementos que la conforman. 



CADENAS DE MARKOV DISCRETAS:
Un proceso estocástico en tiempo discreto es una Cadena de Markov en la medida que severifiquen las siguientes propiedades:
Propiedad Markoviana:

Donde i0, i1, ..., in-1, i, j son posibles “ estados” o valores que puede tomar el proceso estocástico en las distintas etapas. Esto consiste básicamente en afirmar que el futuro (t=n+1) es independiente del pasado dado el presente (t=n).
Propiedad Estacionaria: La probabilidad

No depende de la etapa n. Por ejemplo, la probabilidad depasar del estado i al estado j será siempre la misma no importando el número de la etapa.
Si consideramos que la variable aleatoria asociado a este proceso markoviano toma un número finito de estados (digamos M) las probabilidades de transición de un estado a otro se pueden resumir en una matriz P denominada matriz de transición de probabilidades en una etapa. Adicionalmente si conocemos ladistribución de probabilidad para la etapa inicial (que denotamos por f0) estamos en condiciones de conocer el proceso estocástico, que consiste en determinar la distribución de probabilidad en cada etapa.

Ejemplo Cadena de Markov en Tiempo Discreto
Suponga que en un juego existen 2 jugadores, cada uno de los cuales dispone inicialmente de 2 monedas. En cada jugada se gana una moneda conprobabilidad ½ o se pierde una moneda con probabilidad ½. El juego termina cuando un jugador tiene 4 monedas o se queda con ninguna. Modele como una Cadena de Markov la situación descrita.
Desarrollo: El primer caso consiste en identificar la variable aleatoria la cuál debe representar el problema planteado, en este caso la evolución del juego al cabo de cada etapa o jugada. Se define la variablealeatoria en tiempo discreto Xn : Cantidad de monedas que tiene uno de los jugadores (digamos el jugador A) al cabo de la enésima jugada.
Luego se debe identificar los posibles valores o estados que puede tomar esta variable aleatoria para una etapa n cualquiera. Sabemos que el jugador A comienza el juego con 2 monedas y el juego termina cuando pierde todo (y por tanto el jugador B gana) o cuando gana...