ESTUDIANTE

Clasificación de estados en una cadena de Markov
Definiciones:
Las cadenas de markov son modelos probabilísticos que se usan para predecir la evolución y el comportamiento a corto y a largo plazo de determinados sistemas.
En la teoría de la probabilidad, se conoce como cadena de Márkov o modelo de Márkov a un tipo especial de proceso estocástico discreto en el que la probabilidad de queocurra un evento depende solamente del evento inmediatamente anterior. Esta característica de falta de memoria recibe el nombre de propiedad de Markov.
En matemática se define como un proceso estocástico discreto que cumple con la propiedad de Márkov, es decir, si se conoce la historia del sistema hasta su instante actual, su estado presente resume toda la información relevante para describir enprobabilidad su estado futuro.
Una cadena de Márkov es una secuencia X1, X2, X3,... de variables aleatorias. El dominio de estas variables es llamado espacio estado; el valor de Xn es el estado del proceso en el tiempo n. Si la distribución de probabilidad condicional de Xn+1 en estados pasados es una función de Xn por sí sola, entonces:

Donde xi es el estado del proceso en el instante i. Laidentidad mostrada es la propiedad de Márkov.


Ejemplos: reparto del mercado entre marcas; dinámica de las averías de máquinas para decidir política de mantenimiento; evolución de una enfermedad

Una Cadena de Markov (CM) es
Un proceso estocástico
Con un número finito de estados (M)
Con probabilidades de transición estacionarias
Que tiene la propiedad markoviana.

PROCESO ESTOCÁSTICO


Esun conjunto o sucesión de variables aleatorias: {X(t)CG } definidas en un mismo espacio de probabilidad. Normalmente el índice t representa un tiempo y X(t) el estado del proceso estocástico en el instante t. El proceso puede ser de tiempo discreto o continuo si G es discreto o continuo. Si el proceso es de tiempo discreto, usamos enteros para representar el índice: {X1,X2, ...}

Ejemplos deprocesos estocásticos
1.Serie mensual de ventas de un producto
 
2. Estado de una máquina al final de cada semana (funciona/averiada)
3. Nº de clientes esperando en una cola cada 30 segundos
4. Marca de detergente que compra un consumidor cada vez que hace la compra. Se supone que existen 7 marcas diferentes
5. Nº de unidades en almacén al finalizar la semana

ELEMENTOS DE UNA CADENA DEMARKOV

Un conjunto finito de M estados, exhaustivos y mutuamente excluyentes (ejemplo: estados de la enfermedad)
Ciclo de markov (“paso”) : periodo de tiempo que sirve de base para examinar  las transiciones entre estados (ejemplo, un mes)
Probabilidades de transición entre estados, en un ciclo (matriz P)
Distribución  inicial del sistema entre los M estados posibles

Para la clasificación deestados de una Cadena de Markov en tiempo discreto utilizaremos 2 ejemplos:
Ejemplo 1:

Ejemplo 2:

Si existe una probabilidad no nula que comenzando en un estado i se pueda llegar a un estado j al cabo de un cierto número de etapas (digamos n) se afirma que el estado j es accesible desde el estado i. Si consideramos el ejemplo 1 podemos afirmar que el estado 3 es accesible desde el estado 1.Aún cuando en una etapa no podemos llegar desde el estado 1 al estado 3, si podemos hacerlo al cabo de 2, 3, ..., n etapas. Cabe destacar en este punto que es relevante que exista una probabilidad no nula que comenzando en 1 se pueda llegar a 3 al cabo de un cierto número de etapas no importando el valor exacto de esta probabilidad para un n cualquiera. En cuanto al ejemplo 2, se puede verificarque el estado 2 es accesible desde el estado 3, sin embargo, el estado 2 no es accesible desde el estado 4 (esto porque una vez que se llega al estado 4 no se sale de ese estado). Finalmente, dos estados que son accesibles viceversa se dice que se comunican y que pertenecen a una misma clase de estados.
Una Cadena de Markov donde todos sus estados son accesibles entre sí y por tanto se...