Probabilidad de transici n cadena de Markov


Probabilidad de transición: cadenas de Markov

Algunas veces se está interesado en cómo cambia una variable aleatoria con el tiempo. El estudio de una variable aleatoria con el tiempo incluye procesos estocásticos.
Un proceso o sucesión de eventos que se desarrolla en el tiempo en el cual el resultado en cualquier etapa contiene algún elemento que depende del azar se denomina procesoaleatorio o proceso estocástico. Por ejemplo, la sucesión podría ser las condiciones del tiempo en un determinado lugar en una serie de días consecutivos: el tiempo cambia día a día de una manera que en apariencia es algo aleatoria. El meteorólogo seguramente consulta las imágenes satelitales; pero también sabe que el clima en un día del año corresponde de alguna manera a un fenómeno aleatorio, es asícomo hoy puede ser soleado, ser lluvioso o fresco sin lluvia, y que el clima estaría en una y solo una de estas tres posibilidades y que la ocurrencia de una de ellas excluye a las demás. También es fácil ver que la probabilidad de que en un día específico llueva, o sea soleado o fresco sin lluvia, está muy relacionada con lo ocurrido al clima el día anterior.
En la mayoría de los procesosestocásticos, cada resultado depende de lo que sucedió en etapas anteriores del proceso. Por ejemplo, el tiempo en un día determinado no es aleatorio por completo, sino que es afectado en cierto grado por el tiempo de días previos.
Los procesos estocásticos se pueden clasificar atendiendo a dos aspectos: si el espacio de estados posibles de la variable aleatoria contiene valores discretos o continuos y desi los valores del tiempo son discretos o continuos.
El caso más simple de un proceso estocástico en que los resultados dependen de otros, ocurre cuando el resultado en cada etapa sólo depende del resultado de la etapa anterior y no de cualquiera de los resultados previos. Tal proceso se denomina proceso de Markov o cadena de Markov (una cadena de eventos, cada evento ligado al precedente) yreciben su nombre del matemático ruso Andrei Andreevitch Markov (1856-1922).
La cadena de Markov se ha aplicado a áreas como educación, comercialización, servicios de salud, finanzas, contabilidad y producción. Es un tipo especial de proceso discreto en el tiempo, es decir, es un proceso estocástico en el que los valores del tiempo son discretos y los estados posibles de la variable aleatoriacontiene valores discretos.
Estas cadenas tienen memoria, recuerdan el último evento y eso condiciona las posibilidades de los eventos futuros, es por ello que con las cadenas de Markov podremos hacer predicciones de comportamientos futuros como las que se observaron en las situaciones anteriores.
Así, si llamamos estados a cada una de estas posibilidades que se pueden presentar en un experimento osituación especifica, entonces podemos visualizar en las Cadenas de Markov una herramienta que nos permitiría conocer a corto y largo plazo los estados en que se encontrarían en periodos o tiempos futuros.

Definición

Una cadena de Markov es una sucesión de ensayos similares u observaciones en la cual cada ensayo tiene el mismo número finito de resultados posibles y en donde la probabilidad decada resultado para un ensayo dado depende sólo del resultado del ensayo inmediatamente precedente y no de cualquier resultado previo.

Propiedad de Markov: Dada una secuencia de variables aleatorias {Xn, n: 0,1, 2...}, tales que el valor de Xn es el estado del proceso en el tiempo n, que cumplen la probabilidad de alcanzar cualquier estado j de la variable que depende exclusivamente del estado ialcanzado en el instante de tiempo anterior, entonces:

P(X n+1 = j / X n = i, X n-1= i1,...X0=in) = P( X n+1 = j / X n = i)


Esta identidad es la denominada propiedad de Markov.

Si el sistema se mueve del estado i durante un período al estado j durante el siguiente período, se dice que ocurrió una transición de i a j.
Se define para cada par de estados (i, j) que se alcanzan en dos pasos...