Markov y gauss

Método de Markov

En la teoría de la probabilidad, se conoce como cadena de Márkov a un tipo especial de proceso estocástico discreto en el que la probabilidad de que ocurra un evento depende del evento inmediatamente anterior. En efecto, las cadenas de este tipo tienen memoria. "Recuerdan" el último evento y esto condiciona las posibilidades de los eventos futuros. Esta dependencia del eventoanterior distingue a las cadenas de Márkov de las series de eventos independientes, como tirar una moneda al aire o un dado.

Reciben su nombre del matemático ruso Andrei Andreevitch Markov (1856-1922), que las introdujo en 1907.
Estos modelos muestran una estructura de dependencia simple, pero muy útil en muchas aplicaciones.
Las cadenas de Markov se incluyen dentro de los denominadosprocesos estocásticos. Dichos estudian el comportamiento de variables aleatorias a lo largo del tiempo X (t, w). Se definen como  una colección de variables aleatorias {X (t, w), t Î I}, donde X (t, w) puede representar por ejemplo los niveles de inventario al final de la semana. El interés de los procesos estocásticos es describir el comportamiento de un sistema e operación durante algunos periodos.Los procesos estocásticos se pueden clasificar atendiendo a dos aspectos: si el espacio de estados posibles de la variable aleatoria contiene valores discretos o continuos y de si los valores del tiempo son discretos o continuos.
Las cadenas de Markov es un proceso estocástico en el que los valores del tiempo son discretos y los estados posibles de la variable aleatoria contienen valoresdiscretos, es decir, es una cadena estocástica de tiempo discreto.
Las cadenas de Markov, se clasifican, además, dentro de los procesos estocásticos de Markov, que son aquellos en el que el estado futuro de un proceso es independiente de los estados pasados y solamente depende del estado presente. Por lo tanto las probabilidades de transición entre los estados para los tiempos k-1 y k solamente depende delos estados que la variable adquiere dichos tiempos.

Cadenas de Markov
         Las cadenas de Markov están constituidas por un conjunto de valores {Xn, n: 0, 1,2...} que cumplen la probabilidad de alcanzar cualquier estado j de la variable depende exclusivamente del estado i alcanzado en el instante de tiempo anterior.
         P [Xn+1= j / Xn = i, Xn-1 = i1,..., X0=in]=P[Xn+1=j / Xn=i] Ñi,jte
         Se define para cada par de estados (i, j) que se alcanzan en dos pasos consecutivos de n y n+1 una probabilidad condicional denominada probabilidad de transición pij.
         P [X+1=j / Xn=i] = pij
         Las probabilidades de transición de un paso son estacionarias, es decir, que no cambian con el tiempo.
Si   pij no depende del instante n se dice que la cadena de Markov eshomogénea. Las probabilidades de transición estructuradas en forma matricial dan lugar a lo que se denomina matriz de transición. Dicha matriz relaciona los estados de la variable en dos pasos consecutivos  y n+1 a través de sus probabilidades de transición.
Clasificación de los estados en una cadena de Markov
Las probabilidades de transición asociadas a los estados juegan un papel importante enel estudio de las cadenas de Markov. Para describir con más detalles las propiedades de una cadena de Markov es necesario presentar algunos conceptos y definiciones que se refieren a estos estados.
U estado j es accesible desde el estado i si para algún n se tiene que pij ^(n) >0.
Una cadena de Markov se puede dividir en clases. Una clase está formada por todos los estados que son accesiblesentre sí.
Considerando las probabilidades fii  de que el proceso regrese al estado i comenzando en el estado i se puede clasificar los estados en recurrente sí fii =, transitorio sí fii <1y absorbente sí pii =1.
En una cadena de Markov finita e irreducible todos los estados de dicha cadena so recurrentes.
El período de u estado i es el número T de períodos para el cual se cumple que pij...