Cadenas De Markov

 
Una cadena de Markov, recibe su nombre del matemático ruso Andrei Markov, es una serie de eventos, en la cual la probabilidad de que ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas de este tipo tienen memoria. “Recuerdan” el último evento y esto condiciona las posibilidades de los eventos futuros..
El desarrollo de problemas de tiempo discreto requieren deciertas condiciones para considerarse como cadenas de Markov, y un proceso estocástico (Xn, n=0,1,2,....) se denomina una cadena de Markov en tiempo discreto si cumple con las propiedades Markovianas y de estacionalidad
Se sabe que para conocer la distribución de Xn+1 se necesita conocer Xn. Se ve que Xn depende a su vez de Xn-1. Además, Xn-1 depende de Xn-2, etc. Luego, se concluye que Xn+1 dependeno solo de Xn, sino que indirectamente depende también de Xn-1, Xn-2,..., X1, X0.
El proceso estocástico (Xn, n=0,1,2,......) está conformado por una familia de variables aleatorias independientes entre sí. Sin embargo, la dependencia entre estas variables aleatorias es tal que, si yo conozco el valor de Xn, los valores de X0, X1, X2, ....Xn-1i son irrelevantes para estudiar el valor de Xn+1. Seobserva que esto no quiere decir que Xn+1 sea independiente de X0, X1,..,Xn-1, sino que lo que ocurre es que estas variables influyen en Xn+1 solo a través de Xn. Más exactamente, si se denomina el periodo n+1 como el futuro, el periodo n como el presente, y los periodos 0, 1,2,...., n-1 como el pasado, se dirá entonces que “el pasado influye sobre el futuro pero sólo a través del presente”. Estapropiedad es la denominada markoviana, que por definición formal puede quedar expresada como: Sea Xn una v.a. que toma valores enteros: Entonces se dice que el proceso (Xn, n=0,1,2,...)cumple con la propiedad markoviana si:

Por otra parte el proceso (Xn, n=0,1,2,...) cumple con la propiedad de estacionareidad si la propiedad Pr( Xn+1=j/Xn=i) depende sólo de i y de j, pero no de n. En estecaso, definimos como Pi, j a esta probabilidad, y se denomina probabilidad de transición en una etapa. La propiedad de estacionareidad establece que los mecanismos probabilísticos que definen la evolución del proceso no cambian con el tiempo. Las probabilidades Pi, j pueden agruparse en una matriz P, denominada matriz de probabilidades de transición en una etapa, que tendrá tantas filas y columnascomo estados tenga el proceso.
Entonces se dice que las probabilidades de transición (de un paso) son estacionarias y por lo general se denotan por pij . Así, tener probabilidades de transición estacionarias implica que las probabilidades de transición no cambian con el tiempo
En el largo plazo los estados del proceso se pueden clasificar de diversas maneras, de forma tal que estas clasificacionesformalizan la existencia de las distribuciones límites. Un estado se denominará transiente si F: (i, i) <1, o sea, si un estado parte en i, la probabilidad de que regrese al mismo estado es menor que uno. También los estados se denominarán recurrentes si F (i, i)=1, y si su valor esperado de tiempo es menor a infinito (E (T (i, i) <1) se denominará recurrente positivo, en caso contrario, sedenominará recurrente nulo. En el caso de un estado recurrente nulo, existe la seguridad de que, si el proceso parte en el estado i, volverá a ese estado alguna vez, sin embargo, el tiempo promedio de retorno será infinito.
Existe un ámbito importante en el estudio de los estados en el largo tiempo, y eso es su comunicación. Por convención se dice que un estado siempre se comunica consigo mismo,ya que:

(Esto es, se comunica a través de un camino de largo 0)
Las clases de estados que se comunican son disjuntas entre sí y cubren todo el conjunto de estados, es decir, generan una partición del conjunto. Si una cadena de Markov contiene una sola clase de estados (todos los estados se comunican entre sí), se dirá que es irreducible.
La existencia de una distribución límite depende...