Ejercicios Procesos Estocastico

Procesos Estocásticos I
Examen de Primera Vuelta
1. Demuestre que
a) piinpiim≤piin+m≤piinpiim+1-pii(n)
* Primera desigualdad; por Chapman-Kolmogorov sabemos que
pijn+m=kpiknpkjm;
es evidente que se cumple la siguiente desigualdad:
pijn+m≥piknpkjm; para todo k que pertenece al espacio de estados.
Ahora si suponemos que j=i y k=i tenemos que
piin+m≥piinpiim∎* Segunda desigualdad; también usaremos Chapman-Kolmogorov, suponiendo j=i
piin+m=kpiknpkim=piinpiim+k≠ipiknpkim;
se sabe que el producto de p1 y p2, donde pi's son probabilidades,
es menor o igual a p1 y p2,
entonces,
piinpiim+k≠ipiknpkim≤piinpiim+k≠ipikn=piinpiim+1-piin
Por lo tanto
piin+m≤piinpiim+1-piin∎
b)n=1∞pij(n)=fij[1+n=1∞pjjn]
* Sabemos que pijn=k=1nfijkpjj(n-k);
Entonces,
n=1∞pijn=n=1∞k=1nfijkpjjn-k=fij1pjj0+fij1pjj1+fij2pjj0
+fij1pjj2+fij2pjj1+fij3pjj0
+fij1pjj3+fij2pjj2+fij3pjj1+fij4pjj0
+fij1pjj4+fij2pjj3+fij3pjj2+fij4pjj1+fij5pjj(0)+…
=k=1∞n=0∞fijkpjjn=k=1∞fijkn=0∞pjjn=fijpjj0+n=1∞pjj(n)=fij1+n=1∞pjjn
Por lo tanto
n=1∞pij(n)=fij1+n=1∞pjjn∎

2. Demuestre que para cualquier entero n≥1
a) PXn=j=iPXn-1=ipij1
* Entonces
PXn=j=PXn=j,Ω donde {Ω=Ui=1∞Xn-1=i}
=PXn=j,Ui=1∞Xn-1=i=i=1∞PXn=j,Xn-1=i
multiplicando por P(Xn-1=i)P(Xn-1=i)
=i=1∞PXn=j,Xn-i=iPXn-1=iPXn-1=i=i=1∞PXn-1=iPXn=jXn-1=i
=i=1∞PXn-1=iPij(1)
Por lo tantoPXn=j=i=1∞PXn-1=iPij1∎

b) PXn=j=iPX0=ipijn
* Entonces
PXn=j=PXn=j,Ω= donde {Ω=Ui=1∞X0=i}
=PXn=j,Ui=1∞X0=i=i=1∞PXn=j,X0=i
multiplicando por P(X0=i)P(X0=i)
=i=1∞PXn=j,X0=iPX0=iPX0=i=i=1∞PX0=iPXn=jX0=i
=i=1∞PX0=iPijn
Por lo tanto
PXn=j=i=1∞PX0=iPijn∎

3. Demuestre que la unión de todas las clases de comunicaciónrecurrentes de una cadena de Markov es una clase cerrada.

* Sean 1, 2, 3, …, n todas las clases de comunicación recurrentes de una cadena de Markov. Supongamos por contradicción que,

1 U 2 U 3U… U n NO es cerrada
Es decir existe i ∈(1 U 2 U 3U… U n) y j que no∈(1 U 2 U 3U… U n)
Tal que, el estado j es accesible desde el estado i ( i→j ) para un entero n≥0 dondepij(n)>0.

Ahora como sabemos que i es recurrente, es decir, piin=1. De esto podemos afirmar que, i es accesible desde j (j→i) para un m≥0 donde pji(m)>0, es decir, i y j se comunican (j↔i).

Por lo tanto, j∈(1 U 2 U 3U… U n)! contradicción.
∴La unión de todoas las clases de comunicación recurrentes de un
Cadena de Markov es una clase cerrada.

4. Sean 1,2, 3, … una sucesión de variables aleatorias independientes con idéntica distribución Ber (p). Determine si el proceso Xn definido a continuación es una cadena de Markov. En caso afirmativo determine el espacio de estados y encuentre la matriz de probabilidades de transición.

a) Xn=n+n-1
* Las i's por tener distribución Ber (p) toman valores de 0 y 1 con probabilidad p yq respectivamente, donde p+q=1.

Además definamos X0=0.
De lo anterior tenemos que
Xn= 0 si (n=0 ^ n-1=0) 1 si (n=0 ^ n-1=1) ó (n=1 ^ n-1=0)2 si (n=1 ^ n-1=1)
Por hipótesis las i's son independientes; como se puede ver Xn solo depende de n y n-1 , es decir, Xn NO es unacadena de Markov.

Además, si calculamos la matriz de probabilidad de transición, donde el espacio de estados es: 0, 1, 2
P=qp0qp+qp0qp

Se tiene que no es estocástica, lo cual nos demuestra una vez más que Xn no es una cadena de Markov.

b) Xn=Xn-1+n
* Las i's por tener distribución Ber (p) toman...