Cadenas De Markov

Concepto 2
Conceptos más utilizados 3
Operaciones con matrices: 3
Probabilidad 3
Tipos de Cadenas de Márkov 3
1. Cadenas irreducibles 3
2. Cadenas positivo-recurrentes 4
3. Cadenas regulares 4
4. Cadenas absorbentes 4
5. Cadenas de Márkov en tiempo continuo 5
Ejemplo Cadena Regular: Se realiza una encuesta con el objetivo de determinar la preferencia de gasolineras en laciudad capital durante el presente año. Así como su nivel de lealtad con estos. 5
Ventajas 6
Aplicaciones 7
Software 8
Bibliografía 9

Concepto
El análisis de Márkov se define como un proceso estocástico discreto que maneja las probabilidades de ocurrencias futuras mediante el análisis de las probabilidades conocidas en el presente. Si se conoce la historia de un proceso en su instanteactual, su estado presente resume toda la información relevante para describir en probabilidad su estado futuro. Reciben su nombre del matemático ruso Andrei Andreevitch Markov (1856-1922), que las introdujo en 1907.
Una cadena de Márkov es una secuencia X1, X2, X3,... de variables aleatorias. El rango de estas variables, es llamado espacio estado, el valor de Xn es el estado del proceso en eltiempo n. Si la distribución de probabilidad condicional de Xn+1 en estados pasados es una función de Xn por sí sola, entonces:

Conceptos más utilizados
Operaciones con matrices:
* Suma-resta
* Multiplicación
* Traspuesta
* Inversa (Gauss-Jordan)
Probabilidad
* Teoría de la probabilidad
Tipos de Cadenas de Márkov
1. Cadenas irreducibles
Una cadena deMárkov se dice irreducible si se cumple cualquiera de las siguientes condiciones (equivalentes entre sí):
1. Desde cualquier estado de E se puede acceder a cualquier otro.
2. Todos los estados se comunican entre sí.
3. C(x)=E para algún x∈E.
4. C(x)=E para todo x∈E.
5. El único conjunto cerrado es el total.
La cadena de Ehrenfest o la caminata aleatoria sin barreras absorbentes son ejemplos decadenas de Márkov irreducibles.
2. Cadenas positivo-recurrentes
Una cadena de Markov se dice positivo-recurrente si todos sus estados son positivo-recurrentes. Si la cadena es además irreducible es posible demostrar que existe un único vector de probabilidad invariante y está dado por:

3. Cadenas regulares
Una cadena de Markov se dice regular (también primitiva o ergódica) si existe algunapotencia positiva de la matriz de transición cuyas entradas sean todas estrictamente mayores que cero.
Cuando el espacio de estados E es finito, si P denota la matriz de transición de la cadena se tiene que:
donde W es una matriz con todos sus renglones iguales a un mismo vector de probabilidad w, que resulta ser el vector de probabilidad invariante de la cadena. En el caso de cadenas regulares,éste vector invariante es único.

4. Cadenas absorbentes
Una cadena de Markov con espacio de estados finito se dice absorbente si se cumplen las dos condiciones siguientes:
1. La cadena tiene al menos un estado absorbente.
2. De cualquier estado no absorbente se accede a algún estado absorbente.
Si denotamos como A al conjunto de todos los estados absorbentes y a su complemento como D,tenemos los siguientes resultados:
Su matriz de transición siempre se puede llevar a una de la forma
donde la submatriz Q corresponde a los estados del conjunto D, I es la matriz identidad, 0 es la matriz nula y R alguna submatriz.

5. Cadenas de Márkov en tiempo continuo
Si en lugar de considerar una secuencia discreta X1, X2,..., Xi,.. con i indexado en el conjunto N de números naturales, seconsideran las variables aleatorias Xt con t que varía en un intervalo continuo del conjunto R de números reales, tendremos una cadena en tiempo continuo.
Para este tipo de cadenas en tiempo continuo la propiedad de Márkov se expresa de la siguiente manera:

Ejemplo Cadena Regular: Se realiza una encuesta con el objetivo de determinar la preferencia de gasolineras en la ciudad capital...