Diapositivas Cadenas De Markov
Páginas: 17 (4018 palabras)
Publicado: 14 de octubre de 2015
CADENAS DE MARKOV
Espacio de estados de un
proceso:
•
El conjunto de todos los
posibles estados que
un proceso puede
ocupar en los distintos
movimientos se llama
espacio de estados. Un
espacio de estados
puede ser
• finito,
• numerable
• no numerable.
• Usaremos a1,a2,.....an
para representar los (n)
estados de un estado
• ai ‑‑‑‑‑‑> aj para
representar que el
proceso se mueve del
estado (i)al estado (j).
Probabilidades de transición de
un solo paso
•
P(ai ‑‑‑‑‑> aj) es la
probabilidad condicional para
que el proceso que se
encuentra en el estado ai se
mueva al estado aj en un sólo
paso, y se designa por Pij .
Esto recibe el nombre de
probabilidad de transición de
un sólo paso. Si todas estas
probabilidades son conocidas
para todos los pares de estados
se ordenan en una matrizcuadrada que recibe el
nombre de matriz de transición.
•
P = [pij]
•
•
Ejemplo:
Sea una persona sentada en
el asiento de en medio de una
fila de cinco asientos
[marcados con
A,B,C,D,E] de izquierda
•
•
a
derecha. Esta persona se mueve
por seis veces de una silla a la
otra, estando sus movimientos
controlados por una moneda que
se tira al aire.
a) Si no está al final de una
fila de asientos semueve
hacia la derecha si sale CARA y
hacia la izquierda si sale
CRUZ.
b) Si está al final se quedará
donde está salga lo que salga.
Espacio de Estados:
[ A, B, C, D, E ]
•
A
A
B
C
D
E
1
0
0
0
0
•
0
•
1/2 0
•
B
1/2 0
1/2 0
C
0
1/2 0
D
0
0
1/2 0
½
E
0
0
0
1
0
•
P[A ‑‑‑> A] = P[E ‑‑‑>
E] = 1 ya que se queda
donde está.
P[B ‑‑‑> A] = 1/2
puesto que laprobabilidad
de que salga CR es 1/2.
P[C ‑‑‑> C] = 0 ya que
aquí no se puede quedar.
La ∑pij = 1
Las matrices que tienen
elementos no negativos y a
suma de los elementos de
sus filas valen la unidad
se llaman matrices
estocásticas
Vector probabilidad inicial
• Existe un vector
probabilidad inicial tal
que:
•
a = (a1, a2,....an) en
la que los elementos ai
son las probabilidades de
que el estado inicialdel
proceso sea Si.
•
• En el ejemplo anterior
• El vector probabilidad
inicial sería
•
a = (0, 0,1, 0, 0)
puesto que el proceso
comienza en la silla C.
Propiedad de Markov
•
Considerar una secuencia
Si,Sj,Sk de un experimento
cuyo vector y matriz inicial son
conocidos. Entonces la
secuencia de probabilidad será:
P( Si,Sj,Sk ) = P( Si)
P( Si‑‑‑>Sj) P( Sj‑‑‑>Sk)
P( Si)
•
Podríamos ampliar laregla
para cubrir secuencias de
cualquier número de pasos. A
los procesos a los cuales
podemos aplicar esta regla se
dicen que tienen la propiedad
de Markov.
•
•
•
Para tales procesos la
probabilidad de la siguiente
dirección depende del estado
presente del proceso y no
depende del estado precedente.
Ejemplo:
En el problema anterior
calcular la probabilidad de la
secuencia.
• P[C,D,C,B,A,A,A] =P[C] P[C ‑‑>D] P[D
‑‑>C] P[C ‑‑>B].
P[B ‑‑>A] P[A ‑‑>A]
P[A ‑‑>A]
=1.1/2.1/2.1/2.1/2.1.1
=1/16
Cadena de Markov finita y
estacionara.
• Una cadena de Markov estacionara
y finita queda completamente definida
cuando se conoce:
•
a) Espacio de estados finito.
•
b) Una matriz [Pij] de probabilidades de
transición de un sólo paso estacionara.
•
c) El vector de probabilidad inicial.
. Cadena ergódica:transición de
n pasos
•
El diagrama es un gráfico
de una secuencia de una
muestra de una cadena
de Markov de cinco
estados A ‑‑‑‑> E .En
los doce pasos se
recorren todos los
estados y se sale.
Evidentemente el proceso
no puede quedarse nunca
atrapado. A los estados
que pueden atrapar un
proceso se les llaman
estados absorventes.
Probabilidades de transición
superiores
•
•
•
La probabilidadde que el
proceso pase del estado Si al
Sj en (n) pasos se llama
probabilidad de transición en
n pasos y se simboliza por :
P(n)ij
La matriz formada por
todos los P(n)ij es una
matriz cuadrada y se
denomina matriz de
transición de un (n) pasos.
•
TEOREMA:
•
Si P es la matriz de
transición de un paso en una
cadena finita de Markov,
entonces Pn es la matriz de
transición de (n) pasos.
•
•
•...
Espacio de estados de un
proceso:
•
El conjunto de todos los
posibles estados que
un proceso puede
ocupar en los distintos
movimientos se llama
espacio de estados. Un
espacio de estados
puede ser
• finito,
• numerable
• no numerable.
• Usaremos a1,a2,.....an
para representar los (n)
estados de un estado
• ai ‑‑‑‑‑‑> aj para
representar que el
proceso se mueve del
estado (i)al estado (j).
Probabilidades de transición de
un solo paso
•
P(ai ‑‑‑‑‑> aj) es la
probabilidad condicional para
que el proceso que se
encuentra en el estado ai se
mueva al estado aj en un sólo
paso, y se designa por Pij .
Esto recibe el nombre de
probabilidad de transición de
un sólo paso. Si todas estas
probabilidades son conocidas
para todos los pares de estados
se ordenan en una matrizcuadrada que recibe el
nombre de matriz de transición.
•
P = [pij]
•
•
Ejemplo:
Sea una persona sentada en
el asiento de en medio de una
fila de cinco asientos
[marcados con
A,B,C,D,E] de izquierda
•
•
a
derecha. Esta persona se mueve
por seis veces de una silla a la
otra, estando sus movimientos
controlados por una moneda que
se tira al aire.
a) Si no está al final de una
fila de asientos semueve
hacia la derecha si sale CARA y
hacia la izquierda si sale
CRUZ.
b) Si está al final se quedará
donde está salga lo que salga.
Espacio de Estados:
[ A, B, C, D, E ]
•
A
A
B
C
D
E
1
0
0
0
0
•
0
•
1/2 0
•
B
1/2 0
1/2 0
C
0
1/2 0
D
0
0
1/2 0
½
E
0
0
0
1
0
•
P[A ‑‑‑> A] = P[E ‑‑‑>
E] = 1 ya que se queda
donde está.
P[B ‑‑‑> A] = 1/2
puesto que laprobabilidad
de que salga CR es 1/2.
P[C ‑‑‑> C] = 0 ya que
aquí no se puede quedar.
La ∑pij = 1
Las matrices que tienen
elementos no negativos y a
suma de los elementos de
sus filas valen la unidad
se llaman matrices
estocásticas
Vector probabilidad inicial
• Existe un vector
probabilidad inicial tal
que:
•
a = (a1, a2,....an) en
la que los elementos ai
son las probabilidades de
que el estado inicialdel
proceso sea Si.
•
• En el ejemplo anterior
• El vector probabilidad
inicial sería
•
a = (0, 0,1, 0, 0)
puesto que el proceso
comienza en la silla C.
Propiedad de Markov
•
Considerar una secuencia
Si,Sj,Sk de un experimento
cuyo vector y matriz inicial son
conocidos. Entonces la
secuencia de probabilidad será:
P( Si,Sj,Sk ) = P( Si)
P( Si‑‑‑>Sj) P( Sj‑‑‑>Sk)
P( Si)
•
Podríamos ampliar laregla
para cubrir secuencias de
cualquier número de pasos. A
los procesos a los cuales
podemos aplicar esta regla se
dicen que tienen la propiedad
de Markov.
•
•
•
Para tales procesos la
probabilidad de la siguiente
dirección depende del estado
presente del proceso y no
depende del estado precedente.
Ejemplo:
En el problema anterior
calcular la probabilidad de la
secuencia.
• P[C,D,C,B,A,A,A] =P[C] P[C ‑‑>D] P[D
‑‑>C] P[C ‑‑>B].
P[B ‑‑>A] P[A ‑‑>A]
P[A ‑‑>A]
=1.1/2.1/2.1/2.1/2.1.1
=1/16
Cadena de Markov finita y
estacionara.
• Una cadena de Markov estacionara
y finita queda completamente definida
cuando se conoce:
•
a) Espacio de estados finito.
•
b) Una matriz [Pij] de probabilidades de
transición de un sólo paso estacionara.
•
c) El vector de probabilidad inicial.
. Cadena ergódica:transición de
n pasos
•
El diagrama es un gráfico
de una secuencia de una
muestra de una cadena
de Markov de cinco
estados A ‑‑‑‑> E .En
los doce pasos se
recorren todos los
estados y se sale.
Evidentemente el proceso
no puede quedarse nunca
atrapado. A los estados
que pueden atrapar un
proceso se les llaman
estados absorventes.
Probabilidades de transición
superiores
•
•
•
La probabilidadde que el
proceso pase del estado Si al
Sj en (n) pasos se llama
probabilidad de transición en
n pasos y se simboliza por :
P(n)ij
La matriz formada por
todos los P(n)ij es una
matriz cuadrada y se
denomina matriz de
transición de un (n) pasos.
•
TEOREMA:
•
Si P es la matriz de
transición de un paso en una
cadena finita de Markov,
entonces Pn es la matriz de
transición de (n) pasos.
•
•
•...
Leer documento completo
Regístrate para leer el documento completo.