Clasificacion estados cadenas markov

Clasificación de los estados de las cadenas de Markov
Prof. Prof Jairo R Coronado H R. H.

Introducción
• En toda cadena de Markov hay j que determinaos conjuntos de estados q caracterizan elcomportamiento del proceso. proceso • Su clasificación se hace teniendo en cuenta la comunicación que existen dentro ó j de los distintos estados del conjunto.

Clasificación de estados de una CM
•P b bilid d d alcanzar un estado: Probabilidad de l t d
∀i, j ∈ S , pij = P ⎡ ⎢ ⎣ X n = j para algún n > 0 ⎤ X 0 = i⎥ ⎦

Diremos que un estado j∈S es alcanzable desde el estado i∈S sii νij≠0. Estosignifica que existe una sucesión de arcos (camino) en el DTE que van desde i hasta j.

Estado Absorbente
Es aquel que una vez que se entra en él p no se puede salir del mismo. Un estado esabsorbente si:

Pii = 1 Pij = 0

(i ≠ j ,

j = 1,...., m )

Estado periódico
• E aquel d d l probabilidad que regrese al Es l donde la b bilid d l estado Ei en el paso n es pii(n). • Si te es unnumero mayor que 1, se tiene que: t 1 ti

Pii = 0

p para n ≠ t ,2t ,3t ,...

Pii ≠ 0

para n ≠ t ,2t ,3t ,...

• En este caso se dice que el estado Ej es periódico de periodo t. • Si para unestado no existe dicho valor de t entonces se dice que es aperiódico.

Ejemplo cadena periódica
T=1
0 0 1 0 0.5 0 0 0 0 1 0 1 0.5 0 0 0

T=2
0 1 0 1 0 0 0.5 0 1 0 0 0 0 0 0.5 0

T=3
1 0 00 0 0.5 0 0.5 0 0 1 0 0 0.5 0 0.5

T=4
0 0 1 0 0.5 0 0 0 0 1 0 1 0.5 0 0 0

Estado recurrente
• Son aquellos estados donde después de n p pasos p puede volver a el mismo. • Es decir estando enalgún estado i puede regresar a el después de n pasos con probabilidad una probabilidad asociada a el. • El estado puede ser visitado un numero infinito de veces.

Estado recurrente

Estadotransitorio
• Es aquel que no regresa a su estado de g modo seguro. • Por consiguiente, el estado i es transitorio si y solo si existe un estado j (j diferente de i) que es accesible desde el estado j,...