Cadenas De Markov

USAC FACULTAD DE INGENIERÍA AREA DE ESTADÍSTICA ANALISIS PROBABILÍSTICO Catedrática: Inga. Ma. Eugenia Aguilar Auxiliar: Ángel Navarro

CADENAS DE MARKOV
Una cadena de Markov es una sucesión de ensayos de un experimento en el que los resultados posibles de cada ensayo permanecen iguales de ensayo a ensayo, son finitos y sus probabilidades dependen solamente del resultado del ensayo anterior. Parailustrar una cadena de Markov, consideremos la situación siguiente: imagine que un pueblo pequeño, solo tiene dos estaciones de servicio, 1 y 2, que satisfacen las necesidades de los propietarios de automóviles (estos clientes forman la población a considerar). Cada vez que un cliente necesita servicio para su automóvil, debe hacer una elección sobre cual estación utilizar. Así cada cliente puedeser colocado en una categoría de acuerdo con la estación elegida más recientemente. Podemos ver a un cliente y a las estaciones de servicio como un sistema. Si un cliente eligió más recientemente la estación 1 nos referimos a esto como el estado 1 del sistema. Del mismo modo, si un cliente selecciono más recientemente la estación 2, decimos que el sistema está actualmente en el estado 2. Así, encualquier tiempo dado el sistema está en uno de sus dos estados. Por supuesto, a lo largo del periodo el sistema puede moverse de un estado al otro. Por ejemplo, las sucesión 1, 2, 2, 1, indica que en cuatro servicios de automóvil sucesivos, el sistema cambio del estado 1 al estado 2, permaneció en el estado 2 y después volvió al estado 1. Esta situación puede pensarse como una sucesión de ensayosde un experimento (selección de una estación de servicio) donde los resultados posibles para cada ensayo son los dos estados (estado uno y estado dos). Cada ensayo involucra la observación del estado del sistema en ese momento. Si conocemos el estado actual del sistema, nos daremos cuenta que no podemos estar seguros de un estado en la siguiente observación. Sin embargo, podemos saber laverosimilitud de su estancia en un estado particular. Por ejemplo, suponga que si un cliente mas reciente utilizo la estación uno, entonces la probabilidad de que la siguiente ves utilice la estación 1 es de 0.7. (Esto significa que de que aquellos clientes que usaron la estación uno más recientemente, el 70% la utilizaran la próxima vez y el 30% cambiara a la estación 2). También suponga que si uncliente utilizo la estación 2 más recientemente, la probabilidad es de 0.8 para que utilice la estación 2 la siguiente vez. Puede reconocer estas probabilidades como probabilidades condicionales, esto es, P(permanecer en el estado 1 / ahora está en el estado 1) = 0.7 P(permanecer en el estado 2 / ahora está en el estado 1) = 0.3 P(permanecer en el estado 2 / ahora está en el estado 2) = 0.8 P(permaneceren el estado 1 / ahora está en el estado 2) = 0.2 Estas cuatro probabilidades pueden ser organizadas en una matriz cuadrada T=[tij] haciendo que el elemento tij sea la probabilidad de que un cliente actualmente en el estado i este en el estado j en la siguiente observación: Estado Actual Estado 1 T= Estado 2 0.2 0.8 Estado siguiente Estado 1 Estado 2 0.7 0.3

1

La matriz T es llamada matriz detransición ya que indica las probabilidades de transición de un estado a otro en un paso, esto es como vamos de un periodo de observación al siguiente. Los elementos son llamados probabilidades de transición. Enfatizamos que la matriz de transición permanece igual en cada etapa de la sucesión de observaciones. Observe que todos sus elementos son no negativos por ser probabilidades. Además, la sumade los elementos de cada renglón debe ser 1, ya que para cada estado las probabilidades dan cuenta de todas las posibles transiciones. Resumiremos la situación de nuestra estación de servicio hasta aquí. Tenemos una sucesión de ensayos en los que los resultados posibles (o estados) son los mismos de ensayo a ensayo y son un número finito (dos). La probabilidad de que el sistema este en un...