Markov
Páginas: 9 (2030 palabras)
Publicado: 2 de mayo de 2012
IV. Procesos de Markov
Programación dinámica aplicada a la solución de procesos estocásticos con una cantidad finita de estados. …
Etapa 1
Etapa 2
Etapa n
Cadenas de Markov
Las probabilidades de transición entre los estados se describen con una cadena de Markov.
Procesos de Markov
*Se puede utilizar una matriz para presentar la utilidad, costo, etc. al pasar de un estado aotro. *Objetivo: determinar la política óptima que maximice el valor esperado durante una cadena finita o infinita de etapas
Aplicaciones
Inventarios Reposiciones Flujo de efectivo Control de la capacidad de depósitos
El problema del jardinero
Cada año, al comenzar la estación (temporada) propicia para trabajar los jardines (marzo), un jardinero usa una prueba química para determinarel estado del suelo. Dependiendo de los resultados de las pruebas, la productividad para la nueva estación puede ser: 1 Buena 2 Regular 3 Mala
Las condiciones meteorológicas prevalecientes durante el invierno anterior influyen en la condición del suelo, dejándolo igual o empeorándolo, pero nunca mejorándolo. Las probabilidades de transición de un periodo de un año a otro, se representa con lasiguiente cadena de Markov:
Estado del sistema año próximo 1 2 3 Estado del 1 0.2 0.5 0.3 P1 = sistema 2 0 0.5 0.5 este año 3 0 0 1
Las probabilidades de transición pueden ser alteradas con un tratamiento o acción; al aplicar fertilizante se estima la siguiente matriz de transición: Estado del sistema año próximo 1 2 3 Estado del 1 0.30 0.6 0.10 P2 = sistema 2 0.10 0.6 0.30 este año 3 0.050.4 0.55
La matriz de utilidades para un periodo de un año, sin aplicar fertilizante, sería (millones de $):
Estado del sistema año próximo 1 2 3 Estado del 1 7 6 3 R1 = sistema 2 0 5 1 este año 3 0 0 -1
La matriz de utilidades para un periodo de un año, aplicando fertilizante, sería (millones de $):
Estado del sistema año próximo 1 2 3 Estado del 1 6 5 -1 R2 = sistema 2 7 4 0 esteaño 3 6 3 -2
*Etapas finitas: Cuando la actividad será por un número limitado de años. *Etapas Infinitas: La actividad será en forma indefinida. *Objetivo: Determinar la mejor acción que maximice el beneficio esperado, basándose en el estado del sistema.
Política Estacionaria: Cuando interesa evaluar el beneficio esperado que resulte de las acciones especificadas de antemano para determinadoestado del sistema.
Para la política estacionaria de aplicar fertilizante sólo cuando las condiciones del suelo sean malas, la matriz resultante de probabilidad de transición, sería: Estado del sistema año próximo 1 2 3 1 0.20 0.50 0.30 2 0.00 0.50 0.50 3 0.05 0.40 0.55
Estado del P = sistema este año
La matriz de utilidades, sería (millones de $): Estado del sistema año próximo 1 2 3Estado del 1 7 6 3 R = sistema 2 0 5 1 este año 3 6 3 -2
Ejercicio 1: Identifique las matrices P y R asociadas con la política estacionaria que indica usar fertilizante cuando las condiciones del suelo son regulares o malas.
Para la política estacionaria de aplicar fertilizante cuando las condiciones del suelo son regulares o malas, la matriz resultante de transición, sería: Estado delsistema año próximo 1 2 3 Estado del 1 0.20 0.50 0.30 P = sistema 2 0.10 0.60 0.30 este año 3 0.05 0.40 0.55
La matriz de utilidades, sería (millones de $): Estado del sistema año próximo 1 2 3 Estado del 1 7 6 3 R = sistema 2 7 4 0 este año 3 6 3 -2
Si el jardinero desea jubilarse dentro de N años, determine las acciones óptimas de cada año (fertilizar o no) que produzcan los beneficiosesperados máximos al final de N años.
k.- Acciones alternativas ( 1 y 2) Pk.- Probabilidad de transición para la alternativa k. Rk.- Beneficios para la alternativa k. m.- Cantidad de estados de cada etapa (3 )
fn(i).- Beneficio óptimo esperado de las etapas n, n+1, …, N. Donde i es el estado del sistema (condiciones del suelo) al comienzo del año n.
m
fn(i) = max{ Σj=1 pkij[rkij +...
Programación dinámica aplicada a la solución de procesos estocásticos con una cantidad finita de estados. …
Etapa 1
Etapa 2
Etapa n
Cadenas de Markov
Las probabilidades de transición entre los estados se describen con una cadena de Markov.
Procesos de Markov
*Se puede utilizar una matriz para presentar la utilidad, costo, etc. al pasar de un estado aotro. *Objetivo: determinar la política óptima que maximice el valor esperado durante una cadena finita o infinita de etapas
Aplicaciones
Inventarios Reposiciones Flujo de efectivo Control de la capacidad de depósitos
El problema del jardinero
Cada año, al comenzar la estación (temporada) propicia para trabajar los jardines (marzo), un jardinero usa una prueba química para determinarel estado del suelo. Dependiendo de los resultados de las pruebas, la productividad para la nueva estación puede ser: 1 Buena 2 Regular 3 Mala
Las condiciones meteorológicas prevalecientes durante el invierno anterior influyen en la condición del suelo, dejándolo igual o empeorándolo, pero nunca mejorándolo. Las probabilidades de transición de un periodo de un año a otro, se representa con lasiguiente cadena de Markov:
Estado del sistema año próximo 1 2 3 Estado del 1 0.2 0.5 0.3 P1 = sistema 2 0 0.5 0.5 este año 3 0 0 1
Las probabilidades de transición pueden ser alteradas con un tratamiento o acción; al aplicar fertilizante se estima la siguiente matriz de transición: Estado del sistema año próximo 1 2 3 Estado del 1 0.30 0.6 0.10 P2 = sistema 2 0.10 0.6 0.30 este año 3 0.050.4 0.55
La matriz de utilidades para un periodo de un año, sin aplicar fertilizante, sería (millones de $):
Estado del sistema año próximo 1 2 3 Estado del 1 7 6 3 R1 = sistema 2 0 5 1 este año 3 0 0 -1
La matriz de utilidades para un periodo de un año, aplicando fertilizante, sería (millones de $):
Estado del sistema año próximo 1 2 3 Estado del 1 6 5 -1 R2 = sistema 2 7 4 0 esteaño 3 6 3 -2
*Etapas finitas: Cuando la actividad será por un número limitado de años. *Etapas Infinitas: La actividad será en forma indefinida. *Objetivo: Determinar la mejor acción que maximice el beneficio esperado, basándose en el estado del sistema.
Política Estacionaria: Cuando interesa evaluar el beneficio esperado que resulte de las acciones especificadas de antemano para determinadoestado del sistema.
Para la política estacionaria de aplicar fertilizante sólo cuando las condiciones del suelo sean malas, la matriz resultante de probabilidad de transición, sería: Estado del sistema año próximo 1 2 3 1 0.20 0.50 0.30 2 0.00 0.50 0.50 3 0.05 0.40 0.55
Estado del P = sistema este año
La matriz de utilidades, sería (millones de $): Estado del sistema año próximo 1 2 3Estado del 1 7 6 3 R = sistema 2 0 5 1 este año 3 6 3 -2
Ejercicio 1: Identifique las matrices P y R asociadas con la política estacionaria que indica usar fertilizante cuando las condiciones del suelo son regulares o malas.
Para la política estacionaria de aplicar fertilizante cuando las condiciones del suelo son regulares o malas, la matriz resultante de transición, sería: Estado delsistema año próximo 1 2 3 Estado del 1 0.20 0.50 0.30 P = sistema 2 0.10 0.60 0.30 este año 3 0.05 0.40 0.55
La matriz de utilidades, sería (millones de $): Estado del sistema año próximo 1 2 3 Estado del 1 7 6 3 R = sistema 2 7 4 0 este año 3 6 3 -2
Si el jardinero desea jubilarse dentro de N años, determine las acciones óptimas de cada año (fertilizar o no) que produzcan los beneficiosesperados máximos al final de N años.
k.- Acciones alternativas ( 1 y 2) Pk.- Probabilidad de transición para la alternativa k. Rk.- Beneficios para la alternativa k. m.- Cantidad de estados de cada etapa (3 )
fn(i).- Beneficio óptimo esperado de las etapas n, n+1, …, N. Donde i es el estado del sistema (condiciones del suelo) al comienzo del año n.
m
fn(i) = max{ Σj=1 pkij[rkij +...
Leer documento completo
Regístrate para leer el documento completo.