bases formales de computacion

Bases Formales de la Computaci´n: Sesi´n 3. Modelos Ocultos de Markov
o
o

Bases Formales de la Computaci´n:
o
Sesi´n 3. Modelos Ocultos de Markov
o
Prof. Gloria In´s Alvarez V.
e
Departamento de Ciencias e Ingenier´ de la Computaci´n
ıa
o
Pontificia Universidad Javeriana Cali

Periodo 2008-2

Bases Formales de la Computaci´n: Sesi´n 3. Modelos Ocultos de Markov
o
oContenido

1

Introducci´n
o

2

Cadenas de Markov
La Propiedad de Markov

3

Modelos Ocultos de Markov
Problema 1
Aplicaciones
Problema 2
Aplicaciones

Bases Formales de la Computaci´n: Sesi´n 3. Modelos Ocultos de Markov
o
o
Introducci´n
o

Introducci´n
o

Un Hidden Markov Model (HMM) es una funci´n de
o
probabilidad de un modelo de Markov.
Su primer uso fue en ling¨´uıstica, modelando secuencias de
letras en literatura rusa. sin embargo, fueron dise˜ados como
n
un m´todo general.
e
Los HMM han sido la parte del modelamiento estad´
ıstico que
m´s se aplica en los sistemas de reconocimiento de habla
a
modernos. Hoy dia siguen siendo la t´cnica m´s exitosa y la
e
a
m´s usada para varias tareas, por ejemplo, para el problema
a
POS (Parts of speechtagging).

Bases Formales de la Computaci´n: Sesi´n 3. Modelos Ocultos de Markov
o
o
Introducci´n
o

Construcci´n de Modelos de Se˜ales
o
n

La mayor´ de los sistemas producen una salida observable
ıa
que puede ser caracterizada como una se˜al.
n
Un problema muy importante es el de modelar un sistema a
partir de las se˜ales que emite.
n
Porque esto permite obtener una descripci´nte´rica del
o
o
sistema mediante la cual se puede aprender a procesar las
se˜ales para obtener una salida deseada del sistema. Ejemplo:
n
eliminaci´n de ruido y distorsi´n.
o
o
El modelo permite aprender sobre el sistema que emite las
se˜ales.
n
Porque se comportan supremamente bien en la pr´ctica.
a

Bases Formales de la Computaci´n: Sesi´n 3. Modelos Ocultos de Markov
o
oIntroducci´n
o

Clases de Modelos de Se˜ales
n

Modelos Deterministas: se basan en una propiedad espec´
ıfica
y conocida del sistema a modelar. Por ejemplo, el
comportamiento se modela mediante una se˜al seno. S´lo se
n
o
necesita determinar o estimar unos pocos par´metros:
a
amplitud, frecuencia, fase.
Modelos Estad´
ısticos: se busca caracterizar unicamente las
´
propiedades estad´ısticas de la se˜al. HMM pertenecen a esta
n
clase. La hip´tesis de base es que el proceso se puede modelar
o
como un proceso aleatorio param´trico y que los par´metros
e
a
se pueden estimar de forma precisa.

Bases Formales de la Computaci´n: Sesi´n 3. Modelos Ocultos de Markov
o
o
Introducci´n
o

Modelos Ocultos de Markov

Los primeros trabajos fueron de Baum y sus colegas afinales
de la d´cada de 1960 y principios de los 70’s.
e
Se implementaron para aplicaciones de procesamiento de
habla por Baker y Jelinek en los laboratorios de IBM en 1970.
S´lo se entendieron y aplicaron ampliamente hasta finales de
o
los 80’s.

Bases Formales de la Computaci´n: Sesi´n 3. Modelos Ocultos de Markov
o
o
Cadenas de Markov

Cadenas de Markov
Definici´n
o
Un proceso deMarkov es un proceso estoc´stico que sirve para
a
representar secuencias de variables aleatorias no independientes
entre s´ Es decir, donde la probabilidad del siguiente estado sobre
ı.
una secuencia completa depende de estados previos al estado
actual.
Por ejemplo, si la variable aleatoria consiste en contar los libros que
hay en la biblioteca, entonces saber cu´ntos libros hay hoy puede
aservir para calcular cu´ntos habr´ ma˜ana y no es necesario saber
a
a
n
cu´ntos hab´ hace una semana o hace un a˜o.
a
ıa
n
Es decir, que los elementos futuros en la secuencia son
condicionalmente independientes de los pasados, dado el elemento
presente.

Bases Formales de la Computaci´n: Sesi´n 3. Modelos Ocultos de Markov
o
o
Cadenas de Markov
La Propiedad de Markov

La...