HMM Kinect

Reconocimiento de Gestos basado en Modelos
Ocultos de Markov utilizando el Kinect
Adri´
an Pastor L´
opez Monroy y Jes´
us Adri´an Leal Mel´endrez
´
Instituto Nacional de Astrof´ısica, Optica
y Electr´
onica
Coordinaci´
on de Ciencias Computacionales
Luis E. Erro 1 Tonantzintla,
Puebla, M´exico
{pastor,jalm}@ccc.inaoep.mx

Resumen En este documento presentamos una alternativa para representar yaprender gestos utilizando Modelos Ocultos de Markov HMM y
el Kinect. Nos enfocamos en sacar la m´
axima ventaja del kinect para
evitar que la extracci´
on de datos sea afectada por factores como la
iluminaci´
on. Implementamos algoritmos de seguimiento de objetos y
guardamos los gestos (ordenes) de el usuario para ser aprendidos. Procesamos los datos de los movimientos y los aproximamos con HMM.Estos
modelos son evaluados en un esquema de clasificaci´
on con 7 gestos diferentes. Hemos encontrado que la representaci´
on que utilizamos y los HMM
en conjunto con tecnolog´ıas nuevas como el kinect dan resultados interesantes con apenas la aplicaci´
on fundamental de la teor´ıa de los Modelos
Gr´
aficos Probabil´ısticos.

1.

Introducci´
on

La extracci´
on de datos mediante una c´amaraconvencional, puede ser utilizada para el aprendizaje de gestos. Muchos experimentos en esta direcci´on
han demostrado resultados satisfactorios, la mayor´ıa de ´estos aplicando Modelos
Gr´
aficos Probabil´ısticos (MGP); tales como Modelos Ocultos de Markov (HMM)
y Clasificadores Bayesianos Din´amicos Simples (DNBCs). Sin embargo nuevas
tecnolog´ıas en el ´
area de visi´on han emergido, facilitando yhaciendo m´as exacta
la extracci´
on y manipulaci´
on de datos. Una de estas tecnolog´ıas es el dispositivo
´
Kinect de Microsoft. Este
es un dispositivo para captura de datos especializado
en seguimiento y reconocimiento de gestos; pensado inicialmente para una interacci´
on libre de contacto f´ısico entre el jugador y la consola de videojuegos Xbox
360 tambi´en de Microsoft.
Desde el lanzamientoal mercado del Kinect, se ha estado hablando de sus
implicaciones m´
as all´
a del negocio de los videojuegos, aprovechando las principales tecnolog´ıas que ofrece: sensor de profundidad, c´amara RGB y micr´ofono,
todo ´esto integrado en un mismo dispositivo de forma ´optima para su uso en
conjunto.
En este trabajo presentamos una combinaci´on Kinect-HMMs para el aprendizaje de gestos din´
amicos.En secciones posteriores explicaremos con m´as detalle

2

Adri´
an Pastor L´
opez Monroy, Jes´
us Adri´
an Leal Mel´endrez

los HMMs. Por ahora es suficiente mencionar que son un modelo de Markov en
el que los estados no son directamente observables y los utilizamos para obtener
representaciones robustas de cada gesto. El interes particular por utilizar esta
representaci´
on basada en HMMs esdebido a la amplia literatura al respecto y
los buenos resultados que se han conseguido con ellos.
Esta combinaci´
on Kinect-HMMs no ha sido utilizada ampliamente debido a la
´
reci´en aparici´
on del Kinect. Esto
nos da un incentivo extra para la investigaci´on,
adem´
as del potencial que ofrece la nueva tecnolog´ıa aunado con los excelentes
resultados que ha arrojado el uso de HMMs.
La ideaprincipal de nuestro trabajo es utilizar el Kinect para extraer caracter´ısticas de movimiento de la mano (coordenadas de la posici´on de la mano) y
usar los puntos p(x, y, z) para construir representaciones de HMMs que sean eficaces en aprendizaje autom´
atico. Con ´esto tendremos un modelo que representa
un gesto particular hecho por el usuario. Este procedimiento se realizar´a para
modelar cada unode los ademanes que nos interesa aprender. Despu´es entrenaremos nuestro modelo para que ajuste los par´ametros y nos devuelva uno m´as
exacto. Posteriormente podremos evaluar un nuevo gesto midiendo la semejanza
con cada uno nuestros modelos.
El resto del documento est´a organizado como sigue. En la secci´on 2 presentamos algunos trabajos relacionados con el reconocimiento de gestos y el uso
de...