Bare_jrnl

ENTREGA FINAL PROYECTO DE INTELIGENCIA ARTIFICIAL. 07 DIC. 2014

1

Mascota virtual controlada mediante gestos de manos
Marcelo Guillermo C´ardenas C´ardenas
Universidad de Santiago de Chile
Facultad de Ciencia
Departamento de Matem´atica y Ciencia de la Computaci´on

Resumen—Este informe explica el proceso de creaci´on de una
˜ de manos
mascota virtual que realiza accione en base a senasmediante el uso de redes neuronales y visi´on computacional,
adem´as de esto se abordan los problemas que surgieron en el
camino del desarrollo de este software, soluciones, limitaciones y
conclusiones de este mismo.

´
I. I NTRODUCCI ON
STE proyecto trata sobre el desarollo de una mascota
virtual, la cual interactua con el usuario mediante se˜nas
de manos que son captadas por una c´amara en tiempo realy
luego enviadas a una red neuronal para determinar que se˜na
es, para as´ı realizar una determinada acci´on. Diciembre 07,
2014

E

´ DEL PROBLEMA
II. D ESCRIPCI ON
El desarrollo de este software se puede dividir en dos
partes, el primer es captura y procesamiento de im´agen en
tiempo real (Visi´on artificial) y el segundo, m´aquinas de
aprendizaje, para este caso en espec´ıfico, redesneuronales, ya
que la mascota virtual como tal es simplemente la salida que
entrega el software luego de capturar, procesar y evaluar la
im´agen capturada, en este informe se centrar´a en la captura y
procesamiento de im´agenes y redes neuronales.
III. P ROBLEMAS A SOLUCIONAR
III-A. Procesamiento de imagen en tiempo real
Esta es sin duda la parte m´as complicada del software, ya
que depende mucho defactores externos al software en si
(Calidad de la c´amara, luz ambiental, ruido en la im´agen, etc).
Adem´as de esto, existe la problem´atica de que car´acteristicas
extraer de una im´agen para poder diferenciar una se˜na de otra.
Para solucionar en parte este problema y hacer m´as f´acil la
extracci´on de car´acteristicas de la im´agen, se us´o la t´ecnica se
segmentaci´on Thresholding 1 , la cual apartir de una im´agen
en escala de gr´ıses es cap´az de conseguir una im´agen binaria
(blanco y negro). Gracias a esta t´ecnica se puede borrar de
la im´agen gran cantidad de informaci´on que no es necesaria,
para este caso en particular, el software trabaja con el color
de la piel, dejando de color blanco todos los pixeles que
correspondan a piel y en negro los dem´as pixeles.
Teniendo estoresuelto, ya se vuelve mucho m´as simple la
extracci´on de car´acter´ısticas, ya que, teniendo la im´agen con
la informaci´on que nos interesa, es posible diferencia un gesto
1 http://docs.opencv.org/doc/tutorials/imgproc/threshold/threshold.html

de otro utilizando los momentos de Hu 2 , los cuales no toman
en cuenta rotaci´on y escala de la im´agen, es decir, no importa
si dos im´agenes son dediferente tama˜no o si bien la im´agen
que contienen se encuentra rotada, es posible decir sin ambas
im´agenes son iguales o diferentes utilizando dichos momentos.
III-B. Red neuronal
Ya teniendo resuelto el procesamiento y extracci´on de
car´acteristicas en tiempo real d una im´agen, se puede empezar
a solucionar el problema de implementar una red neuronal
que sea capaz de diferenciar entre losdiferentes gestos que se
desea que la red aprenda. Para esto se eligi´o una red neuronal
de aprendizaje supervisado (Backpropagation) a la cual se
le har´a un entrenamiento previo, de forma externa, antes de
implementarla en el software.
Una vez entrenada la red, los pesos de las neuronas ya
entrenadas se guardar´a en un archivo, el cual se usar´a en el
software para inicializar las neuronas y usar la redneuronal
sin necesidad de que el usuario la entrene antes de comenzar
a utilizar el software.
III-C. Entrenamiento de la Red Neuronal
Para entrenar la red neuronal se tom´o una muestra de 48
im´agenes dividida entre tres se˜nas de manos para que la red
neuronal pueda aprender dichas se˜nas. Las im´agenes fueron
previamente capturadas, procesadas (Como se puede apreciar
en la Figura 1 ) y sus...