Sistemas De Vision Artificial

Interacción con OpenCV: Seguimiento de un objeto por color

Apellidos, nombre Departamento Centro

Agustí Melchor, Manuel1 (magusti@disca.upv.es) Armenteros Gutiérrez, Jose (joargu@ei.upv.es) 1 Dpto. De Ing. De Sistemas y Computadores Universidad Politécnica de Valencia

1 Resumen de las ideas clave
En este artículo vamos a presentar uno de los ejemplos que acompañan a la librería OpenCV[1, 2] encaminada al desarrollo de aplicaciones que utilizan técnicas de Visión por Computador (VxC). El ejemplo será primero examinado para, después, proponer ampliaciones sobre él. De este modo se podrá disponer de un bloque útil para la realización de aplicaciones multimedia interactivas mediante el uso de la VxC Para ello tomaremos como partida el ejemplo (camshiftdemo) que acompaña a laslibrerías OpenCV y que se ha probado sobre la versión 1.1 y 2.1 de la misma. Para su desarrollo nos centraremos en la plataforma GNU/Linux, aunque todo lo expuesto es transportable a otras en que se haya instalado esta librería y se disponga de acceso a una cámara USB.

2 Introducción
Este artículo mostrará cómo realizar un ejercicio de interacción entre el usuario y el computador utilizando estesegundo una cámara para tener acceso a la información visual de su entorno (la escena). Dentro del campo de la interacción persona-ordenador (IPO), a este tipo de sistemas se les suele llamar interfaces perceptuales. Partiendo de un ejemplo que acompaña a la librería OpenCV (camshiftdemo) se expondrá su secuencia de funcionamiento, para dar pie a cómo realizar sobre ese mecanismo una interacciónentre el escenario real (el del humano) y el virtual (el de la máquina).

3 Objetivos
Una vez que el lector haya leído este documento y explorado el código que se referencia, será capaz de:    Seguir la ejecución del ejemplo camshiftdemo. Explicar la adaptación propuesta para los casos particulares expuestos sobre la base del ejemplo camshiftdemo. Proponer nuevos ejemplos de interacción.

4El ejemplo camshiftdemo en OpenCV

Dentro de los ejemplos que acompañan a la librería, camshiftdemo1 implementa un algoritmo de seguimiento de objetos en la escena conocido como CAMSHIFT [5]. Este algoritmo calcula la posición (centro de gravedad), orientación y área en la imagen que ocupa el objeto de interés. Este algoritmo se propuso inicialmente en diferentes aplicaciones de realidadvirtual y entornos inmersivos como elemento de interfaz natural

Figura 1: Ejemplo de resultado de aplicación de CAMSHIFT (Imagen obtenida de [5]).
El algoritmo, a partir de un color dado, seleccionará de la imagen los puntos con el color indicado (como se muestra en la Fig. 1 Derecha), definiendo así un “objeto”como el definido por el conjunto de puntos de la imagen al color dado. El “objeto”(color) será monitorizado para dar sus coordenadas de posición, orientación y extensión en la escena (Fig. 1 izquierda). En el recuadro del listado 1 se resume la parte central de camshiftdemo para seguir un objeto caracterizador por un color en la escena.

(1) Seleccionar el área de interés, con ello obtener el color a seguir. (2) Para cada imagen RGB obtenida de la cámara (2.1) Convertir a HSV.(2.2) Segmentar la componente Hue con los parámetros Vmin, Vmax, Smin. (2.3) Etiquetar los puntos que están alrededor del color indicado por el usuario. (2.4) Calcular X,Y (centro de masas), Z (tamaño del área) y ángulo del eje mayor con la horizontal. (2.5) Dibujar un a elipse centrada en X,Y con diámetro el ancho del área de puntos de ese color. fPara Listado 1: Algoritmo básico ejecutado porcamShiftDemo.
En la instalación de la versión 2.1 de OpenCV sobre GNU/Linux aparece en /usr/share/doc/opencv-doc/examples/c/c/camshiftdemo.c.gz.
1

El ejemplo incluido en OpenCV permite seleccionar, mediante el ratón, un área rectangular sobre la imagen obtenida de la cámara, “en vivo”, De este área se seleccionará el color predominante. La imagen, originalmente definida utilizando coordenadas de...