Movimiento-Opencv

4

Interacción con OpenCV: detección de movimiento para realizar un instrumento virtual con OpenCV + OpenAL

Apellidos, nombre Departamento Centro

Agustí Melchor, Manuel1 (magusti@disca.upv.es) Ivars Badía, Antonio (anivba@ei.upv.es) 1 Dpto. De Ing. De Sistemas y Computadores Universidad Politécnica de Valencia

4

1 Resumen de las ideas clave
En este artículo vamos a presentar comoel computador puede detectar las acciones que se realizan utilizando una cámara mediante el uso de OpenCV [1, 2] para la entrada de datos y OpenAL [3] para generar la información de salida, esto es, vamos a hacer un poco de ruido. El desarrollo se puede ver en un contexto multimedia como una aplicación interactiva, que mediante técnicas de Visión por Computador (VxC) detectará dónde se producemovimiento y generará como respuesta a estos eventos sonido, aunque no profundizaremos en las características de sonido envolvente de OpenAL en este caso. Para ello tomaremos como partida OpenCV 1.1 y OpenAL 1.1. Para su desarrollo nos centraremos en la plataforma GNU/Linux, aunque todo lo expuesto es transportable a otras en que se hayan instalado estas librerías y se disponga de acceso a una cámaraUSB y a unos altavoces.

2 Introducción
Este artículo mostrará cómo realizar un ejercicio de interacción multimodal entre el usuario y el computador. El usuario se moverá en el espacio que monitoriza la cámara del computador para actuar sobre los objetos virtuales, los que se definen dentro del computador y que no existen físicamente en el entorno de trabajo real. El computador, por su parterecogerá datos con la cámara (información visual) y devolverá como respuesta alguna visualización en pantalla para realimentar la acción del usuario, pero básicamente sonido (información audible) en respuesta a los eventos del usuario. Analizaremos por separado la forma de trabajo de OpenCV en cuanto a la adquisición y procesado de la información de vídeo y la de OpenAL para generar y reproducirsonidos pregrabados.. Ambas partes serán enlazadas finalmente para ofrecer el prototipo que lleve a cabo una propuesta de instrumento virtual (no existirá físicamente) que será utilizado mediante la identificación de movimiento en ciertas áreas de la imagen obtenida y que, como respuesta, darán lugar a hacer sonar determinada nota o sonido en general. Estos ejemplos son parte de un trabajo [4] de laasignatura Integración de Medios Digitales (IMD). En la web referenciada podrá encontrar el lector el código completo de los ejemplos.

3 Objetivos
Una vez que el lector haya leído este documento y explorado el código que se proporciona, será capaz de:     Seguir la ejecución de los ejemplos parciales. Explicar los diferentes elementos que componen la solución final. Enriquecer elcontenido de audio de la solución final. Proponer nuevos instrumentos virtuales.

4

4 Interacción visual con OpenCV
Describe este apartado el modo de trabajo con OpenCV para la adquisición de imágenes en vivo desde una cámara. Después pasaremos a hablar de cómo limitar la exploración a determinadas áreas en la imagen. Para terminar se muestra cómo se puede detectar el movimiento que sucede en laescena observada en la imagen.

4.1 Adquisición de vídeo
(1) Indicamos que capture desde cualquier cámara con el valor (2) Repetimos el proceso indefinidamente.
(2.1) Capturamos un cuadro desde el origen y lo guardamos en forma de imagen (2.2) Muestra la imagen capturada desde la cámara en la ventana. (2.3)...y lo mostramos por la ventana anteriormente creada. (2.4) Si se pulsa la tecla ESC,entonces salimos del bucle (3) Liberamos el dispositivo de captura y cerramos la ventana.

Listado 1: Algoritmo de adquisición de imágenes desde una cámara.
El ejercicio típico introductorio de OpenCV pasa por cargar y mostrar por pantalla lo que recoge de, por ejemplo, nuestra webcam. Para ello, debemos crear un sencillo programa. Por ejemplo el algoritmo mostrado en el listado 1 se muestra...