Visión robotica

Visión con telemetría láser para la detección y localización de objetos esféricos. Aplicación a la recogida robotizada de naranjas

Dr. Antonio Ramón Jiménez Ruiz Instituto de Automática Industrial - CSIC Ctra. Campo Real km 0.2 La Poveda 28500 Arganda del Rey Madrid Tel. 91 871 19 00 Grupo LOPSI: “Localización y Exploracion en Sistemas Inteligentes” http://www.iai.csic.es/lopsi e-mail:arjimenez@iai.csic.es

Contenidos de la Presentación:

1. Introducción 2. Sensor telemétrico 3. Restauración de imágenes 4. Método de reconocimiento 5. Evaluación del sistema

1 Introducción 1.1 El robot Agribot
Robot agrícola orientado a la recolección asistida de fruta
• Fruta delicada: manzanas, naranjas, tomates, melocotón,... • Solución asistida (operador => guiado y detección)Aspecto aún en fase de investigación:
• La detección y localización 3-D de la fruta automáticamente

1 Introducción 1.2 Automatización para detección de frutos
Solución inmediata:
• ¿Detección por segmentación de color?
– Solo válido si fruta madura (distinguible de fondo), y aún en ese caso tiene muchos problemas como veremos....
70 12-Dic 60 30-Nov 50
Reflectividad (%)

40 10-Nov 30 30-Oct20 20-Oct Hojas

10

0

400

440

480

520 560 600 Longitud de onda (nm)

640

680

1 Introducción 1.2 Automatización para detección de frutos
Grupo de investigación
Univ. Virginia MAGALI Univ. Florida y U.S.D.A. Univ. Purdue A.I.D. Sunkist y Univ. California AUFO CITRUS

Referencias

Tipo de fruta
Manzanas Manzanas Manzanas Naranjas Naranjas Tomates Naranjas Manzanas yMelocotones Manzanas Naranjas Naranjas Naranjas Naranjas Melones Melones Melones Tomates

Tipo Imagen captada
Espectral Espectral Espectral Espectral Espectral Intensidad Espectral Espectral Espectral Espectral Espectral Espectral Intensidad Intensidad Intensidad Distancia Espectral

Método de Análisis
Puntual Puntual Puntual Puntual Puntual Forma Forma Puntual Puntual Puntual PuntualPuntual Forma Puntual Puntual Forma Puntual

Detecta fruta verde
No No Sí No No Sí No No No No No No Sí No No Sí No

Detecciones correctas / falsas
N.D. N.D. 50% / alto 75% / N.D. 75% / N.D. 68% / 42% 70% / N.D. 84% /20% 41% / N.D. 80% / alto% 80% / 10% 90% / 5% 75% / 8% 84% / 10% 80% / N.D.% 100% / 0% 90% / N.D%

[Parrish 77] [D’Esnon 87] [D’Esnon 87] [Rabatel 88] [Slaughter 87] [Slaughter89] [Harrel 89] [Whitaker 87] [Levi 88] [Sites 88] [Kassay 92] [Juste 91] [Juste 91] [Juste 91] [Plá 93] [Cardenas 91] [Dobrousin 92] [Benady 92] [Buemi 95]

Univ. Purdue y Volcani CIRAA

1 Introducción 1.2 Automatización para detección de frutos
Soluciones presentadas:
• Captación imagen:
– Cámaras B/N o Color + Filtros ópticos + luz artificial

• Análisis de las imágenes.
– Puntuales(RGB, HIS, I; puntos objeto y fondo distinguibles) – Forma (Convexidad y contornos esféricos) con Trans. Hough

Mejores resultados conseguidos:
– Detecciones correctas-falsas: 90% - 5% (solo fruta madura) – Detecciones correctas-falsas: 75% - 8% (cualquier color)

Problemas:
– – – – Oclusión, Iluminación/Sombras => menos detecciones correctas Regiones confusas (objetos o luz tras árbol) =>+ detecciones falsas Fruta no siempre distinguible del fondo por color No profundidad

Propuesta para detección y localización fruta: Estrategia de detección mixta
Principio:
• Método automático (>80% correctas y 0% falsas) + método asistido

Propósito:
• • • • Eliminar las desventajas de cada solución aislada 100% correctas y 0% falsas Coordenadas 3-D de cada fruta Válido también parafruta no distinguible de fondo por color

Proponemos sistema automático:
• Capte imágenes de distancia y reflectancia
– Elimina: Problemas iluminación, regiones confusas, no profundidad (casi todo salvo problema oclusión)

• Base análisis en: Forma, Reflectividad y Posición espacial • Sensor base: telemetría láser

Contenidos de la Presentación:
1. Introducción 2. Sensor telemétrico 3....