Publicado 04/10/2019 13:48CET

Reconocimiento de gestos en tiempo real para la interacción con robots

Código de reconocimiento gestual en tiempo real con robots
Código de reconocimiento gestual en tiempo real con robots - UPM

   MADRID, 4 Oct. (EUROPA PRESS) -

   Un sistema de reconocimiento gestual con funcionalidad de tiempo real ha sido desarrollado por investigadores de la Politécnica de Madrid para mejorar la interacción entre personas y máquinas.

   Debido al aumento en el número de dispositivos electrónicos con los que es posible interactuar, se ha incrementado el número de trabajos que proponen nuevos métodos de interacción. La mayoría de las soluciones se basan bien en el uso de la voz o de la interacción mediante gestos corporales. De esta última, se proponen distintas alternativas, como puede ser el uso de guantes, sensores hápticos o el uso de información visual.

   En el caso del trabajo propuesto por los investigadores del Grupo de Tratamiento de Imágenes la UPM Tomás Mantecón, Carlos Roberto del Blanco, Fernando Jaureguizar y Narciso García, la solución propuesta se basa en el reconocimiento gestual utilizando imágenes obtenidas mediante el uso del sensor 'Leap Motion', informa la UPM en un comunicado.

   Este conjunto de datos fue creado para validar un sistema de reconocimiento de gestos manuales para la interacción hombre-máquina (HMI). Se compone de 15 gestos con las manos diferentes (4 dinámicos y 11 estáticos) que se dividen en 16 poses de manos diferentes, adquiridas por el dispositivo Leap Motion. Los gestos con las manos fueron realizados por 25 sujetos diferentes (8 mujeres y 17 hombres). Cada gesto tiene 20 instancias (repeticiones) por sujeto, realizadas en diferentes lugares de la imagen. Para cada caso, se recopilaron tanto imágenes infrarrojas como información esquelética.

   El nuevo sensor, descrito en PLOS ONE, está especialmente pensado para su uso en la interacción hombre-máquina por su pequeño tamaño y porque está diseñado para funcionar tanto sobre una mesa para la interacción en un entorno más convencional, así como sobre gafas de realidad virtual.

   Este dispositivo proporciona imágenes infrarrojas que, además, tienen la propiedad de tener más iluminados los objetos más cercanos, lo que reduce considerablemente la información del fondo que no es relevante en el proceso de reconocimiento gestual.

   En el trabajo se presenta un sistema capaz de distinguir entre distintos gestos tanto estáticos como dinámicos, y en un tiempo de unos milisegundos. Este rápido proceso de reconocimiento permite que el tiempo que transcurre entre la realización del gesto y la respuesta del sistema sea suficientemente bajo para obtener una buena sensación en el proceso de interacción.

   Aparte del desarrollo del sistema de reconocimiento, se ha creado la base de datos 'Multi-modal Leap Motion dataset for Hand Gesture Recognition', que consta de diversos gestos, con el fin de comprobar la adecuación del sistema. Dicha base de datos puede servir como idea de los posibles gestos que pueden llevarse a cabo en un proceso de interacción hombre-máquina.

   Este sistema se puede utilizar en un entorno más profesional para la interacción con robots, ordenadores, en entornos de realidad virtual o realidad aumentada, así como en entornos de domótica para permitir una interacción con los diversos dispositivos de un hogar conectado.