Investigadores descubren que la audición puede mejorar la percepción de los robots

Los robots actuales dependen principalmente de la visión y el tacto para operar en sus entornos, pero esto podría cambiar con una nueva investigación que sale de la Universidad Carnegie Mellon (CMU). Un grupo de investigadores encontró que la percepción de los robots podría mejorar a través de la audición.

La investigación fue el primer estudio a gran escala de las interacciones entre el sonido y la acción robótica, según los investigadores del Instituto de Robótica de CMU. El grupo encontró que el sonido puede desempeñar un papel en ayudar a los robots a diferenciar entre objetos. A través del uso de la audición, los robots también podrían determinar qué tipo de acción causó un sonido, y los sonidos podrían ayudar a predecir las propiedades físicas de nuevos objetos.

Lerrel Pinto es doctor en robótica en CMU y será parte de la facultad de la Universidad de Nueva York este otoño.

“Mucho trabajo preliminar en otros campos indicaba que el sonido podría ser útil, pero no estaba claro cuán útil sería en robótica”, dijo Pinto.

Pinto y el grupo de investigadores encontraron que la tasa de rendimiento fue bastante alta, específicamente una tasa de precisión del 76 por ciento para los robots que usaban el sonido para clasificar objetos con éxito.

Dado que los resultados se ajustaban a lo que el grupo estaba buscando, ahora explorarán otras opciones, como equipar a los robots con bastones instrumentados. Esto les permitirá identificar objetos golpeándolos.

Los hallazgos del grupo se presentaron en julio en la conferencia virtual de Ciencia y Sistemas de Robótica. El equipo también incluyó a Abhinav Gupta, profesor asociado de robótica, y a Dhiraj Gandhi, científico de investigación en el laboratorio de Facebook (META ) Artificial Intelligence de Pittsburgh.

https://www.youtube.com/watch?v=z38-WCZ7Rb8&feature=emb_title

El estudio y el conjunto de datos

El estudio se llevó a cabo con los investigadores creando un gran conjunto de datos y grabando simultáneamente video y audio de 60 objetos comunes. Algunos de esos objetos fueron bloques de juguete, herramientas manuales, manzanas, zapatos y pelotas de tenis. Las grabaciones se realizaron mientras los objetos rodaban y chocaban alrededor de una bandeja.

El conjunto de datos se lanzó después de catalogar alrededor de 15.000 interacciones.

Tilt-Bot

Las interacciones se capturaron con lo que el equipo llama Tilt-Bot, que es una bandeja cuadrada conectada a un brazo robótico Sawyer. El Sawyer también se utilizó para empujar objetos en una superficie, recopilando otros tipos de datos.

El estudio de cómo el sonido puede afectar a los robots inteligentes ha estado presente durante un tiempo, pero lo que es nuevo es el gran conjunto de datos.

Uno de los nuevos hallazgos fue que un robot podría utilizar su experiencia y lo que aprendió sobre el sonido de un conjunto determinado de objetos para predecir las propiedades físicas de otro conjunto de objetos no vistos.

“Creo que lo que fue realmente emocionante fue que cuando fallaba, fallaba en cosas que se esperaba que fallara”, dijo Pinto. Por ejemplo, un robot no podría utilizar el sonido para distinguir entre un bloque rojo o un bloque verde. “Pero si era un objeto diferente, como un bloque versus una taza, podía figurarlo”.

La investigación fue apoyada por la Agencia de Proyectos de Investigación Avanzada de Defensa y la Oficina de Investigación Naval.