Les chercheurs découvrent que l’ouïe peut améliorer la perception des robots

Les robots d’aujourd’hui s’appuient principalement sur la vision et le toucher pour fonctionner dans leur environnement, mais cela pourrait changer avec de nouvelles recherches menées à l’Université Carnegie Mellon (CMU). Un groupe de chercheurs a découvert que la perception des robots pourrait s’améliorer grâce à l’ouïe. 

La recherche était la première étude à grande échelle des interactions entre le son et l’action robotique, selon les chercheurs de l’Institut de robotique de CMU. Le groupe a constaté que le son peut jouer un rôle dans l’aide aux robots à différencier les objets. Grâce à l’utilisation de l’ouïe, les robots pourraient également déterminer quel type d’action a causé un son, et les sons pourraient aider à prédire les propriétés physiques de nouveaux objets.

Lerrel Pinto est titulaire d’un doctorat en robotique à CMU et fera partie du corps professoral de l’Université de New York à l’automne.

“Beaucoup de travaux préliminaires dans d’autres domaines ont indiqué que le son pourrait être utile, mais il n’était pas clair à quel point il serait utile en robotique”, a déclaré Pinto.

Pinto et le groupe de chercheurs ont constaté que le taux de performance était relativement élevé, avec un taux d’exactitude de 76 % pour les robots utilisant le son pour classer avec succès les objets. 

Étant donné que les résultats correspondent à ce que le groupe recherchait, ils vont maintenant explorer d’autres options, telles que l’équipement de robots avec des cannes instrumentées. Cela leur permettra d’identifier les objets en les tapant.

Les résultats de l’équipe ont été présentés en juillet à la conférence virtuelle Robotics Science and Systems. L’équipe comprenait également Abhinav Gupta, professeur agrégé de robotique, et Dhiraj Gandhi, chercheur scientifique au laboratoire de recherche en intelligence artificielle de Facebook (META ) à Pittsburgh.

https://www.youtube.com/watch?v=z38-WCZ7Rb8&feature=emb_title

Étude et ensemble de données

L’étude a été menée avec les chercheurs créant un grand ensemble de données et enregistrant simultanément la vidéo et l’audio de 60 objets courants. Certains de ces objets étaient des blocs jouets, des outils à main, des pommes, des chaussures et des balles de tennis. Les enregistrements ont eu lieu alors que les objets roulaient et se heurtaient dans un plateau.

L’ensemble de données a ensuite été publié après avoir catalogué environ 15 000 interactions. 

Tilt-Bot 

Les interactions ont été capturées par ce que l’équipe appelle Tilt-Bot, qui est un plateau carré connecté à un bras robotique Sawyer. Le Sawyer a également été utilisé pour pousser des objets sur une surface, collectant d’autres types de données.

L’étude de la façon dont le son peut affecter les robots intelligents a été menée depuis un certain temps, mais ce qui est nouveau, c’est l’ensemble de données massif. 

L’une des nouvelles découvertes était qu’un robot pouvait utiliser son expérience et ce qu’il a appris sur le son d’un certain ensemble d’objets pour prédire les propriétés physiques d’un autre ensemble d’objets non vus.

“Je pense que ce qui était vraiment excitant, c’est que lorsqu’il échouait, il échouait sur les choses que l’on attendait qu’il échoue”, a déclaré Pinto. Par exemple, un robot ne pouvait pas utiliser le son pour distinguer un bloc rouge d’un bloc vert. “Mais si c’était un objet différent, comme un bloc par rapport à une tasse, il pouvait le deviner.”

La recherche a été soutenue par l’Agence de recherche et de développement avancé de la défense et le Bureau de la recherche navale.