Des chercheurs découvrent que l'ouïe peut améliorer la perception des robots

Les robots d'aujourd'hui reposent principalement sur la vision et le toucher pour fonctionner dans leur environnement, mais cela pourrait changer avec les nouvelles recherches de l'Université Carnegie Mellon (CMU). Un groupe de chercheurs a découvert que la perception des robots pouvait s'améliorer grâce à l'ouïe. 

La recherche était la première étude à grande échelle des interactions entre le son et l'action robotique, selon les chercheurs de l'Institut de robotique de la CMU. Le groupe a découvert que le son peut jouer un rôle en aidant les robots à différencier les objets. Grâce à l'audition, les robots pourraient également déterminer quel type d'action a provoqué un son, et les sons pourraient aider à prédire les propriétés physiques de nouveaux objets.

Lerrel Pinto est titulaire d'un doctorat en robotique à la CMU et fera partie de la faculté de l'Université de New York cet automne.

"De nombreux travaux préliminaires dans d'autres domaines ont indiqué que le son pourrait être utile, mais il n'était pas clair à quel point il serait utile en robotique", a déclaré Pinto.

Pinto et le groupe de chercheurs ont découvert que le taux de performance était assez élevé, en particulier un taux de précision de 76 % pour les robots utilisant le son pour classer avec succès les objets. 

Parce que les résultats correspondent à ce que le groupe recherchait, ils vont maintenant explorer d'autres options, comme équiper les robots de cannes instrumentées. Cela leur permettra d'identifier des objets en appuyant dessus.

Les conclusions du groupe ont été présentées en juillet lors de la conférence virtuelle Robotics Science and Systems. L'équipe comprenait également Abhinav Gupta, professeur d'association de robotique, et Dhiraj Gandhi, chercheur au Pittsburgh Lab de Facebook Artificial Intelligence Research.

L'étude et l'ensemble de données

L'étude a été menée avec les chercheurs créant un grand ensemble de données et enregistrant simultanément la vidéo et l'audio de 60 objets communs. Certains de ces objets étaient des blocs de jouets, des outils à main, des pommes, des chaussures et des balles de tennis. Les enregistrements ont eu lieu alors que les objets roulaient et s'écrasaient autour d'un plateau.

L'ensemble de données a ensuite été publié après avoir catalogué des interactions d'environ 15,000 XNUMX $. 

Tilt-Bot 

Les interactions ont été capturées par ce que l'équipe appelle Tilt-Bot, qui est un plateau carré connecté à un bras de robot Sawyer. Le Sawyer était également utilisé pour pousser des objets sur une surface, collectant d'autres types de données.

L'étude de la façon dont le son peut affecter les robots intelligents existe depuis un certain temps, mais ce qui est nouveau, c'est l'énorme ensemble de données. 

L'une des nouvelles découvertes était qu'un robot pouvait utiliser son expérience et ce qu'il avait appris sur le son d'un certain ensemble d'objets afin de prédire les propriétés physiques d'un autre ensemble d'objets invisibles.

"Je pense que ce qui était vraiment excitant, c'est que lorsqu'il échouait, il échouait sur des choses sur lesquelles vous vous attendiez à ce qu'il échoue", a déclaré Pinto. Par exemple, un robot ne pourrait pas utiliser le son pour faire la différence entre un bloc rouge et un bloc vert. "Mais s'il s'agissait d'un objet différent, comme un bloc par rapport à une tasse, il pourrait comprendre cela."

La recherche a été soutenue par la Defense Advanced Research Projects Agency et l'Office of Naval Research.