Forscher entdecken, dass das Hören die Wahrnehmung von Robotern verbessern kann

Heutige Roboter verlassen sich hauptsächlich auf Sehen und Fühlen, um in ihrer Umgebung zu operieren, aber das könnte sich mit neuen Forschungsergebnissen aus der Carnegie Mellon University (CMU) ändern. Eine Gruppe von Forschern entdeckte, dass die Wahrnehmung von Robotern durch das Hören verbessert werden kann.

Die Forschung war die erste umfassende Studie über die Interaktionen zwischen Klang und robotischer Aktion, laut den Forschern am Robotics Institute der CMU. Die Gruppe fand heraus, dass Klang eine Rolle bei der Unterscheidung von Objekten durch Roboter spielen kann. Durch die Verwendung des Hörens können Roboter auch bestimmen, was für eine Art von Aktion einen Klang verursacht hat, und Klänge können helfen, die physikalischen Eigenschaften neuer Objekte vorherzusagen.

Lerrel Pinto ist Ph.D. in Robotik an der CMU und wird im Herbst Teil der Fakultät der New York University sein.

“Viele vorläufige Arbeiten in anderen Bereichen deuteten darauf hin, dass Klang nützlich sein könnte, aber es war nicht klar, wie nützlich er in der Robotik sein würde”, sagte Pinto.

Pinto und die Gruppe von Forschern fanden heraus, dass die Leistungsrate ziemlich hoch war, insbesondere eine Genauigkeitsrate von 76 Prozent für Roboter, die Klang verwenden, um Objekte erfolgreich zu klassifizieren.

Da die Ergebnisse den Erwartungen entsprachen, werden sie nun andere Optionen wie die Ausrüstung von Robotern mit instrumentierten Stöcken erforschen. Dies ermöglicht es ihnen, Objekte durch Anklopfen zu identifizieren.

Die Ergebnisse der Gruppe wurden im Juli auf der virtuellen Konferenz Robotics Science and Systems präsentiert. Das Team umfasste auch Abhinav Gupta, Associate Professor für Robotik, und Dhiraj Gandhi, einen Forschungswissenschaftler im Facebook (META ) Artificial Intelligence Research Lab in Pittsburgh.

https://www.youtube.com/watch?v=z38-WCZ7Rb8&feature=emb_title

Die Studie und das Dataset

Die Studie wurde durchgeführt, indem die Forscher ein großes Dataset erstellten und gleichzeitig Video- und Audioaufnahmen von 60 alltäglichen Objekten machten. Einige dieser Objekte waren Spielblöcke, Handwerkzeuge, Äpfel, Schuhe und Tennisbälle. Die Aufnahmen wurden gemacht, während die Objekte um einen Tablett herumrollten und kollidierten.

Das Dataset wurde nach der Katalogisierung von etwa 15.000 Interaktionen veröffentlicht.

Tilt-Bot

Die Interaktionen wurden von dem, was das Team Tilt-Bot nennt, aufgezeichnet, einem quadratischen Tablett, das mit einem Sawyer-Roboterarm verbunden ist. Der Sawyer wurde auch verwendet, um Objekte auf einer Oberfläche zu schieben und andere Arten von Daten zu sammeln.

Die Studie darüber, wie Klang intelligente Roboter beeinflussen kann, gibt es bereits seit einiger Zeit, aber was neu ist, ist das massive Dataset.

Eine der neuen Erkenntnisse war, dass ein Roboter seine Erfahrungen und das, was er über den Klang einer bestimmten Gruppe von Objekten gelernt hat, verwenden kann, um die physikalischen Eigenschaften einer anderen Gruppe von unbekannten Objekten vorherzusagen.

“Ich denke, was wirklich aufregend war, war, dass es, wenn es fehlschlug, auf Dinge fehlschlug, die man erwarten würde, dass es fehlschlägt”, sagte Pinto. Zum Beispiel kann ein Roboter nicht durch Klang den Unterschied zwischen einem roten Block und einem grünen Block erkennen. “Aber wenn es sich um ein anderes Objekt handelte, wie einen Block versus einen Becher, konnte es das herausfinden.”

Die Forschung wurde von der Defense Advanced Research Projects Agency und dem Office of Naval Research unterstützt.