Forskare upptäcker att hörseln kan förbättra robotperception

Dagens robotar förlitar sig mestadels på syn och beröring för att operera i sina miljöer, men detta kan förändras med ny forskning från Carnegie Mellon University (CMU). En grupp forskare fann att robotperception kan förbättras genom hörseln.

Forskningen var den första stora studien av interaktionerna mellan ljud och robotåtgärder, enligt forskarna vid CMU:s Robotics Institute. Gruppen fann att ljud kan spela en roll i att hjälpa robotar att differentiera mellan objekt. Genom användning av hörseln kunde robotar också bestämma vilken typ av åtgärd som orsakade ett ljud, och ljud kunde hjälpa förutsäga de fysiska egenskaperna hos nya objekt.

Lerrel Pinto är Ph.D i robotik vid CMU och kommer att vara en del av fakulteten vid New York University i höst.

“Mycket förarbete i andra fält indikerade att ljud kunde vara användbart, men det var inte klart hur användbart det skulle vara i robotik”, sa Pinto.

Pinto och gruppen av forskare fann att prestandaresultatet var ganska högt, specifikt en 76 procents noggrannhetsgrad för robotar som använder ljud för att klassificera objekt med framgång.

Eftersom resultaten motsvarade vad gruppen letade efter, kommer de nu att undersöka andra alternativ, såsom att utrusta robotar med instrumenterade käppar. Detta kommer att möjliggöra för dem att identifiera objekt genom att knacka på dem.

Gruppens fynd presenterades i juli på den virtuella Robotics Science and Systems-konferensen. Teamet inkluderade också Abhinav Gupta, associerad professor i robotik, och Dhiraj Gandhi, en forskare vid Facebook (META ) Artificial Intelligence Research’s Pittsburgh Lab.

https://www.youtube.com/watch?v=z38-WCZ7Rb8&feature=emb_title

Studien och datamängden

Studien genomfördes med att forskarna skapade en stor datamängd och samtidigt spelade in video och ljud av 60 vanliga objekt. Några av dessa objekt var leksaksblock, handverktyg, äpplen, skor och tennisbollar. Inspelningarna ägde rum medan objekten rullade och krockade runt en bricka.

Datamängden släpptes sedan efter att ha katalogiserat runt 15 000 interaktioner.

Tilt-Bot

Interaktionerna fångades av vad teamet kallar Tilt-Bot, som är en fyrkantig bricka ansluten till en Sawyer-robotarm. Sawyer användes också för att trycka på objekt på en yta, samla in andra typer av data.

Studien av hur ljud kan påverka intelligenta robotar har funnits i en tid, men vad som är nytt är den massiva datamängden.

En av de nya upptäckterna var att en robot kunde använda sin erfarenhet och vad den lärde sig om ljudet av en viss uppsättning objekt för att förutsäga de fysiska egenskaperna hos en annan uppsättning osynliga objekt.

“Jag tycker att det som var riktigt spännande var att när det misslyckades, skulle det misslyckas på saker som man förväntar sig att det ska misslyckas på”, sa Pinto. Till exempel kunde en robot inte använda ljud för att skilja på en röd kloss eller en grön kloss. “Men om det var ett annat objekt, som en kloss versus en kopp, kunde den lista ut det.”

Forskningen stöddes av Defense Advanced Research Projects Agency och Office of Naval Research.