Onderzoekers ontdekken dat gehoor de perceptie van robots kan verbeteren

De robots van vandaag vertrouwen meestal op visie en aanraking om in hun omgeving te werken, maar dit zou kunnen veranderen met nieuw onderzoek van de Carnegie Mellon University (CMU). Een groep onderzoekers ontdekte dat de perceptie van robots kan verbeteren door te horen. 

Het onderzoek was het eerste grootschalige onderzoek naar de interacties tussen geluid en robotactie, aldus de onderzoekers van CMU's Robotics Institute. De groep ontdekte dat geluid een rol kan spelen bij het helpen van robots om onderscheid te maken tussen objecten. Door het gebruik van gehoor konden robots ook bepalen welk type actie een geluid veroorzaakte, en geluiden konden helpen bij het voorspellen van de fysieke eigenschappen van nieuwe objecten.

Lerrel Pinto is gepromoveerd in robotica aan de CMU en zal dit najaar deel uitmaken van de faculteit van de New York University.

"Veel voorbereidend werk op andere gebieden gaf aan dat geluid nuttig zou kunnen zijn, maar het was niet duidelijk hoe nuttig het zou zijn in robotica", zei Pinto.

Pinto en de groep onderzoekers ontdekten dat het prestatiepercentage redelijk hoog was, met name een nauwkeurigheidspercentage van 76 procent voor robots die geluid gebruiken om objecten met succes te classificeren. 

Omdat de resultaten passen bij wat de groep zocht, gaan ze nu andere opties onderzoeken, zoals het uitrusten van robots met geïnstrumenteerde wandelstokken. Hierdoor kunnen ze objecten identificeren door erop te tikken.

De bevindingen van de groep werden in juli gepresenteerd op de virtuele Robotics Science and Systems-conferentie. Het team omvatte ook Abhinav Gupta, universitair hoofddocent robotica, en Dhiraj Gandhi, een onderzoekswetenschapper bij het Pittsburgh Lab van Facebook Artificial Intelligence Research.

De studie en dataset

De studie werd uitgevoerd met de onderzoekers die een grote dataset creëerden en tegelijkertijd video en audio opnamen van 60 veelvoorkomende objecten. Sommige van die voorwerpen waren speelgoedblokken, handgereedschap, appels, schoenen en tennisballen. De opnames vonden plaats terwijl de objecten rond een dienblad rolden en neerstortten.

De dataset werd vervolgens vrijgegeven na het catalogiseren van ongeveer $ 15,000 interacties. 

Tilt-Bot 

De interacties werden vastgelegd door wat het team Tilt-Bot noemt, een vierkant dienblad dat is verbonden met een Sawyer-robotarm. De Sawyer werd ook gebruikt om objecten op een oppervlak te duwen en andere soorten gegevens te verzamelen.

De studie van hoe geluid intelligente robots kan beïnvloeden, bestaat al een tijdje, maar wat nieuw is, is de enorme dataset. 

Een van de nieuwe bevindingen was dat een robot zijn ervaring en wat hij leerde over het geluid van een bepaalde set objecten kon gebruiken om de fysieke eigenschappen van een andere set onzichtbare objecten te voorspellen.

"Ik denk dat wat echt opwindend was, was dat als het faalde, het zou mislukken op dingen waarvan je verwachtte dat het zou mislukken", zei Pinto. Een robot kan bijvoorbeeld geen geluid gebruiken om het verschil te zien tussen een rood blok en een groen blok. "Maar als het een ander object was, zoals een blok versus een beker, zou het dat kunnen uitzoeken."

Het onderzoek werd ondersteund door het Defense Advanced Research Projects Agency en het Office of Naval Research.