Onderzoekers ontdekken dat gehoor de perceptie van robots kan verbeteren

De meeste robots van vandaag vertrouwen voornamelijk op visie en aanraking om in hun omgeving te opereren, maar dit kan veranderen met nieuw onderzoek van de Carnegie Mellon University (CMU). Een groep onderzoekers ontdekte dat de perceptie van robots kan worden verbeterd door middel van gehoor.

Het onderzoek was de eerste grote studie naar de interacties tussen geluid en robotactie, volgens de onderzoekers van het Robotics Institute van CMU. De groep ontdekte dat geluid een rol kan spelen bij het helpen van robots om objecten te onderscheiden. Door middel van gehoor konden robots ook bepalen wat voor soort actie een geluid veroorzaakte, en geluiden konden helpen bij het voorspellen van de fysieke eigenschappen van nieuwe objecten.

Lerrel Pinto is een Ph.D. in robotica aan CMU en zal deel uitmaken van de faculteit van de New York University deze herfst.

“Er was veel voorlopig werk in andere gebieden dat aangaf dat geluid nuttig kon zijn, maar het was niet duidelijk hoe nuttig het zou zijn in de robotica,” zei Pinto.

Pinto en de groep van onderzoekers ontdekte dat de prestatiegraad vrij hoog was, met name een nauwkeurigheidsgraad van 76 procent voor robots die geluid gebruikten om objecten succesvol te classificeren.

Omdat de resultaten overeenkwamen met wat de groep zocht, zullen ze nu andere opties verkennen, zoals het uitrusten van robots met geïnstrumenteerde stokken. Dit zal hen in staat stellen om objecten te identificeren door erop te tikken.

De bevindingen van de groep werden in juli gepresenteerd op de virtuele Robotics Science and Systems-conferentie. Het team omvatte ook Abhinav Gupta, associate professor of robotics, en Dhiraj Gandhi, een onderzoeker bij Facebook (META ) Artificial Intelligence Research’s Pittsburgh Lab.

https://www.youtube.com/watch?v=z38-WCZ7Rb8&feature=emb_title

De Studie en Dataset

De studie werd uitgevoerd door de onderzoekers, die een grote dataset creëerden en tegelijkertijd video- en audio-opnames maakten van 60 algemene objecten. Sommige van die objecten waren speelblokken, handgereedschap, appels, schoenen en tennisballen. De opnames vonden plaats terwijl de objecten om een schaal rolden en botsden.

De dataset werd vervolgens vrijgegeven na het catalogiseren van ongeveer 15.000 interacties.

Tilt-Bot

De interacties werden vastgelegd door wat het team Tilt-Bot noemt, een vierkante schaal die is verbonden met een Sawyer-robotarm. De Sawyer werd ook gebruikt om objecten op een oppervlak te duwen, waardoor andere soorten gegevens werden verzameld.

De studie van hoe geluid intelligentie bij robots kan beïnvloeden, is al een tijdje gaande, maar wat nieuw is, is de enorme dataset.

Een van de nieuwe bevindingen was dat een robot zijn ervaring en wat hij had geleerd over het geluid van een bepaalde set objecten, kon gebruiken om de fysieke eigenschappen van een andere set ongeziene objecten te voorspellen.

“Ik denk dat het echt spannend was dat wanneer het faalde, het faalde op dingen die je verwacht dat het zou falen,” zei Pinto. Bijvoorbeeld, een robot kon niet gebruiken om het verschil te horen tussen een rode blok of een groene blok. “Maar als het een ander object was, zoals een blok versus een kop, kon het dat wel uitmaken.”

Het onderzoek werd ondersteund door de Defense Advanced Research Projects Agency en het Office of Naval Research.