Forskere finner at høring kan forbedre robotpersepsjon

I dag avhenger de fleste roboter av syn og berøring for å operere i sine omgivelser, men dette kan endre seg med ny forskning fra Carnegie Mellon University (CMU). En gruppe forskere fant at robotpersepsjon kan forbedres gjennom høring. 

Forskningen var den første store undersøkelsen av interaksjonene mellom lyd og robotaksjon, ifølge forskerne ved CMU’s Robotics Institute. Gruppen fant at lyd kan spille en rolle i å hjelpe roboter å skille mellom objekter. Gjennom å bruke høring, kunne roboter også bestemme hva slags handling som forårsaket en lyd, og lyder kunne hjelpe med å forutsi de fysiske egenskapene til nye objekter.

Lerrel Pinto er Ph.D i robotikk ved CMU og vil være en del av fakultetet ved New York University denne høsten.

“Mye forarbeid i andre felt indikerte at lyd kunne være nyttig, men det var ikke klart hvor nyttig det ville være i robotikk,” sa Pinto.

Pinto og gruppen av forskere fant at ytelsesraten var ganske høy, spesielt en 76 prosent nøyaktighet for roboter som brukte lyd for å klassifisere objekter med hell. 

Fordi resultatene passet med hva gruppen lette etter, vil de nå utforske andre muligheter, som å utstyre roboter med instrumenterte stenger. Dette vil ermögne dem å identifisere objekter ved å tappe på dem.

Gruppens funn ble presentert i juli på den virtuelle Robotics Science and Systems-konferansen. Teamet inkluderte også Abhinav Gupta, associerer professor i robotikk, og Dhiraj Gandhi, en forskningsscientist ved Facebook (META ) Artificial Intelligence Research’s Pittsburgh Lab.

https://www.youtube.com/watch?v=z38-WCZ7Rb8&feature=emb_title

Studien og datasettet

Studien ble utført med at forskerne skapte et stort datasett og samtidig spilte inn video og lyd av 60 vanlige objekter. Noen av disse objektene var lekebyggeklosser, håndverktøy, epler, sko og tennisballer. Innspillingene skjedde mens objektene rullet og kolliderte rundt en skål.

Datasettet ble deretter utgitt etter å ha katalogisert rundt 15 000 interaksjoner. 

Tilt-Bot 

Interaksjonene ble fanget av det teamet kaller Tilt-Bot, som er en firkantet skål koblet til en Sawyer-robotarm. Sawyer ble også brukt til å skyve objekter på en overflate, samtidig som det samlet inn andre typer data.

Studien av hvordan lyd kan påvirke intelligente roboter har vært rundt i en stund, men hva som er nytt er det massive datasettet. 

En av de nye funnene var at en robot kunne bruke sin erfaring og hva den lærte om lyden av en bestemt samling objekter for å forutsi de fysiske egenskapene til en annen samling usette objekter.

“Jeg tror det som var virkelig spennende var at når det feilet, ville det feile på ting du forventer det feiler på,” sa Pinto. For eksempel, kunne en robot ikke bruke lyd til å skille mellom en rød kloss eller en grønn kloss. “Men hvis det var et annet objekt, som en kloss versus en kopp, kunne det finne ut det.”

Forskningen ble støttet av Defense Advanced Research Projects Agency og Office of Naval Research.