Forskere finder ud af, at hørelse kan forbedre robotperception

I dag afhænger de fleste robotter af syn og berøring for at fungere i deres omgivelser, men dette kan ændre sig med ny forskning fra Carnegie Mellon University (CMU). En gruppe forskere fandt ud af, at robotperception kan forbedres gennem hørelse.

Forskningen var den første store undersøgelse af interaktionen mellem lyd og robotaktion, ifølge forskerne ved CMU’s Robotics Institute. Gruppen fandt ud af, at lyd kan spille en rolle i at hjælpe robotter med at skelne mellem objekter. Gennem brugen af hørelse kunne robotter også bestemme, hvilken type handling, der forårsagede en lyd, og lyde kunne hjælpe med at forudsige de fysiske egenskaber af nye objekter.

Lerrel Pinto er ph.d. i robotteknik ved CMU og vil være en del af fakultetet ved New York University i efteråret.

“Meget af den foreløbige arbejde i andre fagområder tydede på, at lyd kunne være nyttig, men det var ikke klart, hvor nyttig det ville være i robotteknik,” sagde Pinto.

Pinto og gruppen af forskere fandt ud af, at præstationsraten var ret høj, specifikt en nøjagtighed på 76 procent for robotter, der brugte lyd til at klassificere objekter med succes.

Fordi resultaterne passede med, hvad gruppen havde forventet, vil de nu udforske andre muligheder, såsom at udstyre robotter med instrumenterede stave. Dette vil gøre det muligt for dem at identificere objekter ved at banke på dem.

Gruppens resultater blev præsenteret i juli på den virtuelle Robotics Science and Systems-konference. Teamet inkluderede også Abhinav Gupta, associeret professor i robotteknik, og Dhiraj Gandhi, en forskningsvidenskabelig medarbejder ved Facebook (META ) Artificial Intelligence Research’s Pittsburgh Lab.

https://www.youtube.com/watch?v=z38-WCZ7Rb8&feature=emb_title

Studiet og datasættet

Studiet blev gennemført med, at forskerne oprettede et stort datasæt og samtidig optog video og lyd af 60 almindelige objekter. Nogle af disse objekter var legetøjsblokke, håndværktøj, æbler, sko og tennisbolde. Optagelserne fandt sted, mens objekterne rullede og kolliderede i en skål.

Datasættet blev herefter udgivet efter at have katalogiseret omkring 15.000 interaktioner.

Tilt-Bot

Interaktionerne blev fanget af, hvad teamet kalder Tilt-Bot, som er en firkantet skål forbundet til en Sawyer-robotarm. Sawyer blev også brugt til at skubbe objekter på en overflade og indsamle andre typer data.

Studiet af, hvordan lyd kan påvirke intelligente robotter, har været til stede i længe, men hvad der er nyt, er det massive datasæt.

En af de nye opdagelser var, at en robot kunne bruge sin erfaring og det, den havde lært om lyden af en bestemt samling objekter, til at forudsige de fysiske egenskaber af en anden samling usete objekter.

“Jeg synes, det var rigtig spændende, at når det fejlede, ville det fejle på ting, man forventede, det ville fejle på,” sagde Pinto. For eksempel kunne en robot ikke bruge lyd til at skelne mellem en rød blok eller en grøn blok. “Men hvis det var et andet objekt, såsom en blok versus en kop, kunne den figure det ud.”

Forskningen blev støttet af Defense Advanced Research Projects Agency og Office of Naval Research.