Forskere finder ud af, at hørelsen kan forbedre robotopfattelsen

Nutidens robotter er for det meste afhængige af vision og berøring for at fungere i deres miljøer, men dette kan ændre sig med ny forskning, der kommer ud af Carnegie Mellon University (CMU). En gruppe forskere fandt ud af, at robotopfattelse kunne forbedres gennem hørelse. 

Forskningen var den første storstilede undersøgelse af samspillet mellem lyd og robothandling, ifølge forskerne ved CMU's Robotics Institute. Gruppen fandt ud af, at lyd kan spille en rolle i at hjælpe robotter med at skelne mellem objekter. Gennem brugen af ​​hørelse kunne robotter også bestemme, hvilken type handling der forårsagede en lyd, og lyde kunne hjælpe med at forudsige de fysiske egenskaber af nye objekter.

Lerrel Pinto er Ph.D i robotteknologi på CMU og bliver en del af fakultetet på New York University til efteråret.

"En masse indledende arbejde på andre områder indikerede, at lyd kunne være nyttig, men det var ikke klart, hvor nyttigt det ville være i robotteknologi," sagde Pinto.

Pinto og gruppen af ​​forskere fandt ud af, at ydeevnen var ret høj, specifikt en nøjagtighedsrate på 76 procent for robotter, der bruger lyd til at klassificere objekter. 

Fordi resultaterne passede til det, gruppen ledte efter, vil de nu undersøge andre muligheder, såsom at udstyre robotter med instrumenterede stokke. Dette vil gøre det muligt for dem at identificere objekter ved at trykke på dem.

Gruppens resultater blev præsenteret i juli på den virtuelle Robotics Science and Systems-konference. Holdet inkluderede også Abhinav Gupta, foreningsprofessor i robotteknologi, og Dhiraj Gandhi, en forsker ved Facebook Artificial Intelligence Research's Pittsburgh Lab.

Undersøgelsen og datasættet

Undersøgelsen blev udført med forskerne, der skabte et stort datasæt og samtidig optog video og lyd af 60 almindelige objekter. Nogle af disse genstande var legetøjsblokke, håndværktøj, æbler, sko og tennisbolde. Optagelserne fandt sted, mens genstandene rullede og styrtede rundt om en bakke.

Datasættet blev derefter frigivet efter at have katalogiseret omkring $15,000 interaktioner. 

Tilt-Bot 

Interaktionerne blev fanget af det, holdet kalder Tilt-Bot, som er en firkantet bakke forbundet til en Sawyer-robotarm. Sawyer blev også brugt til at skubbe objekter på en overflade og indsamle andre typer data.

Undersøgelsen af, hvordan lyd kan påvirke intelligente robotter, har eksisteret i et stykke tid, men det nye er det massive datasæt. 

Et af de nye resultater var, at en robot kunne bruge sin erfaring og det, den lærte om lyden af ​​et bestemt sæt objekter til at forudsige de fysiske egenskaber af et andet sæt usete objekter.

"Jeg synes, det virkelig spændende var, at når det fejlede, ville det fejle på ting, du forventer, at det vil fejle," sagde Pinto. For eksempel kunne en robot ikke bruge lyd til at kende forskel på en rød blok eller en grøn blok. "Men hvis det var en anden genstand, såsom en blok versus en kop, kunne den finde ud af det."

Forskningen blev støttet af Defense Advanced Research Projects Agency og Office of Naval Research.