Cercetătorii au descoperit că auzul poate îmbunătăți percepția robotică

Roboții de astăzi se bazează în mare măsură pe vedere și atingere pentru a opera în mediile lor, dar acest lucru ar putea schimba cu o nouă cercetare care vine de la Universitatea Carnegie Mellon (CMU). Un grup de cercetători a descoperit că percepția robotică poate fi îmbunătățită prin auz.

Cercetarea a fost primul studiu pe scară largă al interacțiunilor dintre sunet și acțiune robotică, conform cercetătorilor de la Institutul de Robotică al CMU. Grupul a constatat că sunetul poate juca un rol în ajutarea roboților să diferențieze între obiecte. Prin utilizarea auzului, roboții ar putea, de asemenea, să determine ce tip de acțiune a cauzat un sunet, iar sunetele ar putea ajuta la prezicerea proprietăților fizice ale unor obiecte noi.

Lerrel Pinto este doctorand în robotică la CMU și va face parte din facultatea Universității din New York în acest toamnă.

“Multe lucrări preliminare în alte domenii au indicat că sunetul ar putea fi util, dar nu era clar cât de util ar fi în robotică”, a spus Pinto.

Pinto și grupul de cercetători au constatat că rata de performanță a fost destul de ridicată, în special o rată de acuratețe de 76% pentru roboții care utilizează sunetul pentru a clasifica cu succes obiectele.

Deoarece rezultatele corespund cu ceea ce grupul căuta, ei vor explora acum alte opțiuni, cum ar fi echiparea roboților cu bastoane instrumentate. Acest lucru le va permite să identifice obiectele prin lovirea lor.

Rezultatele grupului au fost prezentate în luna iulie la conferința virtuală Robotics Science and Systems. Echipa a inclus, de asemenea, Abhinav Gupta, profesor asociat de robotică, și Dhiraj Gandhi, cercetător științific la Facebook (META ) Artificial Intelligence Research’s Pittsburgh Lab.

https://www.youtube.com/watch?v=z38-WCZ7Rb8&feature=emb_title

Studiul și setul de date

Studiul a fost realizat prin crearea unui set de date mare și înregistrarea simultană a videoului și a sunetului a 60 de obiecte comune. Printre aceste obiecte s-au numărat blocuri de jucărie, unelte de mână, mere, încălțăminte și mingi de tenis. Înregistrările au avut loc în timp ce obiectele se rostogoleau și se ciocneau într-un tava.

Setul de date a fost apoi lansat după catalogarea a aproximativ 15.000 de interacțiuni.

Tilt-Bot

Interacțiunile au fost capturate de ceea ce echipa numește Tilt-Bot, care este un tava pătrată conectată la un braț robotic Sawyer. Sawyer a fost utilizat, de asemenea, pentru a împinge obiecte pe o suprafață, colectând alte tipuri de date.

Studiul modului în care sunetul poate afecta roboții inteligenți a existat de ceva timp, dar ceea ce este nou este setul de date masiv.

Una dintre noile descoperiri a fost că un robot ar putea utiliza experiența sa și ceea ce a învățat despre sunetul unui anumit set de obiecte pentru a prezice proprietățile fizice ale unui alt set de obiecte nevăzute.

“Cred că ceea ce a fost cu adevărat interesant a fost că, atunci când a eșuat, a eșuat pe lucruri pe care te-ai aștepta să eșueze”, a spus Pinto. De exemplu, un robot nu ar putea utiliza sunetul pentru a face diferența între un bloc roșu și un bloc verde. “Dar dacă ar fi un obiect diferit, cum ar fi un bloc versus o cană, ar putea să o facă.”

Cercetarea a fost sprijinită de Agenția de Cercetare Avansată a Apărării și Biroul de Cercetare Navală.