Cercetătorii au descoperit că auzul poate îmbunătăți percepția robotului

Roboții de astăzi se bazează în cea mai mare parte pe viziune și atingere pentru a funcționa în mediile lor, dar acest lucru s-ar putea schimba odată cu noi cercetări care ies de la Universitatea Carnegie Mellon (CMU). Un grup de cercetători a descoperit că percepția robotului s-ar putea îmbunătăți prin auz. 

Cercetarea a fost primul studiu la scară largă al interacțiunilor dintre sunet și acțiunea robotică, potrivit cercetătorilor de la Institutul de Robotică al CMU. Grupul a descoperit că sunetul poate juca un rol în a ajuta roboții să facă diferența între obiecte. Prin utilizarea auzului, roboții ar putea determina, de asemenea, ce tip de acțiune a provocat un sunet, iar sunetele ar putea ajuta la prezicerea proprietăților fizice ale noilor obiecte.

Lerrel Pinto este doctor în robotică la CMU și va face parte din facultatea Universității din New York în această toamnă.

„O mulțime de lucrări preliminare în alte domenii au indicat că sunetul ar putea fi util, dar nu era clar cât de util ar fi acesta în robotică”, a spus Pinto.

Pinto și grupul de cercetători au descoperit că rata de performanță a fost destul de ridicată, în special o rată de precizie de 76% pentru roboții care folosesc sunetul pentru a clasifica cu succes obiectele. 

Deoarece rezultatele se potrivesc cu ceea ce căuta grupul, acum vor explora alte opțiuni, cum ar fi echiparea roboților cu bastoane instrumentate. Acest lucru le va permite să identifice obiectele atingându-le.

Descoperirile grupului au fost prezentate în iulie la conferința virtuală de Știință și Sisteme de Robotică. Echipa a inclus, de asemenea, Abhinav Gupta, profesor asociat de robotică, și Dhiraj Gandhi, cercetător la Laboratorul Pittsburgh al Facebook Artificial Intelligence Research.

Studiul și setul de date

Studiul a fost realizat cu cercetătorii creând un set mare de date și înregistrând simultan video și audio a 60 de obiecte comune. Unele dintre aceste obiecte erau blocuri de jucărie, unelte de mână, mere, pantofi și mingi de tenis. Înregistrările au avut loc în timp ce obiectele s-au rostogolit și s-au prăbușit în jurul unei tăvi.

Setul de date a fost apoi lansat după catalogarea interacțiunilor în jur de 15,000 USD. 

Tilt-Bot 

Interacțiunile au fost surprinse de ceea ce echipa numește Tilt-Bot, care este o tavă pătrată conectată la un braț robot Sawyer. Sawyer a fost folosit și pentru a împinge obiecte pe o suprafață, colectând alte tipuri de date.

Studiul modului în care sunetul poate afecta roboții inteligenți există de ceva vreme, dar ceea ce este nou este setul de date masiv. 

Una dintre noile descoperiri a fost că un robot și-ar putea folosi experiența și ceea ce a învățat despre sunetul unui anumit set de obiecte pentru a prezice proprietățile fizice ale altui set de obiecte nevăzute.

„Cred că ceea ce a fost cu adevărat interesant a fost că, atunci când a eșuat, a eșuat în ceea ce te aștepți să eșueze”, a spus Pinto. De exemplu, un robot nu ar putea folosi sunetul pentru a face diferența dintre un bloc roșu sau un bloc verde. „Dar dacă era un obiect diferit, cum ar fi un bloc versus o ceașcă, ar putea să-și dea seama.”

Cercetarea a fost susținută de Agenția pentru Proiecte de Cercetare Avansată a Apărării și Biroul de Cercetare Navală.