I ricercatori scoprono che l’udito può migliorare la percezione dei robot

I robot odierni si affidano principalmente alla vista e al tatto per operare nel loro ambiente, ma questo potrebbe cambiare con una nuova ricerca condotta alla Carnegie Mellon University (CMU). Un gruppo di ricercatori ha scoperto che la percezione dei robot potrebbe migliorare attraverso l’udito.

La ricerca è stata la prima studio su larga scala delle interazioni tra suono e azione robotica, secondo i ricercatori dell’Istituto di Robotica della CMU. Il gruppo ha scoperto che il suono può svolgere un ruolo nell’aiutare i robot a distinguere tra oggetti. Attraverso l’uso dell’udito, i robot potrebbero anche determinare il tipo di azione che ha causato un suono, e i suoni potrebbero aiutare a prevedere le proprietà fisiche di nuovi oggetti.

Lerrel Pinto è un dottorando in robotica alla CMU e sarà parte della facoltà della New York University quest’autunno.

“Molto lavoro preliminare in altri campi ha indicato che il suono potrebbe essere utile, ma non era chiaro quanto utile sarebbe nella robotica”, ha detto Pinto.

Pinto e il gruppo di ricercatori hanno scoperto che il tasso di prestazione era abbastanza alto, in particolare un tasso di accuratezza del 76% per i robot che utilizzavano il suono per classificare con successo gli oggetti.

Poiché i risultati corrispondevano a ciò che il gruppo stava cercando, ora esploreranno altre opzioni, come dotare i robot di bastoni strumentati. Ciò consentirà loro di identificare gli oggetti toccandoli.

I risultati del gruppo sono stati presentati a luglio alla conferenza virtuale Robotics Science and Systems. La squadra includeva anche Abhinav Gupta, professore associato di robotica, e Dhiraj Gandhi, uno scienziato di ricerca al Facebook (META ) Artificial Intelligence Research’s Pittsburgh Lab.

https://www.youtube.com/watch?v=z38-WCZ7Rb8&feature=emb_title

Lo studio e il dataset

Lo studio è stato condotto con i ricercatori che hanno creato un grande dataset e hanno registrato contemporaneamente video e audio di 60 oggetti comuni. Alcuni di quegli oggetti erano blocchi di giocattoli, strumenti manuali, mele, scarpe e palline da tennis. Le registrazioni hanno avuto luogo mentre gli oggetti rotolavano e si scontravano in un vassoio.

Il dataset è stato poi rilasciato dopo aver catalogato circa 15.000 interazioni.

Tilt-Bot

Le interazioni sono state catturate da ciò che il team chiama Tilt-Bot, che è un vassoio quadrato collegato a un braccio robotico Sawyer. Il Sawyer è stato utilizzato anche per spingere oggetti su una superficie, raccogliendo altri tipi di dati.

Lo studio di come il suono possa influenzare i robot intelligenti è stato condotto per un po’ di tempo, ma ciò che è nuovo è il grande dataset.

Una delle nuove scoperte è che un robot potrebbe utilizzare la sua esperienza e ciò che ha imparato sul suono di un certo set di oggetti per prevedere le proprietà fisiche di un altro set di oggetti non visti.

“Credo che ciò che è stato veramente emozionante è che quando falliva, falliva su cose che ci si aspettava che fallisse”, ha detto Pinto. Ad esempio, un robot non poteva utilizzare il suono per distinguere tra un blocco rosso o un blocco verde. “Ma se si trattava di un oggetto diverso, come un blocco rispetto a una tazza, poteva capirlo”.

La ricerca è stata supportata dalla Defense Advanced Research Projects Agency e dall’Office of Naval Research.