I Robot in Grado di Imparare Compiti Complessi con Pochi Esempi

Nell’ultimo sviluppo nel campo della robotica, i ricercatori dell’Università del Sud della California (USC) hanno sviluppato un sistema in cui i robot possono imparare compiti complessi con pochi esempi. Ancor più impressionante, alcuni di questi esempi possono essere imperfetti.

La ricerca è stata presentata alla Conferenza sull’apprendimento dei robot (CoRL) il 18 novembre, intitolata “Apprendimento dalle dimostrazioni utilizzando la logica temporale dei segnali”.

Il Sistema

La qualità di ogni dimostrazione viene misurata in modo che il sistema possa imparare dai suoi successi e fallimenti. A differenza dei metodi attuali, che richiedono almeno 100 dimostrazioni per insegnare un compito specifico, il nuovo sistema richiede solo poche dimostrazioni. In modo intuitivo, il modo in cui questi robot imparano è simile al modo in cui gli esseri umani imparano gli uni dagli altri. Ad esempio, gli esseri umani guardano e imparano da altri che completano compiti con successo o in modo imperfetto.

Aniruddh Puranic è l’autore principale della ricerca e uno studente di dottorato in informatica alla USC Viterbi School of Engineering.

“Molti sistemi di apprendimento automatico e di apprendimento per rinforzo richiedono grandi quantità di dati e centinaia di dimostrazioni – è necessario che un essere umano dimostri più e più volte, il che non è fattibile”, ha detto Puranic.

“Inoltre, la maggior parte delle persone non hanno conoscenze di programmazione per esprimere esplicitamente cosa il robot debba fare, e un essere umano non può dimostrare tutto ciò che un robot deve sapere”, ha continuato. “Cosa succede se il robot incontra qualcosa che non ha mai visto prima? Questo è un problema chiave”.

I ricercatori hanno utilizzato la “logica temporale dei segnali” o STL per determinare la qualità delle dimostrazioni, classificandole di conseguenza e creando ricompense innate.

Ci sono due motivi principali per cui i ricercatori hanno deciso di utilizzare la STL:

1. Imparando attraverso le dimostrazioni, i robot possono acquisire imperfezioni o comportamenti pericolosi e azioni indesiderabili.
2. Le dimostrazioni possono differire in qualità a seconda dell’utente che le fornisce, e alcune dimostrazioni sono migliori indicatori del comportamento desiderato di altre.

Sviluppando il sistema in questo modo, il robot può ancora imparare dalle dimostrazioni imperfette, anche se non soddisfano i requisiti logici. In altre parole, trae le proprie conclusioni sull’accuratezza o il successo.

Stefanos Nikolaidis è un coautore e un assistente professore di informatica alla USC Viterbi.

“Supponiamo che i robot imparino da diversi tipi di dimostrazioni – potrebbe trattarsi di una dimostrazione pratica, video o simulazioni – se faccio qualcosa di molto pericoloso, gli approcci standard faranno una delle due cose: o li ignoreranno completamente, o peggio, il robot imparerà la cosa sbagliata”, dice Nikolaidis.

“In contrasto, in un modo molto intelligente, questo lavoro utilizza un po’ di ragionamento comune sotto forma di logica per capire quali parti della dimostrazione sono buone e quali parti non lo sono”, continua. “In sostanza, è esattamente ciò che fanno anche gli esseri umani”.

Logica Temporale dei Segnali

I robot possono ragionare sui risultati attuali e futuri attraverso la STL, che è un linguaggio simbolico matematico espressivo. In precedenza, la ricerca si basava sulla “logica temporale lineare”.

Jyo Deshmukh è un ex ingegnere Toyota e assistente professore di informatica alla USC.

“Quando entriamo nel mondo dei sistemi cibernetici fisici, come i robot e le auto a guida autonoma, dove il tempo è cruciale, la logica temporale lineare diventa un po’ ingombrante, poiché ragiona su sequenze di valori true/false per le variabili, mentre la STL consente di ragionare sui segnali fisici”, dice Deshmukh.

Il team di ricercatori è stato sorpreso dal livello di successo del sistema.

“In confronto a un algoritmo all’avanguardia, ampiamente utilizzato nelle applicazioni di robotica, si vede una differenza di un ordine di grandezza nel numero di dimostrazioni richieste”, dice Nikolaidis.

Secondo i ricercatori, i sistemi potrebbero imparare da simulatori di guida e eventualmente da video. Il passo successivo è testarlo su robot reali, poiché i test iniziali sono stati eseguiti su un simulatore di gioco. Il sistema sarà utile per applicazioni come quelle in ambienti domestici, magazzini e rover di esplorazione spaziale.

“Se vogliamo che i robot siano buoni compagni di squadra e aiutino le persone, prima devono imparare e adattarsi alle preferenze umane in modo molto efficiente”, dice Nikolaidis. “Il nostro metodo fornisce questo.”