Robot in grado di apprendere compiti complicati da poche dimostrazioni

In uno degli ultimi sviluppi nel campo della robotica, i ricercatori della University of Southern California (USC) hanno sviluppato un sistema in cui i robot possono apprendere compiti complicati con poche dimostrazioni. Ancora più impressionante, alcune delle dimostrazioni possono essere imperfette.

La ricerca è stata presentata alla conferenza sull'apprendimento dei robot (CoRL) il 18 novembre, intitolata "Imparare dalle dimostrazioni usando la logica temporale del segnale".

Sistema

La qualità di ogni dimostrazione viene misurata in modo che il sistema possa imparare dai suoi successi e fallimenti. A differenza dei metodi attuali, che richiedono almeno 100 dimostrazioni per insegnare un compito specifico, il nuovo sistema ne richiede solo alcune. In modo intuitivo, il modo in cui questi robot imparano è simile al modo in cui gli esseri umani imparano gli uni dagli altri. Ad esempio, gli esseri umani osservano e imparano dagli altri completando le attività con successo o in modo imperfetto.

Aniruddh Puranic è l'autore principale della ricerca e un dottorato di ricerca. studente di informatica presso la USC Viterbi School of Engineering.

“Molti sistemi di machine learning e apprendimento per rinforzo richiedono grandi quantità di dati e centinaia di dimostrazioni: è necessario che un essere umano esegua dimostrazioni più e più volte, il che non è fattibile”, ha affermato Puranic.

"Inoltre, la maggior parte delle persone non ha conoscenze di programmazione per dichiarare esplicitamente ciò che il robot deve fare, e un essere umano non può assolutamente dimostrare tutto ciò che un robot ha bisogno di sapere", ha continuato. “E se il robot incontra qualcosa che non ha mai visto prima? Questa è una sfida chiave”.

I ricercatori hanno utilizzato la "logica temporale del segnale" o STL per determinare la qualità delle dimostrazioni, classificandole di conseguenza e creando ricompense intrinseche.

Ci sono due ragioni principali per cui i ricercatori hanno deciso di utilizzare STL:

1. Imparando attraverso le dimostrazioni, i robot possono rilevare imperfezioni o persino comportamenti non sicuri e azioni indesiderabili.
2. Le dimostrazioni possono differire in termini di qualità a seconda dell'utente che le fornisce e alcune dimostrazioni sono indicatori migliori del comportamento desiderato rispetto ad altre.

Sviluppando il sistema in questo modo, il robot può ancora imparare dalle dimostrazioni imperfette, anche se non soddisfano i requisiti logici. In altre parole, trae le proprie conclusioni sull'accuratezza o sul successo.

Stefanos Nikolaidis è coautore e assistente professore di informatica all'USC Viterbi.

"Diciamo che i robot imparano da diversi tipi di dimostrazioni - potrebbe essere una dimostrazione pratica, video o simulazioni - se faccio qualcosa che è molto pericoloso, gli approcci standard faranno una delle due cose: o la ignoreranno completamente , o peggio ancora, il robot imparerà la cosa sbagliata", dice Nikolaidis.

"Al contrario, in un modo molto intelligente, questo lavoro utilizza alcuni ragionamenti di buon senso sotto forma di logica per capire quali parti della dimostrazione sono buone e quali no", continua. "In sostanza, questo è esattamente ciò che fanno anche gli esseri umani".

Logica temporale del segnale

I robot possono ragionare sui risultati attuali e futuri attraverso STL, che è un linguaggio simbolico matematico espressivo. Prima di STL, la ricerca si basava sulla "logica temporale lineare".

Jyo Deshmukh è un ex ingegnere Toyota e assistente professore di informatica alla USC.

“Quando entriamo nel mondo dei sistemi ciberfisici, come i robot e le auto a guida autonoma, dove il tempo è cruciale, la logica temporale lineare diventa un po' macchinosa, perché ragiona su sequenze di valori vero/falso per le variabili, mentre STL consente di ragionare su segnali fisici", dice Deshmukh.

Il team di ricercatori è rimasto sorpreso dal livello di successo del sistema.

"Rispetto a un algoritmo all'avanguardia, ampiamente utilizzato nelle applicazioni di robotica, si nota una differenza di ordine di grandezza nel numero di dimostrazioni necessarie", afferma Nikolaidis.

Secondo i ricercatori, i sistemi potrebbero imparare dai simulatori di guida e, infine, dai video. Il passo successivo è testarlo su robot reali, poiché i test iniziali sono stati eseguiti su un simulatore di gioco. Il sistema sarà utile per applicazioni come quelle in ambienti domestici, magazzini e rover di esplorazione spaziale.

"Se vogliamo che i robot siano buoni compagni di squadra e aiutino le persone, prima devono imparare e adattarsi alle preferenze umane in modo molto efficiente", afferma Nikolaidis. "Il nostro metodo lo fornisce."