Scienziati informatici utilizzano il rinforzo positivo per insegnare ai robot

Gli scienziati informatici dell’Università Johns Hopkins hanno utilizzato la tecnica di addestramento del rinforzo positivo, spesso utilizzata per addestrare animali come cani, su un robot in modo che potesse insegnarsi nuovi trucchi. Tra queste nuove abilità c’era la capacità di impilare blocchi.

Il robot si chiama Spot e, secondo i ricercatori, può imparare abilità in pochi giorni che tradizionalmente richiedono circa un mese.

Rinforzo positivo

Il rinforzo positivo è stato utilizzato dal team per aumentare l’insieme di abilità del robot. La velocità con cui il team è stato in grado di farlo rende più facile il dispiegamento di questo tipo di robot nel mondo reale.

Il lavoro è stato pubblicato su IEEE Robotics and Automation Letters, intitolato “Buon robot! Apprendimento di rinforzo efficiente per compiti visivi a più passaggi con trasferimento da sim a reale.”

Andrew Hundt è uno studente di dottorato che lavora all’Università Johns Hopkins e autore principale della ricerca.

“La domanda qui era come fare in modo che il robot impari un’abilità?” ha detto. “Ho avuto cani, quindi so che le ricompense funzionano e questo è stato l’ispirazione per come ho progettato l’algoritmo di apprendimento.”

Una delle ragioni per cui il rinforzo positivo funziona sui computer è che non hanno cervelli intuitivi, il che significa che sono essenzialmente una tela bianca su cui può essere proiettato qualsiasi cosa. In altre parole, devono imparare tutto da zero. Uno dei metodi di apprendimento più efficaci per i computer è la prova e l’errore, che è qualcosa su cui i roboticisti stanno ancora lavorando oggi.

È esattamente ciò che i ricercatori hanno fatto quando hanno creato un sistema di ricompensa per il robot, simile al processo di addestramento di un cane dandogli dei trattamenti. La differenza è che il robot riceverà punti numerici quando completa un compito correttamente.

https://www.youtube.com/watch?v=dvxqjJBWFD4

Abilità apprese

Quando si trattava di imparare a impilare blocchi, il robot doveva imparare a concentrarsi su azioni costruttive. Nel metodo, Spot il robot riceveva punti più alti quando completava comportamenti corretti durante l’impilatura dei blocchi. All’estremo opposto, non guadagnava nulla per comportamenti scorretti. Guadagnava il punteggio più alto completando una pila di quattro blocchi con l’ultimo blocco in cima.

I ricercatori hanno visto un grande successo in questo metodo, con il robot che imparava in pochi giorni ciò che avrebbe richiesto settimane in passato. Addestrando un robot simulato, il team ha ridotto il tempo di pratica prima di passare al robot Spot.

“Il robot vuole il punteggio più alto”, ha detto Hundt. “Impara rapidamente il comportamento giusto per ottenere la migliore ricompensa. In effetti, ci voleva un mese di pratica per il robot per raggiungere il 100% di accuratezza. Siamo stati in grado di farlo in due giorni.”

Oltre a imparare a impilare blocchi, il robot ha anche utilizzato il rinforzo positivo per imparare altri compiti, come giocare a un gioco di navigazione simulato.

“All’inizio il robot non ha idea di cosa stia facendo, ma migliorerà con ogni pratica. Non si arrende mai e continua a provare a impilare e riesce a completare il compito al 100% delle volte”, ha detto Hundt.

Alcune delle possibili applicazioni di questo metodo includono l’addestramento di robot domestici a completare determinati compiti, nonché il miglioramento dei veicoli autonomi.

“Il nostro obiettivo è quello di sviluppare eventualmente robot che possano eseguire compiti complessi nel mondo reale – come l’assemblaggio di prodotti, l’assistenza agli anziani e la chirurgia”, ha detto Hager. “Non sappiamo attualmente come programmare compiti del genere – il mondo è troppo complesso. Ma lavori come questo mostrano che c’è una promessa nell’idea che i robot possano imparare a eseguire tali compiti del mondo reale in modo sicuro ed efficiente.