Il Robot Che Si Insegna a Camminare Attraverso l’Apprendimento per Rinforzo

Mentre Boston Dynamics e i robot che ballano di solito ricevono la maggior parte dell’attenzione, ci sono alcuni importanti sviluppi che si verificano dietro le quinte e che non ricevono abbastanza copertura. Uno di questi sviluppi proviene da un laboratorio di Berkeley, dove un robot di nome Cassie è stato in grado di insegnarsi a camminare attraverso l’apprendimento per rinforzo.

Dopo prove ed errori, la coppia di gambe robotiche ha imparato a navigare in un ambiente simulato prima di essere testata nel mondo reale. Inizialmente, il robot ha dimostrato la capacità di camminare in tutte le direzioni, di camminare mentre si accovacciava, di ricollocarsi quando veniva spinto fuori equilibrio e di adattarsi a diversi tipi di superfici.

Il robot Cassie è il primo esempio di un robot a due gambe che utilizza con successo l’apprendimento per rinforzo per camminare.

L’Awe dei Robot che Ballano

Mentre i robot come quelli di Boston Dynamics sono estremamente impressionanti e lasciano a bocca aperta quasi tutti coloro che li guardano, ci sono alcuni fattori chiave. In particolare, questi robot sono programmati e coreografati a mano per ottenere il risultato, ma questo non è il metodo preferito nelle situazioni del mondo reale.

Al di fuori del laboratorio, i robot devono essere robusti, resilienti, flessibili e molto altro. Inoltre, devono essere in grado di incontrare e gestire situazioni inaspettate, il che può essere fatto solo abilitandoli a gestire tali situazioni da soli.

Zhongyu Li ha fatto parte del team che lavorava su Cassie all’Università di Berkeley.

“Questi video possono far credere a qualcuno che questo è un problema risolto e facile,” dice Li. “Ma abbiamo ancora una lunga strada da percorrere per avere robot umanoidi che operino in modo affidabile e vivano in ambienti umani.”

https://www.youtube.com/watch?v=goxCjGPQH7U

Apprendimento per Rinforzo

Per creare un tale robot, il team di Berkeley ha fatto affidamento sull’apprendimento per rinforzo, che è stato utilizzato da aziende come DeepMind per addestrare algoritmi a battere gli esseri umani ai giochi più complessi del mondo. L’apprendimento per rinforzo si basa su prove ed errori, con il robot che impara dai suoi errori.

Il robot Cassie ha utilizzato l’apprendimento per rinforzo per imparare a camminare in una simulazione, il che non è la prima volta che questo approccio è stato utilizzato. Tuttavia, ciò non si traduce normalmente in un ambiente reale. Anche una piccola differenza può portare a un fallimento del robot nel camminare.

I ricercatori hanno utilizzato due simulazioni invece di una, con la prima essere un ambiente di addestramento open source chiamato MuJoCo. In questa prima simulazione, l’algoritmo ha provato e imparato da una libreria di movimenti possibili, e nella seconda simulazione chiamata SimMechanics, il robot li ha testati in condizioni più reali.

Dopo essere stato sviluppato nelle due simulazioni, l’algoritmo non ha avuto bisogno di essere perfezionato. Era già pronto per essere utilizzato nel mondo reale. Non solo è stato in grado di camminare, ma ha fatto molto di più. Secondo i ricercatori, Cassie è stato in grado di riprendersi dopo che due motori nel ginocchio del robot si sono guastati.

Mentre Cassie potrebbe non avere tutti i campanelli e i fischietti come alcuni degli altri robot, è in molti modi molto più impressionante. Ha anche maggiori implicazioni per la tecnologia quando si tratta di utilizzo nel mondo reale, poiché un robot che cammina potrebbe essere utilizzato in molti settori diversi.