Le difficoltà dell’IA nel padroneggiare Minecraft attraverso l’apprendimento per imitazione

Negli ultimi mesi, Microsoft (MSFT ) e altre aziende che conducono ricerche sul machine learning hanno sfidato squadre di sviluppatori di IA a creare un sistema di IA in grado di giocare a Minecraft e trovare un diamante all’interno del gioco. Come riportato dalla BBC, mentre le piattaforme di IA sono riuscite a dominare scacchi e go, hanno tuttavia faticato a padroneggiare un compito in Minecraft.

La sfida di Microsoft basata su Minecraft si chiamava MineRL, e i risultati della competizione sono stati formalmente annunciati alla recente conferenza NeurIPS. L’intento della competizione era quello di addestrare un’IA attraverso un approccio di “apprendimento per imitazione”. L’apprendimento per imitazione è un metodo in cui un’IA viene addestrata attraverso l’uso dell’osservazione. L’apprendimento per imitazione intende far sì che i sistemi di IA imparino azioni osservando gli esseri umani che eseguono quelle azioni, imparando attraverso l’atto dell’osservazione. L’apprendimento per imitazione, in confronto all’apprendimento per rinforzo, è un metodo molto meno costoso in termini computazionali e sostanzialmente più efficiente per addestrare un’IA.

L’apprendimento per rinforzo spesso richiede molti computer potenti collegati in rete e centinaia o migliaia di ore di addestramento per diventare efficaci in un compito. Al contrario, un’IA addestrata con un metodo di apprendimento per imitazione può essere addestrata molto più velocemente, poiché l’IA ha già una conoscenza di base da cui partire grazie agli operatori umani che l’hanno preceduta.

L’apprendimento per imitazione ha applicazioni pratiche nell’addestramento di un’IA in cui l’IA non può esplorare in sicurezza fino a quando non ha capito le azioni corrette. Tali scenari includerebbero l’addestramento di un veicolo autonomo, poiché la macchina non potrebbe essere lasciata libera di girare per la strada fino a quando non ha imparato i comportamenti desiderati. Utilizzare i dati di un dimostratore umano per addestrare il veicolo potrebbe potenzialmente rendere il processo più veloce e sicuro.

L’azione di trovare un diamante in Minecraft richiede l’esecuzione di molti passaggi in sequenza, come tagliare gli alberi per creare strumenti, esplorare le caverne che contengono i diamanti e trovare effettivamente un diamante all’interno della caverna. Nonostante la complessità del compito, un giocatore umano familiare con il gioco dovrebbe essere in grado di ottenere un diamante in circa 20 minuti.

Sono stati presentati alla competizione oltre 660 agenti di IA diversi, ma nessuno di loro è riuscito a trovare un diamante. I dati forniti per addestrare l’IA erano un set di dati contenente oltre 60 milioni di frame di gioco raccolti da molti giocatori umani. Le posizioni dei diamanti sono randomizzate quando si avvia un’istanza del gioco, quindi ciò significa che le IA non possono semplicemente guardare dove i giocatori umani hanno trovato i diamanti. In altre parole, le IA devono formare una comprensione di come concetti come la creazione di strumenti, l’uso di strumenti, l’esplorazione e la ricerca di risorse siano collegati tra loro.

Nonostante il fatto che nessuno degli agenti di IA sia riuscito a trovare con successo un diamante, il team di organizzazione è stato comunque soddisfatto dei risultati della competizione e del fatto che molto è stato imparato dall’esperimento. La ricerca condotta dalle squadre di IA può aiutare ad avanzare il campo dell’IA, trovando alternative alle strategie di apprendimento per rinforzo.

L’apprendimento per rinforzo spesso offre prestazioni superiori rispetto all’apprendimento per imitazione, con un successo notevole dell’apprendimento per rinforzo rappresentato da AlphaGo di DeepMind. Tuttavia, come notato in precedenza, l’apprendimento per rinforzo richiede enormi risorse computazionali, limitando il suo utilizzo da parte di organizzazioni che non possono permettersi processori su larga scala.

William Guss, studente di dottorato alla Carnegie Mellon University e capo organizzatore della competizione, ha spiegato alla BBC che la competizione MineRL era intesa a indagare alternative all’IA computazionalmente pesante. Ha detto Guss:

“… Lanciare enormi quantità di calcoli sui problemi non è necessariamente il modo giusto per noi per spingere lo stato dell’arte come campo… Funziona direttamente contro la democratizzazione dell’accesso a questi sistemi di apprendimento per rinforzo e lascia la capacità di addestrare agenti in ambienti complessi alle corporation con enormi risorse computazionali.”