Ubisoft Addestra un Agente AI a Guidare un’Auto in un Gioco di Corsa

Il termine “AI” viene utilizzato molto spesso nelle discussioni sui videogiochi, ma di solito si riferisce alla logica che controlla i personaggi non giocanti nei videogiochi, piuttosto che a qualsiasi sistema guidato da ciò che gli scienziati informatici riconoscerebbero come AI. Le applicazioni reali di AI che utilizzano reti neurali artificiali sono abbastanza rare all’interno dell’industria dei videogiochi, ma come riporta VentureBeat l’azienda di videogiochi Ubisoft ha recentemente pubblicato un documento che indaga su possibili utilizzi per un agente AI addestrato con apprendimento per rinforzo.

Mentre entità come DeepMind e OpenAI hanno investigato su come le AI si esibiscono in una varietà di videogiochi, come StarCraft 2, Dota 2 e Minecraft, molto poco è stato fatto sulla utilizzazione di AI sotto le specifiche limitazioni spesso affrontate dagli sviluppatori di giochi. Ubisoft La Forge, il braccio di prototipazione di Ubisoft, ha recentemente pubblicato un documento che dettaglia un algoritmo in grado di eseguire azioni prevedibili all’interno di un videogioco commerciale. Secondo il rapporto, gli algoritmi AI sono stati in grado di raggiungere i benchmark attuali e di eseguire compiti complessi in modo affidabile.

Gli autori del documento notano che, mentre l’apprendimento per rinforzo è stato utilizzato con grande efficacia nel contesto di determinati videogiochi, spesso raggiungendo la parità con i migliori giocatori umani di detti giochi, i sistemi creati da OpenAI e DeepMind sono raramente utili per gli sviluppatori di giochi. Gli autori notano che la mancanza di accessibilità è un grande problema e che i risultati più impressionanti sono ottenuti da gruppi di ricerca con risorse computazionali su larga scala, risorse che di solito superano ampiamente quelle disponibili per gli sviluppatori di videogiochi. Hanno scritto i ricercatori:

“Questi sistemi hanno visto un utilizzo relativamente scarso all’interno dell’industria dei videogiochi e crediamo che la mancanza di accessibilità sia una delle principali ragioni dietro a questo. In effetti, i risultati veramente impressionanti … sono prodotti da grandi gruppi di ricerca con risorse computazionali ben al di là di quelle tipicamente disponibili all’interno degli studi di videogiochi.”

Il team di ricerca di Ubisoft ha cercato di risolvere alcuni di questi problemi creando un approccio di apprendimento per rinforzo che ottimizza questioni come la raccolta di campioni di dati e le limitazioni di budget di runtime. La soluzione di Ubisoft è stata adattata da una ricerca condotta all’Università della California, Berkeley. Il modello Soft Actor-Critic sviluppato dai ricercatori di UC Berkeley è in grado di creare un modello che può generalizzare efficacemente a nuove condizioni ed è molto più efficiente in termini di campioni rispetto alla maggior parte dei modelli. Il team di Ubisoft ha preso questo approccio e lo ha adattato per azioni sia discrete che continue.

Il team di ricerca di Ubisoft ha valutato le prestazioni del loro algoritmo su tre diversi giochi. Sono stati utilizzati due giochi di calcio per testare l’algoritmo, oltre a un gioco di piattaforme semplice. Mentre i risultati per questi giochi sono stati leggermente peggiori rispetto ai risultati di settore attuali, è stato condotto un altro test in cui gli algoritmi hanno performato molto meglio. I ricercatori hanno utilizzato un gioco di guida come caso di test, facendo seguire all’agente AI un percorso specifico e negoziare ostacoli in un ambiente che l’agente non aveva visto durante l’addestramento. C’erano due azioni continue, sterzo e accelerazione, oltre a un’azione binaria (frenata).

I ricercatori hanno riassunto i loro risultati nel documento, dichiarando che l’approccio ibrido Soft Actor-Critic è stato efficace quando si è trattato di addestrare un agente AI a guidare a velocità elevate in un videogioco commerciale disponibile. Secondo i ricercatori, il loro approccio di addestramento può potenzialmente funzionare per una vasta gamma di approcci di interazione possibili. Questi includono istanze in cui l’agente AI ha le stesse opzioni di input che ha il giocatore, dimostrando la “pratica utilità di un tale algoritmo per l’industria dei videogiochi”.