Ubisoft Addestra Un Agente AI A Guidare Un’Auto In Un Gioco Di Corsa

Il termine “AI” viene utilizzato molto nelle discussioni sui videogiochi, ma di solito si riferisce alla logica che controlla i personaggi non giocanti nei videogiochi, piuttosto che a qualsiasi sistema guidato da ciò che gli scienziati informatici riconoscerebbero come AI. Le applicazioni reali di AI che utilizzano reti neurali artificiali sono abbastanza rare all’interno dell’industria dei videogiochi, ma come riporta VentureBeat l’azienda di videogiochi Ubisoft ha recentemente pubblicato un documento che indaga sui possibili utilizzi di un agente AI addestrato con apprendimento per rinforzo.

Mentre entità come DeepMind e OpenAI hanno indagato su come gli AI si comportano in una varietà di videogiochi, come StarCraft 2, Dota 2, e Minecraft, molto poca ricerca è stata condotta sull’utilizzo di AI sotto le specifiche limitazioni spesso affrontate dagli sviluppatori di giochi. Ubisoft La Forge, il braccio di prototipazione di Ubisoft, ha appena pubblicato un documento che dettaglia un algoritmo in grado di eseguire azioni prevedibili all’interno di un videogioco commerciale. Secondo il rapporto, gli algoritmi AI sono stati in grado di raggiungere i benchmark attuali e di eseguire compiti complessi in modo affidabile.

Gli autori del documento notano che mentre l’apprendimento per rinforzo è stato utilizzato con grande effetto nel contesto di determinati videogiochi, spesso raggiungendo la parità con i migliori giocatori umani di detti giochi, i sistemi creati da OpenAI e DeepMind sono raramente utili per gli sviluppatori di giochi. Gli autori notano che la mancanza di accessibilità è un grande problema e che i risultati più impressionanti sono ottenuti da gruppi di ricerca con accesso a risorse computazionali su larga scala, risorse che di solito vanno ben oltre quelle a cui ha accesso lo sviluppatore di giochi medio. Hanno scritto i ricercatori:

“Questi sistemi hanno visto relativamente poco utilizzo all’interno dell’industria dei videogiochi, e crediamo che la mancanza di accessibilità sia una delle principali ragioni di ciò. In effetti, i risultati più impressionanti … sono prodotti da grandi gruppi di ricerca con risorse computazionali ben al di là di quelle tipicamente disponibili all’interno degli studi di videogiochi.”

Il team di ricerca di Ubisoft ha cercato di rimediare a alcuni di questi problemi creando un approccio di apprendimento per rinforzo che ottimizza problemi come la raccolta di campioni di dati e le limitazioni di budget di runtime. La soluzione di Ubisoft è stata adattata da una ricerca condotta all’Università della California, Berkeley. Il modello Soft Actor-Critic sviluppato dai ricercatori di UC Berkely è in grado di creare un modello che può effettivamente generalizzare a nuove condizioni e che è molto più efficiente in termini di campioni rispetto alla maggior parte dei modelli. Il team di Ubisoft ha preso questo approccio e lo ha adattato per azioni sia discrete che continue.

Il team di ricerca di Ubisoft ha valutato le prestazioni del loro algoritmo su tre diversi giochi. Sono stati utilizzati due giochi di calcio per testare l’algoritmo, nonché un gioco piattaforme semplice. Mentre i risultati per questi giochi sono stati leggermente peggiori dei risultati di stato dell’arte dell’industria, è stato condotto un altro test in cui gli algoritmi hanno funzionato molto meglio. I ricercatori hanno utilizzato un gioco di guida come caso di test, facendo seguire all’agente AI un percorso dato e negoziando ostacoli in un ambiente che l’agente non aveva visto durante l’addestramento. C’erano due azioni continue, sterzo e accelerazione, nonché un’azione binaria (frenata).

I ricercatori hanno riassunto i loro risultati nel documento, dichiarando che l’approccio ibrido Soft Actor-Critic è stato efficace quando si è addestrato un agente AI a guidare a velocità elevate in un videogioco commerciale disponibile. Secondo i ricercatori, il loro approccio di addestramento può potenzialmente funzionare per una vasta gamma di possibili approcci di interazione. Ciò include istanze in cui l’agente AI ha le stesse opzioni di input del giocatore, dimostrando la “pratica utilità di un tale algoritmo per l’industria dei videogiochi.”