Ubisoft addestra un agente di intelligenza artificiale a guidare un'auto in un gioco di corse

Il termine “AI” è molto utilizzato nelle discussioni sui videogiochi, ma in genere è usato per riferirsi alla logica che controlla i personaggi non giocanti nei videogiochi, piuttosto che riferirsi a qualsiasi sistema guidato da ciò che gli scienziati informatici riconoscerebbero come AI. . Tuttavia, le applicazioni effettive dell'intelligenza artificiale che utilizzano reti neurali artificiali sono piuttosto rare nel settore dei videogiochi come riporta VentureBeat società di gioco Ubisoft ha recentemente pubblicato un documento indagare sui possibili usi di un agente AI addestrato con l'apprendimento per rinforzo.

Mentre entità come DeepMind e OpenAI hanno studiato le prestazioni delle IA in una varietà di videogiochi, come StarCraft 2, Dota 2e Minecraft, sono state fatte pochissime ricerche sull'uso dell'intelligenza artificiale sotto i vincoli specifici spesso affrontati dagli sviluppatori di giochi. Ubisoft La Forge, il braccio di prototipazione di Ubisoft, ha recentemente pubblicato un documento che descrive in dettaglio un algoritmo in grado di eseguire azioni prevedibili all'interno di un videogioco commerciale. Secondo il rapporto, gli algoritmi AI erano in grado di raggiungere i benchmark attuali e di eseguire compiti complessi in modo affidabile.

Gli autori dell'articolo notano che mentre l'apprendimento per rinforzo è stato utilizzato con grande efficacia nel contesto di alcuni videogiochi, raggiungendo spesso la parità con i migliori giocatori umani di tali giochi, i sistemi creati da OpenAI e DeepMind sono raramente utili per gli sviluppatori di giochi. Gli autori osservano che la mancanza di accessibilità è un grosso problema e che i risultati più impressionanti sono ottenuti da gruppi di ricerca con accesso a risorse computazionali su larga scala, risorse che in genere vanno ben oltre ciò a cui ha accesso lo sviluppatore di giochi medio. Hanno scritto i ricercatori:

“Questi sistemi sono stati relativamente poco utilizzati nell'industria dei videogiochi e riteniamo che la mancanza di accessibilità sia una delle ragioni principali alla base di ciò. In effetti, risultati davvero impressionanti... sono prodotti da grandi gruppi di ricerca con risorse computazionali ben oltre quelle normalmente disponibili all'interno degli studi di videogiochi.

Il team di ricerca di Ubisoft mirava a porre rimedio ad alcuni di questi problemi creando un approccio di apprendimento per rinforzo ottimizzato per problemi come la raccolta di campioni di dati e i vincoli di budget di runtime. La soluzione di Ubisoft è stata adattata dalla ricerca condotta presso l'Università della California, Berkeley. Il modello Soft Actor-Critic sviluppato dalle ricerche di UC Berkely è in grado di creare un modello che può generalizzare efficacemente a nuove condizioni ed è molto più efficiente rispetto alla maggior parte dei modelli. Il team di Ubisoft ha adottato questo approccio e lo ha adattato sia per azioni discrete che continue.

Il team di ricerca di Ubisoft ha valutato le prestazioni del proprio algoritmo su tre diversi giochi. Sono stati utilizzati due giochi di calcio per testare l'algoritmo, oltre a un semplice gioco in stile platform. Sebbene i risultati di questi giochi fossero leggermente peggiori rispetto ai risultati del settore all'avanguardia, è stato condotto un altro test in cui gli algoritmi hanno funzionato molto meglio. I ricercatori hanno utilizzato un videogioco di guida come banco di prova, facendo in modo che l'agente di intelligenza artificiale seguisse un determinato percorso e superasse gli ostacoli in un ambiente a cui l'agente non aveva assistito durante l'addestramento. C'erano due azioni continue, sterzata e accelerazione, oltre a un'azione binaria (rottura).

I ricercatori hanno riassunto i loro risultati nel documento, dichiarando che l'approccio ibrido Soft Actor-Critic ha avuto successo durante l'addestramento di un agente di intelligenza artificiale a guidare ad alta velocità in un videogioco disponibile in commercio. Secondo i ricercatori, il loro approccio alla formazione può potenzialmente funzionare per un'ampia varietà di possibili approcci di interazione. Questi includono casi in cui l'agente AI ha le stesse identiche opzioni di input che ha il giocatore, dimostrando "l'utilità pratica di un tale algoritmo per l'industria dei videogiochi".