Ubisoft Traint AI-Agent Om Een Auto Te Besturen In Een Racespel

De term “AI” wordt veel gebruikt in discussies over videospellen, maar het wordt meestal gebruikt om te verwijzen naar de logica die niet-spelerspersonages in videospellen bestuurt, in plaats van te verwijzen naar een systeem dat wordt aangedreven door wat computerwetenschappers zouden herkennen als AI. Echte toepassingen van AI met behulp van kunstmatige neurale netwerken zijn vrij zeldzaam in de videospellenindustrie, maar zoals VentureBeat rapporteert heeft het spelbedrijf Ubisoft onlangs een paper gepubliceerd waarin mogelijke toepassingen voor een AI-agent die is getraind met versterking leerlingen worden onderzocht.

Terwijl entiteiten zoals DeepMind en OpenAI hebben onderzocht hoe AI’s presteren in verschillende videospellen, zoals StarCraft 2, Dota 2, en Minecraft, is er weinig onderzoek gedaan naar het gebruik van AI onder de specifieke beperkingen die spelontwikkelaars vaak tegenkomen. Ubisoft La Forge, de prototyping-arm van Ubisoft, heeft onlangs een paper gepubliceerd waarin een algoritme wordt beschreven dat in staat is om voorspelbare acties uit te voeren in een commercieel videospel. Volgens het rapport waren de AI-algoritmen in staat om de huidige benchmarks te halen en complexe taken betrouwbaar uit te voeren.

De auteurs van de paper merken op dat versterking leerlingen goed heeft gewerkt in de context van bepaalde videospellen, vaak gelijkwaardig aan de beste menselijke spelers van die spellen, maar dat de systemen die zijn gemaakt door OpenAI en DeepMind zelden nuttig zijn voor spelontwikkelaars. De auteurs merken op dat het gebrek aan toegankelijkheid een groot probleem is en dat de meest indrukwekkende resultaten worden behaald door onderzoeksGroepen met toegang tot grote computationele middelen, middelen die meestal verder gaan dan wat de gemiddelde spelontwikkelaar heeft. De onderzoekers schreven:

“Deze systemen zijn relatief weinig gebruikt in de videospellenindustrie en wij geloven dat het gebrek aan toegankelijkheid een belangrijke reden is. In feite zijn de meest indrukwekkende resultaten … behaald door grote onderzoeksGroepen met computationele middelen die verder gaan dan wat er typisch beschikbaar is in videospellenstudio’s.”

Het onderzoeksteam van Ubisoft probeerde enkele van deze problemen op te lossen door een versterking leerlingenbenadering te creëren die geoptimaliseerd was voor problemen zoals gegevenssteekproefcollectie en runtime-begrotingsbeperkingen. De oplossing van Ubisoft was aangepast van onderzoek gedaan aan de Universiteit van Californië, Berkeley. Het Soft Actor-Critic-model dat is ontwikkeld door UC Berkely-onderzoekers kan een model creëren dat effectief kan generaliseren naar nieuwe omstandigheden en veel meer steekproef-efficiënt is dan de meeste modellen. Het team van Ubisoft nam deze benadering en paste het aan voor zowel discrete als continue acties.

Het onderzoeksteam van Ubisoft heeft de prestaties van hun algoritme getest op drie verschillende spellen. Er werden twee voetbalspellen gebruikt om het algoritme te testen, evenals een eenvoudig platformspel. Terwijl de resultaten voor deze spellen iets slechter waren dan de state-of-the-art-industryresultaten, werd een andere test uitgevoerd waarbij de algoritmen veel beter presteerden. De onderzoekers gebruikten een racespel als testgeval, waarbij de AI-agent een gegeven pad volgde en obstakels in een omgeving die de agent niet had gezien tijdens de training. Er waren twee continue acties, sturen en acceleratie, evenals één binaire actie (remmen).

De onderzoekers hebben hun resultaten samengevat in de paper, waarin wordt verklaard dat de hybride Soft Actor-Critic-benadering succesvol was bij het trainen van een AI-agent om op hoge snelheid te rijden in een commercieel beschikbaar videospel. Volgens de onderzoekers kan hun trainingsbenadering mogelijk werken voor een breed scala aan mogelijke interactiebenaderingen. Deze omvatten gevallen waarin de AI-agent dezelfde invoeropties heeft als de speler, waarmee wordt aangetoond dat “de praktische bruikbaarheid van een dergelijk algoritme voor de videospellenindustrie”.