AI-modellen en platforms
Ubisoft Traint AI-Agent Om Een Auto Te Besturen In Een Racespel
Voeg Unite.AI toe aan je voorkeursbronnen op Google
Het begrip “AI” wordt vaak gebruikt in discussies over videospellen, maar het wordt meestal gebruikt om te verwijzen naar de logica die niet-spelerspersonages in videospellen bestuurt, in plaats van te verwijzen naar een systeem dat wordt aangedreven door wat computerwetenschappers zouden herkennen als AI. Echte toepassingen van AI met behulp van kunstmatige neurale netwerken zijn vrij zeldzaam in de videospellenindustrie, maar zoals VentureBeat rapporteert heeft het spelbedrijf Ubisoft onlangs een paper gepubliceerd waarin mogelijke toepassingen voor een AI-agent getraind met versterking leer worden onderzocht.
Terwijl entiteiten als DeepMind en OpenAI hebben onderzocht hoe AI’s presteren in verschillende videospellen, zoals StarCraft 2, Dota 2 en Minecraft, is er weinig onderzoek gedaan naar het gebruik van AI onder de specifieke beperkingen die spelontwikkelaars vaak tegenkomen. Ubisoft La Forge, de prototyping-arm van Ubisoft, heeft onlangs een paper gepubliceerd waarin een algoritme wordt beschreven dat in staat is om voorspelbare acties uit te voeren binnen een commercieel videospel. Volgens het rapport waren de AI-algoritmen in staat om huidige benchmarks te halen en complexe taken betrouwbaar uit te voeren.
De auteurs van de paper merken op dat versterking leer wel effectief is gebleken in de context van bepaalde videospellen, waarbij het gelijkwaardig is aan de beste menselijke spelers van die spellen, maar de systemen die zijn gecreëerd door OpenAI en DeepMind worden zelden gebruikt door spelontwikkelaars. De auteurs merken op dat het gebrek aan toegankelijkheid een groot probleem is en dat de meest indrukwekkende resultaten worden behaald door onderzoeksGroepen met toegang tot grote schaal computermiddelen, middelen die meestal verder gaan dan wat de gemiddelde spelontwikkelaar heeft. De onderzoekers schreven:
“Deze systemen zijn relatief weinig gebruikt in de videospellenindustrie en wij geloven dat het gebrek aan toegankelijkheid een belangrijke reden is. In feite worden echt indrukwekkende resultaten … behaald door grote onderzoeksGroepen met computermiddelen die verder gaan dan wat meestal beschikbaar is in videospelstudio’s.”
Het onderzoeksteam van Ubisoft probeerde enkele van deze problemen op te lossen door een versterking leerbenadering te creëren die werd geoptimaliseerd voor problemen zoals gegevenssteekproefverzameling en runtime budgetbeperkingen. De oplossing van Ubisoft was aangepast van onderzoek gedaan aan de Universiteit van Californië, Berkeley. Het Soft Actor-Critic-model dat is ontwikkeld door UC Berkeley-onderzoekers kan een model creëren dat effectief kan generaliseren naar nieuwe omstandigheden en is veel efficiënter dan de meeste modellen. Het team van Ubisoft nam deze benadering en paste deze aan voor zowel discrete als continue acties.
Het onderzoeksteam van Ubisoft evalueerde de prestaties van hun algoritme op drie verschillende spellen. Er werden twee voetbalspellen gebruikt om het algoritme te testen, evenals een eenvoudig platformspel. Hoewel de resultaten voor deze spellen iets slechter waren dan de industriebrede resultaten, werd een andere test uitgevoerd waarin de algoritmen veel beter presteerden. De onderzoekers gebruikten een racespel als testcase, waarbij de AI-agent een gegeven pad volgde en obstakels in een omgeving die de agent niet had gezien tijdens de training. Er waren twee continue acties, sturen en accelereren, evenals één binaire actie (remmen).
De onderzoekers samenvatten hun resultaten in de paper, waarin ze verklaren dat de hybride Soft Actor-Critic-benadering succesvol was bij het trainen van een AI-agent om op hoge snelheid te rijden in een commercieel beschikbaar videospel. Volgens de onderzoekers kan hun trainingsbenadering potentieel werken voor een breed scala aan mogelijke interactiebenaderingen. Deze omvatten gevallen waarin de AI-agent exact dezelfde invoeropties heeft als de speler, waarmee wordt aangetoond dat de “praktische bruikbaarheid van een dergelijk algoritme voor de videospellenindustrie”.
