Ubisoft Træner AI-Agent Til At Køre En Bil I Et Racerspil

Begrebet “AI” bruges meget i diskussioner om videospil, men det bruges typisk til at referere til logikken, der styrer ikke-spillerkarakterer i videospil, snarere end til at referere til nogen system drevet af, hvad computerforskere ville anerkende som AI. Reelle anvendelser af AI, der udnytter kunstige neurale netværk, er ret sjældne inden for videospilindustrien, men som VentureBeat rapporterer, har spilfirmaet Ubisoft nyligt offentliggjort en rapport, der undersøger mulige anvendelser for en AI-agent trænet med forstærkningslæring.

Mens enheder som DeepMind og OpenAI har undersøgt, hvordan AI’er opfører sig i en række videospil, som StarCraft 2, Dota 2 og Minecraft, er der gjort meget lidt forskning i brugen af AI under de specifikke begrænsninger, som spiludviklere ofte står overfor. Ubisoft La Forge, den eksperimenterende del af Ubisoft, har lige offentliggjort en rapport, der detaljerer en algoritme, der kan udføre forudsigelige handlinger inden for et kommercielt videospil. Ifølge rapporten var AI-algoritmerne i stand til at ramme nuværende benchmarks og udføre komplekse opgaver pålideligt.

Rapportens forfattere bemærker, at selv om forstærkningslæring har været brugt med stor effekt i visse videospil, ofte opnående lighed med de bedste menneskelige spillere af disse spil, er systemerne skabt af OpenAI og DeepMind sjældent nyttige for spiludviklere. Forfatterne bemærker, at mangel på adgang er et stort problem, og at de mest imponerende resultater opnås af forskningsgrupper med adgang til store computermæssige ressourcer, ressourcer, der typisk går langt ud over, hvad den gennemsnitlige spiludvikler har adgang til. Skrev forskerne:

“Disse systemer har sammenlignet set lidt brug inden for videospilindustrien, og vi mener, at mangel på adgang er en stor årsag til dette. Sandt enough, rigtig imponerende resultater … er produceret af store forskningsgrupper med computermæssige ressourcer langt ud over, hvad der typisk er tilgængeligt inden for videospilstudier.”

Forskningsholdet fra Ubisoft havde til formål at afhjælpe nogle af disse problemer ved at skabe en forstærkningslæringsapproach, der optimerer for problemer som datasampleindsamling og runtime-budgetbegrænsninger. Ubisofts løsning var tilpasset fra forskning udført på University of California, Berkeley. Den Soft Actor-Critic-model, der er udviklet af UC Berkely-forskere, kan skabe en model, der kan generalisere effektivt til nye betingelser og er langt mere samples-effektiv end de fleste modeller. Ubisoft-holdet tog denne approach og tilpassede den til både diskrete og kontinuerte handlinger.

Ubisoft-forskningsholdet evaluerede algoritmens præstation på tre forskellige spil. Der var to fodboldspil, der blev brugt til at teste algoritmen, samt et simpelt platformspil. Mens resultaterne for disse spil var lidt dårligere end branchens bedste resultater, blev der udført en yderligere test, hvor algoritmerne opførte sig langt bedre. Forskerne brugte et racerspil som testtilfælde, hvor AI-agenten fulgte en given vej og forhandlede hindringer i en omgang, som agenten ikke havde set under træning. Der var to kontinuerte handlinger, styring og acceleration, samt en binær handling (bremse).

Forskerne sammenfattede deres resultater i rapporten og erklærede, at den hybride Soft Actor-Critic-approach var succesfuld, da de trænede en AI-agent til at køre i høje hastigheder i et kommercielt tilgængeligt videospil. Ifølge forskerne kan deres træningsapproach potentielt fungere for en bred vifte af mulige interaktionsmuligheder. Dette inkluderer tilfælde, hvor AI-agenten har de samme inputmuligheder, som spilleren har, og demonstrerer “den praktiske nyttighed af en sådan algoritme for videospilindustrien.”