Ubisoft Træner AI-Agent Til At Køre En Bil I Et Racingspil

Begrebet “AI” bruges meget i diskussioner om videospil, men det bruges typisk til at referere til logikken, der styrer ikke-spiller-karakterer i videospil, snarere end at referere til nogen system drevet af, hvad computerforskere ville anerkende som AI. Reelle anvendelser af AI, der anvender kunstige neurale netværk, er ret sjældne inden for videospilindustrien, men som VentureBeat rapporterer har spilfirmaet Ubisoft nyligt offentliggjort en rapport, der undersøger mulige anvendelser af en AI-agent trænet med forstærkningslæring.

Mens enheder som DeepMind og OpenAI har undersøgt, hvordan AI’er opfører sig i en række videospil, som StarCraft 2, Dota 2 og Minecraft, er der meget lidt forskning i brugen af AI under de specifikke begrænsninger, som spiludviklere ofte står overfor. Ubisoft La Forge, den eksperimenterende del af Ubisoft, har lige offentliggjort en rapport, der detaljerer en algoritme, der kan udføre forudsigelige handlinger inden for et kommercielt videospil. Ifølge rapporten var AI-algoritmerne i stand til at nå nuværende benchmarks og udføre komplekse opgaver pålideligt.

Rapportens forfattere bemærker, at selvom forstærkningslæring har været brugt med stor effekt i visse videospil, og ofte har opnået lighed med de bedste menneskelige spillere af disse spil, er systemerne skabt af OpenAI og DeepMind sjældent nyttige for spiludviklere. Forfatterne bemærker, at mangel på adgang er et stort problem, og at de mest imponerende resultater opnås af forskningsgrupper med adgang til store skala computermæssige ressourcer, ressourcer, der typisk går langt ud over, hvad den gennemsnitlige spiludvikler har adgang til. Skrev forskerne:

“Disse systemer har sammenlignet set lidt brug inden for videospilindustrien, og vi mener, at mangel på adgang er en stor årsag til dette. Sandt enough, rigtigt imponerende resultater … er produceret af store forskningsgrupper med computermæssige ressourcer langt ud over, hvad der typisk er tilgængeligt inden for videospilstudier.”

Forskningsholdet fra Ubisoft havde til formål at afhjælpe nogle af disse problemer ved at skabe en forstærkningslærings-tilgang, der optimerer for problemer som datasample-samling og runtime-budget-begrænsninger. Ubisofts løsning var tilpasset fra forskning udført på University of California, Berkeley. Den Soft Actor-Critic-model, der er udviklet af UC Berkeley-forskere, kan skabe en model, der kan generalisere effektivt til nye forhold og er langt mere sample-effektiv end de fleste modeller. Ubisoft-holdet tog denne tilgang og tilpassede den til både diskrete og kontinuerte handlinger.

Ubisoft-forskningsholdet evaluerede algoritmens præstation på tre forskellige spil. Der var to fodboldspil, der blev brugt til at teste algoritmen, samt et simpelt platformspil. Mens resultaterne for disse spil var lidt dårligere end branchens bedste resultater, blev der udført en yderligere test, hvor algoritmerne opførte sig langt bedre. Forskerne brugte et racingspil som testtilfælde, hvor AI-agenten fulgte en given vej og forhandlede hindringer i en miljø, som agenten ikke havde set under træning. Der var to kontinuerte handlinger, styring og acceleration, samt en binær handling (bremse).

Forskerne sammenfattede deres resultater i rapporten og erklærede, at den hybride Soft Actor-Critic-tilgang var succesfuld, da de trænede en AI-agent til at køre i høje hastigheder i et kommercielt tilgængeligt videospil. Ifølge forskerne kan deres trænings-tilgang potentielt fungere for en bred vifte af mulige interaktions-tilgange. Dette inkluderer tilfælde, hvor AI-agenten har de samme inputmuligheder, som spilleren har, og demonstrerer “den praktiske nyttighed af en sådan algoritme for videospilindustrien.”