Ubisoft Tränar AI-agent Att Köra Bil I Ett Racingspel

Begreppet “AI” används mycket i diskussioner om videospel, men det används vanligtvis för att hänvisa till logiken som styr icke-spelare i videospel, snarare än att hänvisa till något system som drivs av vad datavetare skulle känna igen som AI. Verkliga tillämpningar av AI som använder artificiella neuronnät är ganska sällsynta inom videospelindustrin, men som VentureBeat rapporterar har spelbolaget Ubisoft nyligen publicerat en rapport som undersöker möjliga användningar för en AI-agent som tränats med förstärkt inlärning.

Medan enheter som DeepMind och OpenAI har undersökt hur AI-prestationer fungerar i en mängd olika videospel, som StarCraft 2, Dota 2, och Minecraft, har mycket lite forskning gjorts om användningen av AI under de specifika begränsningar som ofta möter spelutvecklare. Ubisoft La Forge, prototypavdelningen inom Ubisoft, har just publicerat en rapport som beskriver en algoritm som kan utföra förutsägbara åtgärder inom ett kommersiellt videospel. Enligt rapporten var AI-algoritmerna kapabla att nå nuvarande benchmark och utföra komplexa uppgifter tillförlitligt.

Författarna till rapporten påpekar att förstärkt inlärning har använts med stor framgång i vissa videospel, ofta uppnående jämlikhet med de bästa mänskliga spelarna i dessa spel, men systemen som skapats av OpenAI och DeepMind är sällan användbara för spelutvecklare. Författarna påpekar att bristen på tillgänglighet är ett stort problem och att de mest imponerande resultaten uppnås av forskargrupper med tillgång till stora beräkningsresurser, resurser som vanligtvis går långt utöver vad den genomsnittliga spelutvecklaren har tillgång till. Skrev forskarna:

“Dessa system har jämförelsevis sett lite användning inom videospelindustrin, och vi tror att bristen på tillgänglighet är en stor anledning till detta. Verkligen imponerande resultat … produceras av stora forskargrupper med beräkningsresurser långt utöver vad som vanligtvis är tillgängligt inom videospelstudior.”

Forskningsgruppen från Ubisoft syftade till att åtgärda några av dessa problem genom att skapa en förstärkt inlärningsansats som optimerade för problem som datainsamlingsprover och tidsbegränsningar. Ubisofts lösning anpassades från forskning som gjorts vid University of California, Berkeley. Den mjuka aktör-kritikern-modellen som utvecklats av UC Berkely-forskare kan skapa en modell som kan generalisera effektivt till nya förhållanden och är mycket mer prover-effektiv än de flesta modeller. Ubisoft-teamet tog denna ansats och anpassade den för både diskreta och kontinuerliga åtgärder.

Ubisoft-forskningsgruppen utvärderade prestandan för sin algoritm i tre olika spel. Det fanns två fotbollsspel som användes för att testa algoritmen, samt ett enkelt plattformsspel. Medan resultaten för dessa spel var något sämre än branschens bästa resultat, genomfördes ett annat test där algoritmerna presterade mycket bättre. Forskarna använde ett racingspel som testfall, med AI-agenten som följde en given bana och förhandlade hinder i en miljö som agenten inte hade sett under utbildningen. Det fanns två kontinuerliga åtgärder, styrning och acceleration, samt en binär åtgärd (bromsning).

Forskarna sammanfattade sina resultat i rapporten, och förklarade att den hybrida mjuka aktör-kritikern-ansatsen var framgångsrik när de tränade en AI-agent att köra i höga hastigheter i ett kommersiellt tillgängligt videospel. Enligt forskarna kan deras träningsansats potentiellt fungera för en mängd olika interaktionsmetoder. Dessa inkluderar exempel där AI-agenten har exakt samma indataalternativ som spelaren, vilket demonstrerar “den praktiska användbarheten av en sådan algoritm för videospelindustrin.”