Ubisoft Tränar AI-Agent Att Köra Bil I Ett Racingspel

Begreppet “AI” används ofta i diskussioner om videospel, men det används vanligtvis för att hänvisa till logiken som styr icke-spelarkaraktärer i videospel, snarare än att hänvisa till något system som drivs av vad datavetare skulle känna igen som AI. Verkliga tillämpningar av AI som använder artificiella neuronnät är ganska sällsynta inom videospelindustrin, men som VentureBeat rapporterar har spelbolaget Ubisoft nyligen publicerat en rapport som undersöker möjliga användningar för en AI-agent som tränats med förstärkt inlärning.

Medan enheter som DeepMind och OpenAI har undersökt hur AI-prestationer fungerar i en mängd olika videospel, som StarCraft 2, Dota 2 och Minecraft, har mycket lite forskning gjorts om användningen av AI under de specifika begränsningar som ofta möter spelutvecklare. Ubisoft La Forge, Ubisofts prototyperingsarm, har nyligen publicerat en rapport som detaljerar en algoritm som kan utföra förutsägbara åtgärder inom ett kommersiellt videospel. Enligt rapporten kunde AI-algoritmerna nå aktuella benchmark och utföra komplexa uppgifter tillförlitligt.

Rapportförfattarna påpekar att förstärkt inlärning har använts med stor framgång i vissa videospel, ofta uppnått jämlikhet med de bästa mänskliga spelarna i dessa spel, men systemen som skapats av OpenAI och DeepMind är sällan användbara för spelutvecklare. Författarna påpekar att bristen på tillgänglighet är ett stort problem och att de mest imponerande resultaten uppnås av forskargrupper med storskaliga beräkningsresurser, resurser som vanligtvis går långt utöver vad den genomsnittliga spelutvecklaren har tillgång till. Skrev forskarna:

“Dessa system har jämförelsevis sett lite användning inom videospelindustrin, och vi tror att bristen på tillgänglighet är en stor anledning till detta. Verkligen imponerande resultat … produceras av stora forskargrupper med beräkningsresurser långt utöver vad som vanligtvis finns tillgängligt inom videospelstudior.”

Forskningsgruppen från Ubisoft syftade till att åtgärda några av dessa problem genom att skapa en förstärkt inlärningsansats som optimerade för problem som dataexempelsamling och körningstidsbegränsningar. Ubisofts lösning anpassades från forskning som gjorts vid University of California, Berkeley. Den mjuka aktör-kritikern-modellen som utvecklats av UC Berkeley-forskare kan skapa en modell som kan generalisera effektivt till nya förhållanden och är mycket mer exempel-effektiv än de flesta modeller. Ubisoft-teamet tog denna ansats och anpassade den för både diskreta och kontinuerliga åtgärder.

Ubisofts forskningsgrupp utvärderade algoritmens prestanda i tre olika spel. Det fanns två fotbollsspel som användes för att testa algoritmen, samt ett enkelt plattformsspel. Medan resultaten för dessa spel var något sämre än branschens bästa resultat, genomfördes ett annat test där algoritmerna presterade mycket bättre. Forskarna använde ett racingspel som testfall, där AI-agenten följde en given bana och förhandlade hinder i en miljö som agenten inte hade sett under utbildningen. Det fanns två kontinuerliga åtgärder, styrning och acceleration, samt en binär åtgärd (bromsning).

Forskarna sammanfattade sina resultat i rapporten och förklarade att den hybrida mjuka aktör-kritikern-ansatsen var framgångsrik när de tränade en AI-agent att köra i höga hastigheter i ett kommersiellt tillgängligt videospel. Enligt forskarna kan deras träningsansats potentiellt fungera för en mängd olika interaktionsmetoder. Dessa inkluderar tillfällen där AI-agenten har exakt samma inmatningsalternativ som spelaren, vilket visar “den praktiska användbarheten av en sådan algoritm för videospelindustrin”.