Ubisoft Antrenează Un Agent AI Pentru A Conduce O Mașină Într-un Joc De Curse

Termenul “AI” este folosit mult în discuțiile despre jocuri video, dar este de obicei folosit pentru a se referi la logica care controlează personajele non-jucător în jocuri video, și nu la orice sistem condus de ceea ce oamenii de știință din domeniul informaticii ar recunoaște ca fiind AI. Aplicările reale ale AI care utilizează rețele neuronale artificiale sunt destul de rare în industria jocurilor video, dar după cum raportează VentureBeat compania de jocuri video Ubisoft a publicat recent un articol care investighează posibilele utilizări ale unui agent AI antrenat cu învățare prin întărire.

În timp ce entități precum DeepMind și OpenAI au investigat modul în care AI-urile funcționează în diverse jocuri video, precum StarCraft 2, Dota 2 și Minecraft, foarte puține cercetări au fost efectuate asupra utilizării AI în condițiile specifice cu care se confruntă dezvoltatorii de jocuri. Ubisoft La Forge, brațul de prototipare al Ubisoft, a publicat recent un articol care detaliază un algoritm capabil să efectueze acțiuni previzibile într-un joc video comercial. Conform raportului, algoritmii AI au fost capabili să atingă benchmark-urile actuale și să efectueze sarcini complexe în mod fiabil.

Autorii articolului notează că, deși învățarea prin întărire a fost utilizată cu mare succes în contextul anumitor jocuri video, obținând paritate cu cei mai buni jucători umani ai respectivelor jocuri, sistemele create de OpenAI și DeepMind sunt rareori utile pentru dezvoltatorii de jocuri. Autorii notează că lipsa de accesibilitate este o problemă majoră și că cele mai impresionante rezultate … sunt obținute de grupuri de cercetare cu resurse computaționale la scară largă, resurse care de obicei depășesc cu mult ceea ce are la dispoziție un dezvoltator de jocuri mediu. Cercetătorii au scris:

„Aceste sisteme au fost utilizate relativ puțin în industria jocurilor video și credem că lipsa de accesibilitate este o cauză majoră a acestui fapt. Într-adevăr, rezultatele impresionante … sunt produse de grupuri de cercetare mari, cu resurse computaționale care depășesc cu mult ceea ce este disponibil în mod normal în studiourile de jocuri.”

Echipa de cercetare de la Ubisoft a încercat să remedieze unele dintre aceste probleme, creând o abordare de învățare prin întărire care să optimizeze problemele precum colectarea de date și constrângerile de buget de rulare. Soluția Ubisoft a fost adaptată din cercetările efectuate la Universitatea California, Berkeley. Modelul Soft Actor-Critic dezvoltat de cercetătorii de la UC Berkeley poate crea un model care să generalizeze eficient la condiții noi și este mult mai eficient din punct de vedere al eșantioanelor decât majoritatea modelelor. Echipa Ubisoft a preluat această abordare și a adaptat-o atât pentru acțiuni discrete, cât și pentru acțiuni continue.

Echipa de cercetare de la Ubisoft a evaluat performanța algoritmului lor pe trei jocuri diferite. Au fost utilizate două jocuri de fotbal pentru a testa algoritmul, precum și un joc de platformă simplu. În timp ce rezultatele pentru aceste jocuri au fost puțin mai slabe decât rezultatele de top din industrie, a fost efectuat un alt test în care algoritmii au funcționat mult mai bine. Cercetătorii au utilizat un joc de curse video ca test, având agentul AI care urmează o traiectorie dată și negociază obstacole într-un mediu pe care agentul nu l-a văzut în timpul antrenamentului. Au existat două acțiuni continue, direcția și accelerația, precum și o acțiune binară (frânarea).

Cercetătorii și-au rezumat rezultatele în articol, declarând că abordarea hibridă Soft Actor-Critic a fost de succes atunci când a fost utilizată pentru antrenarea unui agent AI pentru a conduce la viteze mari într-un joc video comercial. Conform cercetătorilor, abordarea lor de antrenament poate funcționa potențial pentru o varietate largă de abordări de interacțiune posibile. Acestea includ instanțe în care agentul AI are exact aceleași opțiuni de intrare pe care le are jucătorul, demonstrând “utilitatea practică a unui astfel de algoritm pentru industria jocurilor video.”