Ubisoft Szkoli Agenta AI Do Sterowania Samochodem W Grze Wyścigowej

Termin „AI” jest często używany w dyskusjach o grach wideo, ale zwykle odnosi się do logiki, która kontroluje postacie niezależne w grach wideo, a nie do systemów napędzanych przez to, co naukowcy komputerowi rozpoznają jako AI. Rzeczywiste zastosowania AI wykorzystujące sztuczne sieci neuronowe są dość rzadkie w branży gier wideo, ale jak donosi VentureBeat, firma gamingowa Ubisoft niedawno opublikowała artykuł badający możliwe zastosowania agenta AI szkolonego z użyciem uczenia wzmocnionego.

Podczas gdy jednostki takie jak DeepMind i OpenAI badały, jak AI radzą sobie w różnych grach wideo, takich jak StarCraft 2, Dota 2, i Minecraft, bardzo niewiele badań zostało przeprowadzonych na temat wykorzystania AI pod specyficznymi ograniczeniami, których często doświadczają twórcy gier. Ubisoft La Forge, prototypowy oddział Ubisoft, właśnie opublikował artykuł szczegółowo opisujący algorytm zdolny do wykonywania przewidywalnych działań w komercyjnej grze wideo. Według raportu, algorytmy AI były w stanie osiągnąć bieżące wskaźniki i wykonywać złożone zadania w sposób niezawodny.

Autorzy artykułu zauważają, że chociaż uczenie wzmocnione zostało użyte z wielkim skutkiem w kontekście pewnych gier wideo, często osiągając równość z najlepszymi graczami ludzkimi tych gier, systemy stworzone przez OpenAI i DeepMind są rzadko użyteczne dla twórców gier. Autorzy zauważają, że brak dostępności jest dużym problemem i że najbardziej imponujące wyniki są osiągane przez grupy badawcze z dostępem do dużych zasobów obliczeniowych, zasobów, które zwykle znacznie przekraczają to, co ma dostępne przeciętny twórca gier. Napisali badacze:

„Te systemy zostały porównywalnie mało użyte w branży gier wideo, i uważamy, że brak dostępności jest główną przyczyną. W istocie, naprawdę imponujące wyniki … są wytwarzane przez duże grupy badawcze z zasobami obliczeniowymi znacznie większymi niż to, co jest zwykle dostępne w studiach gier wideo.”

Zespół badawczy z Ubisoft miał na celu rozwiązanie niektórych z tych problemów, tworząc podejście uczenia wzmocnionego, które optymalizuje problemy, takie jak zbieranie próbek danych i ograniczenia budżetu czasu wykonywania. Rozwiązanie Ubisoft zostało zaadaptowane z badań przeprowadzonych na Uniwersytecie Kalifornijskim w Berkeley. Model Soft Actor-Critic opracowany przez badaczy z UC Berkeley jest w stanie stworzyć model, który może skutecznie uogólniać do nowych warunków i jest znacznie bardziej wydajny pod względem próbek niż większość modeli. Zespół Ubisoft zaadaptował to podejście do działań dyskretnych i ciągłych.

Zespół badawczy Ubisoft ocenił wydajność swojego algorytmu w trzech różnych grach. Były dwie gry piłkarskie użyte do testowania algorytmu, a także prosta gra platformowa. Podczas gdy wyniki dla tych gier były nieco gorsze niż wyniki branży, przeprowadzono kolejny test, w którym algorytmy radziły sobie znacznie lepiej. Badacze użyli gry wyścigowej jako przypadku testowego, mając agenta AI śledzącego określoną ścieżkę i negocjującego przeszkody w środowisku, które agent nie widział podczas szkolenia. Były dwie ciągłe akcje, sterowanie i przyspieszenie, a także jedna akcja binarna (hamowanie).

Badacze podsumowali swoje wyniki w artykule, oświadczając, że hybrydowe podejście Soft Actor-Critic było skuteczne podczas szkolenia agenta AI do jazdy z wysoką prędkością w komercyjnej grze wideo. Według badaczy, ich podejście szkoleniowe może potencjalnie działać dla szerokiej gamy możliwych podejść interakcyjnych. Obejmują one przypadki, w których agent AI ma takie same opcje wejściowe, jak gracz, demonstrując „praktyczną przydatność takiego algorytmu dla branży gier wideo”.