Ubisoft Szkoli Agenta AI Do Sterowania Samochodem W Grze Wyścigowej

Termin „AI” jest często używany w dyskusjach na temat gier wideo, ale zwykle odnosi się do logiki, która kontroluje postacie niegraczy w grach wideo, a nie do systemu napędzanego przez to, co uczeni komputerowi rozpoznają jako AI. Rzeczywiste zastosowania AI wykorzystujące sztuczne sieci neuronowe są dość rzadkie w branży gier wideo, ale jak donosi VentureBeat, firma Ubisoft niedawno opublikowała artykuł badający możliwe zastosowania agenta AI szkolonego za pomocą uczenia wzmocnionego.

Podczas gdy jednostki takie jak DeepMind i OpenAI badały, jak AI radzą sobie w różnych grach wideo, takich jak StarCraft 2, Dota 2 i Minecraft, bardzo niewiele badań zostało przeprowadzonych na temat zastosowania AI pod określonymi ograniczeniami, które często spotykają się z deweloperami gier. Ubisoft La Forge, prototypowy oddział Ubisoft, właśnie opublikował artykuł opisujący algorytm zdolny do wykonywania przewidywalnych działań w komercyjnej grze wideo. Według raportu, algorytmy AI były w stanie osiągnąć obecne benchmarki i wykonywać złożone zadania w sposób niezawodny.

Autorzy artykułu zauważają, że chociaż uczenie wzmocnione zostało użyte z wielkim powodzeniem w kontekście pewnych gier wideo, często osiągając równość z najlepszymi graczami tych gier, systemy stworzone przez OpenAI i DeepMind są rzadko użyteczne dla deweloperów gier. Autorzy zauważają, że brak dostępności jest dużym problemem i że najbardziej imponujące wyniki są osiągane przez duże grupy badawcze z dostępem do ogromnych zasobów obliczeniowych, zasobów, które zwykle znacznie przekraczają to, co jest dostępne w studiu gier wideo. Napisali:

„Te systemy zostały stosunkowo rzadko użyte w branży gier wideo i uważamy, że brak dostępności jest główną przyczyną. W istocie, naprawdę imponujące wyniki … są osiągane przez duże grupy badawcze z zasobami obliczeniowymi, które znacznie przekraczają to, co jest dostępne w studiu gier wideo.”

Zespół badawczy z Ubisoft miał na celu rozwiązanie niektórych z tych problemów, tworząc podejście do uczenia wzmocnionego, które optymalizuje problemy, takie jak zbieranie próbek danych i ograniczenia budżetu czasu wykonania. Rozwiązanie Ubisoft zostało dostosowane z badań przeprowadzonych na Uniwersytecie Kalifornijskim w Berkeley. Model Soft Actor-Critic opracowany przez badaczy z UC Berkeley jest w stanie stworzyć model, który może skutecznie uogólniać do nowych warunków i jest znacznie bardziej wydajny pod względem próbek niż większość modeli. Zespół Ubisoft dostosował to podejście do dyskretnych i ciągłych działań.

Zespół badawczy Ubisoft ocenił wydajność swojego algorytmu w trzech różnych grach. Były dwie gry piłkarskie, które zostały użyte do przetestowania algorytmu, a także prosta gra platformowa. Podczas gdy wyniki tych gier były nieco gorsze niż wyniki branży, przeprowadzono kolejny test, w którym algorytmy radziły sobie znacznie lepiej. Badacze użyli gry wyścigowej jako przypadku testowego, mając agenta AI, który śledził określoną ścieżkę i negocjował przeszkody w środowisku, które agent nie widział podczas treningu. Były dwie ciągłe działania, sterowanie i przyspieszenie, a także jedno binarne działanie (hamowanie).

Badacze podsumowali swoje wyniki w artykule, oświadczając, że hybrydowe podejście Soft Actor-Critic było skuteczne w szkoleniu agenta AI do jazdy z wysoką prędkością w komercyjnej grze wideo. Według badaczy, ich podejście szkoleniowe może potencjalnie działać dla szerokiej gamy możliwych podejść interakcyjnych. Obejmują one przypadki, w których agent AI ma dokładnie te same opcje wejściowe, co gracz, demonstrując „praktyczną przydatność takiego algorytmu dla branży gier wideo.”