Badacze AI tworzą modele twarzy 3D do gier wideo ze zdjęć użytkowników

Zespół badaczy z NetEase, chińskiej firmy zajmującej się grami, stworzył system, który może automatycznie wyodrębniać twarze ze zdjęć i generować modele w grze na podstawie danych obrazu. Wyniki pracy pt Tłumaczenie parametrów twarzą w twarz w celu automatycznego tworzenia postaci w grze, byli podsumowane przez Synced on Medium.

Coraz więcej twórców gier decyduje się na wykorzystanie sztucznej inteligencji do automatyzacji czasochłonnych zadań. Na przykład twórcy gier wykorzystują do pomocy algorytmy sztucznej inteligencji renderować ruchy postaci i obiektów. Innym niedawnym zastosowaniem sztucznej inteligencji przez twórców gier jest tworzenie potężniejszych narzędzi do dostosowywania postaci.

Dostosowywanie postaci to bardzo popularna funkcja gier wideo typu RPG, umożliwiająca graczom dostosowywanie awatarów graczy na wiele różnych sposobów. Wielu graczy decyduje się na to, aby ich awatary wyglądały jak oni sami, co staje się coraz bardziej możliwe w miarę wzrostu poziomu zaawansowania systemów dostosowywania postaci. Jednak w miarę jak narzędzia do tworzenia postaci stają się coraz bardziej wyrafinowane, stają się one również znacznie bardziej złożone. Tworzenie postaci, która jest do nas podobna, może zająć wiele godzin dostosowywania suwaków i zmieniania tajemniczych parametrów. Zespół badawczy NetEase chce to wszystko zmienić, tworząc system, który analizuje zdjęcie gracza i generuje model twarzy gracza na postaci w grze.

Narzędzie do automatycznego tworzenia postaci składa się z dwóch części: systemu uczenia się przez imitację i systemu translacji parametrów. System translacji parametrów wyodrębnia cechy z obrazu wejściowego i tworzy parametry do wykorzystania przez system uczący się. Parametry te są następnie wykorzystywane przez model uczenia się przez imitację do iteracyjnego generowania i ulepszania reprezentacji powierzchni wejściowej.

System uczenia się przez imitację ma architekturę, która symuluje sposób, w jaki silnik gry tworzy modele postaci o stałym stylu. Model imitujący ma na celu wydobycie podstawowej prawdy o twarzy, biorąc pod uwagę złożone zmienne, takie jak broda, szminka, brwi i fryzura. Parametry ściany są aktualizowane w procesie opadania gradientu w porównaniu z danymi wejściowymi. Stale sprawdzana jest różnica między cechami wejściowymi a wygenerowanym modelem i wprowadzane są poprawki w modelu, dopóki model w grze nie będzie zgodny z cechami wejściowymi.

Po przeszkoleniu sieci imitacji system translacji parametrów sprawdza wyniki sieci imitacji względem cech obrazu wejściowego, decydując o przestrzeni cech, która umożliwia obliczenie optymalnych parametrów twarzy.

Największym wyzwaniem było zapewnienie, że trójwymiarowe modele postaci będą mogły zachować szczegóły i wygląd na podstawie zdjęć ludzi. Jest to problem obejmujący wiele dziedzin, w którym należy porównać obrazy wygenerowane w 3D z obrazami 3D prawdziwych ludzi, a podstawowe cechy obu muszą być takie same.

Naukowcy rozwiązali ten problem za pomocą dwóch różnych technik. Pierwsza technika polegała na podziale treningu modelowego na dwa różne zadania edukacyjne: zadanie dotyczące treści twarzy i zadanie dyskryminujące. Ogólny kształt i strukturę twarzy danej osoby są rozpoznawane poprzez minimalizowanie różnicy/utraty pomiędzy dwiema globalnymi wartościami wyglądu, podczas gdy wyróżniające/drobne szczegóły są wypełniane poprzez minimalizację utraty między rzeczami, takimi jak cienie na małym obszarze. Dwa różne zadania edukacyjne są łączone w celu uzyskania pełnej reprezentacji.

Drugą techniką zastosowaną do generowania modeli 3D był system konstrukcji twarzy 3D wykorzystujący symulowaną strukturę szkieletową z uwzględnieniem kształtu kości. Umożliwiło to badaczom stworzenie znacznie bardziej wyrafinowanych i dokładnych obrazów 3D w porównaniu z innymi systemami modelowania 3D, które opierają się na siatkach lub siatkach twarzy.

Stworzenie systemu, który potrafi tworzyć realistyczne modele 3D na podstawie obrazów 2D, samo w sobie jest imponujące, ale system automatycznego generowania nie działa tylko na zdjęciach 2D. System może także wykonywać szkice i karykatury twarzy i renderować je jako modele 3D z imponującą dokładnością. Zespół badawczy podejrzewa, że ​​system jest w stanie generować dokładne modele na podstawie znaków 2D, ponieważ system analizuje semantykę twarzy, zamiast interpretować surowe wartości pikseli.

Chociaż automatycznego generatora znaków można używać do tworzenia postaci na podstawie zdjęć, naukowcy twierdzą, że użytkownicy powinni mieć możliwość wykorzystania go również jako techniki dodatkowej i dalszej edycji wygenerowanej postaci zgodnie ze swoimi preferencjami.