Naukowcy AI tworzą 3D modele twarzy z fotografii użytkowników

Zespół naukowców z NetEase (NTES ), chińskiej firmy gamingowej, stworzył system, który może automatycznie wyodrębnić twarze z fotografii i wygenerować modele postaci w grze za pomocą danych z obrazu. Wyniki pracy, opublikowane w artykule Face-to-Parameter Translation for Game Character Auto-Creation, zostały podsumowane przez Synced na Medium.

Coraz więcej deweloperów gier wykorzystuje AI do automatyzacji czasochłonnych zadań. Na przykład, deweloperzy gier wykorzystują algorytmy AI do pomocy w renderowaniu ruchów postaci i obiektów. Innym niedawnym zastosowaniem AI przez deweloperów gier jest tworzenie bardziej potężnych narzędzi do personalizacji postaci.

Personalizacja postaci jest bardzo lubianą funkcją w grach RPG, pozwalającą graczom dostosowywać swoje awatary w wielu różnych ways. Wielu graczy wybiera tworzenie awatarów, które wyglądają jak oni sami, co staje się coraz bardziej osiągalne wraz ze zwiększaniem się złożoności systemów personalizacji postaci. Jednak wraz ze zwiększaniem się złożoności tych narzędzi, stają się one również coraz bardziej skomplikowane. Tworzenie postaci, która przypomina siebie samego, może zajmować godziny dostosowywania suwaków i modyfikowania tajemniczych parametrów. Zespół badawczy NetEase chce to zmienić, tworząc system, który analizuje zdjęcie gracza i generuje model twarzy gracza na postaci w grze.

Narzędzie do automatycznej tworzenia postaci składa się z dwóch części: systemu nauczania naśladowczego i systemu translacji parametrów. System translacji parametrów wyodrębnia cechy z obrazu wejściowego i tworzy parametry dla systemu nauczania naśladowczego. Parametry te są następnie wykorzystywane przez model nauczania naśladowczego do iteracyjnego generowania i poprawiania reprezentacji twarzy wejściowej.

System nauczania naśladowczego ma architekturę, która symuluje sposób, w jaki silnik gry tworzy modele postaci o stałym stylu. Model naśladowczy jest zaprojektowany do wyodrębniania podstawowej prawdy twarzy, biorąc pod uwagę złożone zmienne, takie jak brody, szminki, brwi i fryzury. Parametry twarzy są aktualizowane przez proces gradientu opadającego, porównując się z wejściem. Różnica między cechami wejściowymi a wygenerowanym modelem jest stale sprawdzana, a dostosowania są wprowadzane do modelu, aż model gry jest zgodny z cechami wejściowymi.

Po przeszkoleniu sieci naśladowczej, system translacji parametrów sprawdza dane wyjściowe sieci naśladowczej w stosunku do cech obrazu wejściowego, decydując o przestrzeni cech, która pozwala na obliczenie optymalnych parametrów twarzy.

Największym wyzwaniem było zapewnienie, że 3D modele postaci mogą zachować szczegóły i wygląd na podstawie zdjęć ludzi. Jest to problem międzydomenowy, gdzie 3D generowane obrazy i 2D obrazy prawdziwych ludzi muszą być porównywane, a podstawowe cechy obu muszą być takie same.

Naukowcy rozwiązali ten problem za pomocą dwóch różnych technik. Pierwszą techniką było podzielenie ich szkolenia modelu na dwa różne zadania uczenia: zadanie zawartości twarzy i zadanie dyskryminacyjne. Ogólny kształt i struktura twarzy są wyodrębniane przez minimalizowanie różnicy/straty między dwoma wartościami wyglądu globalnego, podczas gdy dyskryminacyjne/detalowe szczegóły są wypełniane przez minimalizowanie straty między rzeczami, takimi jak cienie w małym regionie. Dwa różne zadania uczenia są łączone, aby osiągnąć pełną reprezentację.

Drugą techniką używaną do generowania 3D modeli była konstrukcja twarzy 3D, która wykorzystuje symulowaną strukturę szkieletową, biorąc pod uwagę kształt kości. To pozwoliło naukowcom na stworzenie bardziej zaawansowanych i dokładnych 3D obrazów w porównaniu z innymi systemami modelowania 3D, które opierają się na siatkach lub siatkach twarzy.

Stworzenie systemu, który może tworzyć realistyczne 3D modele na podstawie 2D obrazów, jest wystarczająco imponujące, ale system automatycznej generacji nie działa tylko na 2D zdjęciach. System może również przyjmować szkice i karykatury twarzy i renderować je jako 3D modele z imponującą dokładnością. Zespół badawczy podejrzewa, że system jest w stanie generować dokładne modele, ponieważ analizuje semantykę twarzy zamiast interpretować surowe wartości pikseli.

Pomimo że automatyczny generator postaci może być używany do tworzenia postaci na podstawie zdjęć, naukowcy twierdzą, że użytkownicy powinni również móc używać go jako techniki uzupełniającej i dalej edytować wygenerowaną postać zgodnie ze swoimi preferencjami.