Vědci z oblasti umělé inteligence vytvořili 3D videoherní obličeje z uživatelových fotografií

Tým výzkumníků z čínské herní společnosti NetEase (NTES ) vytvořil systém, který může automaticky extrahovat obličeje z fotografií a generovat herní modely s použitím obrazových dat. Výsledky článku s názvem Přepis obličeje na parametry pro automatické vytváření herních postav byly shrnuté na Medium.

Více a více herních vývojářů se rozhodlo využít umělou inteligenci k automatizaci časově náročných úkolů. Například herní vývojáři používají algoritmy umělé inteligence k pomoci renderovat pohyby postav a objektů. Další nedávné použití umělé inteligence herními vývojáři je vytváření výkonnějších nástrojů pro přizpůsobení postav.

Přizpůsobení postav je velmi oblíbenou funkcí rolí ve videohrách, která umožňuje hráčům přizpůsobit své avatary mnoha různými způsoby. Mnoho hráčů si vybere, aby jejich avatary vypadali jako oni sami, což se stává dosažitelnějším, jak se zvyšuje složitost systémů pro přizpůsobení postav. Nicméně, jak se tyto systémy pro vytváření postav stávají složitějšími, stávají se také mnohem komplexnějšími. Vytvoření postavy, která se podobá vám, může trvat hodiny nastavování posuvníků a změny kryptických parametrů. Tým výzkumníků z NetEase se snaží změnit vše tím, že vytvoří systém, který analyzuje fotografii hráče a generuje model obličeje hráče na herní postavě.

Nástroj pro automatické vytváření postav se skládá ze dvou částí: systému pro napodobování učení a systému pro překlad parametrů. Systém pro překlad parametrů extrahuje funkce z vstupní obrazovky a vytváří parametry pro systém pro napodobování učení. Tyto parametry se poté používají modelem pro napodobování učení k iterativnímu generování a zlepšování reprezentace vstupního obličeje.

Systém pro napodobování učení má architekturu, která simuluje způsob, jakým herní engine vytváří modely postav se stálým stylem. Model pro napodobování učení je navržen tak, aby extrahoval základní pravdu obličeje, přičemž bere v úvahu komplexní proměnné, jako jsou vousy, rtěnka, obočí a účes. Parametry obličeje se aktualizují procesem gradientního sestupu, porovnáním se vstupními údaji. Rozdíl mezi vstupními funkcemi a vygenerovaným modelem se不断ně kontroluje a upravuje model, dokud herní model neodpovídá vstupním funkcím.

Po dokončení školení modelu pro napodobování učení systém pro překlad parametrů kontroluje výstupy modelu pro napodobování učení proti vstupním obrazovým funkcím a rozhoduje o prostoru funkcí, který umožňuje výpočet optimálních parametrů obličeje.

Největší výzvou bylo zajištění toho, aby 3D modely postav mohly zachovat detaily a vzhledy založené na fotografiích lidí. Jedná se o problém mezi doménami, kde se 3D generované obrazy a 2D obrazy skutečných lidí musí porovnat a základní funkce obou musí být stejné.

Výzkumníci tento problém vyřešili dvěma různými technikami. První technikou bylo rozdělení jejich modelového školení do dvou různých úkolů učení: úkolu pro obličejový obsah a úkolu pro diskriminaci. Obecný tvar a struktura obličeje osoby jsou určeny minimalizací rozdílu / ztráty mezi dvěma globálními hodnotami vzhledu, zatímco diskriminativní / jemné detaily jsou vyplněny minimalizací ztráty mezi věcmi, jako jsou stíny v malé oblasti. Dvě různé úkoly učení se spojují, aby se dosáhlo úplné reprezentace.

Druhou technikou pro generování 3D modelů byl systém pro konstrukci obličeje, který používá simulovanou kostru, přičemž bere v úvahu tvar kostí. To umožnilo výzkumníkům vytvořit mnohem sofistikovanější a přesnější 3D obrazy ve srovnání s jinými systémy 3D modelování, které se spoléhají na mříže nebo obličejové sítě.

Vytvoření systému, který může vytvářet realistické 3D modely založené na 2D obrazech, je dostatečně působivé samo o sobě, ale automatický generátor postav nefunguje pouze na 2D fotografiích. Systém může také převést náčrty a karikatury obličejů a vykreslit je jako 3D modely s působivou přesností. Výzkumný tým předpokládá, že systém je schopen generovat přesné modely založené na 2D postavách, protože systém analyzuje sémantiku obličeje místo interpretace surových pixelových hodnot.

Zatímco automatický generátor postav může být použit k vytváření postav založených na fotografiích, výzkumníci říkají, že uživatelé by také měli být schopni použít jej jako doplňkovou techniku a dále upravit vygenerovanou postavu podle svých preferencí.