Orchestrace tvářové syntézy pomocí semantického rozdělování

Problém s vynálezy lidských tváří pomocí Generative Adversarial Network (GAN) spočívá v tom, že reálná data, která pohání falešné obrázky, přicházejí s nežádoucími a nerozlučitelnými doplňky, jako je vlasy na hlavě (a/nebo tváři), pozadí a různé druhy obličeje, jako jsou brýle, klobouky a náušnice; a že tyto periferní aspekty osobnosti nevyhnutelně splynou v “sloučeném” identitě.

Podle nejčastějších GAN architektur nejsou tyto prvky adresovatelné ve svém vlastním vyhrazeném prostoru, ale jsou spíše velmi úzce spojeny s tváří, ve které (nebo kolem které) jsou vloženy.

Obvykle není možné diktovat nebo ovlivňovat vzhled podčástí tváře vytvořené GAN, jako je zužování očí, prodloužení nosu nebo změna barvy vlasů způsobem, jakým by to mohl udělat policejní kreslíř.

Jedna věc je však jistá: výzkum syntézy obrázků pracuje na tom.

Nový výzkum GAN-založené generace tváří rozdělil různé části tváře do samostatných oblastí, každá s vlastním ‘generátorem’, který spolupracuje s ostatními generátory pro obraz. Ve střední řadě vidíme orchestrující ‘feature map’ budující další oblasti tváře. Zdroj: https://arxiv.org/pdf/2112.02236.pdf

V nové práci výzkumníci z americké pobočky čínské technologické společnosti ByteDance použili semantické rozdělování k rozdělení součástí tváře do samostatných sekcí, každá s vlastním generátorem, takže je možné dosáhnout vyššího stupně disentanglementu. Nebo alespoň percepčního disentanglementu.

Práce je nazvaná SemanticStyleGAN: Learning Compositional Generative Priors for Controllable Image Synthesis and Editing a je doprovázena multimediální stránkou projektu s mnoha příklady jemných transformací, které lze dosáhnout, když jsou prvky obličeje a hlavy izolovány tímto způsobem.

Textura obličeje, styl a barva vlasů, tvar a barva očí a mnoho dalších aspektů dříve nerozlučitelných GAN-generovaných prvků lze nyní de facto disentanglovat, i když kvalita separace a úroveň instrumentality se pravděpodobně bude lišit v jednotlivých případech. Zdroj: https://semanticstylegan.github.io/

Neovladatelný latentní prostor

Generativní adversní síť trénovaná pro generování tváří – jako je StyleGan2 generátor, který pohání populární webovou stránku thispersondoesnotexist.com – vytváří komplexní vztahy mezi “prvky” (ne ve smyslu obličeje), které získává z analýzy tisíců reálných tváří, aby se naučila vytvářet realistické lidské tváře.

Tyto utajené procesy jsou “latentní kódy”, kolektivně latentní prostor. Jsou obtížně analyzovatelné a v důsledku toho obtížně instrumentalizovatelné.

Minulý týden se objevil nový projekt syntézy obrázků, který se snaží “mapovat” tento téměř okultní prostor během trénovacího procesu a poté použít tyto mapy k interaktivnímu navigování v něm a různé další řešení byly navrženy pro získání hlubší kontroly nad GAN-syntetizovaným obsahem.

Byl učiněn určitý pokrok, s různými architekturami GAN, které se snaží “dosáhnout” do latentního prostoru nějakým způsobem a ovládat generování tváří z něj. Takové úsilí zahrnuje InterFaceGAN, StyleFlow, GANSpace a StyleRig, mezi jinými nabídkami v neustále produktivním proudu nových prací.

Co mají všechny tyto společné, je omezený stupeň disentanglementu; chytré GUI posuvníky pro různé aspekty (jako “vlasy” nebo “výraz”) tendují k tažení pozadí a/nebo jiných prvků do transformačního procesu, a žádný z nich (včetně práce diskutované zde) nevyřešil problém temporálního neuronálního vlasu.

Rozdělování a ovládnutí latentního prostoru

V každém případě se výzkumný tým ByteDance uchýlil k jinému přístupu: místo pokusu o rozluštění tajemství jediné GAN, která funguje nad celou generovanou tváří, formuluje SemanticStyleGAN layout-založený přístup, kde tváře jsou “komponovány” samostatnými generátorskými procesy.

Pro dosažení tohoto rozlišení (obličejových) prvků používá SemanticStyleGAN Fourierovy prvky pro generování semantického rozdělovacího mapy (hrubě barevné rozlišení obličejové topografie, zobrazené směrem dolů doprava na obrázku níže) pro izolaci obličejových oblastí, které budou mít samostatnou, vyhrazenou pozornost.

Architektura nového přístupu, který ukládá mezi obličejovou vrstvu semantické rozdělovací mapu, efektivní transformaci rámce do orchestrátora více generátorů pro různé aspekty obrazu.

Rozdělovací mapy jsou generovány pro falešné obrázky, které jsou systematicky prezentovány GAN diskriminátoru pro hodnocení, jak se model zlepšuje, a pro (nefalešné) zdrojové obrázky, které se používají pro trénování.

Na začátku procesu Multi-Layer Perceptron (MLP) inicializuje mapování náhodně vybraných latentních kódů, které budou poté použity pro kontrolu váhy více generátorů, které budou mít každý kontrolu nad částí obličeje, která má být vyrobena.

Každý generátor vytváří feature mapu a simulační hloubkovou mapu z Fourierových prvků, které jsou mu podávány po proudu. Tento výstup je základem pro rozdělovací masky.

Downstream renderovací síť je podmíněna pouze předchozími feature mapami a nyní ví, jak generovat vyšší rozlišení rozdělovací masky, usnadňující konečnou produkci obrazu.

Nakonec bifurkovaný diskriminátor dohlíží na konkatenující distribuci obou RGB obrázků (které jsou pro nás konečným výsledkem) a rozdělovacích masek, které jim umožnily být odděleny.

S SemanticStyleGAN nejsou žádné nežádoucí vizuální perturbace, když “nastavujete” změny obličejových prvků, protože každý obličejový prvek byl samostatně trénován v rámci orchestrace.

Nahrazování pozadí

Protože záměrem projektu je získat větší kontrolu nad generovaným prostředím, zahrnuje renderovací/kompoziční proces generátor pozadí, který je trénován na reálných obrazech.

Jedním z přesvědčivých důvodů, proč pozadí nejsou tažena do manipulací s obličejovými prvky v SemanticStyleGAN, je to, že jsou umístěna na vzdálenější vrstvě a jsou kompletní, i když částečně skryté nadloženými tvářemi.

Pozadí jsou konfigurována tak, aby poskytla kontext a byla také nastavena tak, aby byla vhodná, co se týče osvětlení, pro nadložené tváře.

Trénování a data

“Realistické” modely byly trénovány na počátečních 28 000 obrazech v CelebAMask-HQ, které byly zmenšeny na 256×256 pixelů, aby se vešly do trénovacího prostoru (tj. dostupné VRAM, které diktuje maximální velikost dávky na iteraci).

Byly trénovány různé modely a během vývoje a různých ablačních testů byly experimentovány různé nástroje, datové sady a architektury. Největší produktivní model projektu měl rozlišení 512×512 pixelů, byl trénován po dobu 2,5 dnů na osmi NVIDIA Tesla V100 GPU. Po trénování generování jednoho obrázku trvá 0,137 sekundy na lobe GPU bez paralelizace.

Více karikatur/anime-stylů experimentů, které jsou demonstrovány v mnoha videích na stránce projektu (viz odkaz výše), jsou odvozeny z různých populárních face-based datových sad, včetně Toonify, MetFaces a Bitmoji.

Dočasné řešení?

Autoři tvrdí, že neexistuje žádný důvod, proč by SemanticStyleGAN nemohl být aplikován na jiná domény, jako jsou krajiny, auta, kostely a všechny ostatní “výchozí” testovací domény, na které se nové architektury rutinně aplikují na počátku své kariéry.

Jedna věc je však jistá: práce připouští, že jakmile se počet tříd zvyšuje pro doménu (jako ‘auto’, ‘‘ulice-lampa’, ‘chodce’, ‘budova’, ‘auto’ atd.), tento kusový přístup by mohl být nepracovní v mnoha ohledech, bez další práce na optimalizaci. Datová sada CityScapes, například, má 30 tříd v 8 kategoriích.

Je obtížné říci, zda současný zájem o dobytí latentního prostoru více přímo je tak odsouzený jako alchymie; nebo zda latentní kódy budou nakonec dešifrovatelné a ovladatelné – vývoj, který by mohl učinit tento více “externě komplexní” typ přístupu redundantním.