GAN als Face Renderer voor ‘Traditionele’ CGI

Mening Toen Generative Adversarial Networks (GAN’s) voor het eerst hun vermogen demonstreerden om realistische 3D-gezichten te reproduceren, leidde dit tot een goudkoorts naar het onontgonnen potentieel van GAN’s om tijdelijk consistente video’s met menselijke gezichten te creëren.

Er leek ergens in de latent space van de GAN een verborgen orde en rationaliteit te zijn – een schema van nascente semantische logica, begraven in de latent codes, dat een GAN in staat zou stellen om meerdere consistent beelden en interpretaties (zoals expressieveranderingen) van hetzelfde gezicht te genereren – en vervolgens een tijdelijk overtuigende deepfake video methode te bieden die autoencoders zou overtreffen.

Hoogresolutie-uitvoer zou triviaal zijn in vergelijking met de lage resolutie-omgevingen waarin GPU-beperkingen DeepFaceLab en FaceSwap dwingen te opereren, terwijl de ‘swap zone’ van een gezicht (in autoencoder workflows) het ‘creatiegebied’ van een GAN zou worden, geïnformeerd door een handvol invoerbeelden, of zelfs maar één beeld.

Er zou geen mismatch meer zijn tussen de ‘swap’ en ‘host’ gezichten, omdat het hele beeld van scratch zou worden gegenereerd, inclusief haar, kaaklijnen en de uiterste extremiteiten van de gezichtslijnen, die vaak een uitdaging vormen voor ‘traditionele’ autoencoder deepfakes.

De GAN Facial Video Winter

Het bleek echter niet zo gemakkelijk te zijn. Uiteindelijk bleek disentanglement het centrale probleem te zijn en blijft het de primaire uitdaging. Hoe kun je een distinctief gezichtsidentiteit behouden en de pose of expressie veranderen zonder een corpus van duizenden referentiebeelden te verzamelen die een neurale netwerk leren wat er gebeurt als deze veranderingen worden aangebracht, zoals autoencoder systemen zo moeizaam doen?

Later denken in GAN-gezichtsactivering en syntheseonderzoek was dat een invoeridentiteit misschien onderworpen kon worden aan teleologische, generieke, gestileerde transformaties die niet specifiek zijn voor de identiteit. Een voorbeeld hiervan zou zijn om een expressie toe te passen op een GAN-gezicht dat niet aanwezig was in enig van de beelden van die persoon die de GAN kent.

Uit het 2022-paper Tensor-based Emotion Editing in de StyleGAN Latent Space, worden gestileerde expressies toegepast op een invoerbeeld uit de FFHQ-dataset. Bron: https://arxiv.org/pdf/2205.06102.pdf

Het is duidelijk dat een ‘one size fits all’-aanpak niet kan omvatten de diversiteit van gezichtsexpressies die uniek zijn voor een individu. We moeten ons afvragen of een glimlach zo uniek als die van Jack Nicholson of Willem Dafoe ooit een getrouwe interpretatie kan ontvangen onder invloed van dergelijke ‘gemiddelde expressie’ latent codes.

Wie is deze charmante Latijnse vreemdeling? Hoewel de GAN-methode een meer ‘realistisch’ en hoger resolutiegezicht produceert, is de transformatie niet geïnformeerd door meerdere echte beelden van de acteur, zoals het geval is met DeepFaceLab, dat uitgebreid traint op een database van duizenden dergelijke beelden, en het resultaat is dat de gelijkenis wordt aangetast. Hier (achtergrond) wordt een DeepFaceLab-model geïmporteerd in DeepFaceLive, een streaming-implementatie van de populaire en omstreden software. Voorbeelden zijn van https://www.youtube.com/watch?v=9tr35y-yQRY (2022) en https://arxiv.org/pdf/2205.06102.pdf.

Er zijn verschillende GAN-gezichtsexpressie-editors voorgesteld in de afgelopen jaren, waarvan de meeste te maken hebben met onbekende identiteiten, waar de geloofwaardigheid van de transformaties onmogelijk is voor de gewone lezer om te weten, omdat deze geen bekende gezichten zijn.

Onbekende identiteiten getransformeerd in de 2020-offering Cascade-EF-GAN. Bron: https://arxiv.org/pdf/2003.05905.pdf

Misschien is de GAN-gezichtseditor die de meeste interesse (en citaten) in de afgelopen drie jaar heeft ontvangen InterFaceGAN, die latent space traversals kan uitvoeren in latent codes die verband houden met pose (hoek van de camera/gezicht), expressie, leeftijd, ras, geslacht en andere essentiële kwaliteiten.

De 1980-stijl ‘morphing’-mogelijkheden van InterFaceGAN en soortgelijke frameworks zijn voornamelijk een manier om de weg naar transformatie te illustreren als een beeld wordt opnieuw geprojecteerd door een passende latent code (zoals ‘leeftijd’). In termen van het produceren van video-opnames met tijdelijke continuïteit, kwalificeren dergelijke schema’s tot nu toe als ‘imponerende rampen’.

Als je hieraan toevoegt de moeilijkheid om tijdelijk consistente haar te creëren, en het feit dat de techniek van latent code exploratie/manipulatie geen inheemse tijdelijke richtlijnen heeft om mee te werken (en het is moeilijk om te weten hoe je dergelijke richtlijnen in een framework moet injecteren dat is ontworpen om stil beelden te genereren en geen native voorziening voor video-uitvoer heeft), kan het logisch zijn om te concluderen dat GAN niet alles is wat je nodig hebt voor gezichtsvideo-synthese.

Daarom hebben latere inspanningen incrementele verbeteringen opgeleverd in disentanglement, terwijl anderen andere conventies in computer vision als een ‘guidance layer’ hebben toegevoegd, zoals het gebruik van semantische segmentatie als een controlemechanisme in het late 2021 paper SemanticStyleGAN: Learning Compositional Generative Priors for Controllable Image Synthesis and Editing.

Semantische segmentatie als een methode van latent space instrumentatie in SemanticStyleGAN. Bron: https://semanticstylegan.github.io/

Parametrische Leiding

De GAN-gezichtssyntheseronderzoeksgemeenschap richt zich steeds meer op het gebruik van ‘traditionele’ parametrische CGI-gezichten als een methode om orde en rationaliteit te brengen in de indrukwekkende maar ongeordende latent codes in de latent space van een GAN.

Hoewel parametrische gezichtsprimitieven al meer dan twintig jaar een onderdeel zijn van computer vision onderzoek, is de interesse in deze aanpak de afgelopen tijd toegenomen, met het toenemende gebruik van Skinned Multi-Person Linear Model (SMPL) CGI-primitieven, een aanpak die is gepionierd door het Max Planck Institute en ILM, en sindsdien is verbeterd met de Sparse Trained Articulated Human Body Regressor (STAR) framework.

SMPL (in dit geval een variant genaamd SMPL-X) kan een CGI-parametrisch mesh opleggen dat overeenkomt met de geschatte pose (inclusief expressies, indien nodig) van het hele lichaam dat in een beeld wordt weergegeven, waardoor nieuwe operaties kunnen worden uitgevoerd op het beeld met behulp van de parametrische mesh als een volumetrische of perceptuele richtlijn. Bron: https://arxiv.org/pdf/1904.05866.pdf

De meest geprezen ontwikkeling in deze lijn is Disney’s 2019 Rendering with Style initiatief, dat het gebruik van traditionele texture-maps combineerde met GAN-gegenereerde beelden, in een poging om verbeterde, ‘deepfake-stijl’ geanimeerde uitvoer te creëren.

Oud ontmoet nieuw, in Disney’s hybride aanpak voor GAN-gegenereerde deepfakes. Bron: https://www.youtube.com/watch?v=TwpLqTmvqVk

De Disney-aanpak legt traditioneel gerenderde CGI-aspecten op in een StyleGAN2-netwerk om ‘in te vullen’ menselijke gezichtsobjecten in ‘probleemgebieden’, waar tijdelijke consistentie een probleem is voor video-generatie – gebieden zoals huidtextuur.

De Rendering with Style-workflow.

De GAN-gegenereerde gezichten kunnen de veranderingen weerspiegelen, inclusief veranderingen van hoofdpose en expressie.

Hoewel ontworpen om de instrumentatie van CGI te combineren met de natuurlijke realiteit van GAN-gezichten, laten de resultaten uiteindelijk het slechtste van beide werelden zien en falen ze nog steeds om haartextuur en zelfs basiskenmerken consistent te houden:

Een nieuwe soort uncanny valley ontstaat uit Rendering with Style, hoewel het principe nog steeds enig potentieel heeft.

De 2020 paper StyleRig: Rigging StyleGAN for 3D Control over Portrait Images neemt een steeds populairdere aanpak, met het gebruik van drie-dimensionale morphable face models (3DMM’s) als proxies voor het veranderen van kenmerken in een StyleGAN-omgeving, in dit geval via een nieuw rigging-netwerk genaamd RigNet:

3DMM’s staan in als proxies voor latent space interpretaties in StyleRig. Bron: https://arxiv.org/pdf/2004.00121.pdf

Hoewel, zoals gewoonlijk met deze initiatieven, de resultaten tot nu toe beperkt lijken tot minimale pose-manipulaties en ‘oninformeerde’ expressie/affectveranderingen.

StyleRig verbetert de controle, hoewel tijdelijk consistente haar nog steeds een onopgeloste uitdaging is. Bron: https://www.youtube.com/watch?v=eaW_P85wQ9k

Soortgelijke output kan worden gevonden van Mitsubishi Research’s MOST-GAN, een 2021 paper dat niet-lineaire 3DMM’s gebruikt als een disentanglement-architectuur, maar dat ook strijdt om dynamische en consistente beweging te bereiken.

De laatste poging tot instrumentatie en disentanglement is One-Shot Face Reenactment on Megapixels, die opnieuw 3DMM-parametrische hoofden gebruikt als een vriendelijke interface voor StyleGAN.

In de MegaFR-workflow van One-Shot Face Reenactment voert het netwerk gezichtssynthese uit door een omgekeerd echt beeld te combineren met parameters die zijn genomen uit een gerenderd 3DMM-model. Bron: https://arxiv.org/pdf/2205.13368.pdf

OSFR behoort tot een groeiende klasse van GAN-gezichtseditors die proberen om Photoshop/After Effects-stijl lineaire bewerkingsworkflows te ontwikkelen waarin de gebruiker een gewenst beeld kan invoeren waarop transformaties kunnen worden toegepast, in plaats van door de latent space te zoeken naar latent codes die verband houden met een identiteit.

Weer worden parametrische expressies een overkoepelende en niet-persoonlijke methode om expressie in te voeren, wat leidt tot manipulaties die ‘uncanny’ lijken in hun eigen, niet altijd positieve manier.

Ingewonnen expressies in OSFR.

Net als eerder werk kan OSFR near-oorspronkelijke posities afleiden uit één beeld en kan het ook ‘frontalization’ uitvoeren, waarbij een off-center geposeerd beeld wordt omgezet in een pasfoto:

Oorspronkelijk (boven) en afgeleid pasfoto-beeld van een van de implementaties van OSFR die in het nieuwe paper worden beschreven.

In de praktijk is deze soort inferentie vergelijkbaar met enkele van de photogrammetrie-principes die ten grondslag liggen aan Neural Radiance Fields (NeRF), behalve dat de geometrie hier moet worden gedefinieerd door één foto, in plaats van de 3-4 viewpoints die NeRF in staat stellen om de ontbrekende interstitiële posities te interpreteren en doorzoekbare neurale 3D-scènes met mensen te creëren.

(Hoewel NeRF niet alles is wat je nodig hebt, heeft het een bijna geheel andere set van obstakels voor GAN’s in termen van het produceren van gezichtsvideo-synthese)

Heeft GAN een Plaats in Gezichtsvideo-Synthese?

Het bereiken van dynamische expressies en uit-distributie posities van één bronbeeld lijkt een obsessie te zijn in GAN-gezichtssyntheseronderzoek op dit moment, voornamelijk omdat GAN’s de enige methode zijn die momenteel in staat zijn om relatief hoge resolutie en hoge kwaliteit neurale gezichten te produceren: hoewel autoencoder deepfake frameworks kunnen trainen op een veelvoud aan echte posities en expressies, moeten ze opereren op VRAM-beperkte invoer/uitvoer resoluties en vereisen ze een ‘host’; terwijl NeRF eveneens beperkt is en – in tegenstelling tot de andere twee benaderingen – momenteel geen gevestigde methodologieën heeft voor het veranderen van gezichtsexpressies en lijdt aan beperkte bewerkbaarheid in het algemeen.

Het lijkt erop dat de enige manier om een nauwkeurig CGI/GAN-gezichtssynthesesysteem te bereiken, is dat een nieuw initiatief een manier vindt om een multi-foto identiteit entiteit samen te stellen in de latent space, waar een latent code voor een persoonsidentiteit niet de hele latent space hoeft te doorlopen om ongerelateerde pose parameters te exploiteren, maar kan verwijzen naar zijn eigen gerelateerde (echte wereld) beelden als referenties voor transformaties.

Evenzo, als een heel StyleGAN-netwerk zou worden getraind op een enkele identiteit gezichtsset (soortgelijk aan de trainingssets die autoencoders gebruiken), zou de ontbrekende semantische logica waarschijnlijk nog steeds moeten worden geleverd door adjuncttechnologieën zoals semantische segmentatie of parametrische 3DMM-gezichten, die, in een dergelijk scenario, tenminste meer materiaal zouden hebben om mee te werken.