Het creëren van full-body deepfakes door meerdere NeRFs te combineren

Het onderzoeksgebied van beeldsynthese is bezaaid met nieuwe voorstellen voor systemen die full-body video’s en afbeeldingen van jonge mensen – voornamelijk jonge vrouwen – in verschillende soorten kleding kunnen creëren. Meestal zijn de gegenereerde afbeeldingen statisch; soms bewegen de weergaven zelfs, maar meestal niet erg goed.

Het tempo van deze specifieke onderzoekslijn is glaciaal in vergelijking met het huidige duizelingwekkende niveau van vooruitgang in verwante gebieden zoals latent diffusiemodellen; toch blijven de onderzoeksgroepen, de meeste in Azië, onvermoeibaar werken aan het probleem.

Een van de tientallen, zo niet honderden, voorgestelde of half gelanceerde ‘virtuele pasvorm’-systemen uit de afgelopen 10-15 jaar, waarbij lichamen worden geëvalueerd door machine learning-gebaseerde objectherkenning en aangepast aan de voorgestelde kledingstukken. Bron: https://www.youtube.com/watch?v=2ZXrgGyhbak

Het doel is om nieuwe systemen te creëren die ‘virtuele pasvormen’ mogelijk maken voor de mode- en kledingmarkt – systemen die zowel aan de klant als aan het specifieke product dat momenteel beschikbaar is of binnenkort wordt uitgebracht, kunnen worden aangepast, zonder de onhandigheid van real-time superpositie van kleding, of de noodzaak om klanten te vragen enkele niet-NSFW-foto’s te sturen voor ML-gebaseerde renderingpijplijnen.

Geen van de populaire synthese-architecturen lijkt gemakkelijk aanpasbaar voor deze taak: de latent ruimte van Generative Adversarial Networks (GANs) is niet geschikt voor het produceren van overtuigende temporele beweging (of zelfs voor bewerken in het algemeen); hoewel goed in staat om realistische menselijke beweging te genereren, zijn Neural Radiance Fields (NeRF) meestal van nature weerstand tegen het soort bewerken dat nodig zou zijn om mensen of kleding naar wens te ‘uitwisselen’; auto-encoders zouden een belastende persoon/kleding-specifieke training vereisen; en latent diffusiemodellen, net als GANs, hebben geen native temporele mechanismen voor videogeneratie.

EVA3D

Toch gaan de papers en voorstellen verder. De laatste is van ongebruikelijk belang in een anders onopvallende en uitsluitend zakelijke onderzoekslijn.

EVA3D, van de Nanyang Technological University in Singapore, is de eerste indicatie van een benadering die al lang aan de gang is – het gebruik van meerdere Neural Radiance Field-netwerken, elk waarvan is gewijd aan een apart deel van het lichaam, en die vervolgens worden samengesteld tot een geassembleerde en samenhangende visualisatie.

Een mobiele jonge vrouw samengesteld uit meerdere NeRF-netwerken, voor EVA3D. Bron: https://hongfz16.github.io/projects/EVA3D.html

De resultaten, in termen van beweging, zijn… okay. Hoewel de visualisaties van EVA3D niet uit de ongemakkelijke vallei zijn, kunnen ze tenminste de afrit zien van waar ze staan.

Wat EVA3D uitzonderlijk maakt, is dat de onderzoekers erachter, bijna uniek in de sector van full-body beeldsynthese, hebben gerealiseerd dat een enkel netwerk (GAN, NeRF of anderszins) niet in staat zal zijn om bewerkbare en flexibele full-body generatie voor mensen te produceren voor een aantal jaar – deels vanwege het tempo van het onderzoek, en deels vanwege hardware- en andere logistieke beperkingen.

Daarom hebben het Nanyang-team de taak onderverdeeld in 16 netwerken en meerdere technologieën – een benadering die al is overgenomen voor neurale rendering van stedelijke omgevingen in Block-NeRF en CityNeRF, en die waarschijnlijk een steeds interessantere en potentieel vruchtbare tussenoplossing zal worden om full-body deepfakes in de komende vijf jaar te bereiken, in afwachting van nieuwe conceptuele of hardware-ontwikkelingen.

Niet alle uitdagingen bij het creëren van dit soort ‘virtuele pasvorm’ zijn technisch of logistiek, en het paper schetst enkele van de gegevensproblemen, met name met betrekking tot onbegeleide leerprocessen:

‘[Mode] datasets hebben meestal zeer beperkte menselijke poses (de meeste zijn soortgelijke staande poses), en sterk onbalans in kijkhoeken (de meeste zijn voorste views). Deze onbalans in 2D-gegevensverdeling kan onbegeleide leerprocessen van 3D-GANs hinderen, waardoor het moeilijk wordt om nieuwe weergaven/persen te synthetiseren. Daarom is een juiste trainingsstrategie nodig om dit probleem te verlichten.’

Het EVA3D-werkproces verdeelt het menselijk lichaam in 16 afzonderlijke delen, elk waarvan wordt gegenereerd door zijn eigen NeRF-netwerk. Het is duidelijk dat dit voldoende ‘onbevroren’ secties creëert om de figuur te kunnen activeren door middel van motion capture of andere soorten motion data. Naast dit voordeel maakt het ook mogelijk om de systemen maximaal te laten werken aan de delen van het lichaam die de algehele indruk ‘verkopen’.

Als voorbeeld hebben menselijke voeten een zeer beperkt bereik van articulatie, terwijl de authenticiteit van het gezicht en het hoofd, naast de kwaliteit van de gehele lichaamsbeweging in het algemeen, waarschijnlijk het brandpunt van authenticiteit zal zijn voor de rendering.

Een kwalitatieve vergelijking tussen EVA3D en eerdere methoden. De auteurs claimen SOTA-resultaten in dit opzicht.

De benadering verschilt radicaal van het NeRF-gecentreerde project waaraan het conceptueel verwant is – 2021’s A-NeRF, van de University of British Columbia en Reality Labs Research, dat probeerde een interne controle-skelet toe te voegen aan een anderszins conventionele ‘een stuk’ NeRF-weergave, waardoor het moeilijker werd om verwerkingsbronnen toe te wijzen aan verschillende delen van het lichaam op basis van behoefte.

Eerdere bewegingen – A-NeRF voorziet een ‘gebakken’ NeRF van hetzelfde soort ductiele en gearticuleerde centrale rigging die de VFX-industrie al zo lang gebruikt om CGI-personages te animeren. Bron: https://lemonatsu.github.io/anerf/

In overeenstemming met de meeste soortgelijke mensgerichte projecten die proberen de latent ruimte van de verschillende populaire benaderingen te benutten, gebruikt EVA3D een Skinned Multi-Person Linear Model (SMPL), een ‘traditionele’ CGI-gebaseerde methode voor het toevoegen van instrumentatie aan de algemene abstractie van de huidige synthese-methoden. Eerder dit jaar, gebruikte een ander paper, dit keer van de Zhejiang University in Hangzhou en de School of Creative Media aan de City University of Hong Kong, dergelijke methoden om neurale lichaamshervorming uit te voeren.

EVA3D’s kwalitatieve resultaten op DeepFashion.

Methode

Het SMPL-model dat in het proces wordt gebruikt, is afgestemd op de menselijke ‘prior’ – de persoon die, in wezen, vrijwillig wordt diepgefaked door EVA3D, en de huidige gewichten onderhandelen de verschillen tussen de canonieke ruimte (d.w.z. de ‘in rust’, of ‘neutrale’ pose van een SMPL-model) en de manier waarop de uiteindelijke verschijning wordt weergegeven.

Het conceptuele werkproces voor EVA3D. Bron: https://arxiv.org/pdf/2210.04888.pdf

Als te zien is in de afbeelding hierboven, worden de begrenzingsvakken van SMPL gebruikt als de grensdefinities voor de 16 netwerken die uiteindelijk het lichaam zullen componeren. De inverse Linear Blend Skinning (LBS) algoritme van SMPL wordt vervolgens gebruikt om zichtbare bemonsterde stralen over te dragen naar de canonieke (passieve pose) ruimte. Vervolgens worden de 16 sub-netwerken ondervraagd op basis van deze configuraties en uiteindelijk samengesteld tot een definitieve rendering.

De gehele NeRF-samengestelde wordt vervolgens gebruikt om een 3D-menselijk GAN-kader te construeren.

De renderingen van het tweede-stadium GAN-kader zullen uiteindelijk worden getraind tegen echte 2D-afbeeldingscollecties van mensen/mode.

Elk sub-netwerk dat een deel van het menselijk lichaam vertegenwoordigt, bestaat uit gestapelde Multi-Layer Perceptrons (MLP’s) met SIREN (Sinusoidale Representatie Netwerken) activatie. Hoewel SIREN veel problemen in een workflow zoals deze oplost, en in soortgelijke projecten, heeft het de neiging om over te trainen in plaats van te generaliseren, en de onderzoekers suggereren dat alternatieve bibliotheken in de toekomst kunnen worden gebruikt (zie einde van het artikel).

Gegevens, training en tests

EVA3D wordt geconfronteerd met ongebruikelijke gegevensproblemen vanwege de beperkingen en gestandaardiseerde stijl van de poses die beschikbaar zijn in mode-gebaseerde datasets, die meestal ontbreken aan alternatieve of nieuwe weergaven en zijn, misschien expres, repetitief, om de aandacht te richten op de kleding in plaats van de mens die ze draagt.

Vanwege deze onbalans in pose-verdeling, gebruikt EVA3D menselijke priors (zie hierboven) op basis van de SMPL-sjabloon geometrie, en voorspelt vervolgens een Signed Distance Field (SDF) offset van deze pose, in plaats van een rechtstreekse doel pose.

Voor de ondersteunende experimenten, hebben de onderzoekers vier datasets gebruikt: DeepFashion; SHHQ; UBCFashion; en de AIST Dance Video Database (AIST Dance DB).

De laatste twee bevatten meer gevarieerde poses dan de eerste twee, maar vertegenwoordigen dezelfde personen herhaaldelijk, wat deze diversiteit tenietdoet; in het kort, de gegevens zijn meer dan uitdagend, gezien de taak.

Voorbeelden uit SSHQ. Bron: https://arxiv.org/pdf/2204.11823.pdf

De baselines die werden gebruikt, waren ENARF-GAN, het eerste project dat NeRF-visualisaties rendert van 2D-afbeeldingsdatasets; Stanford en NVIDIA’s (NVDA ) EG3D; en StyleSDF, een samenwerking tussen de University of Washington, Adobe (ADBE ) Research en Stanford University – alle methoden die super-resolutiebibliotheken vereisen om op te schalen van native naar hoge resolutie.

De gebruikte metrics waren de omstreden Frechet Inception Distance (FID) en Kernel Inception Distance (KID), evenals Percentage of Correct Keypoints (PCKh@0.5).

In kwantitatieve evaluaties, leidde EVA3D op alle metrics in vier datasets:

Kwantitatieve resultaten.

De onderzoekers merken op dat EVA3D de laagste foutpercentage bereikt voor geometrische rendering, een kritische factor in een project van dit type. Ze merken ook op dat hun systeem de gegenereerde pose kan controleren en hogere PCKh@0.5-scores kan bereiken, in tegenstelling tot EG3D, de enige concurrerende methode die hoger scoorde in één categorie.

EVA3D werkt native op de inmiddels standaard 512x512px resolutie, hoewel het gemakkelijk en effectief kan worden opgeschaald naar HD-resolutie door opschalinglagen toe te voegen, zoals Google onlangs heeft gedaan met zijn 1024-resolutie tekst-naar-video-aanbod Imagen Video.

De methode is niet zonder beperkingen. Het paper merkt op dat de SIREN-activatie cirkelvormige artefacten kan veroorzaken, die in toekomstige versies kunnen worden verholpen door het gebruik van een alternatieve basisrepresentatie, zoals EG3D, in combinatie met een 2D-decoder. Bovendien is het moeilijk om SMPL nauwkeurig aan te passen aan de mode-gegevensbronnen.

Tenslotte kan het systeem geen grote en vloeibare kledingstukken, zoals grote jurken, gemakkelijk aan; kledingstukken van dit type vertonen hetzelfde soort vloeidynamica dat het creëren van neurale haarrendering zo’n uitdaging maakt. Vermoedelijk kan een passende oplossing helpen om beide problemen aan te pakken.

First published 12th oktober 2022.