Skapande av fullkroppsdeepfakes genom kombination av flera NeRFs

Bildsyntesforskningssektorn är täckt av nya förslag för system som kan skapa fullkroppsvideo och bilder av unga människor – främst unga kvinnor – i olika typer av kläder. De flesta genererade bilderna är statiska; ibland rör sig representationerna även, men vanligtvis inte särskilt bra.

Takten i denna specifika forskningssträng är glacial i jämförelse med den nuvarande hisnande nivån av framsteg inom relaterade områden som latent diffusionsmodeller; ändå fortsätter forskargrupperna, de flesta i Asien, att arbeta outtröttligt med problemet.

En av dussintals, om inte hundratals, föreslagna eller halvt lanserade ‘virtuella provnings’-system från de senaste 10-15 åren, där kroppar utvärderas genom maskinlärningsbaserad objekterkänning och anpassas till de föreslagna klädesplagg. Källa: https://www.youtube.com/watch?v=2ZXrgGyhbak

Målet är att skapa nya system för att möjliggöra ‘virtuella provningar’ för mode- och klädesmarknaden – system som kan anpassa sig till både kunden och den specifika produkten som för närvarande är tillgänglig eller som ska släppas, utan klumpigheten i realtids- överlagring av kläder, eller behovet av att be kunderna att skicka något NSFW-bilder för ML-baserade renderingpipelines.

Ingen av de populära syntesarkitekturerna verkar lätt anpassningsbara för denna uppgift: latent utrymmet i Generative Adversarial Networks (GANs) är olämpligt för att producera övertygande tidsmässig rörelse (eller ens redigering i allmänhet); även om väl lämpade för att generera realistiska mänskliga rörelser, Neural Radiance Fields (NeRF) är vanligtvis naturligt motståndskraftiga mot den typ av redigering som skulle vara nödvändig för att ‘byta ut’ människor eller kläder efter behag; autoencoders skulle kräva betungande person/klädesplaggsspecifik utbildning; och latent diffusionsmodeller, som GANs, har noll naturliga tidsmässiga mekanismer för videogenerering.

EVA3D

Trots allt fortsätter papperen och förslagen. Det senaste är av ovanligt intresse i en annars odifferentierad och uteslutande affärsinriktad forskningslinje.

EVA3D, från Singapores Nanyang Tekniska Universitet, är det första tecknet på en metod som har varit länge kommen – användningen av flera Neural Radiance Field-nätverk, var och en avsett för en separat del av kroppen, och som sedan sätts samman till en sammansatt och sammanhängande visualisering.

En mobil ung kvinna sammansatt från flera NeRF-nätverk, för EVA3D. Källa: https://hongfz16.github.io/projects/EVA3D.html

Resultaten, i termer av rörelse, är…okay. Även om EVA3D:s visualiseringar inte är utanför den obehagliga dalen, kan de åtminstone se avfarten från där de står.

Vad som gör EVA3D utmärkt är att forskarna bakom det, nästan unikt i sektorn för fullkropps bildsyntes, har insett att ett enda nätverk (GAN, NeRF eller annat) inte kommer att kunna hantera redigerbar och flexibel mänsklig fullkropps generering under några år – delvis på grund av forskningstakten, och delvis på grund av hårdvaru- och andra logistiska begränsningar.

Därför har Nanyang-teamet delat upp uppgiften över 16 nätverk och flera teknologier – en metod som redan antagits för neural rendering av urbana miljöer i Block-NeRF och CityNeRF, och som verkar troligen att bli en alltmer intressant och potentiellt fruktbar halvvägsåtgärd för att uppnå fullkroppsdeepfakes under de närmaste fem åren, under förutsättning av nya konceptuella eller hårdvarurelaterade utvecklingar.

Inte alla utmaningar som finns i skapandet av denna typ av ‘virtuell provning’ är tekniska eller logistiska, och papperet beskriver några av dataproblemen, särskilt i fråga om oövervakad inlärning:

‘[Mode] dataset har i allmänhet mycket begränsade mänskliga poser (de flesta är liknande stående poser), och högt obalanserade vyvinklar (de flesta är främre vyer). Denna obalanserade 2D-datafördelning kunde försvåra oövervakad inlärning av 3D GANs, vilket leder till svårigheter vid ny vy/pose-syntes. Därför behövs en lämplig utbildningsstrategi för att lindra problemet.’

EVA3D arbetsflödet delar upp den mänskliga kroppen i 16 distinkta delar, var och en genereras genom sitt eget NeRF-nätverk. Detta skapar tillräckligt med ‘upptinade’ sektioner för att kunna galvanisera figuren genom rörelseinspelning eller andra typer av rörelsedata. Utöver denna fördel tillåter systemet också att tilldela maximala resurser till de delar av kroppen som ‘säljer’ den övergripande intrycket.

Till exempel har mänskliga fötter en mycket begränsad rörelsefrihet, medan autenticiteten hos ansiktet och huvudet, förutom kvaliteten på hela kroppsrörelsen i allmänhet, sannolikt kommer att vara det fokala tecknet på autenticitet för renderingen.

En kvalitativ jämförelse mellan EVA3D och tidigare metoder.

Tillvägagångssättet skiljer sig radikalt från NeRF-centrerade projektet som det är konceptuellt relaterat till – 2021 års A-NeRF, från University of British Columbia och Reality Labs Research, som försökte lägga till en intern kontrollerande skelett till en annars konventionell ‘en bit’ NeRF-representation, vilket gjorde det svårare att tilldela bearbetningsresurser till olika delar av kroppen baserat på behov.

Tidigare rörelser – A-NeRF utrustar en ‘bakad’ NeRF med samma typ av ductil och artikulerad central rigging som VFX-industrin har använt så länge för att animera CGI-karaktärer. Källa: https://lemonatsu.github.io/anerf/

I likhet med de flesta liknande människocentrerade projekt som försöker utnyttja det latenta utrymmet i de olika populära tillvägagångssätten, använder EVA3D en Skinned Multi-Person Linear Model (SMPL), en ‘traditionell’ CGI-baserad metod för att lägga till instrumenterbarhet till den allmänna abstraktionen av nuvarande syntesmetoder. Tidigare i år använde ett annat papper, detta från Zhejiang University i Hangzhou, och School of Creative Media vid City University of Hong Kong, sådana metoder för att utföra neural kroppsomformning.

EVA3D:s kvalitativa resultat på DeepFashion.

Metod

SMPL-modellen som används i processen är justerad till den mänskliga ‘prior’ – personen som, i princip, frivilligt deepfakes av EVA3D, och dess skinningvikt förhandlar skillnaderna mellan det kanoniska utrymmet (dvs. ‘i vila’, eller ‘neutral’ pose av en SMPL-modell) och hur den slutliga utseendet återges.

EVA3D:s konceptuella arbetsflöde. Källa: https://arxiv.org/pdf/2210.04888.pdf

Som visas i illustrationen ovan används SMPL:s begränsningsrutor som gränsdefinitioner för de 16 nätverken som kommer att komponera kroppen. Invers Linear Blend Skinning (LBS) algoritm av SMPL används sedan för att överföra synliga sampelstrålar till det kanoniska (passiva pose) utrymmet. Sedan frågas de 16 undernätverken baserat på dessa konfigurationer, och slutligen formas till en slutlig rendering.

Hela NeRF-kompositen används sedan för att konstruera ett 3D-mänskligt GAN-ramverk.

Renderingarna av det andra stegets GAN-ramverk kommer slutligen att tränas mot äkta 2D-bildsamlingar av människor/mode.

Varje undernätverk som representerar en del av den mänskliga kroppen består av staplade Multi-Layer Perceptrons (MLPs) med SIREN (Sinusoidal Representation Networks) aktivering. Även om SIREN löser många problem i ett arbetsflöde som detta, och i liknande projekt, tenderar det att överanpassa snarare än generalisera, och forskarna föreslår att alternativa bibliotek kan användas i framtiden (se slutet av artikeln).

Data, utbildning och tester

EVA3D står inför ovanliga dataproblem på grund av begränsningarna och den mallbaserade stilen i poser som finns i modebaserade dataset, som tenderar att sakna alternativa eller nya vyer, och är, kanske medvetet, upprepade, i syfte att fokusera uppmärksamheten på kläderna snarare än den mänskliga som bär dem.

På grund av denna obalanserade posefördelning använder EVA3D mänskliga priorer (se ovan) baserat på SMPL-mallgeometrin, och sedan förutspår en Signed Distance Field (SDF) offset av denna pose, snarare än en direkt målpose.

För de stödjande experimenten använde forskarna fyra dataset: DeepFashion; SHHQ; UBCFashion; och AIST Dance Video Database (AIST Dance DB).

De två sista innehåller mer varierande poser än de två första, men representerar samma individer upprepade gånger, vilket tar bort denna annars användbara mångfald; kort sagt, data är mer än utmanande, med tanke på uppgiften.

Exempel från SSHQ. Källa: https://arxiv.org/pdf/2204.11823.pdf

Baslinjerna som användes var ENARF-GAN, det första projektet som renderade NeRF-visualiseringar från 2D-bild dataset; Stanford och NVIDIA (NVDA ):s EG3D; och StyleSDF, ett samarbete mellan University of Washington, Adobe (ADBE ) Research och Stanford University – alla metoder som kräver superupplösningsbibliotek för att skala upp från nativ till hög upplösning.

Mått som antogs var den omstridda Frechet Inception Distance (FID) och Kernel Inception Distance (KID), tillsammans med Percentage of Correct Keypoints (PCKh@0.5).

I kvantitativa utvärderingar ledde EVA3D på alla mått i fyra dataset:

Kvantitativa resultat.

Forskarna noterar att EVA3D uppnår den lägsta felraten för geometri rendering, en kritisk faktor i ett projekt av detta slag. De observerar också att deras system kan kontrollera genererad pose och uppnå högre PCKh@0.5-poäng, i kontrast till EG3D, den enda konkurrerande metoden som fick högre poäng i en kategori.

EVA3D fungerar naturligt på den nu standard 512x512px-upplösning, även om den kan skalas upp till HD-upplösning genom att lägga till upscale-lager, som Google nyligen har gjort med sin 1024-upplösning text-till-video-erbjudande Imagen Video.

Metoden är inte utan begränsningar. Papperet noterar att SIREN-aktiveringen kan orsaka cirkulära artefakter, som kan åtgärdas i framtida versioner genom att använda en alternativ basrepresentation, såsom EG3D, i kombination med en 2D-dekoder. Dessutom är det svårt att passa SMPL exakt till mode datakällor.

Slutligen kan systemet inte enkelt anpassa sig till större och mer flytande klädesplagg, såsom stora klänningar; klädesplagg av denna typ uppvisar samma typ av fluid dynamik som gör skapandet av neuralt renderat hår så utmanande. Förmodligen kan en lämplig lösning hjälpa till att åtgärda båda problemen.

Publicerad första gången den 12 oktober 2022.