Oppretting av fullkroppsdeepfakes ved å kombinere flere NeRFs

Bildesynteseforskningssektoren er tett dekket med nye forslag til systemer som kan lage fullkroppsvideo og bilder av unge mennesker – hovedsakelig unge kvinner – i forskjellige typer klær. De fleste genererte bildene er statiske; noen ganger beveger representasjonene seg, selv om de vanligvis ikke gjør det veldig godt.

Tempelet i denne forskningsstranden er glasialt i sammenligning med det nåværende svimlende nivået av fremgang i relaterte felt som latent diffusjonsmodeller; likevel fortsetter forskningsgruppene, de fleste i Asia, å jobbe uhørt på problemet.

En av dusinvis, hvis ikke hundrevis av foreslåtte eller semi-lanserte ‘virtuelle prøver’ -systemer fra de siste 10-15 årene, hvor kropper vurderes gjennom maskinlæring-basert objektgjenkjenning og tilpasses foreslåtte klær. Kilde: https://www.youtube.com/watch?v=2ZXrgGyhbak

Målet er å skape nye systemer for å aktivere ‘virtuelle prøver’ for mote- og klesmarkedet – systemer som kan tilpasse seg både kunden og den spesifikke produkten som er tilgjengelig eller som skal lanseres, uten klønete sanntids overlagring av klær, eller behovet for å be kunder om å sende litt NSFW-bilder for ML-basert rendering-pipelines.

Ingen av de populære syntese-arkitekturer ser ut til å være lett tilpassbare til denne oppgaven: latent rommet i Generative Adversarial Networks (GANs) er ikke godt egnet for å produsere overbevisende temporalt bevegelse (eller redigering generelt); selv om veldig godt i stand til å generere realistisk menneskelig bevegelse, Neural Radiance Fields (NeRF) er vanligvis naturlig motstandsdyktige mot den type redigering som ville være nødvendig for å ‘bytte ut’ mennesker eller klær etter ønske; autoencodere ville kreve tungt person-/klær-spesifikt trening; og latent diffusjonsmodeller, som GANs, har ingen native temporale mekanismer for video-generering.

EVA3D

Likevel fortsetter papirene og forslagene. Det siste er av uvanlig interesse i en ellers likegyldig og eksklusivt forretningsorientert linje med forskning.

EVA3D, fra Singapores Nanyang Technological University, er det første tegnet på en tilnærming som har vært lenge på vent – bruken av flere Neural Radiance Field-nettverk, hvor hver av dem er viet til en separat del av kroppen, og som deretter komponeres inn i en sammenhengende visualisering.

En mobil ung kvinne komponert av flere NeRF-nettverk, for EVA3D. Kilde: https://hongfz16.github.io/projects/EVA3D.html

Resultatene, i termer av bevegelse, er…okay. Selv om EVA3D’s visualiseringer ikke er utenfor det ukomiske dalen, kan de i alle fall se avkjørselen fra der de står.

Hva gjør EVA3D utmerket er at forskerne bak det, nesten unikt i sektoren for fullkropps-bilde-syntese, har innsett at ett enkelt nettverk (GAN, NeRF eller annet) ikke vil være i stand til å håndtere redigerbar og fleksibel menneskelig fullkropps-generering for noen år – delvis på grunn av forsknings-tempoet, og delvis på grunn av hardware- og andre logistiske begrensninger.

Forskernes måte å løse denne utfordringen er å underdele oppgaven på 16 nettverk og flere teknologier – en tilnærming som allerede er adoptert for neural rendering av urbane miljøer i Block-NeRF og CityNeRF, og som ser ut til å bli en stadig mer interessant og potensielt fruktbar midlertidig løsning for å oppnå fullkroppsdeepfakes i de neste fem årene, avhengig av nye konseptuelle eller hardware-utviklinger.

Ikke alle utfordringene som er til stede i å skape denne typen ‘virtuell prøving’ er tekniske eller logistiske, og papiret omhandler noen av data-problemene, spesielt i forhold til usovervåket læring:

‘[Mote] datasett har for det meste svært begrensede menneskelige posisjoner (de fleste er like stående posisjoner), og høyt ubalanserte visningsvinkler (de fleste er foran-vyer). Denne ubalanserte 2D-datafordelingen kunne hindre usovervåket læring av 3D GANs, og føre til vanskeligheter med nytt syn/pose-syntese. Derfor er en ordentlig treningstrategi nødvendig for å lette problemet.’

EVA3D’s arbeidsflyt deler opp den menneskelige kroppen i 16 distinkte deler, hvor hver av dem genereres gjennom sitt eget NeRF-nettverk. Det åpner opp for nok ‘ufrosne’ seksjoner til å kunne galvanisere figuren gjennom bevegelsesfangst eller andre typer bevegelsesdata. Foruten denne fordelen, tillater systemet også å tildele maksimale ressurser til de delene av kroppen som ‘selger’ den totale inntrykket.

For eksempel har menneskelige føtter en svært begrenset rekkevidde av artikulasjon, mens autentisiteten av ansiktet og hodet, samt kvaliteten av hele kroppens bevegelse generelt, er sannsynligvis å være det fokale tegnet på autentisitet for renderingen.

En kvalitativ sammenligning mellom EVA3D og tidligere metoder. Forfatterne hevder SOTA-resultater i denne sammenhengen.

Tilnærmingen skiller seg radikalt fra NeRF-sentrerte prosjektet som det er konseptuelt relatert til – 2021’s A-NeRF, fra University of British Columbia og Reality Labs Research, som søkte å legge til en intern kontrollerende skjelett til en ellers konvensjonell ‘en del’ NeRF-representasjon, og gjøre det mer vanskelig å tildele prosessorkraft til forskjellige deler av kroppen basert på behov.

Tidligere bevegelser – A-NeRF utstyrer en ‘bakt’ NeRF med samme type duktil og artikulert sentral rigging som VFX-industrien har brukt så lenge til å animere CGI-karakterer. Kilde: https://lemonatsu.github.io/anerf/

I fellesskap med de fleste lignende menneske-senterte prosjekter som søker å utnytte latent rommet i de forskjellige populære tilnærmingene, bruker EVA3D en Skinned Multi-Person Linear Model (SMPL), en ‘tradisjonell’ CGI-basert metode for å legge til instrumentell til den generelle abstraksjonen av nåværende syntese-metoder. Tidligere i år, presenterte et annet papir, denne gangen fra Zhejiang University i Hangzhou, og School of Creative Media ved City University of Hong Kong, en lignende metode for å utføre neural kropp-omformning.

EVA3D’s kvalitative resultater på DeepFashion.

Metode

SMPL-modellen som brukes i prosessen er avstemt med den menneskelige ‘prior’ – personen som, i realiteten, blir frivillig deepfaket av EVA3D, og dens skinn-væger forhandler forskjellene mellom det kanoniske rommet (dvs. ‘i ro’, eller ‘nøytral’ posisjon av en SMPL-modell) og måten den endelige fremtoningen renderes på.

Den konseptuelle arbeidsflyten for EVA3D. Kilde: https://arxiv.org/pdf/2210.04888.pdf

Som vist i illustrasjonen ovenfor, brukes SMPL’s begrensning-bokser som grense-definisjoner for de 16 nettverkene som vil komponere kroppen. Invers Linear Blend Skinning (LBS) algoritme av SMPL brukes deretter til å overføre synlige prøvede stråler til det kanoniske (passiv posisjon) rommet. Deretter spørres de 16 under-nettverkene, basert på disse konfigurasjonene, og til slutt konformerer de seg til en endelig rendering.

Hele NeRF-kompositten brukes deretter til å konstruere et 3D menneske-GAN-rammeverk.

Renderinger av det andre-stadiets GAN-rammeverk vil til slutt bli trent mot ekte 2D-bilde-samlinger av mennesker/mote.

Hvert under-nettverk som representerer en del av den menneskelige kroppen består av stablede Multi-Layer Perceptrons (MLPs) med SIREN (Sinusoidal Representation Networks) aktivering. Selv om SIREN løser mange problemer i en arbeidsflyt som denne, og i lignende prosjekter, har den tendens til å overfite fremfor å generalisere, og forskerne foreslår at alternative biblioteker kan brukes i fremtiden (se slutten av artikkelen).

Data, Trening og Tester

EVA3D møter uvanlige data-problemer, på grunn av begrensningene og den templaterte stilen på posisjonene som er tilgjengelige i mote-baserte datasett, som mangler alternative eller nye visninger, og som kanskje med vilje er repetitive, for å fokusere oppmerksomheten på klærne fremfor den menneskelige som bærer dem.

På grunn av denne ubalanserte posisjonsfordelingen, bruker EVA3D menneskelige priorer (se over) basert på SMPL-malens geometri, og deretter predikerer den en Signed Distance Field (SDF) offset av denne posisjonen, fremfor en rett frem posisjon.

For de støttende eksperimentene, brukte forskerne fire datasett: DeepFashion; SHHQ; UBCFashion; og AIST Dance Video Database (AIST Dance DB).

De to siste inneholder mer varierte posisjoner enn de to første, men representerer de samme individene repetitivt, noe som kansellerer ut denne ellers nyttige mangfoldigheten; kort sagt, dataene er mer enn utfordrende, gitt oppgaven.

Eksempler fra SSHQ. Kilde: https://arxiv.org/pdf/2204.11823.pdf

Baselinene som ble brukt, var ENARF-GAN, det første prosjektet som renderer NeRF-visuelle fra 2D-bilde-datasett; Stanford og NVIDIA’s (NVDA ) EG3D; og StyleSDF, et samarbeid mellom University of Washington, Adobe (ADBE ) Research og Stanford University – alle metoder som krever super-resolusjons-biblioteker for å skalerer opp fra naturlig til høy resolusjon.

Målene som ble adoptert, var den kontroversielle Frechet Inception Distance (FID) og Kernel Inception Distance (KID), sammen med Prosent av korrekte nøkkel-punkter (PCKh@0.5).

I kvantitative evalueringer, ledet EVA3D på alle målinger i fire datasett:

Kvantitative resultater.

Forskerne bemerker at EVA3D oppnår den laveste feilraten for geometri-rendering, en kritisk faktor i et prosjekt av denne typen. De observerer også at deres system kan kontrollere generert pose og oppnå høyere PCKh@0.5-poeng, i kontrast til EG3D, den eneste konkurrerende metoden som scoret høyere i en kategori.

EVA3D opererer naturlig på det nå standard 512x512px-oppløsning, selv om det kunne lett og effektivt skaleres opp til HD-oppløsning ved å stable opp-skaleringslag, som Google nylig har gjort med sin 1024-oppløsning tekst-til-video-tilbud Imagen Video.

Metoden er ikke uten begrensninger. Papiret bemerker at SIREN-aktiveringen kan forårsake sirkulære artefakter, som kunne være rettet i fremtidige versjoner ved å bruke en alternativ basis-representasjon, som EG3D, i kombinasjon med en 2D-dekoder. I tillegg er det vanskelig å passe SMPL nøyaktig til mote-datakildene.

Til slutt, kan systemet ikke lett akkommodere større og mer flytende klær, som store kjoler; slike klær utviser samme type fluiddynamikk som gjør skapelsen av neuralt-renderede hår så utfordrende. Det antas at en passende løsning kunne hjelpe til å løse begge problemene.

Først publisert 12. oktober 2022.