Oprettelse af fuldkropdybdekke ved kombination af flere NeRF’er

Billedsynthese-forskningssektoren er tæt besat med nye forslag til systemer, der kan oprette fuldkropsvideo og billeder af unge mennesker – primært unge kvinder – i forskellige typer beklædning. De fleste af de genererede billeder er statiske; nogle gange bevæger repræsentationerne sig, selvom det ikke altid er meget godt.

Temposet for denne forskningsstræng er glacielt i forhold til den nuværende svimlende niveau af fremgang i relaterede felter som latent diffusionsmodeller; dog fortsætter forskningsgrupperne, det meste i Asien, uhindret med at løse problemet.

En af dusinvis, hvis ikke hundredvis af foreslåede eller semi-lancerede ‘virtuelle prøvningssystemer’ fra de sidste 10-15 år, hvor kroppen vurderes gennem maskinlæringsbaseret objektgenkendelse og tilpasses til de foreslåede beklædningsgenstande. Kilde: https://www.youtube.com/watch?v=2ZXrgGyhbak

Målet er at oprette nye systemer til at aktivere ‘virtuelle prøvninger’ for mode- og beklædningsmarkedet – systemer, der kan tilpasse sig både til kunden og til den specifikke vare, der er tilgængelig eller snart udkommer, uden den klodsede realtids overlægning af beklædning eller behovet for at bede kunderne om at sende lidt NSFW-billeder til ML-baserede renderingsrørledninger.

Ingen af de populære syntese-arkitekturer synes let tilgængelige for denne opgave: den latente rum af Generative Adversarial Networks (GANs) er ikke velegnet til at producere overbevisende tidsmæssig bevægelse (eller redigering i almindelighed); selvom velkapable til at generere realistisk menneskelig bevægelse, er Neural Radiance Fields (NeRF) normalt naturligt resistente over for den type redigering, der ville være nødvendig for at ‘udskifte’ personer eller beklædning efter forgodtbefindende; autoencodere ville kræve byrdefulde person/beklædnings-specifik træning; og latent diffusionsmodeller, ligesom GANs, har ingen native tidsmæssige mekanismer til videogenerering.

EVA3D

Alligevel fortsætter papirerne og forslagene. Det seneste er af usædvanlig interesse i en ellers uafskåret og eksklusivt forretningsorienteret linje af forskning.

EVA3D, fra Singapores Nanyang Teknologiske Universitet, er det første tegn på en tilgang, der har været længe undervejs – brugen af flere Neural Radiance Field-netværk, hver af dem er dedikeret til en separat del af kroppen, og som derefter komponeres til en samlet og sammenhængende visualisering.

En mobil ung kvinde komponeret af flere NeRF-netværk, til EVA3D. Kilde: https://hongfz16.github.io/projects/EVA3D.html

Resultaterne, i forhold til bevægelse, er…okay. Selvom EVA3D’s visualiseringer ikke er uden for den ukomfortable dal, kan de i hvert fald se afkørslen fra, hvor de står.

Hvad der gør EVA3D fremragende, er, at forskerne bag det, næsten unikt i sektoren for fuldkropsbilledsynthese, har indset, at et enkelt netværk (GAN, NeRF eller andet) ikke vil være i stand til at håndtere redigerbar og fleksibel fuldkropsgenerering for mennesker i nogle år – dels på grund af forskningens tempo og dels på grund af hardware- og andre logistiske begrænsninger.

Forskere fra Nanyang har derfor opdelt opgaven på tværs af 16 netværk og multiple teknologier – en tilgang, der allerede er blevet anvendt til neuralt rendering af bymiljøer i Block-NeRF og CityNeRF, og som sandsynligvis vil blive en mere og mere interessant og potentiel midlertidig løsning for at opnå fuldkropdybdekke i de næste fem år, afhængigt af nye konceptuelle eller hardware-udviklinger.

Ikke alle udfordringerne, der er til stede ved oprettelse af denne type ‘virtuel prøvning’, er tekniske eller logistiske, og papiret fremhæver nogle af data-problemerne, især i forhold til usupervisede læreprocesser:

‘[Mode] datasæt har mest af begrænsede menneskelige stillinger (de fleste er lignende stående stillinger), og højst ubalancerede visningsvinkler (de fleste er forsidevinkler). Denne ubalancerede 2D-datafordeling kunne hindre usupervisede læreprocesser af 3D GAN’er, hvilket fører til vanskeligheder ved ny syns- og stillingssyntese. Derfor er en passende træningsstrategi nødvendig for at lette problemet.’

EVA3D’s arbejdsproces opdeler den menneskelige krop i 16 distinkte dele, hver af dem genereres gennem sit eget NeRF-netværk. Det skaber nok ‘ufrosne’ sektioner til at kunne galvanisere figuren gennem bevægelsesregistrering eller andre typer bevægelsesdata. Ud over denne fordel tillader systemet også tildeling af maksimale ressourcer til de dele af kroppen, der ‘sælger’ den samlede indtryk.

For eksempel har menneskefødder en meget begrænset rækkevidde af led, mens ægthed af ansigt og hoved, ud over kvaliteten af hele kroppens bevægelse i almindelighed, sandsynligvis vil være det fokale tegn på ægthed for renderingen.

En kvalitativ sammenligning mellem EVA3D og tidligere metoder. Forfatterne hævder SOTA-resultater i denne henseende.

Tilgangen adskiller sig radikalt fra NeRF-centrerede projekt, som det er konceptuelt relateret til – 2021’s A-NeRF, fra University of British Columbia og Reality Labs Research, som forsøgte at tilføje en intern kontrollerende skelet til en ellers konventionel ‘én stykke’ NeRF-repræsentation, hvilket gjorde det mere vanskeligt at tildele procesressourcer til forskellige dele af kroppen på basis af behov.

Tidligere bevægelser – A-NeRF udstyrer en ‘bagt’ NeRF med den samme type ductile og articulated central rigging, som VFX-industrien har brugt i så lang tid til at animere CGI-karakterer. Kilde: https://lemonatsu.github.io/anerf/

I fællesskab med de fleste lignende menneske-orienterede projekter, der søger at udnytte den latente rum af de forskellige populære tilgange, bruger EVA3D en Skinned Multi-Person Linear Model (SMPL), en ‘traditionel’ CGI-baseret metode til at tilføje instrumentering til den generelle abstraktion af nuværende syntese-metoder. Tidligere på året brugte et andet papir, denne gang fra Zhejiang Universitet i Hangzhou og School of Creative Media ved City University of Hong Kong, sådanne metoder til at udføre neuralt kropsomformning.

EVA3D’s kvalitative resultater på DeepFashion.

Metode

SMPL-modellen, der bruges i processen, er afstemt til den menneskelige ‘prior’ – personen, der i virkeligheden er ‘frivilligt’ dybde-falsk af EVA3D, og dens skinning-vægte forhandler forskellene mellem den kanoniske rum (dvs. ‘i hvile’, eller ‘neutral’ stilling af en SMPL-model) og den måde, hvorpå den endelige fremtoning renderes på.

Den konceptuelle arbejdsproces for EVA3D. Kilde: https://arxiv.org/pdf/2210.04888.pdf

Som vist i illustrationen ovenfor, bruges SMPL’s begrænsningsbokse som grænse-definitioner for de 16 netværk, der vil komponere kroppen. Inverse Linear Blend Skinning (LBS) algoritme af SMPL bruges derefter til at overføre synlige sampled stråler til den kanoniske (passive stilling) rum. Derefter spørges de 16 under-netværk, baseret på disse konfigurationer, og endelig konformerer de til en endelig render.

Hele NeRF-kompositionen bruges derefter til at konstruere et 3D menneske-GAN-rammeværk.

Renderingerne af den anden-etapes GAN-rammeværk vil til sidst blive trænet mod ægte 2D-billedsamlinger af mennesker/mode.

Hvert under-netværk, der repræsenterer en del af den menneskelige krop, består af stablede Multi-Layer Perceptrons (MLP’er) med SIREN (Sinusoidal Representation Networks) aktivering. Selvom SIREN løser mange problemer i en arbejdsproces som denne, og i lignende projekter, har det tendens til at overfitte i stedet for at generalisere, og forskerne foreslår, at alternative biblioteker kan bruges i fremtiden (se slutningen af artiklen).

Data, Træning og Tests

EVA3D står over for usædvanlige data-problemer på grund af begrænsningerne og den standardiserede stil af stillinger, der er tilgængelige i mode-baserede datasæt, som tendenser til at mangle alternative eller nye vinkler og er måske bevidst gentagne for at fokusere opmærksomheden på tøjet snarere end den menneskelige, der bærer det.

På grund af denne ubalancerede stillingsfordeling bruger EVA3D menneskelige priorer (se ovenfor) baseret på SMPL-skabelon-geometri, og derefter forudser en Signed Distance Field (SDF) offset af denne stilling, snarere end en direkte målstilling.

For de støttende eksperimenter brugte forskerne fire datasæt: DeepFashion; SHHQ; UBCFashion; og AIST Dance Video Database (AIST Dance DB).

De to sidstnævnte indeholder mere varierede stillinger end de to første, men repræsenterer de samme personer gentagne gange, hvilket eliminerer denne ellers nyttige diversitet; kort sagt, data er mere end udfordrende, givet opgaven.

Eksempler fra SSHQ. Kilde: https://arxiv.org/pdf/2204.11823.pdf

Baselinesne brugt var ENARF-GAN, det første projekt til at renderere NeRF-visualiseringer fra 2D-billed datasæt; Stanford og NVIDIA’s (NVDA ) EG3D; og StyleSDF, et samarbejde mellem University of Washington, Adobe (ADBE ) Research og Stanford University – alle metoder, der kræver super-resolution biblioteker for at skalere op fra native til høj opløsning.

Metrikkerne, der blev brugt, var den omstridte Frechet Inception Distance (FID) og Kernel Inception Distance (KID), sammen med Procentdel af korrekte nøglepunkter (PCKh@0.5).

I kvantitative evalueringer ledte EVA3D på alle metrikker i fire datasæt:

Kvantitative resultater.

Forskerne bemærker, at EVA3D opnår den laveste fejlrate for geometri-rendering, en kritisk faktor i et projekt af denne type. De observerer også, at deres system kan kontrollere genereret stilling og opnå højere PCKh@0.5-score, i modsætning til EG3D, den eneste konkurrerende metode, der scorede højere i en kategori.

EVA3D opererer naturligt på den nu standard 512x512px opløsning, selvom det let kan være opskaleret til HD opløsning ved at stable opskaleringsskikt, som Google har gjort med deres 1024 opløsning tekst-til-video-tilbud Imagen Video.

Metoden er ikke uden begrænsninger. Papiret bemærker, at SIREN-aktiveringen kan forårsage cirkulære artefakter, hvilket kunne være løst i fremtidige versioner ved brug af en alternativ basis-repræsentation, såsom EG3D, i kombination med en 2D-dekoder. Derudover er det vanskeligt at tilpasse SMPL nøjagtigt til mode-datakilderne.

Til sidst kan systemet ikke let tilpasse større og mere flydende beklædningsgenstande, såsom store kjoler; sådanne genstande udviser den samme type fluid dynamik, der gør oprettelsen af neuralt-renderet hår sådan en udfordring. Det antages, at en passende løsning kunne hjælpe med at løse begge problemer.

Publiceret første gang den 12. oktober 2022.