Omformning av menneskekropper med AI

Et nytt forskningssamarbeid fra Kina tilbyr en ny metode for omformning av menneskekropper i bilder, ved hjelp av et koordinert tvilling neuralt nettverk, styrt av en parametrisk modell, som tillater en sluttbruker å modulere vekt, høyde og kroppsproporsjoner i et interaktivt grensesnitt.

Parametrisk modulasjon av kroppens form, med skyvere som endrer de tre tilgjengelige funksjonene. Kilde: https://arxiv.org/pdf/2203.10496.pdf

Arbeidet tilbyr flere forbedringer over et lignende prosjekt fra Alibaba, da det kan overbevisende endre høyde og kroppsproporsjoner samt vekt, og har et dedikert neuralt nettverk for ‘inpainting’ av (ikke-eksisterende) bakgrunn som kan avdekkes av ‘slankere’ kroppsbilder. Det forbedrer også en tidligere parametrisk metode for kroppsomformning ved å fjerne behovet for omfattende menneskelig inngripen under formuleringen av transformasjonen.

Betegnet NeuralReshaper, den nye arkitekturen passer en parametrisk 3D-menneskemodell til en kildebilde, og bruker deretter forvrengninger i modellen til å tilpasse den opprinnelige bildet til de nye parameterne.

Systemet kan håndtere kroppstransformasjoner på både kledd og semi-kledd (dvs. badedrakt) figurer.

Transformasjoner av denne typen er for tiden av intens interesse for modell AI-forskning, som har produsert en rekke StyleGAN/CycleGAN-baserte og generelle neurale nettverksplattformer for virtuelle prøver som kan tilpasse tilgjengelige klær til kroppstype og -form på et brukerleverert bilde, eller hjelpe med visuell konformitet.

Den artikkelen er betegnet Enkeltbilde-menneskekropp-omformning med dypt neuralt nettverk, og kommer fra forskere ved Zhejiang University i Hangzhou, og School of Creative Media ved City University of Hong Kong.

SMPL-tilpasning

NeuralReshaper bruker Skinned Multi-Person Linear Model (SMPL) utviklet av Max Planck Institute for Intelligent Systems og kjent VFX-huset Industrial Light and Magic i 2015.

SMPL-parametrisk menneske fra 2015 Planck/ILM-samarbeidet. Kilde: https://files.is.tue.mpg.de/black/papers/SMPL2015.pdf

I den første fasen av prosessen, genereres en SMPL-modell fra en kildebilde som ønskes å endres. Tilpasningen av SMPL-modellen til bildet følger metodologien til Human Mesh Recovery (HMR)-metoden foreslått av universiteter i Tyskland og USA i 2018.

De tre parameterne for forvrengning (vekt, høyde, kroppsproporsjoner) beregnes på dette stadiet, sammen med en vurdering av kamera-parameterne, som f.eks. brennvidde. 2D-nøkkelpunkter og generert silhuett-justering gir innhegningen for forvrengningen i form av en 2D-silhuett, en ekstra optimeringsmåte som øker grense-nøyaktigheten og tillater autentisk bakgrunns-inpainting lenger ned i pipeline-en.

SMPL-tilpasningsfaser: venstre, kildebildet; andre, optimeringsresultatet fra metoden beskrevet i 2016 forskning ledet av Max Planck Institute for Intelligent Systems; tredje, en direkte inferensresultat fra det forhånds-trente modellen for End-to-end Recovery of Human Shape and Pose; fjerde, resultater etter optimering av 2D-nøkkelpunkter; og til slutt, femte, den fullførte tilpasningen etter silhuett-justering (se over).

Den 3D-forvrengningen projiseres deretter inn i arkitekturens bilde-rom for å fasilitere en tett forvrengningsfelt som vil definere forvrengningen. Denne prosessen tar omtrent 30 sekunder per bilde.

NeuralReshaper-arkitektur

NeuralReshaper kjører to neurale nettverk i tandem: en forgrunns-encoder som genererer den transformerte kroppens form, og en bakgrunns-encoder som fokuserer på å fylle inn ‘de-occluded’ bakgrunnsområder (i tilfelle, for eksempel, slimming ned en kropp – se bilde under).

U-net-liknende rammeverk integrerer utgangen fra de to encoder-egenskapene før den sender resultatet til en samlet encoder som til slutt produserer et nytt bilde fra de to innputtene. Arkitekturen har en ny mekanisme for å muliggjøre integrasjon.

Trening og eksperimenter

NeuralReshaper er implementert i PyTorch på en enkelt NVIDIA 1080ti GPU med 11gb VRAM. Nettverket ble trent i 100 epoker under Adam-optimatoren, med generatoren satt til et mål-tap på 0,0001 og diskriminatoren til et mål-tap på 0,0004. Treningen skjedde på en batch-størrelse på 8 for et proprietært utendørs-dataset (hentet fra COCO, MPII, og LSP), og 2 for trening på DeepFashion-datasetet.

Til venstre, de originale bildene, til høyre, den reproportionerte utgangen av NeuralReshaper.

Nedenfor er noen eksempler eksklusivt fra DeepFashion-datasetet som er trent for NeuralReshaper, med de originale bildene alltid til venstre.

De tre kontrollerbare attributtene er frigjort, og kan brukes separat.

Transformasjoner på det avledede utendørs-datasetet er mer utfordrende, siden de ofte krever infilling av komplekse bakgrunner og tydelig og overbevisende avgrensning av de transformerte kroppstypene:

Parametrisk nødvendighet

Som artikkelen observerer, representerer like-bilde-transformasjoner av denne typen et dårlig stilte problem i bilde-syntese. Mange transformative GAN- og encoder-rammeverk kan bruke parrede bilder (slik som de mange prosjektene designet for å effektuere skisse>foto og foto>skisse-transformasjoner).

Men i dette tilfellet ville dette kreve bildepar med samme personer i forskjellige fysiske konfigurasjoner, slik som ‘før og etter’-bildene i diett- eller plastisk kirurgi-reklame – data som er vanskelig å få eller generere.

Alternativt kan transformative GAN-nettverk trene på mye mer diverse data, og effektuere transformasjoner ved å søke etter latent retning mellom kilde-bildets (opprinnelige bilde latent kode) og ønsket klasse (i dette tilfelle ‘tykk’, ‘tynn’, ‘høy’, osv.). Men denne tilnærmingen er for tiden for begrenset for formålet med finjusterte kroppsomforminger.

Neural Radiance Fields (NeRF)-tilnærmingene er mye mer avanserte i fullstendig kropps-simulering enn de fleste GAN-baserte systemer, men er fortsatt scene-spesifikke og ressurs-intensive, med for tiden svært begrenset evne til å redigere kroppstyper på en granulert måte som NeuralReshaper og tidligere prosjekter prøver å løse (bortsett fra skalering av hele kroppen ned relativt til dens omgivelse).

GANs latente rom er vanskelig å styre; VAE-er alene løser ikke kompleksitetene i fullstendig kropps-reproduksjon; og NeRFs evne til å konsistent og realistisk omforme menneskekroppen er fortsatt i sin barndom. Derfor synes det som om inkorporeringen av ‘tradisjonelle’ CGI-metodologier som SMPL vil fortsette i menneske-bilde-syntese-forskning, som en metode for å samle og konsolidere funksjoner, klasser og latente koder hvis parametre og utnyttbarhet ikke ennå fullstendig forstås i disse nye teknologiene.

Først publisert 31. mars 2022.