Andersons hoek

Het herschapen van menselijke lichaamstypen met AI

Martin Anderson
Voeg Unite.AI toe aan je voorkeursbronnen op Google
Belangrijkste puntenNeuralReshaper gebruikt SMPL-parametrische modellen voor gedetailleerde controle over…
Meer weergeven
  • NeuralReshaper gebruikt SMPL-parametrische modellen voor gedetailleerde controle over gewicht, lengte en lichaamsverhoudingen.
  • De tweelingencoderarchitectuur verwerkt afzonderlijk het hervormen van het voorgrondlichaam en het invullen van de achtergrond voor realistische resultaten.
  • Op SMPL gebaseerde CGI-methoden blijven essentieel omdat GAN's en NeRF's nog niet betrouwbaar lichaamsvormparameters kunnen bewerken.

Een nieuwe onderzoeks samenwerking uit China biedt een vernieuwende methode om het menselijk lichaam in beelden te herschapen, door het gebruik van een gecoördineerd tweeling neurale encoder netwerk, geleid door een parametriseerd model, dat een eindgebruiker in staat stelt om gewicht, lengte en lichaamsproporties te moduleren in een interactieve GUI.

Parametrische aanpassing van de lichaamsvorm, met schuifregelaars voor de drie beschikbare kenmerken. Source: https://arxiv.org/pdf/2203.10496.pdf

Parametrische aanpassing van de lichaamsvorm, met schuifregelaars voor de drie beschikbare kenmerken. Source: https://arxiv.org/pdf/2203.10496.pdf

Het werk biedt verschillende verbeteringen ten opzichte van een recent soortgelijk project van Alibaba, omdat het overtuigend lengte en lichaamsproporties kan veranderen, evenals gewicht, en een speciaal neurale netwerk heeft voor ‘inpainting’ van de (niet-bestaande) achtergrond die kan worden onthuld door ‘dunnere’ lichaamsbeelden. Het verbetert ook een opvallende eerdere parametriseerde methode voor lichaamsherschapen door de noodzaak voor uitgebreide menselijke interventie tijdens de formulering van de transformatie te verwijderen.

Genoemd NeuralReshaper, past de nieuwe architectuur een parametriseerd 3D-menselijk sjabloon aan een bronafbeelding aan, en gebruikt vervormingen in het sjabloon om de oorspronkelijke afbeelding aan te passen aan de nieuwe parameters.

Het systeem kan lichaamstransformaties verwerken op geklede en semi-geklede (d.w.z. strandkleding) figuren.

Transformaties van dit type zijn momenteel van groot belang voor de fashion AI-onderzoekssector, die een aantal StyleGAN/CycleGAN-gebaseerde en algemene neurale netwerkplatforms heeft geproduceerd voor virtuele pasbeurten die beschikbare kledingartikelen kunnen aanpassen aan de lichaamsvorm en -type van een door de gebruiker ingediende afbeelding, of anderszins helpen bij visuele conformiteit.

Het artikel heet Single-image Human-body Reshaping with Deep Neural Networks en komt van onderzoekers aan de Zhejiang Universiteit in Hangzhou en de School of Creative Media aan de City University of Hong Kong.

SMPL-aanpassing

NeuralReshaper maakt gebruik van de Skinned Multi-Person Linear Model (SMPL) ontwikkeld door het Max Planck Instituut voor Intelligent Systems en de bekende VFX-huis Industrial Light and Magic in 2015.

Parametrische SMPL-mensmodellen uit de samenwerking tussen Planck en ILM in 2015. Source: https://files.is.tue.mpg.de/black/papers/SMPL2015.pdf

Parametrische SMPL-mensmodellen uit de samenwerking tussen Planck en ILM in 2015. Source: https://files.is.tue.mpg.de/black/papers/SMPL2015.pdf

In de eerste fase van het proces wordt een SMPL-model gegenereerd uit een bronafbeelding waarop lichaamstransformaties gewenst zijn. De aanpassing van het SMPL-model aan de afbeelding volgt de methodologie van de Human Mesh Recovery (HMR)-methode die in 2018 door universiteiten in Duitsland en de VS is voorgesteld.

De drie parameters voor vervorming (gewicht, lengte, lichaamsproporties) worden op dit stadium berekend, samen met een overweging van de cameraparameters, zoals brandpuntsafstand. 2D-sleutelpunten en gegenereerde silhouetuitlijning bieden de omsluiting voor de vervorming in de vorm van een 2D-silhouet, een extra optimalisatiemaatregel die de grensprecisie verhoogt en authentieke achtergrondinpainting verderop in de pijplijn mogelijk maakt.

Stappen van de SMPL-aanpassing: links de bronafbeelding; daarnaast het optimalisatieresultaat volgens onderzoek uit 2016 onder leiding van het Max Planck Institute for Intelligent Systems; in het midden de directe inferentie uit het voorgetrainde model voor herstel van menselijke vorm en houding; daarnaast de optimalisatie van 2D-kenmerkpunten; rechts de definitieve aanpassing na silhouetoptimalisatie (zie hierboven).

Stappen van de SMPL-aanpassing: links de bronafbeelding; als tweede het optimalisatieresultaat volgens het in 2016 beschreven onderzoek onder leiding van het Max Planck Institute for Intelligent Systems; als derde de directe inferentie uit het voorgetrainde model voor End-to-end Recovery of Human Shape and Pose; als vierde het resultaat na optimalisatie van de 2D-kenmerkpunten; als vijfde de definitieve aanpassing na silhouetoptimalisatie (zie hierboven).

De 3D-vervorming wordt vervolgens geprojecteerd in de beeldruimte van de architectuur om een dichte warping-veld te definiëren dat de vervorming zal definiëren. Dit proces duurt ongeveer 30 seconden per afbeelding.

Architectuur van NeuralReshaper

NeuralReshaper draait twee neurale netwerken in tandem: een voorgrondencoder die de getransformeerde lichaamsvorm genereert, en een achtergrondencoder die zich richt op het invullen van ‘de-occluded’ achtergrondgebieden (in het geval, bijvoorbeeld, van het afslanken van een lichaam – zie onderstaande afbeelding).

Het U-net-achtige kader integreert de uitvoer van de twee encoders’ functies voordat het resultaat wordt doorgegeven aan een gezamenlijke decoder die uiteindelijk een nieuwe afbeelding produceert uit de twee invoer. De architectuur heeft een vernieuwende warp-geleide mechanisme om integratie mogelijk te maken.

Training en experimenten

NeuralReshaper is geïmplementeerd in PyTorch op een enkele NVIDIA (NVDA ) 1080ti GPU met 11gb VRAM. Het netwerk werd getraind voor 100 epochs onder de Adam-optimizer, met de leersnelheid van de generator ingesteld op 0,0001 en die van de discriminator op 0,0004. De training vond plaats op een batchgrootte van 8 voor een propriëtaire buitendataset (getrokken uit COCO, MPII, en LSP), en 2 voor training op de DeepFashion-dataset.

Links de oorspronkelijke afbeeldingen, rechts de uitvoer van NeuralReshaper met aangepaste verhoudingen.

Links de oorspronkelijke afbeeldingen, rechts de uitvoer van NeuralReshaper met aangepaste verhoudingen.

Onderstaand zijn enkele voorbeelden die exclusief afkomstig zijn van de DeepFashion-dataset, getraind voor NeuralReshaper, met de oorspronkelijke afbeeldingen altijd links.

De drie controleerbare attributen zijn ontward, en kunnen afzonderlijk worden toegepast.

Transformaties op de afgeleide buitendataset zijn moeilijker, omdat ze vaak het invullen van complexe achtergronden en duidelijke en overtuigende afbakening van de getransformeerde lichaamstypen vereisen:

Parametrische noodzaak

Zoals het artikel opmerkt, vertegenwoordigen transformaties van dit type een onbepaald probleem in beeldsynthese. Veel transformatieve GAN- en encoderkaders kunnen gebruikmaken van gepaarde afbeeldingen (zoals de diverse projecten die zijn ontworpen om schets>foto en foto>schets transformaties te bewerkstelligen).

Echter, in het geval hier, zou dit het gebruik van afbeeldingsparen vereisen met dezelfde personen in verschillende fysieke configuraties, zoals de ‘voor en na’ afbeeldingen in dieet- of plastische chirurgie reclame – gegevens die moeilijk te verkrijgen of te genereren zijn.

Alternatief kunnen transformatieve GAN-netwerken trainen op veel meer diverse gegevens en transformaties effectueren door de latent richting tussen de bron (oorspronkelijke afbeelding latent code) en de gewenste klasse (in dit geval ‘dik’, ‘dun’, ‘lang’, etc.) te zoeken. Echter, deze benadering is momenteel te beperkt voor het doel van fijn afgestemde lichaamsherschapen.

Neural Radiance Fields (NeRF) benaderingen zijn veel verder ontwikkeld in full-body simulatie dan de meeste GAN-gebaseerde systemen, maar blijven scène-specifiek en resource-intensief, met momenteel zeer beperkte mogelijkheid om lichaamstypen te bewerken op de granulaire manier die NeuralReshaper en eerdere projecten proberen aan te pakken (afgezien van het hele lichaam naar beneden schalen ten opzichte van de omgeving).

De latent ruimte van de GAN is moeilijk te reguleren; VAE’s alleen adresseren nog niet de complexiteiten van full-body reproductie; en NeRF’s capaciteit om consistent en realistisch menselijke lichamen te remodelen is nog in de kinderschoenen. Daarom lijkt de incorporatie van ‘traditionele’ CGI-methodologieën zoals SMPL te zullen voortduren in de menselijke beeldsyntheseonderzoekssector, als een methode om functies, klassen en latent codes te bundelen en te consolideren waarvan de parameters en exploitatie nog niet volledig worden begrepen in deze opkomende technologieën.

 

Voor het eerst gepubliceerd op 31 maart 2022.

Schrijver over machine learning, domeinspecialist in menselijke beeldsynthetisatie. Voormalig hoofd van onderzoekscontent bij Metaphysic.ai, tot de ontbinding ervan in DNEG's Brahma.ai.
Website: martinanderson.ai
Contact: martin@martinanderson.ai