Nep lichamen creëren met AI

Nieuw onderzoek van de Alibaba DAMO-academie biedt een AI-gestuurd workflow voor het automatiseren van het herschappen van afbeeldingen van lichamen – een zeldzame inspanning in een computer vision-sector die momenteel wordt gedomineerd door gezichtsgebaseerde manipulaties zoals deepfakes en GAN-gebaseerde gezichtsediten.

Ingevoegd in ‘resultaat’ kolommen, de gegenereerde aandachtskaarten die de gebieden definiëren die moeten worden gewijzigd. Bron: https://arxiv.org/pdf/2203.04670.pdf

De architectuur van de onderzoekers gebruikt skeletpose-estimatie om de grotere complexiteit aan te pakken die beeldsynthese- en bewerkingsystemen tegenkomen bij het conceptualiseren en parameteriseren van bestaande lichaamsafbeeldingen, tenminste tot een niveau van granulariteit dat daadwerkelijk zinvolle en selectieve bewerking toelaat.

Geschatte skeletkaarten helpen om individuen en aandacht te richten op delen van het lichaam die waarschijnlijk worden bijgewerkt, zoals het bovenarmgebied.

Het systeem maakt het uiteindelijk mogelijk voor een gebruiker om parameters in te stellen die de verschijning van gewicht, spiermassa of gewichtsverdeling in volledige of middelgrote foto’s van mensen kunnen veranderen, en kan willekeurige transformaties genereren op geklede of ongeklede lichaamsdelen.

Links, de invoerafbeelding; midden, een warmtekaart van de afgeleide aandachtsgebieden; rechts, de getransformeerde afbeelding.

De motivatie voor het werk is de ontwikkeling van geautomatiseerde workflows die de moeilijke digitale manipulaties kunnen vervangen die door fotografen en productiegrafische artiesten in verschillende takken van de media worden uitgevoerd, van mode tot magazine-uitvoer en publiciteitsmateriaal.

In het algemeen erkennen de auteurs dat deze transformaties meestal worden toegepast met ‘warp’-technieken in Photoshop en andere traditionele bitmap-editors, en bijna uitsluitend worden gebruikt op afbeeldingen van vrouwen. Gevolglijk bestaat de aangepaste dataset die is ontwikkeld om het nieuwe proces te vergemakkelijken, voornamelijk uit afbeeldingen van vrouwelijke onderwerpen:

‘Aangezien lichaamsretoucheren meestal door vrouwen wordt gewenst, bestaat de meerderheid van onze collectie uit foto’s van vrouwen, met inachtneming van de diversiteit van leeftijden, rassen (Afrikaans:Aziatisch:Kaukasisch = 0,33:0,35:0,32), poses en kleding.’

Het artikel heeft de titel Structure-Aware Flow Generation for Human Body Reshaping en komt van vijf auteurs die zijn geassocieerd met Alibaba’s wereldwijde DAMO-academie.

Datasetontwikkeling

Zoals meestal het geval is met beeldsynthese- en bewerkingsystemen, vereiste de architectuur voor het project een aangepaste trainingsdataset. De auteurs hebben drie fotografen ingehuurd om standaard Photoshop-manipulaties van geschikte afbeeldingen van de stockfotowebsite Unsplash uit te voeren, met als resultaat een dataset – getiteld BR-5K* – van 5.000 hoge kwaliteit afbeeldingen met een resolutie van 2K.

De onderzoekers benadrukken dat het doel van de training op deze dataset niet is om ‘geïdealiseerde’ en gegeneraliseerde kenmerken te produceren die verband houden met een index van aantrekkelijkheid of gewenste verschijning, maar om de centrale kenmerkkaarten te extraheren die zijn geassocieerd met professionele manipulaties van lichaamsafbeeldingen.

Echter, ze geven toe dat de manipulaties uiteindelijk transformatieprocessen weerspiegelen die een overgang van ‘echt’ naar een vooraf ingestelde notie van ‘ideaal’ vertegenwoordigen:

‘We nodigen drie professionele artiesten uit om lichamen te retoucheren met Photoshop onafhankelijk, met als doel slanke figuren te bereiken die voldoen aan de populaire esthetiek, en selecteren de beste als grondwaarheid.’

Aangezien het kader geen gezichten behandelt, werden deze vóór het opnemen in de dataset uitgewist.

Architectuur en kernconcepten

De workflow van het systeem omvat het invoeren van een hoge resolutieportret, downsamplen naar een lagere resolutie die in de beschikbare rekenbronnen past, en het extraheren van een geschatte skeletkaart (tweede figuur van links in de afbeelding hieronder), evenals Part Affinity Fields (PAF’s), die in 2016 zijn geïnnoveerd door The Robotics Institute aan de Carnegie Mellon University (zie video rechtstreeks hieronder).

Part Affinity Fields helpen om de oriëntatie van ledematen en de algemene associatie met het bredere skeletkader te definiëren, waardoor het nieuwe project een extra aandachts-/localisatietool krijgt.

Uit het artikel over Part Affinity Fields, PAF’s die zijn voorspeld, coderen de oriëntatie van ledematen als onderdeel van een 2D-vektor die ook de algemene positie van het lid omvat. Bron: https://arxiv.org/pdf/1611.08050.pdf

Ondanks hun schijnbare irrelevantie voor de verschijning van gewicht, zijn skeletkaarten nuttig bij het dirigeren van de finale transformatieprocessen naar delen van het lichaam die moeten worden gewijzigd, zoals bovenarmen, achterkant en dijen.

Hierna worden de resultaten doorgegeven aan een Structure Affinity Self-Attention (SASA) in de centrale bottleneck van het proces (zie afbeelding hieronder).

De SASA reguleert de consistentie van de flowgenerator die het proces voedt, waarvan de resultaten vervolgens worden doorgegeven aan de warpingmodule (tweede van rechts in de afbeelding hierboven), die de transformaties toepast die zijn geleerd van de handmatige revisies in de dataset.

De Structure Affinity Self-Attention (SASA)-module wijst aandacht toe aan relevante lichaamsdelen, waardoor onnodige of irrelevante transformaties worden vermeden.

De uitvoerafbeelding wordt vervolgens opgeschaald naar de oorspronkelijke resolutie van 2K, met processen die niet veel verschillen van de standaard, 2017-stijl deepfake-architectuur waaruit populaire pakketten zoals DeepFaceLab zijn afgeleid; het opschalingsproces is ook gebruikelijk in GAN-bewerkingskaders.

Het aandachtsnetwerk voor het schema is gemodelleerd naar Compositional De-Attention Networks (CODA), een samenwerking tussen de VS en Singapore uit 2019 met Amazon AI en Microsoft.

Tests

De flow-gebaseerde architectuur werd getest tegen eerdere flow-gebaseerde methoden FAL en Animating Through Warping (ATW), evenals beeldvertaalarchitecturen Pix2PixHD en GFLA, met SSIM, PSNR en LPIPS als evaluatiemetrics.

Resultaten van de initiële tests (pijlen in de headers geven aan of lage of hoge cijfers het beste zijn).

Op basis van deze aangenomen metrics, presteert het systeem van de auteurs beter dan de eerdere architectuur.

Geselecteerde resultaten. Raadpleeg het originele PDF dat in dit artikel is gekoppeld voor hogere resolutievergelijkingen.

Naast de geautomatiseerde metrics voerden de onderzoekers een gebruikersstudie uit (laatste kolom van de resultaatentabel hierboven), waarin 40 deelnemers elk 30 vragen te zien kregen die willekeurig waren geselecteerd uit een pool van 100 vragen met betrekking tot de afbeeldingen die via de verschillende methoden waren gegenereerd. 70% van de respondenten gaf de voorkeur aan de nieuwe techniek als visueel aantrekkelijker.

Uitdagingen

Het nieuwe artikel vertegenwoordigt een zeldzame excursie in AI-gebaseerde lichaamsmanipulatie. De beeldsynthesector is momenteel veel meer geïnteresseerd in het genereren van bewerkbare lichamen via methoden zoals Neural Radiance Fields (NeRF), of is gefixeerd op het verkennen van de latent ruimte van GAN’s en het potentieel van auto-encoders voor gezichtsmanipulatie.

De initiatief van de auteurs is momenteel beperkt tot het produceren van veranderingen in de waargenomen gewicht, en ze hebben geen enkele vorm van inpainting geïmplementeerd die de achtergrond kan herstellen die onvermijdelijk zichtbaar wordt wanneer je een afbeelding van iemand slanker maakt.

Echter, ze stellen voor dat portretmatting en achtergrondmixing door textuurinference het probleem van het herstellen van delen van de wereld die eerder door menselijke ‘onvolkomenheid’ waren verborgen, gemakkelijk kunnen oplossen.

Een voorgestelde oplossing voor het herstellen van de achtergrond die zichtbaar wordt door AI-geleide vetreductie.

* Hoewel het voorpublicatieartikel verwijst naar aanvullend materiaal dat meer details geeft over de dataset, evenals verdere voorbeelden uit het project, is de locatie van dit materiaal niet beschikbaar in het artikel, en de overeenkomstige auteur heeft nog niet gereageerd op ons verzoek om toegang.

Publicatie voor het eerst op 10 maart 2022.