De Voordelen van Vet Worden door AI

Een nieuw AI-systeem kan realistisch de lichamen van mensen in foto’s herschappen, waardoor ze dikker, dunner of gespierder worden, zonder hun gezicht, kleren of achtergrond te veranderen. Het systeem is getraind op een volledig synthetische dataset die elke identiteit laat zien in meerdere lichaamstypen.

Naast het steeds vaker gebruik van AI als methode voor het verfijnen van lichaamsvormen op sociale netwerken, of (mogelijk) voor het veranderen van lichaamstypen voor VFX-doelen, kan het gebruik van machine learning om het uiterlijk van individuen te veranderen een belangrijkere functie hebben: het helpen van individuen met eetstoornissen om hun eigen dysmorfe interpretatie van hun uiterlijk te begrijpen, evenals het bieden van een potentieel motivatie-instrument voor meer algemene sport- en fitnessdoeleinden:

Uit het artikel ‘Body size estimation in women with anorexia nervosa and healthy controls using 3D avatars’, een GUI om veranderingen in lichaamsvorm te visualiseren. Individuen met lichaamsdysmorfie kunnen moeite hebben om een realistische interpretatie van hun lichaam te associëren met een soortgelijk beeld, waardoor clinicians een meting krijgen voor dysmorfe reacties, onder andere doeleinden. Bron: https://www.nature.com/articles/s41598-017-15339-z.pdf

Bovendien heeft de veel nagestreefde fashion try-on sub-strand in computer vision onderzoek ook een interesse in het bieden van nauwkeurige visualisaties over een breed scala aan lichaamstypen. Ondertussen hebben kaders zoals de 2024 DiffBody aanbod van de Universiteit van Tsukuba in Japan, enkele oogverblindende functionaliteiten in dit veld gecreëerd:

Enkele van de transformaties die mogelijk zijn met de vorige DiffBody-techniek. Bron: https://arxiv.org/pdf/2401.02804

Omdat AI-basismodellen zijn geoptimaliseerd voor conventioneel aantrekkelijke of anderszins gangbare lichaamstypen, zijn ongebruikelijke maten zoals ‘obees’ minimaal beschikbaar in standaardmodellen, of komen ze met enkele strafbare vooroordelen.

Paar Noodzakelijkheden

Een van de grootste uitdagingen bij het creëren van AI-systemen die realistisch vet of spiermassa aan foto’s van individuen kunnen toevoegen of verwijderen, zonder hun identiteit, omgeving of kleren te veranderen, is dat dit gepaarde training vereist, waarbij het AI-systeem effectief ‘voor’ en ‘na’ beelden leert die elke transformatie definiëren die het model moet uitvoeren.

Dit soort training is weer in de belangstelling gekomen vanwege het succes van Black Forest Labs’ Kontext reeks van beeldbewerkingsmodellen, waarbij dit soort gepaarde gegevens werd gebruikt om een reeks transformaties aan de modellen te leren:

Van de Flux Kontext-site, een voorbeeld van een transformatie die de soort brondata weerspiegelt die nodig is om een model te trainen dat beeldintegriteit kan behouden bij het aanbrengen van grote veranderingen. Bron: https://bfl.ai/models/flux-kontext

Het is duidelijk dat, in het geval van het ontwikkelen van een model dat de verschijning van een persoon aanzienlijk kan veranderen (zonder het hele beeld opnieuw te creëren), iets nodig is dat totaal onmogelijk is in de echte wereld: radicale ‘voor’ en ‘na’ beelden die slechts seconden uit elkaar zijn genomen.

De enige optie is synthetische gegevens. Sommige projecten van dit type hebben gebruik gemaakt van individuele, hoogwaardige contrastieve paren die handmatig in Photoshop zijn gemaakt; echter is dit onrealistisch op grote schaal, en een geautomatiseerd of semi-geautomatiseerd, AI-gestuurd proces voor het genereren van paren wordt nu steeds vaker als voorkeur gezien.

Het probleem met GAN-gebaseerde en meeste SMPL/X-gebaseerde benaderingen (waar een virtueel CGI-figuur wordt gebruikt als een soort uitwisselingsmechanisme tussen echte beelden en de gewenste transformaties), en met benaderingen die beeldvervorming gebruiken, is dat de achtergrond en identiteit het vaakst lijden in het proces.

Parametrische, vectorgebaseerde CGI-modellen zoals SMPL en SMPL-X (onder andere), bieden gedefinieerde conventionele fysieke 3D-coördinaten die kunnen worden geïnterpreteerd en geïntegreerd in computer vision frameworks. Bron: https://files.is.tue.mpg.de/black/papers/SMPL2015.pdf

Omdat het belangrijk is dat het AI-systeem alleen de gewenste aspecten verandert, in plaats van het leren om achtergronden en andere ongewenste fouten te repliceren, is nog geen enkel lichaam-veranderend systeem tot een perfecte oplossing gekomen.

Een recent artikel uit India stelt echter een opvallende vooruitgang voor op de stand van de techniek door het gebruik van het oudere Flux diffusiemodelkader, aangevuld met een aantal secundaire benaderingen die een superieure en consistenterdere gepaarde dataset mogelijk maken:

Datasetvoorbeelden van het nieuwe project. Bron: https://arxiv.org/pdf/2508.13065

Het project bestaat uit een nieuwe en uitgebreide gepaarde dataset; Odo, een generatief diffusiemodel getraind op deze gegevens; en een speciaal nieuw benchmark ontworpen om de prestaties van menselijke vormbewerking kwantitatief te beoordelen. In tests claimen de auteurs een opvallende vooruitgang ten opzichte van vergelijkbare modellen.

Het nieuwe artikel heeft de titel Odo: Depth-Guided Diffusion for Identity-Preserving Body Reshaping en komt van drie onderzoekers bij Fast Code AI Pvt. Ltd in Bangalore.

Gegevens en Methode

De door de onderzoekers gecreëerde dataset bevat 7.615 hoge resolutie (960x1280px) beelden voor elk doellichaamstype (vettig, dun en gespierd).

Aanvankelijk werden 1.523 menselijke gezichten gegenereerd met behulp van het FLUX.1-dev 12-miljard parameter diffusiemodel, waarbij een ongespecificeerd aantal licentievrije referentiegezichten van Pexels en Unsplash werden gebruikt om de diversiteit te vergroten.

Om volledige lichaamsbeelden te genereren met deze gezichten, gebruikten de onderzoekers ByteDance’s 2024 aanbod PuLID, een checkpoint gefinetuned over basis Flux, en voorzien van een contrastieve ID-verlies ontworpen om de identiteit van het gezicht te behouden tijdens transformatieprocessen:

Voorbeelden van het PuLID-project. Bron: https://arxiv.org/pdf/2404.16022

Het model ontving een gezichtsbeeld en een gestandaardiseerde prompt die vroeg om geslacht, kleding, houding, scène, evenals lichaamstype van dun, vettig of gespierd.

De drie lichaamstypebeelden voor elke identiteit vertoonden soms kleine verschuivingen in achtergronduitlijning en waargenomen onderwerpformaat, als gevolg van het stochastische gedrag van diffusiemodellen, waarbij elke generatie vanuit een nieuwe ruis zaad begint. Zelfs kleine veranderingen in de prompt, zoals het wijzigen van de lichaamstypebeschrijving, kunnen de trajectoire van het model in latent ruimte beïnvloeden en visuele drift veroorzaken.

Om deze variatie te corrigeren, werd een vierfasige automatische post-processingpijplijn toegepast, met de dunne afbeelding in elke triplet geselecteerd als referentie, aangezien de kleinere silhouet meer achtergrond blootlegde.

Persoon detectie werd uitgevoerd met RT-DETRv2, gevolgd door segmentatie met SAM 2.1 om onderwerp masks voor alle drie lichaamstypen te extraheren. De dunne referentieafbeelding werd vervolgens doorgegeven aan FLUX.1 Kontext Pro (het nieuwere beeldbewerkingsysteem) voor achtergrond inpainting, waardoor een schone versie van de scène ontstond, met het onderwerp verwijderd.

De vettige en gespierde varianten werden opnieuw geschaald met uniforme schaling om de hoogte van de dunne referentiemask te matchen en werden samengesteld op de schone achtergrond op hetzelfde onderste uitlijningsniveau, waardoor consistent kadering over alle afbeeldingen ontstond.

De auteurs verklaren:

‘De resulterende transformatietripels (dun, vet en spier) hebben een identieke achtergrond en uniform onderwerpformaat. Dit verwijdert irrelevante variaties die de volgende training of evaluatie negatief zouden kunnen beïnvloeden.’

Elk triplet van dunne, vettige en gespierde afbeeldingen liet zes mogelijke transformatieparen toe, resulterend in 45.690 theoretische combinaties over 7.615 identiteiten.

Na het filteren van voorbeelden met niet-overeenkomende kleding, onnatuurlijke houdingen, vervormde ledematen, identiteitsverschuiving of minimale vormverandering, werden 18.573 hoge kwaliteit paren behouden. Hoewel enkele kleine houdingsverschillen bleven, zou het model zich robust tonen tegenover deze variaties.

Training en Tests

De resulterende afbeeldingen werden gebruikt om het Odo-model te trainen – een diffusiegebaseerde benadering voor het herschappen van mensen, met het gebruik van Skinned Multi-Person Linear Model (SMPL, d.w.z. tussenliggende CGI) kaarten.

Geïnformeerd door de 2024 Neural Localizer’s methoden, werden de gegevens geconformeerd aan de SMPL-figuur op basis van elke individu, met de resulterende geoptimaliseerde parameters in staat om dieptekaarten te produceren waaruit de gewijzigde afbeeldingen zouden worden afgeleid:

Schema voor de trainingspijplijn. De linkerkant toont de trainingsopstelling, waarbij SMPL-dieptekaarten van het doelbeeld ReshapeNet via ControlNet leiden om lichaamstransformatie uit te voeren. Functies van het bronbeeld worden geëxtraheerd door ReferenceNet en samengevoegd in ReshapeNet met behulp van ruimtelijke zelfaandacht. De rechterkant toont inferentie, waarbij SMPL-parameters uit het invoerbeeld worden geschat, gewijzigd door semantische attributen en weergegeven in een doeldieptekaart die ReshapeNet tijdens denoising conditieert om het uiteindelijke getransformeerde beeld te produceren.

Het model (zie schema hierboven) bestaat uit de ReshapeNet module, ondersteund door drie hulpmodules: ReferenceNet; een IP-Adapter module; en een dieptebaseerde ControlNet module.

ReferenceNet extracteert gedetailleerde functies zoals achtergrond, kleding en identiteit uit het invoerbeeld en geeft deze door aan ReshapeNet. IP-Adapter draagt hoge niveau functiegids bij, terwijl de dieptebaseerde ControlNet SMPL-gebaseerde conditie toepast om de lichaamstransformatie te leiden. In overeenstemming met eerder werk, werd een SDXL-gebaseerde bevroren UNet gebruikt om tussenliggende functies te extraheren.

Wat betreft de IP-Adapter module, codeert deze het invoerbeeld via CLIP, met de resulterende embeddings geïntegreerd terug in ReshapeNet via cross-attention.

Wat betreft de dieptebaseerde ControlNet module, leidt deze de middelste en decoderlagen van ReshapeNet met behulp van residuverbindingen. Vervolgens neemt het een dieptekaart die is weergegeven vanuit de doel-SMPL parameters en aligneert deze met het doelbeeld.

ReshapeNet, gebaseerd op de SDXL UNet, is het kernnetwerk van Odo. Tijdens de training worden doelbeelden gecodeerd in latent ruimte met een variational autoencoder, geruisd over tijd en vervolgens gedenoised door ReshapeNet met behulp van functies van ControlNet en ReferenceNet.

Categorie-specifieke tekstprompts zoals ‘Maak de persoon vetter’, ‘Maak de persoon dunner’ of ‘Maak de persoon gespierder’ werden toegevoegd om transformaties te leiden. Terwijl de dieptekaarten grove lichaamsvormen vastlegden, boden de prompts de semantische details die nodig waren voor veranderingen zoals spierdefinitie, waardoor het model meer accurate en realistische modificaties kon produceren.

Trainingsimplementatie

Odo werd getraind op het project’s synthetische dataset, in combinatie met een subset van de DeepFashion-MultiModal dataset, resulterend in een totaal van 20.000 beeldparen.

De DeepFashion-MultiModal gegevens boden diversiteit in kleding en gezichtskenmerken, met beelden die tegen zichzelf werden gepaard tijdens de training. Met alle SMPL-dieptekaarten vooraf berekend voor efficiëntie, duurde de training 60 epochs op een enkele NVIDIA A100 GPU met 80GB VRAM.

Met de invoerbeelden opnieuw geschaald naar 768×1024, werd de Adam optimizer gebruikt, met een leer tempo van 1×10⁻⁵. ReshapeNet werd geïnitialiseerd met SDXL UNet gewichten en fijn afgesteld samen met de IP-Adapter vanuit zijn controlepunt.

ReferenceNet werd geïnitialiseerd met SDXL gewichten en bleef bevroren, terwijl de dieptebaseerde ControlNet vooraf getrainde gewichten gebruikte en ook bevroren bleef.

Het uiteindelijke model vereiste ongeveer 23GB GPU-geheugen en had 18 seconden nodig voor enkele beeldinferentie.

Een Nieuwe Metriek

Het gebrek aan datasets van het soort dat nodig is voor dit soort projecten betekende dat geen enkele bestaande metriek echt deze uitdaging aanging. Daarom ontwikkelden de auteurs een nieuwe benchmark, bestaande uit 3.600 beeldparen, met echte gezichtsbeelden en achtergrondbeschrijvingen, evenals diverse lichaamsvormvariaties.

Andere gebruikte metrics waren Structural Similarity Index (SSIM); Peak Signal-to-Noise Ratio (PSNR); Learned Perceptual Image Patch Similarity (LPIPS); en Scale Corrected Per-Vertex Euclidean error in neutral (T-)pose (PVE-T-SC).

Als eerste testten de auteurs hun methode kwalitatief tegen in het wild beelden (beelden die niet door het model zijn gezien tijdens de training):

Kwalitatieve tests. De voorbeelden laten conversies zien van het originele beeld naar dunne, overgewicht en gespierde lichaamstypen over verschillende houdingen, waaronder zitten en staan.

Van deze resultaten zegt het artikel:

‘[Onze] methode behandelt effectief diverse houdingen, achtergronden en kleding terwijl het de persoonlijke identiteit behoudt.

‘Naast SMPL-doelvormen bieden we tekstprompts – ‘Maak de persoon vetter’, ‘Maak de persoon dunner’ of ‘Maak de persoon gespierder’– om de gewenste transformaties expliciet te leiden…

…'[Het onderstaande beeld] toont verder de mogelijkheid van ons model om diverse vormtransformaties uit te voeren. Het model volgt SMPL-dieptekaarten nauwkeurig om meerdere variaties van dunne en vette versies van het referentiebeeld te genereren.’

Verdere kwalitatieve tests die het bereik van doellichaamstypen bestrijken.

De auteurs merken verder op:

‘Onze resultaten demonstreren meer realistische transformaties volgens het doelgewicht, aangezien ons model tegelijkertijd de algehele lichaamsvorm, ledemaatverhoudingen en kleding aanpast, resulterend in anatomisch consistente en visueel overtuigende modificaties.’

Voor kwantitatieve tests zetten de auteurs hun systeem tegen het open source Flux Kontext [dev] model, FLUX.1, en het 2022 aanbod Structure-Aware Flow Generation for Human Body Reshaping.

Voor FLUX.1 Kontext [dev] werden prompts ontworpen om ‘Maak de persoon vetter’, ‘Maak de persoon dunner’ of ‘Maak de persoon gespierder’ te instrueren, met doelgewichten gespecificeerd – hoewel het ontbreken van fijne controlemechanismen de prestaties beperkte:

Vergelijking van Odo met Structure-Aware Flow Generation for Human Body Reshaping en FLUX.1 Kontext [dev] op de testset, evenals ablatie-resultaten (niet behandeld in dit artikel) voor modellen getraind zonder promptconditie in ReshapeNet, zonder ReferenceNet (gebruikmakend van alleen IP-Adapter), en met training beperkt tot de BR-5K-dataset.

Conclusie

De komst van Flux Kontext dit jaar, en nog onlangs de release van de ongequantiseerde gewichten voor Qwen Image Edit, hebben gepaarde beeldgegevens weer in de belangstelling van de hobbyist- en professionele gemeenschappen gebracht. In een klimaat van groeiende kritiek en ongeduld met betrekking tot de onnauwkeurigheid van generatieve AI, zijn modellen van dit type ontworpen voor een veel hogere trouw aan de invoerbronbeelden (hoewel kleinere modellen soms worden gehinderd door hun specifieke trainingsdoelen).

De bruikbaarheid van een lichaamsvormsysteem lijkt te liggen in psychologische, medische en modegebieden. Niettemin blijft het mogelijk dat systemen van dit type een hoger niveau van prominentie zullen bereiken, en misschien een meer informele en zelfs potentieel verontrustende reeks toepassingen.

Publicatie op maandag 25 augustus 2025