Fordelene med å bli tykkere gjennom AI

Et nytt AI-system kan realistisk omforme menneskers kropper på bilder, gjøre dem tykkere, tynnere eller mer muskuløse, uten å endre ansiktet, klærne eller bakgrunnen. Systemet er trent på et fullstendig syntetisk datasett som viser hver identitet over flere kropper.

Bortsett fra den stadig mer vanlige bruken av AI som en metode for å forbedre kroppens form på sosiale nettverk, eller (potensielt) for å endre kroppstyper for VFX-formål, kan bruken av maskinlæring til å endre utseendet til enkeltindivider tjene en viktigere funksjon: å hjelpe enkeltindivider med spiseforstyrrelser å forstå deres egen dysmorfe tolkning av deres utseende, samt å tilby en potensiell motivasjonsverktøy for mer generelle idretts- og treningformål:

Fra artikkelen ‘Body size estimation in women with anorexia nervosa and healthy controls using 3D avatars’, et GUI for å visualisere kroppsformendringer. Individer med kroppsdysmorfi kan ha vanskelig for å assosiere en realistisk tolkning av deres kropp med en lignende bilde, og gi kliniske verktøy for dysmorfe responser, blant annet. Kilde: https://www.nature.com/articles/s41598-017-15339-z.pdf

I tillegg har den mye etterspurte underfeltet for moteprøving i datavisningsforskning også interesse for å gi nøyaktige visualiseringer over en rekke kroppsformer. I mellomtiden har rammeverk som 2024 DiffBody-tilbudet fra Japans universitet i Tsukuba, skapt noen øyneåpnende funksjoner i dette feltet:

Noen av transformasjonene som er mulige med den tidligere DiffBody-teknikken. Kilde: https://arxiv.org/pdf/2401.02804

Ettersom AI-grunnmodellene er optimert mot konvensjonelt attraktive eller andre vanlige kroppsformer, er uvanlige størrelser som ‘overvekt’ enten minimalt tilgjengelig i standardmodellene, eller kommer med noen straffende fordommer.

Par-nødvendigheter

En av de største utfordringene i å lage AI-systemer som kan realistisk legge til eller fjerne fett og muskler fra bilder av enkeltindivider – uten å endre deres identitet, omgivelser eller klær – er at dette innebærer par-trening, hvor AI-systemet effektivt lærer ‘før’ og ‘etter’ bilder som definerer hvilken transformasjon modellen er ment å utføre.

Dette type trening har kommet tilbake i fremtreden over sommeren på grunn av suksessen til Black Forest Labs’ Kontext-serie av bildebehandlingsmodeller, hvor denne type par-data ble brukt til å lære en rekke transformasjoner til modellene:

Fra Flux Kontext-nettstedet, et eksempel på en transformasjon som reflekterer den type kilde-data som trengs for å trene en modell som kan beholde bildeintegritet når større endringer påføres. Kilde: https://bfl.ai/models/flux-kontext

Åpenbart, i tilfelle utvikling av en modell som kan betydelig endre utseendet til en person (uten å gjenopprette hele bildet), trengs noe som er fullstendig umulig i den virkelige verden: radikale ‘før’ og ‘etter’ bilder tatt bare sekunder apart.

Den eneste utveien er syntetisk data. Noen prosjekter av denne typen har brukt individuelle, høyeffort kontrastive par skapt manuelt i Photoshop; imidlertid er dette urealistisk i størrelsesorden, og en automatisert eller semi-automatisert, AI-drevet prosess for å generere parene anses nå å være mer foretrukket.

Problemet med GAN-baserte og de fleste SMPL/X-baserte tilnærminger (hvor en virtuell CGI-figur brukes som en slags bytemekanisme mellom virkelige bilder og ønskede transformasjoner), og med tilnærminger som bruker bilde-krølling, er at bakgrunnen og identiteten tenderer til å lide under prosessen.

Parametriske, vektorbaserte CGI-modeller som SMPL og SMPL-X (blant andre), gir definerte konvensjonelle fysiske 3D-koordinater som kan tolkes og inkorporeres i datavisningsrammeverk. Kilde: https://files.is.tue.mpg.de/black/papers/SMPL2015.pdf

Siden det er viktig at AI lærer å endre bare de ønskede aspektene, i stedet for å lære å krølle bakgrunner og å gjenta andre uønskede feil, har ingen kropps-endrings-system ennå nådd en perfekt løsning.

En nylig artikkel fra India foreslår imidlertid en merkbart fremgang på stand-of-the-art gjennom bruk av den eldre Flux-difusjonsmodell-rammeverket, supplert med en rekke sekundære tilnærminger som muliggjør en overlegen og mer konsekvent par-dataset:

Dataset-eksempler fra det nye prosjektet. Kilde: https://arxiv.org/pdf/2508.13065

Prosjektet består av et nytt og omfattende par-dataset; Odo, en generativ difusjonsmodell trent på denne dataen; og en spesialtilpasset ny benchmark designet for å kvantitativt vurdere menneskeform-redigeringsytelse. I tester hevder forfatterne en merkbart fremgang på standarder oppnådd av lignende sammenlignbare modeller.

Den nye artikkelen heter Odo: Depth-Guided Diffusion for Identity-Preserving Body Reshaping, og kommer fra tre forskere ved Fast Code AI Pvt. Ltd i Bangalore.

Data og metode

Datasettet skapt av forskerne inneholder 7 615 høyoppløselige bilder (960x1280px) for hver mål-kroppsform (fett, tynn og muskuløs).

Opprinnelig ble 1 523 menneskeansikter generert gjennom FLUX.1-dev-12-milliard parameter difusjonsmodellen, selv om det ble brukt en uspesifisert mengde lisensfrie referanseansikter fra Pexels og Unsplash for å øke mangfoldet.

For å generere fullstendige bilder som inkorporerer disse ansiktene, brukte forskerne ByteDance-sitt 2024-tilbud PuLID, en checkpoint finjustert over base Flux, og med en kontrastiv ID-tap designet for å hjelpe med å bevare ansiktsidentitet under transformasjonsprosesser:

Eksempler fra PuLID-prosjektet. Kilde: https://arxiv.org/pdf/2404.16022

Modellen mottok et ansiktsbilde og en standardisert prompt som ba om kjønn, klær, posisjon, scene, samt kroppsform av tynn, fett eller muskuløs.

De tre kroppsform-bildene for hver identitet viste noen ganger mindre forskyvninger i bakgrunnsjustering og oppfattet subjektstørrelse, som oppstod fra den stokastiske atferden til difusjonsmodellene, hvor hver generering starter fra en ny støy–frø. Selv mindre endringer i prompten, som å endre kroppsformbeskrivelsen, kan påvirke modellens trajektorie i latent rom og forårsake visuell drift.

For å korrigere for denne variasjonen, ble en firetrinns automatisk etterbehandlingspipeline brukt, med tynn-bildet i hver triplet valgt som referanse, siden dens mindre silhuett avdekket mer bakgrunn.

Personoppsporing ble utført ved hjelp av RT-DETRv2, etterfulgt av segmentering med SAM 2.1 for å trekke ut subjektmasker for alle tre kroppsformer. Tynn-referansebildet ble deretter sendt til FLUX.1 Kontext Pro (det nyere bildebehandlingsystemet) for bakgrunnsfylling, og produserte en ren versjon av scenen, med subjektet fjernet.

De fett og muskuløs-variantene ble større med uniform skala for å matche høyden på den tynne referansemasken, og satt sammen på den rene bakgrunnen på samme bunndekningsjustering, og sikret konsistent ramming over alle bilder.

Forfatterne hevder:

‘De resulterende transformasjons-triplettene (tynn, fett og muskuløs) har en identisk bakgrunn og uniform subjektskala. Dette fjerner irrelevante variasjoner som kunne negativt påvirke påfølgende trening eller evaluering.’

Hver triplet av tynn, fett og muskuløs bilder tillot seks mulige transformasjonspar, og resulterte i 45 690 teoretiske kombinasjoner over 7 615 identiteter.

Etter å ha fjernet eksempler med mismatchede klær, unaturlige posisjoner, forvrengte lemmer, identitetsdrift eller minimalt formendring, ble 18 573 høykvalitetspar beholdt. Selv om noen mindre posisjonsforskjeller fortsatt var til stede, ville modellen vise seg å være robust til disse variasjonene.

Trening og tester

De resulterende bildene ble brukt til å trene Odo-modellen – en difusjonsbasert tilnærming til å omforme mennesker, med bruk av Skinned Multi-Person Linear Model (SMPL, dvs. mellomliggende CGI)-kart.

Informert av 2024 Neural Localizer’s metoder, ble dataen konformt til SMPL-figuren på en per-individ-basis, og de resulterende optimerte parameterne kunne produsere dybdekart fra hvilke de endrede bildene ville bli avledet:

Skjema for treningpipeline. Venstre side viser treningoppsettet, hvor SMPL-dybdekart fra målbildet guider ReshapeNet via ControlNet for å utføre kroppsformendring. Egenskaper fra kildebildet trekkes ut av ReferenceNet og slås sammen i ReshapeNet ved hjelp av romlig selvoppmerksomhet. Høyre side viser inferens, hvor SMPL-parametre estimeres fra inngangsbildet, modifisert av semantiske attributter, og rendre til en målbilde-dybdekart som betingelse ReshapeNet under støyforvrengning, for å produsere det endelige transformerte bildet.

Modellen (se skjema ovenfor) består av ReshapeNet-modulen, støttet av tre hjelpe-moduler: ReferenceNet; en IP-Adapter-modul; og en dybde-basert ControlNet-modul.

ReferenceNet trekker ut detaljerte egenskaper som bakgrunn, klær og identitet fra inngangsbildet, og sender dem til ReshapeNet. IP-Adapter bidrar med høynivå-egenskapsveiledning, mens Depth ControlNet anvender SMPL-basert betingelse for å guide kroppsformendringen. I linje med tidligere verk, ble en SDXL-basert frosset UNet brukt til å trekke ut mellomliggende egenskaper.

Som for IP-Adapter-modulen, koder denne inngangsbildet via CLIP, og de resulterende innkapslinger integreres tilbake i ReshapeNet via kryss-oppmerksomhet.

Som for Depth ControlNet-modulen, guider denne midten og dekodernes lag i ReshapeNet ved hjelp av residuelle forbindelser. Deretter tar den en dybdekart rendret fra mål-SMPL-parametrene, og justerer det med målbildet.

ReshapeNet, basert på SDXL UNet, er kjerne-nettverket i Odo. Under trening, blir målbilder kodet i latent rom med en variational autoencoder, støyforvrengt over tid, og deretter støyforvrengt av ReshapeNet ved hjelp av egenskaper fra ControlNet og ReferenceNet.

Kategorispecifikke tekstprompts som ‘Gjør personen tykkere,’ ‘Gjør personen tynnere,’ eller ‘Gjør personen muskuløs’ ble lagt til, for å guide transformasjoner. Mens dybdekartene fanget grove kroppsformer, ga promptene den semantiske detaljen som trengs for endringer som muskeldefinisjon, og tillot modellen å produsere mer nøyaktige og realistiske modifikasjoner.

Trening implementering

Odo ble trent på prosjektets syntetiske datasett, kombinert med en undergruppe av DeepFashion-MultiModal-datasettet, og resulterte i totalt 20 000 bildepar.

DeepFashion-MultiModal-dataen ga variasjon i klær og ansiktsfunktioner, med bilder parret mot seg selv under trening. Med alle SMPL-dybdekart forhåndskalkulert for effisiens, ble treningen kjørt i 60 epoker på en enkelt NVIDIA A100 GPU med 80 GB VRAM.

Med inngangsbildene større til 768×1024, ble Adam-optimalisatoren brukt, med en læringshastighet på 1×10⁻⁵. ReshapeNet ble initialisert med SDXL UNet-vekt, og finjustert sammen med IP-Adapter fra dens checkpoint.

ReferenceNet ble initialisert med SDXL-vekt og holdt frosset, mens Depth ControlNet brukte forhåndstrengt vekt og forble også frosset.

Den endelige modellen krevde omtrent 23 GB GPU-minne, og tok 18 sekunder for enkeltbilde-inferens.

En ny metrikk

Mangelen på datasett av denne typen for dette prosjektet betød at ingen eksisterende metrikk virkelig adresserte utfordringen. Derfor utviklet forfatterne en ny benchmark, bestående av 3 600 bildepar, med virkelige ansiktsbilder og bakgrunnsbeskrivelser, samt diverse kroppsformvariasjoner.

Andre metrikk som ble brukt, var Structural Similarity Index (SSIM); Peak Signal-to-Noise Ratio (PSNR); Learned Perceptual Image Patch Similarity (LPIPS); og Scale Corrected Per-Vertex Euclidean error i nøytral (T-)pose (PVE-T-SC).

Først testet forfatterne sin metode kvalitativt mot i-felt-bilder (bilder som ikke ble sett av modellen under trening):

Kvalitative tester. Eksemplene viser konverteringer fra det opprinnelige bildet til tynnere, overvektige og muskuløse kroppsformer over forskjellige posisjoner, inkludert sittende og stående. Vennligst se kildeartikkelen for bedre definisjon og detalj.

Av disse resultater, sier artikkelen:

‘[Vår] metode håndterer effektivt diverse posisjoner, bakgrunner og klær samtidig som personidentiteten beholdes.

‘I tillegg til SMPL-målformer, gir vi tekstprompts – ‘Gjør personen tykkere,’ ‘Gjør personen tynnere,’ eller ‘Gjør personen muskuløs’– for å eksplisitt guide de ønskede transformasjonene…

…'[Bildet under] viser videre vår modells evne til å utføre diverse formendringer. Modellen følger nøyaktig SMPL-dybdekart for å generere flere variasjoner av tynnere og tykkere versjoner fra referansebildet.’

Videre kvalitative tester som dekker området av mål-kroppsformer. Vennligst se kildeartikkelen for bedre definisjon og detalj.

Forfatterne kommenterer videre:

‘Våre resultater viser mer realistiske transformasjoner i henhold til mål-vekt, ettersom vår modell samtidig justerer hele kroppsformen, lemproporsjoner og klær, og resulterer i anatomisk konsistente og visuelt overbevisende modifikasjoner.’

For kvantitative tester, sammenlignet forfatterne sin metode mot den åpne kilden Flux Kontext [dev]-modellen, FLUX.1, og 2022 tilbudet Structure-Aware Flow Generation for Human Body Reshaping.

For FLUX.1 Kontext [dev] ble promter designet for å instruere ‘Gjør personen tykkere,’ ‘Gjør personen tynnere,’ eller ‘Gjør personen muskuløs’, med mål-vekt angitt – selv om mangelen på finjusterte kontroller begrenset ytelsen:

Sammenligning av Odo med Structure-Aware Flow Generation for Human Body Reshaping og FLUX.1 Kontext [dev] på testsettet, samt ablasjonsresultater (ikke dekkes her) for modeller trent uten prompt-kondisjonering i ReshapeNet, uten ReferenceNet (bruker bare IP-Adapter), og med trening begrenset til BR-5K-datasettet.

Konklusjon

Introduksjonen av Flux Kontext i år, og enda nyligere utgivelsen av uquantifiserte vekter for Qwen Image Edit, har ført par-data tilbake til fremtreden i hobbyist- og profesjonelle samfunn. I en klima med økende kritikk og irritasjon over usikkerheten i generativ AI, er modeller av denne typen designet for mye høyere trofasthet til inngangsbildene (selv om mindre modeller noen ganger er begrenset av sine svært spesifikke treningmål).

I dette tilfelle synes nytten av et kroppsformendringssystem å ligge i psykologiske, medisinske og motebaserte felt. Likevel er det mulig at systemer av denne typen kan oppnå en høyere nivå av fremtreden, og kanskje en mer avslappet og potensielt bekymringsverdig sett av bruksområder.

Først publisert mandag, 25. august 2025