Fördelarna med att bli fet genom AI

Ett nytt AI-system kan realistiskt omforma människors kroppar i foton, vilket gör dem fetare, smalare eller mer muskulösa, utan att ändra deras ansikte, kläder eller bakgrund. Systemet är tränat på en helt syntetisk datauppsättning som visar varje identitet över flera kroppstyper.

Förutom den allt vanligare användningen av AI som metod för förfina kroppsformen på sociala nätverk, eller (potentiellt) för att ändra kroppstyper för visuella effekter, kan användningen av maskininlärning för att förändra individers utseende fylla en viktigare funktion: att hjälpa individer med ätstörningar att förstå deras egen dysmorfiska tolkning av sitt utseende, samt erbjuder ett potentiellt motivationsverktyg för mer allmänna sport- och fitnessändamål:

Från artikeln "Body size estimation in women with anorexia nervosa and healthy controls using 3D avatars", ett grafiskt gränssnitt för att visualisera förändringar i kroppsform. Individer med kroppsdysmorfi kan ha svårt att associera en realistisk tolkning av sin kropp med en liknande bild, vilket bland annat ger kliniker ett mått på dysmorfiska reaktioner. Källa: https://www.nature.com/articles/s41598-017-15339-z.pdf

Dessutom mycket eftersträvade modeprovningar Delsträngen inom datorseendeforskning har också ett intresse av att tillhandahålla noggranna visualiseringar över en rad olika kroppsformer. Samtidigt har ramverk som 2024 DiffBody erbjudande från Japans universitet i Tsukuba, har skapat en del häpnadsväckande funktioner inom detta område:

Några av de transformationer som är möjliga med den tidigare DiffBody-tekniken. Källa: https://arxiv.org/pdf/2401.02804

Eftersom AI-grundmodeller är optimerade för konventionellt attraktiva eller annars vanliga kroppsformer, är ovanliga storlekar som "överviktiga" antingen minimalt tillgängliga i standardmodeller, eller så... komma med några straffande fördomar.

Parnödvändigheter

En av de största utmaningarna med att skapa AI-system som realistiskt kan lägga till eller ta bort fett och muskler från bilder av individer – utan att ändra deras identitet, miljöer eller kläder – är att detta innebär parträning, där AI-systemet effektivt lär sig "före"- och "efter"-bilder som definierar vilken transformation modellen är avsedd att utföra.

Den här typen av träning har återigen blivit populär under sommaren tack vare framgångarna med Black Forest Labs. sammanhang serie bildredigeringsmodeller, där den här typen av parade data användes för att lära ut en rad transformationer till modellerna:

Från Flux Kontext-webbplatsen, ett exempel på en transformation som återspeglar den typ av källdata som behövs för att träna en modell som kan bibehålla bildintegritet vid införande av större ändringar. Källa: https://bfl.ai/models/flux-kontext

Det är uppenbart att man, om man ska utveckla en modell som avsevärt kan förändra en persons utseende (utan att omforma hela bilden), behöver något som är helt omöjligt i den verkliga världen: radikala "före"- och "efter"-bilder tagna med bara några sekunders mellanrum.

Den enda utvägen är syntetiska dataVissa projekt av den här typen har använt individuella, högpresterande kontrastpar som skapats manuellt i Photoshop; detta är dock orealistiskt i stor skala, och en automatiserad eller halvautomatiserad, AI-driven process för att generera paren anses nu alltmer vara att föredra.

Problemet med GAN-baserade och mest SMPL/X-baserade metoder (där en virtuell CGI-figur används som ett slags utbytesmekanism mellan verkliga bilder och de önskade transformationerna), och med metoder som använd bildförvrängning, är att bakgrunden och identiteten tenderar att bli lidande i processen.

Parametriska, vektorbaserade CGI-modeller som SMPL och SMPL-X (bland andra) tillhandahåller definierade konventionella fysiska 3D-koordinater som kan tolkas och införlivas i datorseenderamverk. Källa: https://files.is.tue.mpg.de/black/papers/SMPL2015.pdf

Eftersom det är viktigt att AI:n lär sig att bara ändra de önskade aspekterna, istället för att lära sig att förvränga bakgrunder och replikera andra oönskade fel, har inget kroppsförändrande system ännu kommit fram till en perfekt lösning.

En färsk artikel från Indien föreslår dock ett anmärkningsvärt framsteg jämfört med den senaste tekniken genom användning av den äldre Flux diffusionsmodellramverk, utökat med ett antal sekundära metoder som möjliggör en överlägsen och mer konsekvent parad datauppsättning:

Exempel på datamängder från det nya projektet. Källa: https://arxiv.org/pdf/2508.13065

Projektet omfattar en ny och omfattande parad datauppsättning; Odo, en generativ diffusionsmodell som tränats på dessa data; och ett skräddarsytt nytt riktmärke utformat för att kvantitativt bedöma mänsklig formredigeringsprestanda. I tester hävdar författarna ett anmärkningsvärt framsteg jämfört med standarder som uppnåtts av liknande jämförbara modeller.

Ocuco-landskapet nytt papper har titeln Odo: Djupstyrd diffusion för identitetsbevarande kroppsomformning, och kommer från tre forskare på Fast Code AI Pvt. Ltd i Bangalore.

Data och metod

Datasetet som skapats av forskarna innehåller 7,615 960 högupplösta bilder (1280xXNUMXpx) för varje målkroppstyp (fett, tunnoch muskulös).

Ursprungligen genererades 1,523 XNUMX mänskliga ansikten genom FLUX.1-dev Diffusionsmodell på 12 miljarder parametrar, dock med ett ospecificerat antal licensfria referensytor från Pexels och Unsplash, för att öka mångfalden.

För att generera helkroppsbilder som innehåller dessa ansikten använde forskarna ByteDances 2024-erbjudande. PuLID, en kontrollpunkt finjusterad över basflux, och med en kontrasterande ID-förlust utformad för att hjälpa till att bevara ansiktsidentitet under transformationsprocesser:

Exempel från PuLID-projektet. Källa: https://arxiv.org/pdf/2404.16022

Modellen fick en ansiktsbild och en standardiserad fråga där de bad om kön, KLÄDER, utgör, scen, såväl som kroppstyp av tunn, fett, eller muskulös.

De tre kroppstypsbilderna för varje identitet uppvisade ibland mindre förändringar i bakgrundsinriktning och upplevd subjektstorlek, vilket härrörde från stokastisk beteende hos diffusionsmodeller, där varje generation börjar från en ny brus fröÄven små förändringar i prompten, som att ändra beskrivningen av kroppstyp, kan påverka modellens bana i latent utrymmeoch orsaka visuell drift.

För att korrigera för denna variation tillämpades en automatisk efterbehandlingspipeline i fyra steg, med tunn bilden i varje triplett vald som referens, eftersom dess mindre silhuett exponerade mer bakgrund.

Persondetektering utfördes med hjälp av RT-DETRv2, följt av segmentering med SAM 2.1 att extrahera masker för alla tre kroppstyper. tunn Referensbilden skickades sedan till FLUX.1 Kontext Pro (det nyare bildredigeringssystemet) för bakgrundsmålning, vilket gav en ren version av scenen, med motivet borttaget.

Ocuco-landskapet fett och muskulös varianterna ändrades i storlek med enhetlig skalning för att matcha höjden på den tunna referensmasken och sammansattes på den rena bakgrunden med samma bottenjustering, vilket säkerställde enhetlig inramning över alla bilder.

Författarna säger:

"De resulterande transformationstripletterna (tunn, fet och muskulös) har en identisk bakgrund och en enhetlig försöksskala. Detta tar bort irrelevanta variationer som negativt kan påverka efterföljande träning eller utvärdering."

Varje triplett av bilder av tunna, feta och muskulösa tillät sex möjliga transformationspar, vilket resulterade i 45,690 7,615 teoretiska kombinationer över XNUMX XNUMX identiteter.

Efter att ha filtrerat bort exempel med omaka kläder, onaturliga poser, förvrängda lemmar, identitetsavvikelser eller minimal formförändring, behölls 18,573 XNUMX högkvalitativa par. Även om vissa mindre poseskillnader kvarstod, skulle modellen visa sig robust mot dessa variationer.

Utbildning och tester

De resulterande bilderna användes för att träna Odo-modellen – en diffusionsbaserad metod för att omforma människor, med hjälp av den skinnade flerpersonslinjära modellen (SMPL, dvs. mellanliggande CGI) kartor.

Informerad av 2024 Neurala lokaliserare metoder, anpassades data till SMPL-siffran på individbasis, med de resulterande optimerade parametrarna kapabla att producera djupkartor från vilka de ändrade bilderna skulle härledas:

Schema för träningspipelinen. Vänster sida visar träningsuppsättningen, där SMPL-djupkartor från målbilden vägleder ReshapeNet via ControlNet för att utföra kroppstransformation. Funktioner från källbilden extraheras av ReferenceNet och slås samman med ReshapeNet med hjälp av spatial självuppmärksamhet. Höger sida visar inferens, där SMPL-parametrar uppskattas från inmatningsbilden, modifieras av semantiska attribut och återges till en måldjupkarta som villkorar ReshapeNet under brusreducering för att producera den slutliga transformerade bilden.

Modellen (se schemat ovan) omfattar ReshapeNet modul, som stöds av tre hjälpmoduler: ReferenceNet; en IP-adapter modul; och en djupbaserat ControlNet modul.

ReferenceNet extraherar detaljerade funktioner som bakgrund, kläder och identitet från inmatningsbilden och skickar dem till ReshapeNet. IP-adaptern bidrar med vägledning på hög nivå, medan Depth ControlNet tillämpar SMPL-baserad konditionering för att vägleda kroppstransformationen. I linje med föregående fungerar, En SDXL-Baserade frystes UNet användes för att extrahera mellanliggande funktioner.

När det gäller IP-adaptermodulen kodar denna inmatningsbilden via KLÄMMA, med den resulterande inbäddningar integrerad tillbaka i ReshapeNet via tväruppmärksamhet.

När det gäller Depth ControlNet-modulen, styr denna ReshapeNet mellan- och avkodningslagren med hjälp av kvarvarande anslutningarDärefter tar den en djupkarta som renderas från mål-SMPL-parametrarna och justerar den med målbilden.

ReshapeNet, baserat på SDXL UNet, är kärnnätverket i Odo. Under träning kodas målbilder in i latent utrymme med en variationsautokodare, brusreducerat över tid och sedan brusreducerat av ReshapeNet med hjälp av funktioner från ControlNet och ReferenceNet.

Kategorispecifika textmeddelanden som "Gör personen fetare", "Gör personen smalare" eller "Gör personen muskulös" lades till för att vägleda transformationer. Medan djupkartorna fångade grova kroppsformer, gav meddelandena den semantiska detalj som behövdes för förändringar som muskeldefinition, vilket gjorde det möjligt för modellen att producera mer exakta och realistiska modifieringar.

Utbildningsimplementering

Odo tränades på projektets syntetiska dataset, kombinerat med en delmängd av DeepFashion-MultiModal datamängd, vilket ger totalt 20,000 XNUMX bildpar.

DeepFashion-MultiModal-datan gav variation i plagg och ansiktsdrag, med bilder parade mot varandra under träningen. Med alla SMPL-djupkartor förberäknade för effektivitet pågick träningen i 60 epoker på en enda NVIDIA A100 GPU med 80 GB VRAM.

Med inmatningsbildernas storlek ändrad till 768×1024, Adam optimeraren användes, vid en inlärningshastighet av 1×10⁻⁵. ReshapeNet initialiserades med SDXL UNet-vikter, och finstämd tillsammans med IP-adaptern från dess kontrollpunkt.

ReferenceNet initialiserades med SDXL-vikter och förblev frysta, medan Depth ControlNet använde förtränade vikter och också förblev frysta.

Den slutliga modellen krävde cirka 23 GB GPU-minne, vilket tog 18 sekunder för härledning av en enda bild.

En ny metrik

Bristen på datamängder av det slag som krävs för den här typen av projekt innebar att inga befintliga mätvärden riktigt kunde lösa utmaningen. Därför utformade författarna ett nytt riktmärke, bestående av 3,600 XNUMX bildpar, med bilder av verkliga ansikten och bakgrundsbeskrivningar, tillsammans med olika variationer i kroppsformer.

Andra mätvärden som användes var Strukturellt likhetsindex (SSIM); Högsta signal-till-brus-förhållande (PSNR); Inlärd perceptuell bildpatchlikhet (LPIPS); och skalkorrigerat euklidiskt fel per hörn i neutral (T-)position (PVE-T-SC).

Först testade författarna sin metod kvalitativt mot verkliga bilder (bilder som modellen inte såg under träning):

Kvalitativa tester. Exemplen visar omvandlingar från originalbilden till smalare, överviktiga och muskulösa kroppstyper i olika positioner, inklusive sittande och stående. Se källartikeln för bättre definition och detaljer.

Av dessa resultat står det i tidningen:

'[Vår] metod hanterar effektivt olika poser, bakgrunder och kläder samtidigt som den bevarar personens identitet.'

Utöver SMPL-målformer tillhandahåller vi textuppmaningar – 'Gör personen fetare', 'Gör personen smalare' eller 'Gör personen muskulös' – för att explicit vägleda de önskade transformationerna...

..."[Bilden nedan] visar ytterligare vår modells förmåga att utföra olika formtransformationer. Modellen följer noggrant SMPL-djupkartor för att generera flera variationer av tunnare och fetare versioner från referensbilden."

Ytterligare kvalitativa tester som täcker alla olika kroppstyper. Se källartikeln för bättre definition och detaljer.

Författarna kommenterar vidare:

"Våra resultat visar mer realistiska förändringar beroende på målvikten, eftersom vår modell samtidigt justerar den övergripande kroppsformen, extremiteternas proportioner och klädseln, vilket resulterar i anatomiskt konsekventa och visuellt övertygande modifieringar."

För kvantitativa tester jämförde författarna sitt system med öppen källkodsmodellen Flux Kontext [dev], FLUX.1, och 2022 års erbjuda Strukturmedveten flödesgenerering för omformning av människokroppen.

För FLUX.1 Kontext [dev] utformades uppmaningar för att instruera "Gör personen fetare", "Gör personen smalare" eller "Gör personen muskulös", med specificerade målvikter – även om avsaknaden av finjusterade kontroller begränsade prestandan:

Jämförelse av Odo med Structure-Aware Flow Generation for Human Body Reshaping och FLUX.1 Kontext [dev] på testmängden, tillsammans med ablationsresultat (som inte tas upp i den här artikeln) för modeller tränade utan snabb konditionering i ReshapeNet, utan ReferenceNet (med endast IP-adapter) och med träning begränsad till BR-5K-datasetet.

Slutsats

Tillkomsten av Flux Kontext i år, och ännu mer nyligen lanseringen av de okvantiserade vikterna för Qwen Bildredigering, har återigen fört parade bilddata till förgrunden för hobby- och yrkesgrupper. I ett klimat av växande kritik och otålighet när det gäller generativ AI:s oprecision är modeller av detta slag utformade för mycket högre återgivning av inmatningskällans bilder (även om mindre modeller ibland begränsas av sina mycket specifika träningsmål).

I det här fallet verkar nyttan av ett kroppsformande system ligga inom psykologiska, medicinska och modebaserade områden. Det är dock fortfarande möjligt att system av detta slag kommer att uppnå en högre framträdande nivå, och kanske en mer avslappnad och till och med potentiellt oroande uppsättning användningsområden.

Först publicerad måndag 25 augusti 2025