Výhody získání tuku pomocí umělé inteligence

Nový systém umělé inteligence může realisticky měnit tvar lidského těla na fotografiích, dělaje je tlustšími, hubenějšími nebo více svalnatými, aniž by měnil tvář, oblečení nebo pozadí. Systém je trénován na plně syntetickém datasetu, který zobrazuje každou identitu napříč různými typy těl.

Kromě stále častějšího používání umělé inteligence jako metody úpravy tvaru těla na sociálních sítích nebo (potenciálně) pro změnu typů těl pro účely VFX, může použití strojového učení ke změně vzhledu jednotlivců sloužit důležitějšímu účelu: pomoci jedincům s poruchami příjmu potravy porozumět jejich vlastnímu dysmorfickému vnímání jejich vzhledu, jakož i nabídnout potenciální motivační nástroj pro obecnější sportovní a fitness účely:

Z článku ‘Body size estimation in women with anorexia nervosa and healthy controls using 3D avatars’, GUI pro vizualizaci změn tvaru těla. Jednotlivci s body dysmorfii mohou mít problém spojit realistické pochopení svého těla s podobným obrazem, což poskytuje klinickým pracovníkům metriku pro dysmorfické reakce, mezi jinými účely. Zdroj: https://www.nature.com/articles/s41598-017-15339-z.pdf

Kromě toho má také sub-odvětví fashion try-on v počítačovém vidění zájem o poskytování přesných vizualizací napříč různými typy těl. Mezitím vytvořily rámce, jako je nabídka DiffBody z japonské Univerzity of Tsukuba z roku 2024, některé ohromující funkcionality v tomto poli:

Některé transformace, které jsou možné pomocí předchozí techniky DiffBody. Zdroj: https://arxiv.org/pdf/2401.02804

Jelikož jsou základní modely umělé inteligence optimalizovány pro konvenčně atraktivní nebo jinak běžné typy těl, neobvyklé velikosti, jako je “obézní”, jsou buď minimálně dostupné ve standardních modelech, nebo přicházejí s určitými předsudky.

Párové nezbytnosti

Jednou z největších výzev při vytváření systémů umělé inteligence, které mohou realisticky přidávat nebo odebírat tuk a svaly z fotografií jednotlivců – bez změny jejich identity, prostředí nebo oblečení – je to, že to zahrnuje párové trénování, kde systém umělé inteligence efektivně učí “před” a “po” obrázky, které definují jakoukoli transformaci, kterou má model provádět.

Tento typ trénování se vrátil do popředí během léta díky úspěchu modelů Kontext od Black Forest Labs, kde byl tento typ párových dat použit pro výuku modelů různých transformací:

Z webu Flux Kontext, příklad transformace, která odráží typ zdrojových dat potřebných pro trénování modelu, který může zachovat integritu obrazu při zavádění významných změn. Zdroj: https://bfl.ai/models/flux-kontext

Zjevně, v případě vývoje modelu, který může významně měnit vzhled osoby (bez přepracování celého obrazu), je třeba něco, co je totalement nemožné ve skutečném světě: radikální “před” a “po” obrázky pořízené pouze v sekundách.

Jedinou možností je syntetická data. Některé projekty tohoto typu používaly individuální, ručně vytvořené kontrastní páry vytvořené v Photoshopu; nicméně, toto je nerealistické ve velkém měřítku a automatický nebo poloautomatický, umělou inteligencí řízený proces pro generování párů je nyní stále více považován za preferovaný.

Problém s GAN-založenými a většinou SMPL/X-založenými přístupy (kde se virtuální CGI postava používá jako druh výměnného mechanismu mezi skutečnými obrázky a požadovanými transformacemi), a přístupy, které používají image-warping, spočívá v tom, že pozadí a identita obvykle trpí v tomto procesu.

Parametrické, vektorové CGI modely, jako je SMPL a SMPL-X (mezi jinými), poskytují definované konvenční fyzické 3D souřadnice, které lze interpretovat a začlenit do rámců počítačového vidění. Zdroj: https://files.is.tue.mpg.de/black/papers/SMPL2015.pdf

Jelikož je důležité, aby umělá inteligence naučila měnit pouze požadované aspekty, místo toho, aby se učila ohýbat pozadí a replikovat další nežádoucí chyby, žádný systém pro změnu tvaru těla dosud nedosáhl dokonalého řešení.

Jedna nedávná práce z Indie nicméně navrhuje pozoruhodný pokrok ve stavu techniky pomocí staršího Flux difuzního modelového rámce, doplněného o několik sekundárních přístupů, které umožňují lepší a konzistentnější párové datové sady:

Příklady datové sady z nového projektu. Zdroj: https://arxiv.org/pdf/2508.13065

Projekt se skládá z nové a rozsáhlé párové datové sady; Odo, generativního difuzního modelu trénovaného na těchto datech; a speciálního nového benchmarku navrženého pro kvantitativní hodnocení výkonu editace tvaru lidského těla:

Data a metoda

Datová sada vytvořená výzkumníky obsahuje 7 615 vysokorozlišitelných obrázků (960x1280px) pro každý cílový typ těla (tlustý, hubený a svalnatý).

Počátečně bylo vygenerováno 1 523 lidských tváří pomocí modelu FLUX.1-dev s 12 miliardami parametrů, využívající neurčený počet licenčních referenčních tváří z Pexels a Unsplash, aby se zvýšila rozmanitost.

Pro generování celkových obrázků těl, které zahrnují tyto tváře, výzkumníci použili nabídku PuLID od ByteDance z roku 2024, checkpoint fine-tuned nad základním Fluxem, který zahrnuje kontrastivní ID ztrátu navrženou pro zachování identity tváří během transformačních procesů:

Příklady z projektu PuLID. Zdroj: https://arxiv.org/pdf/2404.16022

Model obdržel tváří a standardizovanou výzvu, která vyžadovala pohlaví, oblečení, pozice, scéna, stejně jako typ těla hubený, tlustý nebo svalnatý.

Tři obrázky těl pro každou identitu někdy vykazovaly malé posuny v zarovnání pozadí a vnímané velikosti subjektu, vzniklé z stochastického chování difuzních modelů, kde každá generace začíná z nového šumu semenu. I malé změny ve výzvě, jako je změna popisu typu těla, mohou ovlivnit trajektorii modelu v latentním prostoru a způsobit vizuální drift.

Pro opravu této variability byla použita čtyřstupňová automatická post-procesní pipeline, se hubeným obrázkem v každé trojici vybraným jako referenční, protože jeho menší silueta odhalovala více pozadí.

Detekce osoby byla provedena pomocí RT-DETRv2, následované segmentací pomocí SAM 2.1 pro extrakci masek subjektů pro všechny tři typy těl. Referenční hubený obrázek byl poté předán do FLUX.1 Kontext Pro (novějšího systému pro editaci obrázků) pro doplnění pozadí, což vedlo k čisté verzi scény s odstraněným subjektem.

Tlusté a svalnaté varianty byly přepočítány pomocí uniformního měřítka, aby odpovídaly výšce tenké referenční masky, a složeny na čisté pozadí ve stejném spodním zarovnání, zajišťujícím konzistentní rámování napříč všemi obrázky.

Autoři uvádějí:

‘Výsledné transformační trojice (hubený, tlustý a svalnatý) mají identické pozadí a uniformní měřítko subjektu. To odstraňuje irelevantní variace, které by mohly negativně ovlivnit následné trénování nebo hodnocení.’

Každá trojice hubených, tlustých a svalnatých obrázků umožňovala šest možných transformačních párů, což vedlo k 45 690 teoretickým kombinacím napříč 7 615 identitami.

Po filtrování příkladů s nesouhlasným oblečením, nepřirozenými pózami, deformovanými končetinami, posunem identity nebo minimálními změnami tvaru, bylo zachováno 18 573 vysoce kvalitních párů. Ačkoli některé menší rozdíly v pózách zůstaly, model se ukázal být robustní vůči těmto variacím.

Trénování a testy

Výsledné obrázky byly použity pro trénování modelu Odo – difuzního přístupu ke změně tvaru lidského těla, s použitím Skinned Multi-Person Linear Model (SMPL, tj. mezilehlý CGI) map.

Informovaný metodami Neural Localizer’s z roku 2024, data byla přizpůsobena SMPL figuríně pro každou osobu, s výslednými optimalizovanými parametry schopnými produkovat hloubkové mapy z nichž by byly odvozeny změněné obrázky:

Schéma pro trénovací pipeline. Levá strana ukazuje trénovací nastavení, kde SMPL hloubkové mapy z cílového obrázku vedou ReshapeNet přes ControlNet k provedení transformace tvaru těla. Funkce ze zdrojového obrázku jsou extrahovány ReferenceNet a sloučeny do ReshapeNet pomocí prostorové sebe-pozornosti. Pravá strana ukazuje inference, kde jsou SMPL parametry odhadnuty ze vstupního obrázku, upraveny semantickými atributy a vykresleny do cílové hloubkové mapy, která podmíněně ReshapeNet během denoisingu, pro produkci konečného transformovaného obrázku.

Model (viz schéma výše) se skládá z modulu ReshapeNet, podporovaného třemi pomocnými moduly: ReferenceNet; IP-Adapter modul; a hloubkové ControlNet modul.

ReferenceNet extrahuje podrobné funkce, jako je pozadí, oblečení a identita, ze vstupního obrázku a předává je do ReshapeNet. IP-Adapter přispívá vysokou úrovní funkcí pro vedení, zatímco Depth ControlNet aplikuje SMPL-založené podmínky pro vedení transformace tvaru těla. V souladu s předchozími pracemi, byl použit SDXL-založený zmrazený UNet pro extrakci mezilehlých funkcí.

Co se týče modulu IP-Adapter, tento kóduje vstupní obrázek pomocí CLIP, s výslednými vložením integrovaným zpět do ReshapeNet pomocí křížové pozornosti.

Co se týče modulu Depth ControlNet, tento vede střední a dekodéry vrstvy ReshapeNet pomocí reziduálních spojení. Následně bere hloubkovou mapu vykreslenou z cílových SMPL parametrů a zarovnává ji s cílovým obrázkem.

ReshapeNet, založený na SDXL UNet, je jádrem sítě Odo. Během trénování jsou cílové obrázky zakódovány do latentního prostoru pomocí variabilního autoencoderu, zašuměny v čase a poté denoizovány ReshapeNet pomocí funkcí z ControlNet a ReferenceNet.

Kategorie-specifické textové výzvy, jako je “Udělejte osobu tlustší,” “Udělejte osobu hubenější,” nebo “Udělejte osobu svalnatější,” byly přidány, aby vedly transformace. Zatímco hloubkové mapy zachycovaly hrubé tvary těl, výzvy poskytly semantické detaily potřebné pro změny, jako je definice svalů, umožňující modelu produkovat více přesné a realistické úpravy.

Trénování implementace

Odo byl trénován na projektu syntetické datové sady, kombinované s podmnožinou DeepFashion-MultiModal datové sady, což vedlo k celkovému počtu 20 000 obrázkových párů.

DeepFashion-MultiModal data poskytla rozmanitost v oděvu a tvářích, s obrázky spárovanými proti sobě během trénování. S všemi SMPL hloubkovými mapami předem vypočítanými pro efektivitu, trénování běželo po dobu 60 epoch na jediném NVIDIA A100 GPU s 80GB VRAM.

S vstupními obrázky přepočítanými na 768×1024, byl použit Adam optimalizátor, při učení rychlosti 1×10⁻⁵. ReshapeNet byl inicializován s SDXL UNet váhami a jemně naladěn společně s IP-Adapterem z jeho kontrolního bodu.

ReferenceNet byl inicializován s SDXL váhami a zůstal zmrazený, zatímco Depth ControlNet používal předtrénované váhy a také zůstal zmrazený.

Konečný model vyžadoval přibližně 23GB GPU paměti, vyžadující 18 sekund pro inference jednoho obrázku.

Nová metrika

Nedostatek datových sad požadovaného typu pro tento typ projektu znamenal, že žádná existující metrika skutečně neřešila výzvu. Proto autoři vytvořili novou metriku, skládající se z 3 600 obrázkových párů, obsahujících skutečné tváře a popisy pozadí, spolu s rozmanitými typy tvarů těl.

Mezi další metriky, které byly použity, patří Structural Similarity Index (SSIM); Peak Signal-to-Noise Ratio (PSNR); Learned Perceptual Image Patch Similarity (LPIPS); a Scale Corrected Per-Vertex Euclidean error in neutral (T-)pose (PVE-T-SC).

Nejprve autoři otestovali svou metodu kvalitativně proti obrázkům z volného světa (obrázkům, které nebyly viděny modelem během trénování):

Kvalitativní testy. Příklady ukazují konverze z původního obrázku na hubenější, tlustší a svalnatější typy těl napříč různými pózami, včetně sedění a stání. Prosím, odkážete se na zdroj článku pro lepší definici a detail.

Z těchto výsledků článek uvádí:

‘[Naše] metoda efektivně zvládá různé pózy, pozadí a oblečení, zatímco zachovává identitu osoby.

‘Kromě SMPL cílů poskytujeme textové výzvy – “Udělejte osobu tlustší,” “Udělejte osobu hubenější,” nebo “Udělejte osobu svalnatější”– aby explicitně vedly požadované transformace…

…'[Obrázek níže] dále demonstruje schopnost našeho modelu provést různé tvarové transformace. Model přesně sleduje SMPL hloubkové mapy pro generování více verzí hubenějších a tlustších verzí z referenčního obrázku.’

Další kvalitativní testy pokrývající rozsah cílových typů těl. Prosím, odkážete se na zdroj článku pro lepší definici a detail.

Autoři dále komentují:

‘Naše výsledky demonstrují více realistické transformace podle cílové hmotnosti, protože náš model současně upravuje celkový tvar těla, proporční končetiny a oblečení, vedoucí k anatomicky konzistentním a vizuálně přesvědčivým úpravám.’

Pro kvantitativní testy autoři postavili svůj systém proti open-source modelu Flux Kontext [dev], FLUX.1, a nabídce z roku 2022 Structure-Aware Flow Generation for Human Body Reshaping.

Pro FLUX.1 Kontext [dev] byly navrženy výzvy pro instrukce “Udělejte osobu tlustší,” “Udělejte osobu hubenější,” nebo “Udělejte osobu svalnatější”, s cílovými hmotnostmi specifikovanými – nicméně, nedostatek jemných kontrol omezoval výkon:

Srovnání Odo s Structure-Aware Flow Generation for Human Body Reshaping a FLUX.1 Kontext [dev] na testovací sadě, spolu s výsledky ablace (ne pokryté v tomto článku) pro modely trénované bez podmíněného vedení v ReshapeNet, bez ReferenceNet (používající pouze IP-Adapter), a s trénováním omezeným na sadu BR-5K.

Závěr

Příchod Flux Kontext tento rok a ještě nedávno uvolnění nekvantizovaných vah pro Qwen Image Edit přivedly párové datové sady zpět do popředí komunit amatérů a profesionálů. V klimatu rostoucí kritiky a netrpělivosti vůči nepřesnosti generativní umělé inteligence jsou modely tohoto typu navrženy pro mnohem vyšší věrnost vstupním zdrojovým obrázkům (i když menší modely jsou někdy omezeny svými velmi specifickými trénovacími cíli).

V tomto případě se zdá, že užitelnost systému pro tvarování těla spočívá v psychologických, lékařských a módních oblastech. Přesto zůstává možnost, že systémy tohoto typu mohou dosáhnout vyšší úrovně významu a možná i více neformální a potenciálně problematické sady použití.

Poprvé publikováno v pondělí, 25. srpna 2025