Zalety uzyskania tłuszczu za pomocą sztucznej inteligencji

Nowy system sztucznej inteligencji może realistycznie zmieniać kształt ciała ludzi na zdjęciach, robiąc ich grubszymi, chudszymi lub bardziej umięśnionymi, bez zmiany twarzy, ubrania lub tła. System jest szkolony na w pełni syntetycznym zbiorze danych, który pokazuje każdą tożsamość w wielu typach ciała.

Podczas gdy coraz częstsze stosowanie sztucznej inteligencji jako metody dokonywania drobnych korekt kształtu ciała w sieciach społecznościowych lub (potencjalnie) do modyfikacji typów ciała do celów efektów wizualnych, stosowanie uczenia maszynowego do zmiany wyglądu osób może spełniać ważniejszą funkcję: pomagać osobom z zaburzeniami odżywiania zrozumieć ich własną dysmorficzną interpretację wyglądu, a także oferować potencjalne motywacyjne narzędzie do ogólnych celów sportowych i fitness:

Z artykułu ‘Body size estimation in women with anorexia nervosa and healthy controls using 3D avatars’, GUI do wizualizacji zmian kształtu ciała. Osoby z dysmorficznym wyglądem ciała mogą mieć trudności z powiązaniem realistycznej interpretacji ich ciała z podobnym obrazem, dając klinicystom miarę dysmorficznych odpowiedzi, między innymi. Źródło: https://www.nature.com/articles/s41598-017-15339-z.pdf

Ponadto, powszechnie poszukiwany podzbiór badań nad wizją komputerową, fashion try-on, również ma interes w zapewnieniu dokładnych wizualizacji w różnych kształtach ciała. Tymczasem ramy pracy, takie jak oferta DiffBody z 2024 roku z Uniwersytetu Tsukuba w Japonii, stworzyły pewne imponujące funkcjonalności w tej dziedzinie:

Niektóre z transformacji możliwych za pomocą wcześniejszej techniki DiffBody. Źródło: https://arxiv.org/pdf/2401.02804

Ponieważ podstawowe modele sztucznej inteligencji są zoptymalizowane w kierunku konwencjonalnie atrakcyjnych lub innych powszechnych kształtów ciała, nietypowe rozmiary, takie jak “otyły”, są albo minimalnie dostępne w standardowych modelach, albo mają pewne karzące uprzedzenia.

Para konieczności

Jednym z największych wyzwań w tworzeniu systemów sztucznej inteligencji, które mogą realistycznie dodawać lub usuwać tłuszcz i mięśnie z obrazów osób, bez zmiany ich tożsamości, środowiska lub ubrania, jest to, że wymaga to parowego szkolenia, gdzie system sztucznej inteligencji skutecznie uczy się “przed” i “po” obrazów, które definiują każdą transformację, jaką model ma wykonać.

Ten rodzaj szkolenia wrócił do łask w ciągu lata dzięki sukcesowi serii modeli Kontext firmy Black Forest Labs, gdzie tego rodzaju sparowane dane były używane do nauczenia modeli szeregu transformacji:

Z witryny Flux Kontext, przykład transformacji, która odzwierciedla rodzaj danych źródłowych potrzebnych do szkolenia modelu zdolnego do zachowania integralności obrazu przy wprowadzaniu dużych zmian. Źródło: https://bfl.ai/models/flux-kontext

Oczywiście, w przypadku opracowania modelu, który może znacznie zmienić wygląd osoby (bez ponownego wyobrażenia całego obrazu), potrzebne jest coś, co jest całkowicie niemożliwe w świecie rzeczywistym: radykalne “przed” i “po” obrazy zrobione tylko sekundy od siebie.

Jedyną możliwością jest dane syntetyczne. Niektóre projekty tego rodzaju wykorzystywały indywidualne, wysiłkowe kontrastowe pary utworzone ręcznie w programie Photoshop; jednak jest to nierzeczywiste w skali, a automatyczny lub półautomatyczny, napędzany sztuczną inteligencją proces generowania par jest teraz coraz częściej uważany za preferowany.

Problem z opartymi na GAN i większości opartych na SMPL/X podejściach (gdzie wirtualna postać CGI służy jako rodzaj mechanizmu wymiany między rzeczywistymi obrazami a pożądanymi transformacjami), a także podejściami, które wykorzystują wyginanie obrazu, polega na tym, że tło i tożsamość cierpią w tym procesie.

Parametryczne, wektorowe modele CGI, takie jak SMPL i SMPL-X (między innymi), zapewniają określone konwencjonalne współrzędne fizyczne 3D, które mogą być interpretowane i włączone do ram wizji komputerowej. Źródło: https://files.is.tue.mpg.de/black/papers/SMPL2015.pdf

Ponieważ ważne jest, aby sztuczna inteligencja nauczyła się zmieniać tylko pożądane aspekty, zamiast uczyć się wyginania tła i powielania innych niepożądanych błędów, żaden system zmiany ciała nie osiągnął jeszcze idealnego rozwiązania.

Jeden z niedawnych artykułów z Indii proponuje jednak znaczący postęp w stanie sztuki za pomocą starszego modelu dyfuzji Flux, uzupełnionego o szereg dodatkowych podejść, które umożliwiają lepszy i bardziej spójny zestaw sparowanych danych:

Przykłady zestawu danych z nowego projektu. Źródło: https://arxiv.org/pdf/2508.13065

Projekt składa się z nowego i obszernego zestawu sparowanych danych; Odo, modelu dyfuzji generatywnej szkolonego na tych danych; oraz specjalnie opracowanego nowego benchmarku zaprojektowanego do ilościowej oceny wydajności edycji kształtu ciała. W testach autorzy twierdzą, że osiągnęli znaczący postęp w porównaniu z podobnymi modelami.

Nowy artykuł nosi tytuł Odo: Depth-Guided Diffusion for Identity-Preserving Body Reshaping i pochodzi od trzech badaczy z Fast Code AI Pvt. Ltd w Bangalore.

Dane i metoda

Zestaw danych stworzony przez badaczy zawiera 7 615 wysokich rozdzielczości (960×1280 px) obrazów dla każdego docelowego typu ciała (tłusty, chudy i umięśniony).

Początkowo wygenerowano 1 523 twarze ludzkie za pomocą 12-miliardowego modelu dyfuzji FLUX.1-dev, wykorzystując pewną nieokreśloną liczbę bezpłatnych twarzy referencyjnych z Pexels i Unsplash, aby zwiększyć różnorodność.

Aby wygenerować pełne obrazy ciała, które zawierają te twarze, badacze wykorzystali ofertę PuLID firmy ByteDance z 2024 roku, punkt kontrolny dostrajany na podstawie podstawowego modelu Flux, zawierający kontrastową stratę tożsamości zaprojektowaną w celu zachowania tożsamości twarzy podczas procesów transformacyjnych:

Przykłady z projektu PuLID. Źródło: https://arxiv.org/pdf/2404.16022

Model otrzymywał obraz twarzy i standaryzowany komunikat z prośbą o płeć, ubranie, pozycję, scenę, a także typ ciała chudy, tłusty lub umięśniony.

Trzy obrazy typów ciała dla każdej tożsamości czasami wykazywały niewielkie przesunięcia w wyrównaniu tła i postrzeganym rozmiarze obiektu, wynikające z stochastycznego zachowania modeli dyfuzji, gdzie każda generacja zaczyna się od nowego szumu nasienia. Nawet niewielkie zmiany w komunikacie, takie jak modyfikacja opisu typu ciała, mogą wpłynąć na trajektorię modelu w przestrzeni latentnej i spowodować wizualne dryfowanie.

Aby skorygować tę zmienność, zastosowano czterostopniowy automatyczny potok przetwarzania, z chudy obrazem w każdym triplikacie wybranym jako odniesienie, ponieważ jego mniejszy sylwet wyeksponował więcej tła.

Wykrywanie osób wykonano przy użyciu RT-DETRv2, a następnie segmentację przy użyciu SAM 2.1 w celu wyodrębnienia masek obiektów dla wszystkich trzech typów ciała. Obraz chudy referencyjny został następnie przekazany do FLUX.1 Kontext Pro (nowszego systemu edycji obrazu) do wypełnienia tła, wytwarzając czystą wersję sceny z usuniętym obiektem.

Warianty tłusty i umięśniony zostały przeskalowane przy użyciu jednolitej skali, aby dopasować wysokość do cienkiego odniesienia maski, i złożone na czyste tło w tym samym dolnym wyrównaniu, zapewniając spójne ramy we wszystkich obrazach.

Autorzy stwierdzają:

‘Wynikające z tego triplety transformacji (chudy, tłusty i mięśniowy) mają identyczne tło i jednorodną skalę obiektu. To usuwa nieistotne zmienności, które mogłyby negatywnie wpłynąć na późniejsze szkolenie lub ocenę.’

Każdy triplik obrazów chudych, tłustych i umięśnionych pozwalał na sześć możliwych par transformacji, w wyniku czego powstało 45 690 teoretycznych kombinacji w 7 615 tożsamościach.

Po odfiltrowaniu przykładów z niezgodnymi ubraniami, nienaturalnymi pozycjami, zniekształconymi kończynami, dryfowaniem tożsamości lub minimalnymi zmianami kształtu, pozostawiono 18 573 wysokiej jakości pary. Chociaż pewne niewielkie różnice w pozycji pozostały, model okazał się odporny na te zmienności.

Szkolenie i testy

Wynikające z tego obrazy zostały wykorzystane do szkolenia modelu Odo – podejścia opartego na dyfuzji do zmiany kształtu ciała ludzi, z użyciem map Skinned Multi-Person Linear Model (SMPL, czyli pośredni CGI).

Na podstawie metod Neural Localizer’s z 2024 roku, dane zostały dostosowane do postaci SMPL dla każdej osoby, a wynikające parametry optymalizacji były w stanie wytworzyć mapy głębi z których pochodzą zmienione obrazy:

Schemat potoku szkoleniowego. Lewa strona pokazuje ustawienie szkolenia, gdzie mapy głębi SMPL z obrazu docelowego prowadzą ReshapeNet za pomocą ControlNet do wykonania transformacji ciała. Cechy z obrazu źródłowego są wyodrębnione przez ReferenceNet i scalone z ReshapeNet za pomocą przestrzennego uwagi selbst. Prawa strona pokazuje inferencję, gdzie parametry SMPL są szacowane z obrazu wejściowego, modyfikowane przez atrybuty semantyczne i renderowane w mapę głębi docelową, która warunkuje ReshapeNet podczas odwracania szumu w celu wytworzenia ostatecznego przekształconego obrazu.

Model (patrz schemat powyżej) składa się z modułu ReshapeNet, wspieranego przez trzy pomocnicze moduły: ReferenceNet; moduł IP-Adapter; oraz moduł ControlNet oparty na głębi.

ReferenceNet wyodrębnia szczegółowe cechy, takie jak tło, ubranie i tożsamość z obrazu wejściowego, i przekazuje je do ReshapeNet. IP-Adapter przyczynia się do wysokiego poziomu kierowania cechami, podczas gdy ControlNet oparty na głębi stosuje warunkowanie SMPL, aby skierować transformację ciała. Zgodnie z poprzednimi pracami, wykorzystano SDXL-oparty zamrożony UNet do wyodrębnienia pośrednich cech.

Jeśli chodzi o moduł IP-Adapter, ten koduje obraz wejściowy za pomocą CLIP, a wynikające wektory są scalone z powrotem do ReshapeNet za pomocą uwagi krzyżowej.

Jeśli chodzi o moduł ControlNet oparty na głębi, ten kieruje warstwami środkowymi i dekodującymi ReshapeNet za pomocą połączeń resztowych. Następnie bierze mapę głębi wyrenderowaną z parametrów SMPL docelowych i wyrównuje ją z obrazem docelowym.

ReshapeNet, oparty na SDXL UNet, jest siecią centralną Odo. Podczas szkolenia obrazy docelowe są kodowane w przestrzeni latentnej za pomocą autoencoderu wariancji, zaszumione w czasie i następnie odszumione przez ReshapeNet za pomocą cech z ControlNet i ReferenceNet.

Kategoryzowane tekstowe komunikaty, takie jak “Zrób osobę tłustszą”, “Zrób osobę chudszą” lub “Zrób osobę umięśnioną”, zostały dodane, aby skierować transformacje. Podczas gdy mapy głębi przechwytywały ogólne kształty ciała, komunikaty dostarczyły semantyczne szczegóły potrzebne do zmian, takich jak definicja mięśni, pozwalając modelowi wytworzyć bardziej dokładne i realistyczne modyfikacje.

Wdrożenie szkolenia

Odo został wyszkolony na syntetycznym zbiorze danych projektu, połączonym z podzbiorem DeepFashion-MultiModal, co dało w sumie 20 000 par obrazów.

Dane DeepFashion-MultiModal dostarczyły różnorodność w odzieży i cechach twarzy, z obrazami sparowanymi przeciwko sobie podczas szkolenia. Ze wszystkimi mapami głębi SMPL wcześniej obliczonymi dla wydajności, szkolenie trwało 60 epok na jednej karcie graficznej NVIDIA A100 z 80 GB pamięci VRAM.

Przy rozmiarze obrazów wejściowych 768×1024, wykorzystano optymalizator Adam przy współczynniku uczenia 1×10⁻⁵. ReshapeNet został zainicjowany z wagami SDXL UNet i dostrojony wspólnie z IP-Adapter z jego punktu kontrolnego.

ReferenceNet został zainicjowany z wagami SDXL i pozostawał zamrożony, podczas gdy ControlNet oparty na głębi wykorzystywał wstępnie wyszkolone wagi i również pozostawał zamrożony.

Ostateczny model wymagał około 23 GB pamięci GPU, wymagając 18 sekund na inferencję jednego obrazu.

Nowy wskaźnik

Brak zestawów danych tego rodzaju wymaganych do tego rodzaju projektu oznaczał, że nie istniały żadne istniejące wskaźniki, które naprawdę rozwiązywałyby wyzwanie. Dlatego autorzy opracowali nowy benchmark, składający się z 3 600 par obrazów, zawierających rzeczywiste obrazy twarzy i opisy tła, a także różnorodne zmiany kształtu ciała.

Inne wykorzystane wskaźniki to Wskaźnik Podobieństwa Strukturalnego (SSIM); Współczynnik Sygnału do Szumu (PSNR); Nauczona Perceptualna Podobieństwo Patches Obrazu (LPIPS); oraz Skalowany Błąd Euclidesowy na Wierzchołku w neutralnej (T-)pozycji (PVE-T-SC).

Najpierw autorzy przetestowali swoją metodę jakościowo na obrazach z dzikiej przyrody (obrazach, których model nie widział podczas szkolenia):

Testy jakościowe. Przykłady konwersji z oryginalnego obrazu do cienkiego, tłustego i umięśnionego typu ciała w różnych pozycjach, w tym siedzących i stojących. Proszę odnieść się do oryginalnego artykułu w celu uzyskania lepszej definicji i szczegółów.

Z tych wyników artykuł stwierdza:

‘[Nasza] metoda skutecznie radzi sobie z różnymi pozycjami, tłami i ubraniem, zachowując tożsamość osoby.

‘Oprócz kształtów docelowych SMPL, dostarczamy tekstowe komunikaty – “Zrób osobę tłustszą”, “Zrób osobę chudszą” lub “Zrób osobę umięśnioną” – aby wyraźnie skierować pożądane transformacje…

…'[Poniższy obraz] dodatkowo demonstruje możliwość naszego modelu do wykonywania różnorodnych transformacji kształtu. Model dokładnie podąża za mapami głębi SMPL, aby wygenerować wiele wariantów wersji chudszych i tłustszych od obrazu referencyjnego.’

<img class=" wp-image-222141" src="https://www.unite.ai/wp-content/uploads/2025/08/figure-1-3.jpg" alt="Dalsze testy jakościowe obejmujące zakres typów ciała docelowych. Proszę odnieść się do oryginalnego artykułu w celu uzyskania lepszej definicji i szczegółów.

Autorzy komentują dalej:

‘Nasze wyniki demonstrują bardziej realistyczne transformacje zgodnie z docelową wagą, ponieważ nasz model jednocześnie dostosowuje ogólny kształt ciała, proporcje kończyn i ubranie, w wyniku czym powstają anatomicznie spójne i wizualnie przekonywające modyfikacje.’

Dla testów ilościowych autorzy zestawili swój system z modelem otwartoźródłowym FLUX.1 Kontext [dev] i ofertą Structure-Aware Flow Generation for Human Body Reshaping z 2022 roku.

Dla FLUX.1 Kontext [dev] komunikaty zostały opracowane w celu poinstruowania “Zrób osobę tłustszą”, “Zrób osobę chudszą” lub “Zrój osobę umięśnioną”, z określoną wagą docelową – chociaż brak drobnych kontroli ograniczał wydajność:

Porównanie Odo z Structure-Aware Flow Generation for Human Body Reshaping i FLUX.1 Kontext [dev] na zestawie testowym, wraz z wynikami ablacjacji (nie omawianymi w tym artykule) dla modeli szkolonych bez warunkowania komunikatów w ReshapeNet, bez ReferenceNet (wykorzystując tylko IP-Adapter) i z szkoleniem ograniczonym do zestawu BR-5K.

Wnioski

Pojawienie się Flux Kontext w tym roku, a nawet niedawne wydanie nieważonych wag dla Qwen Image Edit, przywróciły sparowane dane obrazów do centrum uwagi społeczności hobbystów i profesjonalistów. W klimacie rosnącej krytyki i niecierpliwości dotyczącej niedokładności generatywnej sztucznej inteligencji, modele tego rodzaju są zaprojektowane do znacznie większej wierności obrazom źródłowym (chociaż mniejsze modele są czasem ograniczone przez swoje bardzo szczegółowe cele szkoleniowe).

W tym przypadku użyteczność systemu zmiany ciała wydaje się leżeć w dziedzinach psychologicznych, medycznych i modowych. Niemniej jednak pozostaje możliwe, że systemy tego rodzaju osiągną wyższy poziom popularności i, być może, bardziej swobodny i potencjalnie niepokojący zestaw zastosowań.

Pierwotnie opublikowane w poniedziałek, 25 sierpnia 2025