Kąt Andersona

Wirtualne przymierzanie nowych ubrań za pomocą AI

Martin Anderson
Dodaj Unite.AI do preferowanych źródeł w Google
Examples of virtual try-on from the Vanast project – source: https://arxiv.org/pdf/2604.04934
Kluczowe punktyJednoetapowy model AI Vanast integruje odzież, tożsamość i ruch, aby uzyskać bardziej…
Zobacz więcej
  • Jednoetapowy model AI Vanast integruje odzież, tożsamość i ruch, aby uzyskać bardziej stabilne filmy z wirtualnym przymierzaniem.
  • System generuje własne syntetyczne dane treningowe przy użyciu modeli takich jak Flux i Qwen, aby przezwyciężyć niedobór danych z rzeczywistego świata.
  • Pomimo postępów technicznych, opłacalność komercyjna pozostaje ograniczona przez wysokie wymagania obliczeniowe i wyzwania związane z opóźnieniami.

Model AI potrafi już na podstawie jednego zdjęcia osoby i obrazów ubrań stworzyć film, na którym ta sama osoba porusza się w nowym stroju. Unika przy tym błędów typowych dla starszych systemów dwuetapowych.

 

W badaniach nad widzeniem komputerowym wirtualne przymierzanie ubrań (VTON) należy do najlepiej finansowanych i najbardziej produktywnych dziedzin w literaturze. Wynika to przede wszystkim ze znacznego wsparcia zamożnej branży mody, na co wskazują liczne publikowane co roku projekty współpracy firm i uczelni:

Z artykułu Image-Based Virtual Try-On: A Survey: przykłady sposobów reprezentacji osoby oraz etapów filtrowania i udoskonalania, którym nawet podstawowe obrazy muszą zostać poddane na potrzeby wirtualnego przymierzania ubrań (VTON).

Z artykułu Image-Based Virtual Try-On: A Survey: przykłady sposobów reprezentacji osoby oraz etapów filtrowania i udoskonalania, którym nawet podstawowe obrazy muszą zostać poddane na potrzeby wirtualnego przymierzania ubrań (VTON). Źródło

Cel ten ma wiele wariantów, takich jak wyodrębnianie ubrań z obrazów osób czy dostosowanie do pełniejszej sylwetki w razie potrzeby. Niektóre systemy oparte na obrazach są już wykorzystywane komercyjnie na platformach takich jak veesual.ai, wanna.fashion i fashn.ai.

W przypadku filmów Google Labs eksperymentowało z tą funkcją w aplikacji Doppl, uruchomionej zeszłego lata:

Jeśli film nie odtwarza się automatycznie, kliknij, aby go uruchomić. Fragmenty zamkniętego projektu Google Doppl służącego do wirtualnego przymierzania ubrań na filmach.  Źródło

Doppl kończy jednak działalność w kwietniu 2026 r. po chłodnym przyjęciu, a użytkownicy są teraz kierowani do firmowej usługi przymierzania ubrań†, która korzysta wyłącznie z obrazów:

Usługa Google do wirtualnego przymierzania oparta wyłącznie na obrazach, do której kierowani są użytkownicy zamkniętej platformy Doppl.

Usługa Google do wirtualnego przymierzania oparta wyłącznie na obrazach, do której kierowani są użytkownicy zamkniętej platformy Doppl. Źródło

Istnieje kilka platform oferujących wirtualne przymierzanie na filmach, ale żadna nie wydaje się powiązana z rzeczywistym sprzedawcą. Wszystkie to eksperymentalne produkty na granicy możliwości technicznych: niszowe, często wątpliwe i promujące tokeny.

W badaniach pojawiają się ciekawe próby. Zwykle jednak wykorzystują złożone architektury, w których trudno połączyć małe opóźnienia z wysoką jakością:

Jeśli film nie odtwarza się automatycznie, kliknij, aby go uruchomić. Projekt Fashion-VDM z 2024 r.: przykład przenoszenia ubrań na obrazach osób bez głów. Źródło

Dopasowanie ubrań do rzeczywistej osoby bez zniekształcania ani jej, ani odzieży, przy jednoczesnym zachowaniu ruchu przydatnego do prezentacji stroju, jest ogromnym wyzwaniem dla obecnej techniki. Gdy osoba się odwraca, tył produktu musi być na przykład pokazany dokładnie.

Vanast

Nowa praca z Korei próbuje sprostać temu wyzwaniu dzięki nowemu, w pełni zintegrowanemu rozwiązaniu przetwarzającemu ubrania, osobę i ruch:

Jeśli film nie odtwarza się automatycznie, kliknij, aby go uruchomić. Przykłady ze strony z materiałami uzupełniającymi projektu Vanast. Źródło 

Nowy system Vanast wykorzystuje specjalnie opracowany zbiór danych, który łączy i koordynuje trzy niezbędne czynniki: ubrania, osobę i ruch:

Kliknij, aby odtworzyć. Więcej przykładów ze strony projektu Vanast.

System wykorzystuje narzędzia takie jak Flux, Qwen i ChatGPT do tworzenia zbioru trójek danych, który służy do uczenia architektury realizującej całe zadanie od początku do końca:

Z nowej pracy: przykłady elementów zbioru danych używanych do generowania i uczenia.

Z nowej pracy: przykłady elementów zbioru danych używanych do generowania i uczenia. Źródło –

Nowa praca nosi tytuł Vanast: Virtual Try-On with Human Image Animation via Synthetic Triplet Supervision i została przygotowana przez czterech badaczy z Seoul National University. Dostępna jest również strona projektu z licznymi filmami.

Metoda

Celem autorów jest połączenie trzech wymienionych aspektów w jedną fazę. Nie chodzi wyłącznie o jednolity proces: poszczególne aspekty mają dzięki temu więcej możliwości wzajemnego oddziaływania podczas uczenia, co ma zapewnić bardziej spójne wyniki generowania:

Vanast łączy jedno zdjęcie osoby, oddzielne obrazy ubrań i wzorzec ruchu, tworząc sekwencję, w której ta sama osoba porusza się w nowym stroju. Sterowanie za pomocą póz zapewnia spójność ruchu, a tożsamość i szczegóły ubrań pozostają zachowane między klatkami.

Vanast łączy jedno zdjęcie osoby, oddzielne obrazy ubrań i wzorzec ruchu, tworząc sekwencję, w której ta sama osoba porusza się w nowym stroju. Sterowanie za pomocą póz zapewnia spójność ruchu, a tożsamość i szczegóły ubrań pozostają zachowane między klatkami.

System otrzymuje obrazy docelowych ubrań, zdjęcie osoby w innym stroju, film referencyjny określający ruch oraz instrukcję tekstową opisującą czynność i otoczenie. Generuje pełną sekwencję filmową, w której ta sama osoba pozornie nosi nowy strój i wykonuje zadany ruch, zachowując wizualną spójność w czasie.

Większość podobnych wcześniejszych prac rozdzielała ubieranie i animację. Vanast przetwarza ubrania, tożsamość i ruch wspólnie, umożliwiając ich wzajemne oddziaływanie podczas generowania. Ogranicza to niedopasowania i niestabilność wcześniejszych metod.

Zbiór danych

Uczenie opiera się na odpowiadających sobie przykładach zdjęcia osoby, jej ubrań oraz filmu tej samej osoby poruszającej się w tym stroju. Ruch jest wyodrębniany za pomocą wcześniejszej architektury, która zapewnia stabilne sterowanie pozami między klatkami.

Nie było publicznego zbioru spełniającego wymagania projektu, więc filmy z różnymi ubraniami zebrano z nieokreślonych sklepów internetowych. Potrzebne były jednak filmy tej samej osoby w wielu różnych strojach, co rzadko występuje w naturalnie zebranych materiałach. Konieczne stało się zatem utworzenie danych syntetycznych.

Proces obejmował trzy etapy. Odpowiednie klatki wybierano z filmów za pomocą Qwen2.5-VL, modelu wizyjno-językowego (VLM). Klatki odpowiednio przycinano i oceniano pod kątem przydatności, na przykład braku zasłonięcia i prawidłowej pozycji osoby. Następnie tworzono odpowiednie maski do inpaintingu w celu wydzielenia właściwych obszarów. Tak jak we wcześniejszej pracy PERSE, odpowiada za to dobrze już znany model dyfuzyjny SDXL.

Schemat działania Vanast: zdjęcie osoby, obrazy docelowych ubrań i film wzorcowy ruchu są kodowane i przetwarzane w jednym modelu dyfuzyjnym wideo. Animacja zachowuje tożsamość, podąża za sekwencją póz i nakłada docelowe ubrania. Tworzenie syntetycznych trójek wspiera uczenie, a dwa moduły oddzielają animację od przenoszenia ubrań, aby utrzymać spójność.

Schemat działania Vanast: zdjęcie osoby, obrazy docelowych ubrań i film wzorcowy ruchu są kodowane i przetwarzane w jednym modelu dyfuzyjnym wideo. Animacja zachowuje tożsamość, podąża za sekwencją póz i nakłada docelowe ubrania. Tworzenie syntetycznych trójek wspiera uczenie, a dwa moduły oddzielają animację od przenoszenia ubrań, aby utrzymać spójność.

W trzecim etapie Qwen ponownie klasyfikuje obrazy według płci. Następnie popularne narzędzie dyfuzji obrazów Flux zmienia ubrania na obrazie, ponieważ potrafi łączyć wiele elementów wejściowych. Instrukcje tekstowe do inpaintingu przygotowano przy pomocy ChatGPT; wersji nie podano.

Aby zwiększyć różnorodność póz i tła, wprowadzono proces tworzenia trójek treningowych z filmów nagranych w rzeczywistych warunkach z wykorzystaniem zbioru HumanVid. Tę samą procedurę zastosowano do generowania obrazów osób z zachowaniem tożsamości.

Filmy nie zawierały oddzielnych obrazów ubrań, więc syntetyzowano je bezpośrednio z nagrań. Z każdego filmu pobierano klatki i oceniano je za pomocą Qwen pod kątem widoczności z przodu. Najlepszą wybierano na podstawie widoczności całego ciała, ostrości, minimalnego zasłonięcia, oświetlenia i ogólnej kompozycji.

Obszar ubrania na górnej części ciała wydzielano za pomocą SegFormer i usuwano tło, aby pozostawić samą odzież.

Aby uniknąć obciążenia związanego z pozycją, obszar ubrania przesuwano losowo w obrębie ramki ograniczającej. Qwen ponownie odfiltrowywał niewiarygodne wyniki segmentacji. Tak powstawały syntetyczne obrazy ubrań dopasowane do ruchu i tożsamości. Umożliwiło to tworzenie trójek na dużą skalę z nieustrukturyzowanych nagrań oraz poprawiło odporność na różne rzeczywiste warunki.

Architektura

Architektura z dwoma modułami ma zaradzić powolnej zbieżności i słabej równowadze sterowania we wcześniejszych metodach łączących wszystkie warunki. Korzysta z transformera dyfuzyjnego tekst-wideo modelu Wan oraz z projektu VACE opisanego poniżej.

Model podzielono na moduł animacji osoby (HAM), który przetwarza ruch i tożsamość na podstawie osoby i póz, oraz moduł przenoszenia ubrań (GTM), który przetwarza odzież z jej obrazów. Oba współdzielą sieć bazową i integrują cechy w sposób rozproszony i kaskadowy, poprawiając warunkowanie.

Podczas uczenia zamrażano sieć bazową i optymalizowano wyłącznie parametry HAM i GTM, równoważąc ich wkład podczas integracji cech. Dane wejściowe z syntetycznych trójek przekształcano w reprezentacje ukryte za pomocą wariacyjnego autoenkodera (VAE) modelu WAN.

Kontekst uwzględniający ruch tworzono przez łączenie informacji o osobie i pozach w czasie. Cechy ubrań przetwarzano oddzielnie i dopasowywano przez rzutowanie na osadzenia tokenów.

Model rozszerzono także o interpolację ubrań. Reprezentacje dwóch ubrań łączono, aby uzyskać płynne przejścia i spójne mieszanie elementów odzieży bez dodatkowej optymalizacji.

Dane i testy

Model uczono na 9135 filmach o długości od trzech do dziesięciu sekund, pochodzących z wymienionych sklepów internetowych, zbioru wygenerowanego przez autorów i HumanVid.

Utworzono dwa zbiory do oceny: Internet, zawierający filmy i zdjęcia produktów ze sklepów internetowych, oraz oficjalną część testową zbioru Alibaba ViViD. Ponieważ ViViD nie zawiera twarzy, dodano je za pomocą rozszerzania obrazu narzędziem Flux. Wcześniejszy film pokazuje ten zabieg, bardzo częsty w literaturze o wirtualnym przymierzaniu.

Użyte metryki to strata L1; Peak Signal-to-Noise Ratio (PSNR); Structural Similarity Index (SSIM); Learned Perceptual Image Patch Similarity (LPIPS); Fréchet Inception Distance (FID) i Fréchet Video Distance†† (FVD).

Do przenoszenia ubrań testowano OOTDiffusion; CatVTON; OmniTry oraz Any2AnyTryon. Wśród modeli generujących obrazy na podstawie określonego podmiotu znalazły się VisualCloze; MOSAIC oraz model ByteDance UNO.

W drugim etapie, animacji zdjęć osoby, używano StableAnimator i DisPose.

VACE testowano w ograniczonym zakresie, ponieważ bezpośrednio nie obsługuje tego celu. Podjęto też pewne próby uzupełnienia brakującej funkcjonalności:

Porównanie ilościowe kombinacji modeli generujących obrazy na podstawie podmiotu i modeli animacji na zbiorach Internet oraz ViViD. Proponowana metoda uzyskała najlepsze wyniki we wszystkich podanych metrykach. Pogrubienie oznacza najwyższy wynik w każdej kolumnie.

Porównanie ilościowe kombinacji modeli generujących obrazy na podstawie podmiotu i modeli animacji na zbiorach Internet oraz ViViD. Proponowana metoda uzyskała najlepsze wyniki we wszystkich podanych metrykach. Pogrubienie oznacza najwyższy wynik w każdej kolumnie.

O pierwszych wynikach pokazanych powyżej autorzy piszą:

„Nasz model osiąga najlepsze wyniki we wszystkich metrykach w porównaniu z kombinacjami modeli generujących obrazy na podstawie podmiotu i modeli animacji”.

„Wyniki jakościowe [poniżej] dodatkowo potwierdzają, że nasza metoda najdokładniej odtwarza pozy i przenosi ubrania, zachowując tożsamość wierniej niż wszystkie metody porównawcze oparte na generowaniu obrazów na podstawie podmiotu”.

Porównanie jakościowe na zbiorach Internet i ViViD z modelami generowania obrazów na podstawie podmiotu i animacji. Zdaniem autorów proponowana metoda dokładniej dopasowuje pozy i przenosi ubrania oraz spójniej zachowuje tożsamość niż VisualCloze, MOSAIC, UNO i VACE.

Porównanie jakościowe na zbiorach Internet i ViViD z modelami generowania obrazów na podstawie podmiotu i animacji. Zdaniem autorów proponowana metoda dokładniej dopasowuje pozy i przenosi ubrania oraz spójniej zachowuje tożsamość niż VisualCloze, MOSAIC, UNO i VACE.

W drugiej kategorii testów porównano kombinacje wirtualnego przymierzania na obrazach i modeli animacji. Nowa praca ponownie uzyskała najwyższy wynik:

Porównanie ilościowe kombinacji wirtualnego przymierzania na obrazach i modeli animacji na zbiorach Internet i ViViD. Metoda uzyskała ogólnie najlepsze wyniki w zestawie metryk, natomiast SSIM pozostał porównywalny z najsilniejszą metodą porównawczą. Pogrubienie oznacza najwyższy wynik.

Porównanie ilościowe kombinacji wirtualnego przymierzania na obrazach i modeli animacji na zbiorach Internet i ViViD. Metoda uzyskała ogólnie najlepsze wyniki w zestawie metryk, natomiast SSIM pozostał porównywalny z najsilniejszą metodą porównawczą. Pogrubienie oznacza najwyższy wynik.

Autorzy dodają:

„Porównania jakościowe [poniżej] pokazują, że nasze wyniki najbardziej przypominają rzeczywiste obrazy referencyjne spośród wszystkich metod porównawczych opartych na wirtualnym przymierzaniu na obrazach”.

Testy jakościowe metod porównawczych łączących modele VTON i modele animacji.

Testy jakościowe metod porównawczych łączących modele VTON i modele animacji.

Wnioski

Vanast zapewnia jednolite rozwiązanie od początku do końca. Brak szczegółów dotyczących zapotrzebowania na zasoby podczas uczenia i wnioskowania sugeruje jednak, że nie musi to być najlżejsza lub najbardziej sprawna metoda. Samo zadanie jest niezwykle trudne nawet w systemie niezoptymalizowanym. O ile trudniej zrealizować je komercyjnie, przy wymaganiach małych opóźnień, przystępnych kosztów i zwrotu z inwestycji na dużą skalę?

Wirtualne przymierzanie należy do szczególnie ambitnych celów AI. Obraz obecnej techniki rozpowszechniany w nagłówkach i starannie dobranych wynikach przesłania rzeczywistą trudność zadania. Być może ostatecznie rozwiążą je późniejsze i lżejsze technologie niż transformery.

 

† Dostępne w USA; blokowane geograficznie w wielu innych regionach, jeśli nie we wszystkich.

†† Autorzy wspominają o VFID, ale odsyłają tylko do pracy o ViViD, która według moich ustaleń nie uzasadnia tego odwołania. Miałem ograniczony czas na sprawdzenie sprawy. Założyłem, że chodziło im o Fréchet Video Distance (FVD) i że również brakowało im czasu. W razie potrzeby proszę o kontakt w sprawie poprawek.

Pierwsza publikacja: środa, 8 kwietnia 2026 r.

Pisarz zajmujący się uczeniem maszynowym, specjalista w dziedzinie syntezy ludzkich obrazów. Były szef ds. treści badawczych w Metaphysic.ai, aż do jej rozwiązania w Brahma.ai firmy DNEG.
Strona internetowa: martinanderson.ai
Kontakt: martin@martinanderson.ai