Wirtualna próba ubrania za pomocą sztucznej inteligencji

Model sztucznej inteligencji może teraz przekształcić pojedyncze zdjęcie i obrazy ubrań w film pokazujący osobę noszącą nowe stroje, unikając błędów charakterystycznych dla starszych, dwuetapowych systemów.

Kategoria ‘wirtualnej próby’ (VTON) w badaniach nad widzeniem komputerowym jest jedną z najlepiej finansowanych i najbardziej produktywnych dziedzin w literaturze – głównie dlatego, że, jak można się dowiedzieć z częstych współprac pomiędzy przemysłem a uczelniami wyższymi, publikowanymi każdego roku, ten cel otrzymuje znaczne dofinansowanie ze strony zamożnego przemysłu mody:

Z artykułu ‘Image-Based Virtual Try-On: A Survey’, przykłady typów reprezentacji osób i niektóre z etapów filtrowania i udoskonalania, którym muszą zostać poddane nawet podstawowe obrazy w celu wirtualnej próby (VTON). Źródło

Istnieje wiele wariacji tego celu, takich jak wyodrębnianie ubrań z obrazów osób oraz dostosowanie do bardziej pełnej sylwetki, gdy jest to konieczne. Niektóre systemy oparte na obrazach zostały już wdrożone komercyjnie na platformach takich jak veesual.ai, wanna.fashion i fashn.ai.

Dla filmów eksperymentalna aplikacja Google Labs Doppl eksperymentowała z tą funkcjonalnością, uruchamiając ją zeszłego lata:

Proszę kliknąć, aby odtworzyć, jeśli film nie jest odtwarzany automatycznie. Fragmenty porzuconego projektu wirtualnej próby Google Doppl.  Źródło

Jednak Doppl został wyłączony w kwietniu 2026 r. po przeciętnej reakcji, a teraz użytkownicy są kierowani do usługi try-on opartej tylko na obrazach^†:

Program try-on Google oparty tylko na obrazach, do którego użytkownicy są kierowani z porzuconej platformy Doppl. Źródło

Chociaż istnieje kilka platform oferujących wirtualną próbę z filmem, żadna z nich nie jest powiązana z konkretnym sklepem; wszystkie są ‘na granicy rozwoju’, marginalne (i często ‘wątpliwe’) produkty oparte na tokenach.

Pomimo że istnieje wiele interesujących prób podejścia z sektora badawczego, są to tradycyjnie złożone architektury, które są trudne do wdrożenia z niską latencją i wysoką jakością:

Proszę kliknąć, aby odtworzyć, jeśli film nie jest odtwarzany automatycznie. Z projektu Fashion-VDM z 2024 r., przykład ‘bezgłowego’ przenoszenia ubrań. Źródło

Prawdą jest, że zadanie dostosowania ubrań do prawdziwej osoby, bez zniekształcenia ani ubrań, ani osoby, przy jednoczesnym zachowaniu jakiegoś użytecznego ruchu demonstracyjnego (który dokładnie pokazuje tył produktu, gdy osoba odwraca się tyłem), jest ogromnym wyzwaniem dla obecnie dostępnych rozwiązań:

Vanast

To wyzwanie, które nowy artykuł z Korei próbuje pokonać, stosując nowe i całkowicie zintegrowane rozwiązanie do analizy ubrań + osoby + ruchu:

Proszę kliknąć, aby odtworzyć, jeśli film nie jest odtwarzany automatycznie. Przykłady z witryny uzupełniającej projektu Vanast. Źródło 

Nowy system, zatytułowany Vanast, wykorzystuje specjalnie przygotowaną bazę danych, zawierającą połączenie i harmonizację wszystkich trzech niezbędnych czynników do wykonania zadania: ubrań; osoby; oraz ruchu:

Kliknij, aby odtworzyć. Więcej przykładów z witryny projektu Vanast.

System wykorzystuje ramy tak różnorodne, jak Flux, Qwen i ChatGPT, aby wygenerować ‘potrójną’ bazę danych, która może poinformować architekturę końcową:

Z nowego artykułu, przykłady punktów danych bazy danych użytych do generacji i szkolenia. Źródło –

Nowy artykuł nowy artykuł nosi tytuł Vanast: Wirtualna próba z animacją obrazu ludzkiego za pomocą syntetycznej nadzoru potrójnego i pochodzi od czterech badaczy z Uniwersytetu Narodowego w Seulu. Istnieje również witryna projektu wideo.

Metoda

Celem autorów w tej pracy jest połączenie trzech wymienionych wyżej aspektów w ramach jednej, wieloetapowej struktury – nie tylko dlatego, że proces byłby dyskretny, ale także dlatego, że daje różnym aspektom więcej możliwości do wzajemnego oddziaływania i interakcji podczas szkolenia, z myślą o bardziej spójnej generacji:

Vanast łączy jedną fotografię ludzką, oddzielne obrazy ubrań i odniesienie ruchu, aby wygenerować sekwencję filmową, w której ta sama osoba nosi nowy strój, z prowadzeniem pozy, które zapewniają spójny ruch, a tożsamość i szczegóły ubrań są zachowane na przestrzeni klatek.

Aby to osiągnąć, system pobiera obrazy docelowych przedmiotów odzieży; fotografię osoby noszącej inne ubranie; film odniesienia ruchu, określający, jak osoba powinna się poruszać; oraz tekstowy komunikat opisujący działanie i ustawienie; i produkuje pełną sekwencję filmową, w której ta sama osoba wydaje się nosić nowy strój, podążając za nałożonym ruchem, z każdą klatką wizualnie spójną w czasie.

Zamiast dzielić ubranie i animację na oddzielne etapy – co było podejściem w większości podobnych wcześniejszych prac – Vanast obsługuje ubranie, tożsamość i ruch razem w jednym procesie, pozwalając tym elementom na interakcję podczas generacji i redukując rodzaje niezgodności i niestabilności występujących w poprzednich metodach.

Baza danych

Szkolenie dla projektu opiera się na sparowanych przykładach obrazu osoby, odpowiednich przedmiotów odzieży i filmu, na którym osoba porusza się, nosząc te ubrania, z ruchem wyodrębnionym za pomocą poprzedniej architektury, aby zapewnić stabilne prowadzenie pozy na przestrzeni klatek.

Wobec braku publicznie dostępnej bazy danych spełniającej wymagania projektu, dane zostały pobrane z (nieokreślonych) platform sklepowych online, dostarczając zapas filmów z różnorodną odzieżą. Niemniej jednak zadanie wymagało filmów z tą samą osobą noszącą wiele strojów, co jest rzadkością w danych z natury, i które wymagało stworzenia danych syntetycznych.

Trzyetapowy proces obejmował wybór odpowiednich klatek z pobranych filmów, obsługiwanych za pomocą modelu Qwen2.5-VL (Vision-Language Model), z odpowiednim przycinaniem i oceną przydatności (tj. bez zakryć, temat w prawidłowej pozycji itp.); oraz tworzenie odpowiednich masek inpainting, aby odizolować dotknięte obszary – co (zgodnie z poprzednią pracą PERSE) jest obsługiwane przez model SDXL dyfuzji.

Przegląd potoku Vanast, w którym obraz ludzki, obrazy ubrań docelowych i film prowadzenia ruchu są zakodowane i przetwarzane w zunifikowanym modelu dyfuzji wideo. System generuje animację, która zachowuje tożsamość, podąża za sekwencją pozy i nakłada ubrania docelowe, a generacja syntetycznej potrójki wspiera szkolenie, a dwumodułowy projekt oddziela animację od przenoszenia ubrań, aby utrzymać spójność.

W trzecim etapie Qwen ponownie pełni funkcję klasyfikacji obrazów według płci, a popularna rama dyfuzji obrazów Flux jest następnie używana do tworzenia modyfikacji odzieży w obrazie (ponieważ Flux jest w stanie łączyć wiele elementów wejściowych). Podpowiedzi inpainting zostały opracowane przez ChatGPT (wersja nieokreślona).

Aby dalej zwiększyć różnorodność pozy i tła, wprowadzono potok do konstruowania tripletów szkoleniowych z filmów z natury, przy użyciu bazy danych HumanVid. Ten sam proces został użyty do wygenerowania zachowującego tożsamość obrazu ludzkiego.

Ponieważ w tych filmach nie istniały samodzielne obrazy ubrań, obrazy ubrań zostały wygenerowane bezpośrednio z filmu. Klatki zostały pobrane z każdego filmu, a Qwen został użyty do oceny ich widoczności z przodu, zanim wybrano najbardziej odpowiedni kandydata, w oparciu o widoczność ciała, klarowność obrazu, minimalne zakrycie, jakość oświetlenia i ogólną kompozycję.

Region górnej części ubrania został następnie wyodrębniony za pomocą SegFormer, a tło usunięto, aby odizolować ubranie.

Aby uniknąć pozycyjnego przekrzywienia, region ubrania został losowo przesunięty wewnątrz swojej ramki ograniczającej, a Qwen został ponownie użyty do odfiltrowania niepewnych segmentacji. Ten proces wyprodukował syntetyczne obrazy ubrań sparowane z ruchem i tożsamością, umożliwiając konstrukcję dużych tripletów z niesklasyfikowanych danych wideo, a także poprawiając wytrzymałość w różnych warunkach świata rzeczywistego.

Architektura

Wprowadzono architekturę dwumodułową, aby rozwiązać problem powolnej zbieżności i słabego balansu kontroli widocznego w tych poprzednich metodach, które próbowały połączyć wszystkie warunki. Podejście to wykorzystywało transformator dyfuzji tekstu-wideo z Wan, i również opierał się na projekcie VACE (patrz poniżej).

Model został podzielony na Moduł animacji ludzkiej (HAM), który obsługiwał ruch i tożsamość z wejść ludzkich i pozy; oraz Moduł przenoszenia ubrań (GTM), który obsługiwał odzież z obrazów ubrań. Oba moduły dzieliły dostęp do trzonu, a także integrowały funkcje w sposób rozproszony i kaskadowy, aby poprawić warunki.

Szkolenie zostało przeprowadzone przez zamrożenie trzonu i optymalizację tylko parametrów HAM i GTM, z ich wkładem zbalansowanym podczas integracji funkcji. Wejścia z syntetycznej bazy danych tripletów zostały przekonwertowane w przedstawienia latentne przy użyciu VAE (variational autoencoder) WAN.

Świadomy ruch kontekstu został wytworzony przez połączenie informacji ludzkich i pozy w czasie, podczas gdy funkcje ubrań były przetwarzane oddzielnie i wyrównywane przez projekcję do tokenowych wektorów.

Model został również rozbudowany, aby obsługiwać interpolację ubrań. Tutaj przedstawienia z dwóch ubrań zostały połączone, aby wygenerować gładkie przejścia, umożliwiając spójne i koherentne łączenie między przedmiotami odzieży, bez dodatkowej optymalizacji.

Dane i testy

Model został przeszkolony na 9 135 filmach, o długości od trzech do dziesięciu sekund, pochodzących z wyżej wymienionych ‘sklepów internetowych’; własnej wygenerowanej bazy danych autorów; oraz bazy danych HumanVid.

Na ich podstawie utworzono dwie zbiory danych ewaluacyjnych: ‘zestaw internetowy’, zawierający filmy i obrazy produktów ze sklepów; oraz oficjalny zestaw testowy bazy danych Alibaba ViViD.

Ponieważ dane ViViD nie zawierają twarzy (patrz wyżej film, dla przykładu, który jest bardzo powszechny w literaturze wirtualnej próby), zostały one dodane za pomocą Flux outpainting.

Wykorzystano następujące metryki: L1 loss; Peak Signal-to-Noise Ratio (PSNR); Structural Similarity Index (SSIM); Learned Perceptual Image Patch Similarity (LPIPS); Fréchet Inception Distance (FID); oraz Fréchet Video Distance^†† (FVD)

Systemy testowane dla przenoszenia ubrań to OOTDiffusion; CatVTON; OmniTry; oraz Any2AnyTryon. Modele generowania obrazu z podmiotu testowane to VisualCloze; MOSAIC; oraz UNO od ByteDance.

Dla drugiej kategorii testów, w których testowano kombinacje modeli wirtualnej próby na obrazach i modeli animacji, nowa praca była w stanie ponownie osiągnąć najwyższy wynik:

Porównanie ilościowe z kombinacjami modeli wirtualnej próby na obrazach i modeli animacji w zestawach danych internetowych i ViViD. Proponowana metoda osiągnęła najlepszą ogólną wydajność w całych metrykach, przy czym SSIM pozostała porównywalna do najsilniejszego punktu odniesienia. Wartości wyróżnione są najwyższym wynikiem.

Autorzy dodają:

‘Porównania jakościowe [pokazane poniżej] potwierdzają dodatkowo, że nasze podejście produkuje najbardziej dokładne śledzenie pozy i przenoszenie ubrań, a także zachowuje tożsamość w sposób bardziej wierny niż wszystkie podstawy oparte na generowaniu obrazu z podmiotu.’

Testy jakościowe przy użyciu punktów odniesienia utworzonych przez połączenie modeli wirtualnej próby na obrazach z modelami animacji.

Wnioski

Chociaż projekt Vanast osiągnął rozwiązanie końcowe, brak szczegółów w artykule dotyczących wymagań zasobów szkoleniowych i inferencyjnych wskazuje, że to może nie być najbardziej zwinne rozwiązanie. W rzeczywistości wyzwanie samo w sobie jest ogromnie trudne do pokonania, nawet w systemie nieoptymalizowanym – a tym bardziej w wdrożeniu komercyjnym, które wymagałoby niskiej latencji i opłacalności/rentowności w skali..

Wirtualna próba jest jednym z ‘krokiem ku Księżycowi’ celów sztucznej inteligencji, gdzie obecny stan sztuki, rozpowszechniony przez różne nagłówki i starannie wybrane wyniki, zataja rzeczywistą trudność zadania, które być może zostanie w końcu rozwiązane przez późniejsze i lżejsze technologie niż Transformatory.

^† Dostępne w USA, zablokowane w wielu innych regionach, jeśli nie we wszystkich.

^†† Autorzy odnoszą się do ‘VFID’, ale łączą tylko do artykułu ViViD, który nie uzasadnia odniesienia, jak mogłem się dowiedzieć, przy ograniczonym czasie na jego odnalezienie. Założyłem, że tak naprawdę mieli na myśli Fréchet Video Distance (FVD) i również mieli ograniczony czas. Proszę skontaktuj się ze mną w celu wprowadzenia poprawek, jeśli jest to konieczne.

Pierwotnie opublikowane w środę, 8 kwietnia 2026 r.