Andersonův úhel

Virtuální zkoušení nového oblečení pomocí AI

Martin Anderson
Přidejte Unite.AI mezi své preferované zdroje na Google
Examples of virtual try-on from the Vanast project – source: https://arxiv.org/pdf/2604.04934
Klíčové bodyVanastův jednoúrovňový AI model integruje oblečení, identitu a pohyb pro stabilnější…
Zobrazit více
  • Vanastův jednoúrovňový AI model integruje oblečení, identitu a pohyb pro stabilnější videa virtuálního zkoušení.
  • Systém vytváří vlastní syntetická tréninková data pomocí modelů jako Flux a Qwen, aby překonal nedostatek reálných dat.
  • Přes technologické pokroky zůstává komerční využitelnost omezena vysokými výpočetními nároky a problémy s latencí.

Model umělé inteligence nyní dokáže z jediné fotografie osoby a obrázků oděvů vytvořit video, na němž se stejná osoba pohybuje v novém oblečení. Vyhýbá se přitom chybám běžným u starších dvoufázových systémů.

 

Oblast virtuálního zkoušení oděvů (VTON) ve výzkumu počítačového vidění patří podle odborné literatury k nejlépe financovaným a nejproduktivnějším směrům. Hlavní příčinou je značná finanční podpora bohatého módního průmyslu, jak napovídají každoročně zveřejňované četné spolupráce firem a akademických pracovišť:

Z článku Image-Based Virtual Try-On: A Survey: příklady způsobů reprezentace osoby a některých kroků filtrování a zpřesňování, kterými musí pro virtuální zkoušení (VTON) projít i základní obrázky.

Z článku Image-Based Virtual Try-On: A Survey: příklady způsobů reprezentace osoby a některých kroků filtrování a zpřesňování, kterými musí pro virtuální zkoušení (VTON) projít i základní obrázky. Zdroj

Cíl má mnoho podob, například získávání oděvů z obrázků osob nebo zohlednění plnější postavy v případě potřeby. Některé systémy pracující s obrázky už byly komerčně nasazeny na platformách veesual.ai, wanna.fashion a fashn.ai.

U videa tuto funkci zkoušela experimentální aplikace Doppl od Google Labs, spuštěná loni v létě:

Pokud se video nepřehrává automaticky, kliknutím je spusťte. Ukázky z ukončeného projektu Google Doppl pro virtuální zkoušení oděvů ve videu.  Zdroj

Doppl však v dubnu 2026 končí po vlažném přijetí a uživatelé jsou nyní odkazováni na firemní službu zkoušení oděvů†, která používá pouze obrázky:

Služba virtuálního zkoušení od Googlu založená jen na obrázcích, na niž jsou odkazováni uživatelé ukončené platformy Doppl.

Služba virtuálního zkoušení od Googlu založená jen na obrázcích, na niž jsou odkazováni uživatelé ukončené platformy Doppl. Zdroj

Několik platforem sice nabízí virtuální zkoušení ve videu, ale žádná z nich se nezdá být propojena se skutečným prodejcem. Všechny jsou na experimentální hranici techniky, jde o okrajové a často pochybné produkty propagující tokeny.

Ve výzkumu existuje řada zajímavých pokusů. Obvykle však používají složité architektury, u nichž je obtížné současně dosáhnout nízké latence a vysoké kvality:

Pokud se video nepřehrává automaticky, kliknutím je spusťte. Z projektu Fashion-VDM z roku 2024: příklad přenosu oděvů na obrázcích osob bez hlavy. Zdroj

Přizpůsobit oděv skutečné osobě bez zkreslení oděvu či osoby a zároveň zachovat užitečný předváděcí pohyb je pro současnou techniku mimořádně obtížné. Když se například osoba otočí zády, musí být zadní strana výrobku zobrazena přesně .

Vanast

Nový článek z Koreje se s touto výzvou snaží vypořádat novým, plně integrovaným řešením zpracování oděvů, osoby a pohybu:

Pokud se video nepřehrává automaticky, kliknutím je spusťte. Ukázky z webu doplňkových materiálů projektu Vanast. Zdroj 

Nový systém nazvaný Vanast využívá vlastní datovou sadu, v níž se spojují a koordinují všechny tři nezbytné faktory: oděvy, osoba a pohyb:

Kliknutím spusťte video. Další ukázky z webu projektu Vanast.

Systém využívá různé nástroje včetně Flux, Qwen a ChatGPT k vytvoření datové sady trojic pro učení architektury, která řeší celý úkol od začátku do konce:

Z nového článku: příklady datových bodů používaných pro generování a trénování.

Z nového článku: příklady datových bodů používaných pro generování a trénování. Zdroj –

Nový článek má název Vanast: Virtual Try-On with Human Image Animation via Synthetic Triplet Supervision a pochází od čtyř výzkumníků ze Soulské národní univerzity. K dispozici je také web projektu s mnoha videi.

Metoda

Cílem autorů je spojit tři zmíněné aspekty do jednofázového rámce. Nejde jen o ucelený proces: jednotlivé aspekty tak mají při trénování více příležitostí k propojení a vzájemnému působení, aby byly generované výsledky soudržnější:

Vanast kombinuje jednu fotografii osoby, samostatné obrázky oděvů a pohybovou referenci. Vytváří sekvenci, v níž se tatáž osoba pohybuje v novém oblečení. Vedení pomocí póz zajišťuje konzistentní pohyb a zachování identity i detailů oděvu napříč snímky.

Vanast kombinuje jednu fotografii osoby, samostatné obrázky oděvů a pohybovou referenci. Vytváří sekvenci, v níž se tatáž osoba pohybuje v novém oblečení. Vedení pomocí póz zajišťuje konzistentní pohyb a zachování identity i detailů oděvu napříč snímky.

Vstupem jsou obrázky cílových oděvů, fotografie osoby v jiném oblečení, referenční video určující požadovaný pohyb a textový pokyn popisující akci i prostředí. Výstupem je celé video, v němž se zdá, že stejná osoba nosí nové oblečení a sleduje předepsaný pohyb. Vzhled jednotlivých snímků přitom zůstává časově konzistentní.

Většina podobných předchozích prací oddělovala oblékání od animace. Vanast naproti tomu zpracovává oděvy, identitu a pohyb v jednom procesu, takže se během generování mohou ovlivňovat. Tím omezuje nesoulad a nestabilitu dřívějších metod.

Datová sada

Trénování využívá odpovídající příklady fotografie osoby, jejích oděvů a videa této osoby v pohybu v daném oblečení. Pohyb se získává pomocí dřívější architektury , která poskytuje stabilní vedení pomocí póz napříč snímky.

Protože veřejná datová sada splňující požadavky neexistovala, videa s různými oděvy byla získána z blíže neurčených internetových obchodů. Úkol ale vyžadoval videa stejné osoby v několika různých sadách oblečení, což je v přirozeně získaných datech vzácné. Proto bylo nutné vytvořit syntetická data.

Třífázový postup zahrnoval výběr vhodných kandidátních snímků z videí modelem Qwen2.5-VL pro vidění a jazyk (VLM). Snímky se vhodně ořezaly a posuzovala se jejich použitelnost, například zda není osoba zakryta a je správně umístěna. Poté se vytvořily vhodné masky pro lokální doplňování obrazu k oddělení dotčených oblastí. Stejně jako v předchozí práci PERSE tuto část zajišťuje již zavedený difuzní model SDXL .

Přehled postupu Vanast: fotografie osoby, cílové obrázky oděvů a pohybové vodicí video se zakódují a zpracují v jednotném difuzním modelu videa. Výsledná animace zachovává identitu, sleduje posloupnost póz a používá cílové oděvy. Trénování podporuje tvorba syntetických trojic; dvoumodulový návrh odděluje animaci od přenosu oděvů, aby zachoval konzistenci.

Přehled postupu Vanast: fotografie osoby, cílové obrázky oděvů a pohybové vodicí video se zakódují a zpracují v jednotném difuzním modelu videa. Výsledná animace zachovává identitu, sleduje posloupnost póz a používá cílové oděvy. Trénování podporuje tvorba syntetických trojic; dvoumodulový návrh odděluje animaci od přenosu oděvů, aby zachoval konzistenci.

Ve třetí fázi Qwen znovu klasifikuje obrázky podle pohlaví. Poté populární obrazový difuzní nástroj Flux mění oblečení na obrázku, protože dokáže spojit více vstupních prvků. Textové pokyny k lokálním úpravám byly připraveny pomocí ChatGPT; verze není uvedena.

Pro větší rozmanitost póz a pozadí vznikl postup vytváření trénovacích trojic z přirozeně natočených videí s využitím datové sady HumanVid. Stejný postup vytvářel fotografii osoby se zachovanou identitou.

Videa neměla samostatné obrázky oděvů, proto se syntetizovaly přímo ze záznamů. Z každého videa byly vybrány snímky, které Qwen hodnotil podle viditelnosti zepředu. Nejvhodnější kandidát se vybíral podle viditelnosti celého těla, ostrosti, minimálního zakrytí, osvětlení a celkové kompozice.

Oblast oděvu na horní části těla se následně oddělila pomocí SegFormer a pozadí se odstranilo, aby zůstal jen oděv.

Kvůli omezení polohového zkreslení byla oblast oděvu náhodně posouvána uvnitř ohraničujícího rámečku. Qwen znovu odfiltroval nespolehlivé segmentace. Tak vznikly syntetické obrázky oděvů spárované s pohybem a identitou, což umožnilo rozsáhlou tvorbu trojic z nestrukturovaného videa a zvýšilo robustnost v různých reálných podmínkách.

Architektura

Dvoumodulová architektura řeší pomalou konvergenci a slabou rovnováhu řízení, které vykazovaly dřívější metody spojující všechny podmínky. Využívá difuzní transformer pro generování videa z textu v modelu Wan a čerpá také z projektu VACE popsaného níže.

Model se dělí na modul animace osoby (HAM), který zpracovává pohyb a identitu ze vstupní osoby a póz, a modul přenosu oděvů (GTM), který zpracovává obrázky oděvů. Oba sdílejí páteřní síť a integrují příznaky distribuovaným, kaskádovým způsobem pro lepší podmiňování.

Při trénování se zmrazila páteřní síť a optimalizovaly se jen parametry HAM a GTM. Jejich příspěvky se při integraci příznaků vyvažovaly. Vstupy ze syntetických trojic se převedly na latentní reprezentace variačním autoenkodérem (VAE) modelu WAN.

Kontext zohledňující pohyb vznikl spojením informací o osobě a pózách v čase. Příznaky oděvů se zpracovaly zvlášť a zarovnaly projekcí do vložených reprezentací tokenů.

Model byl dále rozšířen o interpolaci oděvů. Reprezentace dvou oděvů se spojily pro plynulé přechody, takže se jednotlivé oděvy mohly konzistentně a soudržně prolínat bez další optimalizace.

Data a testy

Model byl trénován na 9 135 videích dlouhých tři až deset sekund. Pocházela z výše uvedených nákupních webů, datové sady generované autory a sady HumanVid.

Vznikly dvě hodnoticí sady: Internet, obsahující videa a produktové obrázky z obchodů, a oficiální testovací část datové sady ViViD společnosti Alibaba.

Protože ViViD neobsahuje tváře, doplnily se pomocí rozšíření obrazu nástrojem Flux. Video výše ukazuje tento postup běžný v literatuře virtuálního zkoušení oděvů.

Použité metriky byly ztráta L1; špičkový poměr signálu k šumu (PSNR); index strukturální podobnosti (SSIM); naučená percepční podobnost obrazových výřezů (LPIPS); Fréchet Inception Distance (FID) a Fréchet Video Distance†† (FVD).

Pro přenos oděvů se testovaly systémy OOTDiffusion; CatVTON; OmniTry a Any2AnyTryon. Mezi modely generování obrázků podle subjektu byly VisualCloze; MOSAIC a nástroj společnosti ByteDance UNO.

Pro druhou fázi animace fotografie osoby se použily StableAnimator a DisPose .

VACE byl testován v omezenější podobě, protože cíl přímo nepodporuje, a s určitým úsilím o doplnění chybějící funkčnosti:

Kvantitativní porovnání s kombinacemi modelů generujících obrázky podle subjektu a animačních modelů na sadách Internet a ViViD. Navržená metoda dosáhla nejlepšího výkonu ve všech uvedených metrikách. Tučně je nejvyšší skóre v každém sloupci.

Kvantitativní porovnání s kombinacemi modelů generujících obrázky podle subjektu a animačních modelů na sadách Internet a ViViD. Navržená metoda dosáhla nejlepšího výkonu ve všech uvedených metrikách. Tučně je nejvyšší skóre v každém sloupci.

K prvním výsledkům uvedeným výše autoři uvádějí:

„Náš model dosahuje nejlepších výsledků ve všech metrikách ve srovnání s kombinacemi modelů generujících obrázky podle subjektu a animačních modelů.“

„Kvalitativní výsledky [níže] dále potvrzují nejpřesnější sledování póz a přenos oděvů při věrnějším zachování identity než u všech výchozích metod generujících obrázky podle subjektu.“

Kvalitativní porovnání na sadách Internet a ViViD s výchozími metodami generování obrázků podle subjektu a animace. Podle autorů navržená metoda přesněji zarovnává pózy a přenáší oděvy a konzistentněji zachovává identitu než VisualCloze, MOSAIC, UNO a VACE.

Kvalitativní porovnání na sadách Internet a ViViD s výchozími metodami generování obrázků podle subjektu a animace. Podle autorů navržená metoda přesněji zarovnává pózy a přenáší oděvy a konzistentněji zachovává identitu než VisualCloze, MOSAIC, UNO a VACE.

Ve druhé kategorii testů se porovnávaly kombinace virtuálního zkoušení oděvů na obrázcích a animačních modelů. Nová práce znovu dosáhla nejvyššího skóre:

Kvantitativní porovnání s kombinacemi obrazového virtuálního zkoušení a animačních modelů na sadách Internet a ViViD. Metoda dosáhla nejlepšího celkového výkonu napříč metrikami, přičemž SSIM zůstalo srovnatelné s nejsilnější výchozí metodou. Tučně je nejvyšší skóre.

Kvantitativní porovnání s kombinacemi obrazového virtuálního zkoušení a animačních modelů na sadách Internet a ViViD. Metoda dosáhla nejlepšího celkového výkonu napříč metrikami, přičemž SSIM zůstalo srovnatelné s nejsilnější výchozí metodou. Tučně je nejvyšší skóre.

Autoři dodávají:

„Kvalitativní porovnání [níže] ukazují, že se naše výsledky ze všech výchozích metod obrazového virtuálního zkoušení nejvíce podobají referenční skutečnosti.“

Kvalitativní testy s výchozími metodami vytvořenými spojením modelů VTON a animačních modelů.

Kvalitativní testy s výchozími metodami vytvořenými spojením modelů VTON a animačních modelů.

Závěr

Vanast nabízí ucelené řešení od vstupu po výstup. Článek ale neuvádí podrobné požadavky na zdroje pro trénování a inferenci, což naznačuje, že nemusí jít o nejlehčí a nejhbitější řešení. Samotná úloha je mimořádně obtížná i v neoptimalizovaném systému, natož v komerčním nasazení vyžadujícím nízkou latenci, cenovou dostupnost a návratnost investice ve velkém měřítku.

Virtuální zkoušení oděvů patří k mimořádně ambiciózním cílům AI. Obraz současné techniky šířený titulky a pečlivě vybranými výsledky zastírá skutečnou obtížnost úkolu. Možná jej nakonec vyřeší pozdější a lehčí technologie než transformery.

 

† Dostupné v USA; v mnoha dalších oblastech, ne-li ve všech, je služba geograficky blokována.

†† Autoři odkazují na VFID, ale připojují jen článek o ViViD, který podle mého zjištění tuto citaci neodůvodňuje. Na dohledání jsem měl omezený čas. Předpokládal jsem, že ve skutečnosti mysleli Fréchet Video Distance (FVD) a také neměli dost času. V případě potřeby oprav mě prosím kontaktujte.

Poprvé zveřejněno ve středu 8. dubna 2026

Spisovatel v oblasti strojového učení, odborník na syntézu lidských obrazů. Bývalý vedoucí výzkumného obsahu ve společnosti Metaphysic.ai, až do jejího sloučení do Brahma.ai společnosti DNEG.
Webová stránka: martinanderson.ai
Kontakt: martin@martinanderson.ai