Virtuell provning av nya kläder med hjälp av AI

En AI-modell kan nu omvandla en enda foto och klädbilder till en rörlig video av en person som bär nya outfit, utan de vanliga felen som förekommer i äldre, tvåstegssystem.

“Virtuell provning” (VTON) är en av de bäst finansierade och mest produktiva forskningsområdena inom datavisualisering – främst på grund av att, som kan utläsas från de frekventa samarbeten mellan industri och akademi som publiceras varje år, detta mål får betydande finansiering från modeindustrin:

Från artikeln “Image-Based Virtual Try-On: A Survey”, exempel på personrepresentationstyper och några av de filter- och rensningssteg som även grundläggande bilder måste gå igenom för en virtuell provning (VTON). Källa

Det finns många variationer på målet, såsom att extrahera kläder från bilder av människor och att anpassa sig till en mer kurvad figur när det behövs. Några bildbaserade system har implementerats kommersiellt på plattformar som veesual.ai, wanna.fashion och fashn.ai.

För video har Google Labs experimentella Doppl-app experimenterat med denna funktion, som lanserades förra sommaren:

Var vänlig och klicka för att spela upp videon om den inte startar automatiskt. Utdrag från det övergivna Google Doppl-projektet för virtuell provning. Källa

Men Doppl stängdes i april 2026 efter en sval mottagning, och användarna hänvisas nu till företagets bildbaserade provningsprogram^†:

Googles bildbaserade provningsprogram, där användarna hänvisas från företagets övergivna Doppl-plattform. Källa

Även om det finns några plattformar som erbjuder virtuell provning med video, verkar ingen av dem vara kopplad till ett faktiskt varumärke, och de är alla “bleeding edge”, marginella (och ofta “tvivelaktiga”) produkter som använder token.

Medan det finns några intressanta företag från forskningssektorn, är de traditionellt komplexa arkitekturer som är svåra att implementera för låg latens och hög kvalitet:

Var vänlig och klicka för att spela upp videon om den inte startar automatiskt. Från 2024 års Fashion-VDM-projekt, ett exempel på “headless” kläderöverföring. Källa

Sanningen är att uppgiften att anpassa kläder till en verklig person, utan att förvränga antingen kläderna eller personen, samtidigt som man upprätthåller någon form av användbar demonstrativ rörelse (som exakt visar baksidan av produkten när personen vänder sig om), är en formidabel utmaning för den nuvarande tillståndet för tekniken.

Vanast

Det är en utmaning som ett nytt arbete från Korea försöker att möta, genom att använda en ny och helt integrerad lösning för att tolka kläder + person + rörelse:

Var vänlig och klicka för att spela upp videon om den inte startar automatiskt. Exempel från den tillhörande webbplatsen för Vanast-projektet. Källa

Det nya systemet, som kallas Vanast, använder en specialtillverkad dataset som innehåller alla tre nödvändiga faktorerna för att uppnå uppgiften: kläderna, personen och rörelsen:

Klicka för att spela upp.Fler exempel från Vanast-projektets webbplats.

Systemet använder ramverk som Flux, Qwen och ChatGPT för att generera en “triplett”-dataset som kan informera en slut-till-slut-arkitektur:

Från den nya artikeln, exempel på datasetens datapunkter som används för generering och utbildning. Källa –

Den nya artikeln heter Vanast: Virtuell provning med mänsklig bildanimation via syntetisk triplet-styrning och kommer från fyra forskare vid Seoul National University. Det finns också en videoinnehållsrik projektwebbplats.

Metod

Författarnas uttalade mål i arbetet är att förena de tre ovannämnda aspekterna i en enda etapp – inte bara för att processen skulle vara diskret, utan också för att det ger de olika aspekterna mer möjlighet att samverka och interagera under utbildning, med målet att uppnå en mer sammanhållen generering:

Vanast kombinerar en enda mänsklig bild, separata klädbilder och en rörelseguide för att generera en rörlig sekvens där samma person bär den nya outfiten, med pose-guidning som säkerställer konsekvent rörelse, medan identitet och kläddetaljer bevaras över ramarna.

För att uppnå detta tar systemet bilder av målkläderna, en bild av personen som bär olika kläder, en rörelseguidevideo som definierar hur personen ska röra sig, och en textprompt som beskriver handlingen och miljön, och genererar en fullständig videosekvens där samma person verkar bära den nya outfiten, medan den följer den påtvingade rörelsen, med varje ram visuellt konsekvent över tiden.

I stället för att separera klädsel och animation i olika etapper – vilket har varit tillvägagångssättet i de flesta liknande tidigare arbeten – hanterar Vanast kläder, identitet och rörelse tillsammans i en enda process, vilket tillåter dessa element att interagera under generering, och minskar de typer av fel och instabilitet som har visats i tidigare metoder.

Dataset

Utbildning för projektet baseras på parvisa exempel på en personbild, motsvarande kläder och en video av personen som rör sig medan de bär kläderna, med rörelse extraherad med hjälp av en tidigare arkitektur, för att tillhandahålla stabil pose-guidning över ramarna.

I avsaknad av en offentligt tillgänglig dataset som uppfyller projektets krav, samlades data in från (ej specificerade) online-shoppningsplatser, vilket gav en cache av videor med varierande kläder. Men uppgiften krävde videor av samma person som bär flera outfit, vilket är en sällsynt företeelse i vilda data, och som krävde skapandet av syntetiska data.

Den trestegsprocessen bestod av att välja lämpliga kandidatbilder från videorna, som hanterades via Qwen2.5-VL Vision-Language Model (VLM), med lämplig beskärning och utvärdering av lämplighet (dvs. inga ockultationer, ämnet i rätt position, etc.); och skapandet av lämpliga inpainting-masker för att isolera de berörda områdena – vilket (i linje med tidigare arbete PERSE) hanteras av den nu välkända SDXL-diffusionsmodellen.

Översikt av Vanast-pipelinen, där en mänsklig bild, målkläder och en rörelseguidevideo kodas och bearbetas i en enhetlig videodiffusionsmodell. Systemet genererar en animation som bevarar identitet, följer pose-sekvensen och applicerar målkläderna, medan syntetisk triplet-generering stöder utbildning, och en dubbelmodul-design separerar animation från kläderöverföring för att upprätthålla konsekvens.

I den tredje etappen tar Qwen återigen på sig uppgiften att klassificera bilder efter kön, och den populära Flux-bild-diffusionsramverket används sedan för att skapa ändringar i kläderna i en bild (eftersom Flux kan kombinera flera indataelement). Inpainting-textpromptarna curerades av ChatGPT (version ej specificerad).

För att ytterligare öka pose- och bakgrundsdiversitet introducerades en pipeline för att konstruera utbildningstrippel från vilda videor, med hjälp av HumanVid-datasetet. Samma process användes för att generera identitetsbevarande mänskliga bilder.

Eftersom det inte fanns någon fristående klädbild i dessa videor, syntetiserades klädbilder direkt från videomaterialet. Ramar sampades från varje video, och Qwen användes för att poängsätta dem för frontal synlighet, innan den mest lämpliga kandidaten valdes, baserat på fullständig synlighet, bildkvalitet, minimal ockultation, belysningskvalitet och allmän komposition.

En övre klädområde extraherades med hjälp av SegFormer, och bakgrunden togs bort för att isolera kläderna.

För att undvika positionell bias, försköts klädområdet slumpmässigt inom sin begränsningsruta, och Qwen användes igen för att filtrera bort opålitliga segmenteringar. Denna process genererade syntetiska klädbilder parade med rörelse och identitet, vilket möjliggjorde storstilad triplet-konstruktion från ostrukturerade videodata, samtidigt som robustheten förbättrades över varierande verkliga förhållanden.

Arkitektur

En dubbelmodul-arkitektur introducerades för att hantera den långsamma konvergensen och den svaga kontrollbalansen som observerats i tidigare metoder som försökt att fusionera alla villkor. Tillvägagångssättet utnyttjade text-till-video-diffusionstransformatorn från Wan, och drog också nytta av VACE-projektet (se nedan).

Modellen delades in i en mänsklig animationsmodul (HAM), som hanterade rörelse och identitet från mänskliga och pose-inmatningar; och en kläderöverföringsmodul (GTM), som hanterade kläder från klädbilder. Båda delade tillgång till ryggraden, medan de integrerade funktioner på ett distribuerat, kaskadiskt sätt, för att förbättra villkoren.

Utbildning utfördes genom att frysa ryggraden och optimera endast HAM- och GTM-parametrar, med deras bidrag balanserade under funktionssammanslagning. Inmatningar från den syntetiska triplet-dataseten konverterades till latent representationer med hjälp av WAN:s variational autoencoder (VAE).

Rörelsemedveten kontext konstruerades genom att kombinera mänsklig och poseinformation över tiden, medan klädfunktioner bearbetades separat och anpassades genom projicering till tokeninbäddningar.

Modellen utvidgades också för att stödja kläderinterpolation. Här kombinerades representationer från två kläder för att generera mjuka övergångar, vilket möjliggjorde konsekvent och sammanhängande blandning mellan klädesplagg, utan ytterligare optimering.

Data och tester

Modellen tränades på 9 135 videor, med längder som varierade från tre till tio sekunder, hämtade från ovannämnda “shoppingsajter”; författarnas egna genererade dataset; och HumanVid-datasetet.

Från dessa etablerades två utvärderingsdataset: “Internet-datasetet”, som innehöll videor och produktbilder från köpcentrum; och den officiella testdelningen av Alibabas ViViD-dataset.

Eftersom ViViD-data saknar ansikten (se ovanstående video för ett exempel, som är mycket vanligt i den virtuella provningslitteraturen), lades dessa till med hjälp av Flux-outpainting.

Mätvärden som användes var L1-förlust; Peak Signal-to-Noise Ratio (PSNR); Structural Similarity Index (SSIM); Lärd perceptuell bildpatch-likhet (LPIPS); Fréchet Inception Distance (FID); och Fréchet Video Distance^†† (FVD)

System som testades för kläderöverföring var OOTDiffusion; CatVTON; OmniTry; och Any2AnyTryon. Modeller för subjekt-till-bild-generering som testades var VisualCloze; MOSAIC; och ByteDances UNO.

För den andra etappen, där mänsklig bildanimation testades, användes StableAnimator– och DisPose-ramverken.

I en mer begränsad kontext (eftersom det inte direkt stöder målet) testades också VACE, med vissa ansträngningar för att balansera den saknade funktionaliteten:

Kvantitativ jämförelse mot kombinationer av subjekt-till-bild- och animationsmodeller på Internet- och ViViD-dataseten, där den föreslagna metoden uppnådde den bästa prestandan över alla rapporterade mätvärden. Feta värden anger det högsta poängen i varje kolumn.

Av de initiala resultaten ovan påstår författarna:

‘[Vår] modell uppnår den bästa prestandan över alla mätvärden när den jämförs med kombinationer av subjekt-till-bild-genereringsmodeller och animationsmodeller.

‘Kvalitativa resultat [som visas nedan] bekräftar ytterligare att vår metod producerar den mest exakta pose-följningen och kläderöverföringen, medan den bevarar identiteten mer troget än alla subjekt-till-bild-baserade baslinjer.’

Kvalitativ jämförelse på Internet- och ViViD-dataseten mot subjekt-till-bild- och animationsbaslinjer, där den föreslagna metoden, enligt författarna, erbjuder mer exakt pose-justering och kläderöverföring, medan den bevarar identiteten mer konsekvent än VisualCloze, MOSAIC, UNO och VACE.

För den andra kategorin tester, där kombinationer av bildbaserad virtuell provning och animationsmodeller testades, kunde det nya arbetet återigen uppnå den högsta poängen:

Kvantitativ jämförelse med kombinationer av bildbaserad virtuell provning och animationsmodeller på Internet- och ViViD-dataseten. Den föreslagna metoden uppnådde den bästa totala prestandan över mätvärdena, med SSIM som förblev jämförbar med den starkaste baslinjen. Feta värden anger den högsta poängen.

Författarna tillägger:

‘Kvalitativa jämförelser [som visas nedan] visar att våra resultat liknar grundvärdet mest bland alla bildbaserade virtuella provningsbaslinjer.’

Kvalitativa tester med baslinjer skapade genom att kombinera VTON-modeller med animationsmodeller.

Slutsats

Även om Vanast-projektet uppnår en diskret slut-till-slut-lösning, tyder bristen på detaljer kring utbildnings- och inferensresurskrav på att detta kanske inte är den mest smidiga eller flexibla lösningen. I själva verket är utmaningen i sig extremt svår att uppnå, även i ett icke-optimerat system – och hur mycket svårare i en kommersiell distribution som skulle kräva låg latens och låga kostnader/avkastning vid större skala..?

Den virtuella provningen är ett av flera “månskott”-mål för AI, där den nuvarande tillståndet för tekniken, som sprids genom olika rubriker och utvalda resultat, döljer den faktiska svårigheten i uppgiften, som kanske kommer att lösas av senare och lättare tekniker än Transformer.

^† Tillgänglig i USA, geoblockerad i många andra regioner, om inte alla.

^†† Författarna hänvisar till “VFID”, men länkar endast till ViViD-pappret, som inte motiverar referensen, så långt jag kan se, med begränsad tid att spåra det. Jag har antagit att de faktiskt menade Fréchet Video Distance (FVD), och var lika knappa på tid. Vänligen kontakta mig för ändringar, om nödvändigt.

Publicerad första gången onsdag, 8 april 2026