Andersons vinkel

Virtuell provning av nya kläder med hjälp av AI

Martin Anderson
Lägg till Unite.AI bland dina föredragna källor på Google
Examples of virtual try-on from the Vanast project – source: https://arxiv.org/pdf/2604.04934
Viktiga punkterVanasts enstegs AI-modell integrerar kläder, identitet och rörelse för mer stabila…
Visa mer
  • Vanasts enstegs AI-modell integrerar kläder, identitet och rörelse för mer stabila virtuella provningsvideor.
  • Systemet skapar sin egen syntetiska träningsdata med hjälp av modeller som Flux och Qwen för att övervinna bristen på verklighetsbaserad data.
  • Trots tekniska framsteg begränsas den kommersiella genomförbarheten fortfarande av höga beräkningskrav och latensutmaningar.

En AI-modell kan nu skapa en video där samma person rör sig i nya kläder utifrån ett enda fotografi och bilder av plaggen. Den undviker samtidigt de fel som är vanliga i äldre tvåstegssystem.

 

Inom datorseende hör forskningsområdet virtuell klädprovning (VTON) till de bäst finansierade och mest produktiva, sett till forskningslitteraturen. Det beror främst på det betydande ekonomiska stödet från den förmögna modeindustrin, att döma av de många samarbeten mellan företag och universitet som publiceras varje år:

Ur artikeln Image-Based Virtual Try-On: A Survey: exempel på olika sätt att representera en person och några av de filtrerings- och förfiningssteg som även enkla bilder behöver genomgå för virtuell klädprovning (VTON).

Ur artikeln Image-Based Virtual Try-On: A Survey: exempel på olika sätt att representera en person och några av de filtrerings- och förfiningssteg som även enkla bilder behöver genomgå för virtuell klädprovning (VTON). Källa

Målet har många varianter, exempelvis att extrahera plagg ur bilder av människor eller anpassa till en fylligare kroppsform när det behövs. Vissa bildbaserade system används redan kommersiellt på plattformar som veesual.ai, wanna.fashion och fashn.ai.

För video prövade Google Labs experimentella Doppl-app denna funktion. Den lanserades förra sommaren:

Klicka för att spela upp om videon inte startar automatiskt. Utdrag ur det nedlagda Google Doppl-projektet för virtuell klädprovning i video.  Källa

Doppl läggs dock ned i april 2026 efter ett svalt mottagande och användarna hänvisas nu till företagets provningstjänst†, som enbart använder bilder:

Googles bildbaserade provningstjänst, dit användarna hänvisas från den nedlagda Doppl-plattformen.

Googles bildbaserade provningstjänst, dit användarna hänvisas från den nedlagda Doppl-plattformen. Källa

Några plattformar erbjuder visserligen virtuell klädprovning i video, men ingen av dem verkar vara knuten till någon faktisk återförsäljare. Alla ligger vid teknikens experimentella framkant och är marginella, ofta tvivelaktiga produkter som säljer token.

Det finns intressanta försök inom forskningen. De har dock traditionellt byggt på komplexa arkitekturer som är svåra att få att leverera både låg latens och hög kvalitet:

Klicka för att spela upp om videon inte startar automatiskt. Ur projektet Fashion-VDM från 2024: ett exempel på överföring av kläder till bilder av personer utan huvuden. Källa

Att anpassa kläder till en verklig person utan att förvränga vare sig plaggen eller personen, och samtidigt bevara en användbar rörelse som visar upp kläderna, är en mycket stor utmaning för dagens teknik. När personen vänder sig om måste exempelvis produktens baksida visas korrekt.

Vanast

En ny forskningsartikel från Korea försöker möta denna utmaning med en ny, helt integrerad lösning för att hantera kläder, person och rörelse:

Klicka för att spela upp om videon inte startar automatiskt. Exempel från Vanast-projektets webbplats med kompletterande material. Källa 

Det nya systemet Vanast använder en skräddarsydd datamängd som samordnar de tre nödvändiga faktorerna: kläderna, personen och rörelsen:

Klicka för att spela upp. Fler exempel från Vanast-projektets webbplats.

Systemet använder verktyg som Flux, Qwen och ChatGPT för att skapa en datamängd med tripletter som kan träna en arkitektur som hanterar hela uppgiften från början till slut:

Ur den nya artikeln: exempel på datapunkter i datamängden som används för generering och träning.

Ur den nya artikeln: exempel på datapunkter i datamängden som används för generering och träning. Källa –

Den nya artikeln heter Vanast: Virtual Try-On with Human Image Animation via Synthetic Triplet Supervision och kommer från fyra forskare vid Seoul National University. Det finns även en projektwebbplats med många videor.

Metod

Författarnas mål är att förena de tre aspekterna i ett enda steg. Det ger inte bara ett sammanhållet förfarande, utan också fler möjligheter för aspekterna att samverka under träningen så att genereringen blir mer sammanhängande:

Vanast kombinerar ett enda fotografi av en person, separata bilder av plagg och en rörelsereferens. Resultatet är en sekvens där samma person rör sig i nya kläder. Vägledning med kroppsposer ger konsekvent rörelse samtidigt som identitet och kläddetaljer bevaras mellan bildrutorna.

Vanast kombinerar ett enda fotografi av en person, separata bilder av plagg och en rörelsereferens. Resultatet är en sekvens där samma person rör sig i nya kläder. Vägledning med kroppsposer ger konsekvent rörelse samtidigt som identitet och kläddetaljer bevaras mellan bildrutorna.

Systemet tar emot bilder av målplaggen, ett fotografi av personen i andra kläder, en referensvideo som anger den önskade rörelsen och en textinstruktion som beskriver handlingen och miljön. Det skapar sedan en hel videosekvens där samma person tycks bära de nya kläderna och följer den angivna rörelsen, med ett visuellt konsekvent utseende över tid.

De flesta liknande tidigare arbeten skilde klädbyte från animation. Vanast hanterar i stället kläder, identitet och rörelse tillsammans, så att de kan samverka under genereringen. Det minskar de typer av avvikelser och instabilitet som tidigare metoder har visat.

Datamängd

Träningen bygger på matchande exempel med ett fotografi av en person, motsvarande kläder och en video av samma person i rörelse i dessa kläder. Rörelsen extraheras med hjälp av en tidigare arkitektur, som ger stabil vägledning med kroppsposer mellan bildrutorna.

Eftersom ingen offentlig datamängd uppfyllde projektets krav hämtades videor med varierande kläder från ospecificerade näthandelsplatser. Uppgiften krävde dock videor av samma person i flera olika uppsättningar kläder, vilket är ovanligt i naturligt insamlat material. Därför behövde forskarna skapa syntetiska data.

Förfarandet hade tre steg. Lämpliga kandidatbilder valdes ur videorna med Qwen2.5-VL, en modell för bild och språk (VLM). Bilderna beskars och bedömdes efter lämplighet, exempelvis att personen inte var skymd och befann sig i rätt position. Därefter skapades lämpliga masker för lokal bildkomplettering för att isolera berörda områden. I linje med det tidigare arbetet PERSE hanteras detta av den numera välkända diffusionsmodellen SDXL.

Översikt över Vanasts arbetsflöde: ett fotografi av personen, bilder av målplaggen och en video med rörelsereferensen kodas och bearbetas i en gemensam videodiffusionsmodell. Animationen bevarar identiteten, följer sekvensen av kroppsposer och använder målplaggen. Syntetiska tripletter stöder träningen, och två separata moduler för animation respektive klädöverföring bidrar till konsekventa resultat.

Översikt över Vanasts arbetsflöde: ett fotografi av personen, bilder av målplaggen och en video med rörelsereferensen kodas och bearbetas i en gemensam videodiffusionsmodell. Animationen bevarar identiteten, följer sekvensen av kroppsposer och använder målplaggen. Syntetiska tripletter stöder träningen, och två separata moduler för animation respektive klädöverföring bidrar till konsekventa resultat.

I det tredje steget klassificerar Qwen återigen bilderna efter kön. Därefter ändrar det populära bilddiffusionsverktyget Flux kläderna i bilden, eftersom det kan kombinera flera indataelement. Textinstruktionerna för lokal bildkomplettering togs fram med ChatGPT; versionen anges inte.

För större variation i poser och bakgrunder infördes ett arbetsflöde för att skapa träningstripletter ur videor inspelade i verkliga miljöer med hjälp av datamängden HumanVid. Samma förfarande användes för att skapa personbilder som bevarar identiteten.

Videorna saknade fristående bilder av plaggen, så dessa syntetiserades direkt ur videomaterialet. Bildrutor valdes ut och poängsattes av Qwen efter synlighet framifrån. Den lämpligaste kandidaten valdes utifrån helkroppssynlighet, bildskärpa, minimal skymning, belysning och övergripande komposition.

Området med överkroppens plagg extraherades med SegFormer och bakgrunden togs bort så att bara plagget återstod.

För att undvika positionsbias försköts plaggets område slumpmässigt inom sin avgränsningsruta. Qwen filtrerade återigen bort otillförlitliga segmenteringar. Därmed skapades syntetiska klädbilder ihopparade med rörelse och identitet. Det möjliggjorde storskalig framställning av tripletter ur ostrukturerad video och förbättrade robustheten under varierande verkliga förhållanden.

Arkitektur

En arkitektur med två moduler infördes för att hantera långsam konvergens och den svaga balansen i styrningen hos tidigare metoder som förenade alla villkor. Den använder diffusionstransformern för text-till-video från Wan och bygger även på VACE som beskrivs nedan.

Modellen delades i en modul för personanimation (HAM), som hanterar rörelse och identitet utifrån person- och poseindata, och en modul för klädöverföring (GTM), som hanterar plagg från klädbilder. Båda använder gemensamma delar av basnätverket och integrerar egenskaper distribuerat och i kaskad för bättre styrning.

Träningen utfördes genom att frysa basnätverket och enbart optimera parametrarna i HAM och GTM. Deras bidrag balanserades när egenskaperna integrerades. Indata från de syntetiska tripletterna omvandlades till latenta representationer med WAN:s variationella autoenkoder (VAE).

Rörelsemedveten kontext skapades genom att förena information om personen och kroppsposer över tid. Plaggens egenskaper bearbetades separat och anpassades genom projicering till tokeninbäddningar.

Modellen utökades också med stöd för interpolation mellan plagg. Representationer från två plagg kombinerades för att skapa mjuka övergångar och en konsekvent, sammanhängande blandning mellan plaggen utan ytterligare optimering.

Data och tester

Modellen tränades på 9 135 videor med längder på tre till tio sekunder. De hämtades från de nämnda näthandelsplatserna, författarnas egen genererade datamängd och HumanVid.

Två utvärderingsdatamängder skapades: Internet, med videor och produktbilder från näthandelsplatser, och den officiella testdelen av Alibabas datamängd ViViD. Eftersom ViViD saknar ansikten lades sådana till med bildutvidgning med Flux. Den tidigare videon visar detta, som är mycket vanligt i litteraturen om virtuell klädprovning.

Mätvärdena var L1-förlust; Peak Signal-to-Noise Ratio (PSNR); Structural Similarity Index (SSIM); Learned Perceptual Image Patch Similarity (LPIPS); Fréchet Inception Distance (FID) och Fréchet Video Distance†† (FVD).

För klädöverföring testades OOTDiffusion; CatVTON; OmniTry och Any2AnyTryon. Bland modellerna för bildgenerering utifrån ett givet subjekt testades VisualCloze; MOSAIC och ByteDances UNO.

För det andra steget, animation av personbilder, användes StableAnimator och DisPose.

VACE testades också i mer begränsad omfattning, eftersom det inte direkt stöder målet. Vissa försök gjordes att kompensera för den saknade funktionen:

Kvantitativ jämförelse med kombinationer av modeller för bildgenerering utifrån ett subjekt och animationsmodeller på datamängderna Internet och ViViD. Den föreslagna metoden gav bäst resultat för samtliga redovisade mätvärden. Fetstil anger det högsta värdet i varje kolumn.

Kvantitativ jämförelse med kombinationer av modeller för bildgenerering utifrån ett subjekt och animationsmodeller på datamängderna Internet och ViViD. Den föreslagna metoden gav bäst resultat för samtliga redovisade mätvärden. Fetstil anger det högsta värdet i varje kolumn.

Om de första resultaten ovan skriver författarna:

”Vår modell ger bäst resultat för alla mätvärden jämfört med kombinationer av modeller för bildgenerering utifrån ett subjekt och animationsmodeller.”

”De kvalitativa resultaten [nedan] bekräftar ytterligare att vår metod ger den mest exakta följningen av kroppsposer och klädöverföringen, samtidigt som identiteten bevaras mer troget än med samtliga jämförelsemetoder för bildgenerering utifrån ett subjekt.”

Kvalitativ jämförelse på Internet och ViViD med metoder för bildgenerering utifrån ett subjekt och animation. Enligt författarna ger den föreslagna metoden mer exakt anpassning till kroppsposer och överföring av kläder samt bevarar identiteten mer konsekvent än VisualCloze, MOSAIC, UNO och VACE.

Kvalitativ jämförelse på Internet och ViViD med metoder för bildgenerering utifrån ett subjekt och animation. Enligt författarna ger den föreslagna metoden mer exakt anpassning till kroppsposer och överföring av kläder samt bevarar identiteten mer konsekvent än VisualCloze, MOSAIC, UNO och VACE.

I den andra testkategorin jämfördes kombinationer av bildbaserad virtuell klädprovning och animationsmodeller. Det nya arbetet uppnådde återigen det högsta resultatet:

Kvantitativ jämförelse med kombinationer av bildbaserad virtuell klädprovning och animationsmodeller på Internet och ViViD. Metoden gav bäst resultat totalt sett över mätvärdena, medan SSIM förblev jämförbart med den starkaste jämförelsemetoden. Fetstil anger det högsta värdet.

Kvantitativ jämförelse med kombinationer av bildbaserad virtuell klädprovning och animationsmodeller på Internet och ViViD. Metoden gav bäst resultat totalt sett över mätvärdena, medan SSIM förblev jämförbart med den starkaste jämförelsemetoden. Fetstil anger det högsta värdet.

Författarna tillägger:

”De kvalitativa jämförelserna [nedan] visar att våra resultat ligger närmast det verkliga referensmaterialet av samtliga jämförelsemetoder för bildbaserad virtuell klädprovning.”

Kvalitativa tester med jämförelsemetoder som kombinerar VTON-modeller och animationsmodeller.

Kvalitativa tester med jämförelsemetoder som kombinerar VTON-modeller och animationsmodeller.

Slutsats

Vanast erbjuder en sammanhållen lösning från indata till utdata. Artikeln saknar dock detaljer om resurskraven vid träning och inferens, vilket antyder att lösningen kanske inte är den lättaste eller smidigaste. Själva uppgiften är mycket svår även i ett ooptimerat system. Hur mycket svårare blir den inte i kommersiell drift, med krav på låg latens, rimliga kostnader och avkastning i stor skala?

Virtuell klädprovning hör till AI:s mycket ambitiösa mål. Bilden av dagens teknik som sprids genom rubriker och noga utvalda resultat döljer uppgiftens verkliga svårighet. Kanske kommer senare och lättare tekniker än transformrar till slut att lösa den.

 

† Tillgängligt i USA; geografiskt blockerat i många andra regioner, om inte alla.

†† Författarna hänvisar till VFID men länkar bara till ViViD-artikeln, som såvitt jag kan se inte motiverar hänvisningen. Jag hade begränsat med tid att undersöka detta. Jag har antagit att de egentligen menade Fréchet Video Distance (FVD) och också hade ont om tid. Kontakta mig gärna om något behöver rättas.

Först publicerad onsdagen den 8 april 2026

Skribent inom maskininlärning, domänspecialist på mänsklig bildsyntes. Tidigare chef för forskningsinnehåll på Metaphysic.ai, fram till dess upplösning i DNEG:s Brahma.ai.
Webbplats: martinanderson.ai
Kontakt: martin@martinanderson.ai