Andersons vinkel
Virtuell prøving av nye klær med AI

Viktige punkterVanasts enkeltstegs AI-modell integrerer klær, identitet og bevegelse for mer stabile…
Vis mer
- Vanasts enkeltstegs AI-modell integrerer klær, identitet og bevegelse for mer stabile videoer av virtuell prøving.
- Systemet skaper sine egne syntetiske treningsdata ved hjelp av modeller som Flux og Qwen for å overvinne mangel på virkelige data.
- Til tross for tekniske fremskritt er kommersiell levedyktighet fortsatt begrenset av høye beregningskrav og utfordringer med forsinkelse.
En AI-modell kan nå lage en video der samme person beveger seg i nye klær, ut fra ett fotografi og bilder av plaggene. Den unngår samtidig feil som er vanlige i eldre systemer med to trinn.
Innen forskning på maskinsyn er virtuell klesprøving (VTON) et av de best finansierte og mest produktive områdene i faglitteraturen. Det skyldes først og fremst betydelig støtte fra den velstående moteindustrien, slik de mange årlige samarbeidene mellom bedrifter og universiteter antyder:

Fra Image-Based Virtual Try-On: A Survey: eksempler på måter å representere personer på og noen av filtrerings- og forbedringstrinnene som selv enkle bilder må gjennom ved virtuell klesprøving (VTON). Kilde
Målet finnes i mange varianter, for eksempel å hente ut klær fra bilder av mennesker eller å tilpasse til en fyldigere kroppsform ved behov. Noen bildebaserte systemer er allerede tatt i kommersiell bruk på plattformer som veesual.ai, wanna.fashion og fashn.ai.
For video prøvde Google Labs denne funksjonen i den eksperimentelle Doppl-appen, som ble lansert i fjor sommer:
Klikk for å spille av hvis videoen ikke starter automatisk. Utdrag fra det nedlagte Google Doppl-prosjektet for virtuell klesprøving i video. Kilde
Doppl legges imidlertid ned i april 2026 etter en lunken mottakelse, og brukerne henvises nå til selskapets klesprøvingstjeneste†, som bare bruker bilder:

Googles klesprøvingstjeneste som bare bruker bilder, og som brukerne av den nedlagte Doppl-plattformen henvises til. Kilde
Enkelte plattformer tilbyr virtuell klesprøving i video, men ingen ser ut til å være knyttet til en faktisk forhandler. Alle er eksperimentelle produkter helt i teknologiens ytterkant, marginale og ofte tvilsomme produkter som markedsfører tokener.
Det finnes interessante forsøk i forskningen. De bruker likevel tradisjonelt komplekse arkitekturer som er vanskelige å få til å levere både lav forsinkelse og høy kvalitet:
Klikk for å spille av hvis videoen ikke starter automatisk. Fra Fashion-VDM-prosjektet fra 2024: et eksempel på overføring av klær på bilder av personer uten hode. Kilde
Å tilpasse klær til en virkelig person uten å forvrenge verken klærne eller personen, samtidig som en nyttig bevegelse viser frem plagget, er en enorm utfordring for dagens teknologi. Når personen snur seg, må for eksempel baksiden av produktet vises nøyaktig.
Vanast
En ny studie fra Korea prøver å møte denne utfordringen med en ny, fullt integrert løsning for å behandle klær, person og bevegelse:
Klikk for å spille av hvis videoen ikke starter automatisk. Eksempler fra nettstedet med tilleggsmateriale til Vanast-prosjektet. Kilde
Det nye systemet Vanast bruker et spesiallaget datasett som kombinerer og samordner de tre nødvendige faktorene: klær, person og bevegelse:
Klikk for å spille av. Flere eksempler fra Vanast-prosjektets nettsted.
Systemet bruker verktøy som Flux, Qwen og ChatGPT til å lage et datasett med tripletter som kan trene en arkitektur som håndterer hele oppgaven fra start til slutt:

Fra den nye studien: eksempler på datapunkter i datasettet som brukes til generering og trening. Kilde –
Den nye studien heter Vanast: Virtual Try-On with Human Image Animation via Synthetic Triplet Supervision og kommer fra fire forskere ved Seoul National University. Det finnes også et prosjektnettsted med mange videoer.
Metode
Forfatternes mål er å samle de tre aspektene i ett trinn. Det gir ikke bare en samlet prosess, men også flere muligheter for at aspektene kan samhandle under treningen, slik at resultatene blir mer sammenhengende:

Vanast kombinerer ett fotografi av personen, separate bilder av plagg og en bevegelsesreferanse. Det lager en sekvens der samme person beveger seg i nye klær. Veiledning med kroppspositurer gir konsekvent bevegelse, mens identitet og klesdetaljer bevares mellom videobildene.
Systemet får bilder av plaggene som skal brukes, et fotografi av personen i andre klær, en referansevideo som bestemmer bevegelsen, og en tekstinstruksjon som beskriver handlingen og omgivelsene. Det lager en hel videosekvens der samme person ser ut til å ha på seg de nye klærne og følger den angitte bevegelsen, med et visuelt konsekvent utseende over tid.
De fleste lignende tidligere studier skilte påkledning fra animasjon. Vanast behandler i stedet klær, identitet og bevegelse samlet, slik at de kan påvirke hverandre under genereringen. Det reduserer avvikene og ustabiliteten fra tidligere metoder.
Datasett
Treningen bruker tilsvarende eksempler med et personbilde, de tilhørende klærne og en video av samme person i bevegelse i klærne. Bevegelsen hentes ut med en tidligere arkitektur, som gir stabil veiledning med kroppspositurer mellom videobildene.
Ettersom ingen offentlig datasamling oppfylte kravene, ble videoer med ulike klær samlet fra uspesifiserte nettbutikker. Oppgaven krevde imidlertid videoer av samme person i flere forskjellige antrekk, noe som er sjeldent i naturlig innsamlet materiale. Derfor måtte forskerne lage syntetiske data.
Prosessen hadde tre trinn. Egnede kandidatbilder ble valgt fra videoene med Qwen2.5-VL, en modell for bilder og språk (VLM). Bildene ble beskåret og vurdert etter egnethet, blant annet om personen ikke var skjult og sto riktig plassert. Deretter ble det laget passende masker for inpainting for å isolere de aktuelle områdene. Som i den tidligere studien PERSE håndteres dette av den etter hvert velkjente diffusjonsmodellen SDXL.

Oversikt over Vanast-prosessen: et personbilde, bilder av plaggene som skal brukes, og en video med bevegelsesreferansen kodes og behandles i én videodiffusjonsmodell. Animasjonen bevarer identiteten, følger rekken av kroppspositurer og bruker de ønskede klærne. Syntetiske tripletter støtter treningen, og to moduler skiller animasjon fra overføring av klær for å bevare konsistensen.
I det tredje trinnet klassifiserer Qwen igjen bildene etter kjønn. Deretter endrer det populære bildediffusjonsverktøyet Flux klærne i bildet, fordi det kan kombinere flere inndataelementer. Tekstinstruksjonene for inpainting ble utarbeidet med ChatGPT; versjonen er ikke oppgitt.
For større variasjon i positurer og bakgrunner ble det innført en prosess som lager treningstripletter fra videoer tatt opp i virkelige omgivelser med HumanVid-datasettet. Samme fremgangsmåte lagde personbilder som bevarte identiteten.
Videoene hadde ingen separate klesbilder, så disse ble syntetisert direkte fra opptakene. Bilder ble valgt fra hver video og vurdert av Qwen etter synlighet forfra. Den beste kandidaten ble valgt ut fra synlighet av hele kroppen, skarphet, minimal tildekking, belysning og samlet komposisjon.
Området med klær på overkroppen ble deretter hentet ut med SegFormer og bakgrunnen fjernet slik at bare plagget sto igjen.
For å unngå posisjonsskjevhet ble klesområdet flyttet tilfeldig innenfor avgrensningsboksen. Qwen filtrerte igjen bort upålitelige segmenteringer. Dermed oppsto syntetiske klesbilder knyttet til bevegelse og identitet, slik at tripletter kunne bygges i stor skala fra ustrukturert video. Det forbedret også robustheten under ulike virkelige forhold.
Arkitektur
En arkitektur med to moduler ble innført for å håndtere langsom konvergens og svak balanse i styringen hos tidligere metoder som prøvde å forene alle betingelsene. Den bruker diffusjonstransformeren for tekst-til-video fra Wan og bygger også på VACE som beskrives nedenfor.
Modellen er delt i en modul for personanimasjon (HAM), som håndterer bevegelse og identitet fra person- og positurinndata, og en modul for overføring av klær (GTM), som behandler plagg fra klesbilder. Begge har tilgang til det felles basisnettverket og integrerer egenskaper distribuert og i kaskader for å forbedre betingingen.
Treningen ble gjennomført ved å fryse basisnettverket og bare optimalisere HAM- og GTM-parametrene. Bidragene deres ble balansert under integreringen av egenskaper. Inndata fra de syntetiske triplettene ble omgjort til latente representasjoner med WANs variasjonelle autoenkoder (VAE).
Kontekst som tar hensyn til bevegelse, ble bygd ved å kombinere informasjon om person og kroppspositurer over tid. Klesegenskaper ble behandlet separat og tilpasset ved projeksjon til tokenenes vektorrepresentasjoner.
Modellen ble også utvidet med støtte for interpolering mellom plagg. Representasjoner av to plagg ble kombinert for å lage jevne overganger, slik at plaggene kunne blandes konsekvent og sammenhengende uten ytterligere optimalisering.
Data og tester
Modellen ble trent på 9 135 videoer på tre til ti sekunder, hentet fra de nevnte nettbutikkene, forfatternes eget genererte datasett og HumanVid.
Det ble opprettet to evalueringsdatasett: Internet, med videoer og produktbilder fra nettbutikker, og den offisielle testdelen av Alibabas ViViD-datasett. Ettersom ViViD mangler ansikter, ble disse lagt til med bildeutvidelse med Flux. Videoen ovenfor viser dette, som er svært vanlig i litteraturen om virtuell klesprøving.
Måleverdiene som ble brukt, var L1-tap; Peak Signal-to-Noise Ratio (PSNR); Structural Similarity Index (SSIM); Learned Perceptual Image Patch Similarity (LPIPS); Fréchet Inception Distance (FID) og Fréchet Video Distance†† (FVD).
For overføring av klær ble OOTDiffusion; CatVTON; OmniTry og Any2AnyTryon testet. Blant modellene som lager bilder ut fra et gitt motiv, ble VisualCloze; MOSAIC og ByteDances UNO testet.
I det andre trinnet, animasjon av personbilder, ble StableAnimator og DisPose brukt.
VACE ble også testet i en mer begrenset form, ettersom det ikke støtter målet direkte, med enkelte forsøk på å kompensere for den manglende funksjonaliteten:

Kvantitativ sammenligning med kombinasjoner av modeller for bildegenerering ut fra et motiv og animasjonsmodeller på datasettene Internet og ViViD. Den foreslåtte metoden oppnådde best resultat på alle rapporterte måleverdier. Fet skrift markerer høyeste poengsum i hver kolonne.
Om de første resultatene ovenfor skriver forfatterne:
«Modellen vår oppnår best resultat på alle måleverdier sammenlignet med kombinasjoner av modeller for bildegenerering ut fra et motiv og animasjonsmodeller.»
«De kvalitative resultatene [nedenfor] bekrefter videre at metoden vår følger kroppspositurene og overfører klær med størst presisjon, samtidig som identiteten bevares mer trofast enn med alle sammenligningsmetoder basert på bildegenerering ut fra et motiv.»

Kvalitativ sammenligning på datasettene Internet og ViViD med metoder for bildegenerering ut fra et motiv og animasjon. Ifølge forfatterne gir den foreslåtte metoden mer presis tilpasning til kroppspositurer og overføring av klær, samtidig som identiteten bevares mer konsekvent enn med VisualCloze, MOSAIC, UNO og VACE.
I den andre testkategorien ble kombinasjoner av bildebasert virtuell klesprøving og animasjonsmodeller sammenlignet. Det nye arbeidet oppnådde igjen høyeste poengsum:

Kvantitativ sammenligning med kombinasjoner av bildebasert virtuell klesprøving og animasjonsmodeller på datasettene Internet og ViViD. Metoden ga best samlet resultat på tvers av måleverdiene, mens SSIM forble sammenlignbar med den sterkeste sammenligningsmetoden. Fet skrift markerer høyeste poengsum.
Forfatterne legger til:
«De kvalitative sammenligningene [nedenfor] viser at resultatene våre ligner mest på de faktiske referansebildene blant alle sammenligningsmetoder for bildebasert virtuell klesprøving.»

Kvalitative tester med sammenligningsmetoder som kombinerer VTON-modeller og animasjonsmodeller.
Konklusjon
Vanast tilbyr en samlet løsning fra start til slutt. Artikkelen mangler imidlertid detaljer om ressurskrav til trening og inferens, noe som antyder at dette kanskje ikke er den letteste eller smidigste løsningen. Selve oppgaven er svært vanskelig selv i et ikke-optimalisert system. Hvor mye vanskeligere er den da ikke i kommersiell drift som krever lav forsinkelse, overkommelige kostnader og investeringsavkastning i stor skala?
Virtuell klesprøving er et av AI-forskningens svært ambisiøse mål. Bildet av dagens teknologi som spres gjennom overskrifter og nøye utvalgte resultater, skjuler hvor vanskelig oppgaven faktisk er. Kanskje vil senere og lettere teknologier enn transformere til slutt løse den.
† Tilgjengelig i USA; geografisk blokkert i mange andre regioner, om ikke alle.
†† Forfatterne viser til VFID, men lenker bare til ViViD-artikkelen, som så vidt jeg har kunnet se med begrenset tid til å undersøke saken, ikke underbygger henvisningen. Jeg har antatt at de egentlig mente Fréchet Video Distance (FVD), og at de også hadde dårlig tid. Kontakt meg gjerne ved behov for rettelser.
Først publisert onsdag 8. april 2026












