Virtuell prøving av nye klær gjennom AI

En AI-modell kan nå omdanne et enkelt bilde og klesbilder til en flytende video av en person som bærer nye antrekk, og unngår feilene som er vanlige i eldre, to-trinns systemer.

‘Virtuell prøving’ (VTON) er en av de best finansierte og mest produktive forskningsområdene innen datavisjon – hovedsakelig fordi dette målet mottar betydelig finansiering fra den velstående moteindustrien:

Fra artikkelen ‘Image-Based Virtual Try-On: A Survey’, eksempler på personrepresentasjonstyper og noen av filtrerings- og finpussingsstadiene som selv grunnleggende bilder må gå gjennom for en virtuell prøving (VTON). Kilde

Det finnes mange variasjoner av målet, som å uttrekke klær fra bilder av mennesker, og å tilpasse den fulle figuren når det er nødvendig. Noen bildebaserte systemer er kommersielt implementert på plattformer som veesual.ai, wanna.fashion og fashn.ai.

For video har Google Labs’ eksperimentelle Doppl-app eksperimentert med denne funksjonaliteten, lansert forrige sommer:

Trykk på å spille hvis videoen ikke spiller automatisk. Utdrag fra det avsluttede Google Doppl-prosjektet med video-prøving.  Kilde

Likevel ble Doppl avsluttet i april 2026 etter en lunkent mottak, og seerne blir nå omdirigert til selskapets bildebaserte prøvingstjeneste^†:

Googles bildebaserte prøvingstjeneste, hvor brukerne blir omdirigert fra selskapets avsluttede Doppl-plattform. Kilde

Selv om det finnes noen plattformer som tilbyr virtuell prøving med video, ser det ikke ut til at noen av dem er tilknyttet et faktisk utvalg; og de er alle ‘bleeding edge’, marginale (og ofte ‘tvilsomme’) produkter som baserer seg på token.

Mens det finnes noen interessante forsøk fra forskningssektoren, er de tradisjonelt komplekse arkitekturer som er vanskelige å implementere for lav forsinkelse og høy kvalitet:

Trykk på å spille hvis videoen ikke spiller automatisk. Fra 2024 Fashion-VDM-prosjektet, et eksempel på ‘headless’ klær-overføring. Kilde

Sannheten er at oppgaven med å tilpasse klær til et virkelig menneske, uten å forvrengte hverken klærne eller mennesket, samtidig som man opprettholder en slags demonstrativ bevegelse (som nøyaktig viser bakside av produktet når mennesket vender ryggen til), er en formidabel utfordring for den nåværende tilstanden av kunsten.

Vanast

Det er en utfordring som et nytt papir fra Korea prøver å møte, ved å bruke en ny og fullstendig integrert løsning for å parsere klær + menneske + bevegelse:

Trykk på å spille hvis videoen ikke spiller automatisk. Eksempler fra den supplerende materiale-nettstedet for Vanast-prosjektet. Kilde 

Det nye systemet, tittelen Vanast, utnytter en skreddersydd datasett som omfatter inkorporering og orkestrering av alle tre faktorene som er nødvendige for å oppnå oppgaven: klærne; mennesket; og bevegelsen:

Trykk på å spille. Flere eksempler fra Vanast-prosjektets nettsted.

Systemet utnytter rammer så forskjellige som Flux, Qwen og ChatGPT, for å generere en ‘triplet’-datasett som kan informere en slutt-til-slutt-arkitektur:

Fra det nye papiret, eksempler på datasettets datapunkter som brukes til generering og trening. Kilde –

Det nye papiret er tittelen Vanast: Virtuell prøving med menneskebilde-animasjon via syntetisk triplet-overvåking, og kommer fra fire forskere ved Seoul National University. Det finnes også et video-rik prosjekt-nettsted.

Metode

Forfatternes uttalte mål i arbeidet er å samle de tre ovennevnte aspektene i en enkelttrinns-ramme – ikke bare fordi prosessen ville være diskret, men også fordi det gir de forskjellige aspektene mer mulighet til å sammenflettes og samhandle under trening, med tanke på en mer sammenhengende generering:

Vanast kombinerer et enkelt menneskebilde, separate klesbilder og en bevegelsesreferanse for å generere en flytende sekvens hvor samme person bærer det nye antrekket, med posisjonsveiledning som sikrer konsistent bevegelse, mens identitet og klesdetaljer bevares over rammer.

For å oppnå dette, tar systemet bilder av mål-klesartikler; et bilde av personen som bærer forskjellige klær; en bevegelsesreferanse-video som definerer hvordan personen skal bevege seg; og en tekstprompt som beskriver handlingen og settingen; og produserer en fullstendig video-sekvens hvor samme person ser ut til å bære det nye antrekket, mens den følger den påtvungne bevegelsen, med hver rame holdt visuelt konsistent over tid.

I stedet for å skille påkledning og animasjon i separate trinn – som har vært tilnærmingen i de fleste lignende tidligere arbeider – håndterer Vanast klær, identitet og bevegelse sammen i en enkelt prosess, og lar disse elementene samhandle under generering, og reduserer de typene av mismatch og ustabilitet som er å se i tidligere metoder.

Datasett

Trening for prosjektet er basert på parvis eksempler på et menneskebilde, tilhørende klesartikler og en video av personen som beveger seg mens de bærer disse klærne, med bevegelse ekstrahert ved hjelp av en tidligere arkitektur, for å gi stabil posisjonsveiledning over rammer.

I fravær av en offentlig tilgjengelig datasett som oppfyller prosjektets krav, ble data skrapt fra (uspesifiserte) nettbutikker, og ga en cache av videoer med forskjellige klær. Imidlertid krevde oppgaven videoer av samme person som bærer flere antrekk, som er en sjeldenhet i ville data, og som nødvendiggjorde skapelsen av syntetisk data.

Den tredelte prosessen involverte valg av passende kandidat-rammer fra de skrapede videoene, håndtert via Qwen2.5-VL Vision-Language Model (VLM), med passende beskjæring og evaluering av egnethet (dvs. ingen okklusjoner, subjekt i riktig posisjon, osv.); og skapelsen av passende inpainting-masker for å isolere de berørte områdene – som (i linje med tidligere arbeid PERSE) håndteres av SDXL-difusjonsmodellen.

Oversikt over Vanast-pipeline, hvor et menneskebilde, mål-klesbilder og en bevegelsesreferanse-video blir kodet og prosessert i en samlet video-difusjonsmodell. Systemet genererer en animasjon som bevare identitet, følger posisjonssekvensen og påfører mål-klærne, mens syntetisk triplet-generering støtter trening, og en dobbelt-modul-design skiller animasjon fra kles-overføring for å opprettholde konsistens.

I den tredje fasen, gjør Qwen tjeneste igjen for å klassifisere bilder etter kjønn, og den populære Flux-bilde-difusjonsrammen brukes deretter til å skape endringer i klesdrakten i et bilde (siden Flux kan samle flere inndata-elementer). Inpainting-tekstpromptene ble kuratert av ChatGPT (versjon uspesifisert).

For å ytterligere øke posisjons- og bakgrunnsdiversitet, ble en pipeline introdusert for å konstruere trenings-tripletter fra ville videoer, ved hjelp av HumanVid-datasettet. Samme prosess ble brukt til å generere identitets-bevarende menneskebilde.

Siden ingen enkelt klesbilde fantes i disse videoene, ble klesbilder syntetisert direkte fra filmen. Rammer ble samplet fra hver video, og Qwen brukt til å score dem for frontal synlighet, før valg av den mest passende kandidaten, basert på full kroppssynlighet, bildeklarhet, minimal okklusjon, lyskvalitet og overordnet komposisjon.

En øvre-klesregion ble deretter ekstrahert ved hjelp av SegFormer, og bakgrunnen fjernet for å isolere klesdrakten.

For å unngå posisjons-forvrengning, ble klesregionen tilfeldig flyttet innenfor sin avgrensning, og Qwen brukt igjen til å filtrere ut upålitelige segmenteringer. Denne prosessen produserte syntetiske klesbilder parret med bevegelse og identitet, og muliggjorde stor-skala-triplet-konstruksjon fra ustrukturert video-data, mens den forbedret robustheten over forskjellige virkelige forhold.

Arkitektur

En dobbelt-modul-arkitektur ble introdusert for å møte den langsomme konvergens og svak kontroll-balanse sett i de tidligere metodene som hadde forsøkt å fusjonere alle betingelser. Tilnærmingen utnyttet tekst-til-video-difusjonstransformator fra Wan, og dro også på VACE-prosjektet (se under).

Modellen ble delt inn i en Menneske-animasjonsmodul (HAM), som håndterte bevegelse og identitet fra menneske- og posisjonsinndata; og en Kles-overføringsmodul (GTM), som håndterte klær fra klesbilder. Begge delte tilgang til ryggraden, mens de integrerte funksjoner på en distribuert, kaskadisk måte, for å forbedre betingelsene.

Trening ble utført ved å fryse ryggraden og optimere kun HAM- og GTM-parametrene, med deres bidrag balansert under funksjons-integrering. Inndata fra den syntetiske triplet-datasett ble konvertert til latente representasjoner ved hjelp av WANs variasjonsautoencoder (VAE).

Bevegelses-avhengig kontekst ble konstruert ved å kombinere menneske- og posisjonsinformasjon over tid, mens klesfunksjoner ble prosessert separat, og justert gjennom prosjeksjon inn i token-embeddings.

Modellen ble også utvidet til å støtte kles-interpolering. Her ble representasjoner fra to klær kombinert for å generere glatte overganger, og muliggjorde konsistent og sammenhengende blanding mellom klesartikler, uten ytterligere optimering.

Data og tester

Modellen ble trent på 9 135 videoer, med varighet fra tre til ti sekunder, hentet fra ovennevnte ‘shopping-mall-nettsteder’; forfatternes eget genererte datasett; og HumanVid-datasettet.

Fra disse ble to evaluering-datasett etablert: ‘Internett-datasettet’, som omfatter videoer og produktbilder fra mall; og den offisielle test-deling av Alibabas ViViD-datasett.

Siden ViViD-data mangler ansikter (se ovenfor video, for et eksempel på dette, som er svært vanlig i den virtuelle prøvingslitteraturen), ble disse lagt til ved hjelp av Flux-outpainting.

Målinger brukt var L1-tap; Peak Signal-til-Støy-forhold (PSNR); Strukturelt Likhet-Index (SSIM); Lært Perseptuell Bilde-Patch-Likhet (LPIPS); Fréchet-Inception-Distanse (FID); og Fréchet-Video-Distanse^†† (FVD)

Systemer testet for kles-overføring var OOTDiffusion; CatVTON; OmniTry; og Any2AnyTryon. Emne-til-bilde-genereringsmodeller testet var VisualCloze; MOSAIC; og ByteDances UNO.

For den andre kategorien tester, hvor kombinasjoner av bilde-virtuell prøving og animasjonsmodeller ble testet, var det nye arbeidet i stand til å oppnå den høyeste scoren:

Kvantitativ sammenligning mot kombinasjoner av emne-til-bilde og animasjonsmodeller på Internett- og ViViD-datasettene, hvor den foreslåtte metoden oppnådde den beste ytelsen over alle rapporterte målinger. Fete verdier indikerer den øverste scoren i hver kolonne.

Av de innledende resultater ovenfor, sier forfatterne:

‘[Vår] modell oppnår den beste ytelsen over alle målinger når sammenlignet med kombinasjoner av emne-til-bilde-genereringsmodeller og animasjonsmodeller.

‘Kvalitative resultater [vist nedenfor] bekrefter videre at vår tilnærming produserer den mest nøyaktige posisjonsfølgelse og kles-overføring, mens identitet bevares mer trofast enn alle emne-til-bilde-baserte utgangspunkt.’

Kvalitativ sammenligning på Internett- og ViViD-datasettene mot emne-til-bilde og animasjons-baselines, hvor den foreslåtte metoden, ifølge forfatterne, tilbyr mer nøyaktig posisjonsjustering og kles-overføring, mens identitet bevares mer konsistent enn VisualCloze, MOSAIC, UNO og VACE.

For den andre kategorien tester, hvor kombinasjoner av bilde-virtuell prøving og animasjonsmodeller ble testet, var det nye arbeidet igjen i stand til å oppnå den høyeste scoren:

Kvantitativ sammenligning med kombinasjoner av bilde-basert virtuell prøving og animasjonsmodeller på Internett- og ViViD-datasettene. Den foreslåtte metoden oppnådde den beste samle-ytelsen over målinger, med SSIM som forble sammenlignbar med den sterkeste utgangspunktet. Fete verdier indikerer den høyeste scoren.

Forfatterne legger til:

‘Kvalitative sammenligninger [vist nedenfor] demonstrerer at våre resultater ligner mest på grunn-sannheten blant alle bilde-virtuell-prøving-baserte utgangspunkt.’

Kvalitative tester med utgangspunkt skapt ved å kombinere VTON-modeller med animasjonsmodeller.

Konklusjon

Selv om Vanast-prosjektet oppnår en diskret slutt-til-slutt-løsning, indikerer papirets manglende detaljer rundt trening- og inferens-resurskrav at dette kanskje ikke er den mest agile eller letthåndterte løsningen. I virkeligheten er utfordringen i seg selv ekstremt vanskelig å oppnå, selv i et ikke-optimert system – og hvordan mye mer i en kommersiell utrulling som ville trenge lav forsinkelse og lav kostnad/avkastning i stor skala..?

Virtuell prøving er ett av flere ‘månelanding’-mål for AI hvor den nåværende tilstanden av kunsten, som diffunderes gjennom forskjellige overskrifter og utvalgte resultater, skjuler den faktiske vanskeligheten av oppgaven, som kanskje vil bli løst av senere og lettere teknologier enn Transformers.

^† Tilgjengelig i USA, geo-blokkert i mange andre regioner, hvis ikke alle.

^†† Forfatterne henviser til ‘VFID’, men lenker bare til ViViD-papiret, som ikke berettiger henvisningen, så langt jeg kan se, med begrenset tid til å spore det opp. Jeg har antatt at de faktisk mente Fréchet-Video-Distanse (FVD), og var likevel kort på tid. Vennligst kontakt meg for å korrigere, hvis nødvendig.

Først publisert onsdag, 8. april 2026