Andersons vinkel
Virtuel prøvning af nyt tøj med AI

NøglepunkterVanasts enkeltstående AI-model integrerer tøj, identitet og bevægelse for mere stabile…
Vis mere
- Vanasts enkeltstående AI-model integrerer tøj, identitet og bevægelse for mere stabile virtuelle prøvevideoer.
- Systemet skaber sin egen syntetiske træningsdata ved hjælp af modeller som Flux og Qwen for at overvinde mangel på virkelighedstro data.
- På trods af tekniske fremskridt forbliver kommerciel levedygtighed begrænset af høje beregningskrav og forsinkelsesudfordringer.
En AI-model kan nu ud fra ét fotografi og billeder af tøj skabe en video, hvor den samme person bevæger sig i nyt tøj. Den undgår samtidig de fejl, der ofte opstår i ældre systemer med to trin.
Inden for forskning i computersyn er virtuel tøjprøvning (VTON) et af de bedst finansierede og mest produktive områder i litteraturen. Det skyldes især den betydelige økonomiske støtte fra den velhavende modeindustri, som de mange årlige samarbejder mellem virksomheder og universiteter antyder:

Fra Image-Based Virtual Try-On: A Survey: eksempler på måder at repræsentere personer på og nogle af de filtrerings- og forfinelsestrin, som selv enkle billeder skal gennemgå ved virtuel tøjprøvning (VTON). Kilde
Målet findes i mange varianter, for eksempel at udtrække tøj fra billeder af mennesker eller at tilpasse til en fyldigere kropsform efter behov. Nogle billedbaserede systemer er allerede taget i kommerciel brug på platforme som veesual.ai, wanna.fashion og fashn.ai.
Til video afprøvede Google Labs denne funktion i sin eksperimentelle Doppl-app, som blev lanceret sidste sommer:
Klik for at afspille, hvis videoen ikke starter automatisk. Uddrag fra det nedlagte Google Doppl-projekt for virtuel tøjprøvning i video. Kilde
Doppl lukker dog i april 2026 efter en lunken modtagelse og brugerne henvises nu til virksomhedens tøjprøvningstjeneste†, som kun bruger billeder:

Googles rent billedbaserede tøjprøvningstjeneste, som brugerne af den nedlagte Doppl-platform henvises til. Kilde
Enkelte platforme tilbyder virtuel tøjprøvning i video, men ingen af dem synes at være knyttet til en egentlig forhandler. De er alle eksperimentelle produkter på teknologiens yderste kant, marginale og ofte tvivlsomme produkter, der promoverer tokens.
Der findes interessante forsøg i forskningen. De bygger dog traditionelt på komplekse arkitekturer, som er svære at få til at levere både lav latenstid og høj kvalitet:
Klik for at afspille, hvis videoen ikke starter automatisk. Fra Fashion-VDM-projektet fra 2024: et eksempel på overførsel af tøj til billeder af personer uden hoved. Kilde
At tilpasse tøj til en virkelig person uden at forvrænge hverken tøjet eller personen og samtidig bevare en nyttig bevægelse, som viser tøjet frem, er en enorm udfordring for dagens teknologi. Når personen vender sig om, skal produktets bagside for eksempel vises nøjagtigt.
Vanast
Et nyt studie fra Korea forsøger at løse denne udfordring med en ny, fuldt integreret løsning til at behandle tøj, person og bevægelse:
Klik for at afspille, hvis videoen ikke starter automatisk. Eksempler fra Vanast-projektets hjemmeside med supplerende materiale. Kilde
Det nye system Vanast bruger et særligt udviklet datasæt, som kombinerer og koordinerer de tre nødvendige faktorer: tøj, person og bevægelse:
Klik for at afspille. Flere eksempler fra Vanast-projektets hjemmeside.
Systemet bruger værktøjer som Flux, Qwen og ChatGPT til at skabe et datasæt med tripletter, der kan træne en arkitektur, som håndterer hele opgaven fra start til slut:

Fra det nye studie: eksempler på datapunkter i datasættet til generering og træning. Kilde –
Det nye studie hedder Vanast: Virtual Try-On with Human Image Animation via Synthetic Triplet Supervision og kommer fra fire forskere ved Seoul National University. Der findes også en projekthjemmeside med mange videoer.
Metode
Forfatternes mål er at samle de tre nævnte aspekter i ét trin. Det giver ikke blot en samlet proces, men også flere muligheder for, at aspekterne kan påvirke hinanden under træningen, så de genererede resultater bliver mere sammenhængende:

Vanast kombinerer ét fotografi af personen, separate billeder af tøj og en bevægelsesreference. Det skaber en sekvens, hvor den samme person bevæger sig i det nye tøj. Vejledning ud fra kropsstillinger sikrer ensartede bevægelser, mens identitet og tøjdetaljer bevares mellem videobillederne.
Systemet modtager billeder af det ønskede tøj, et fotografi af personen i andet tøj, en referencevideo, der fastlægger bevægelsen, og en tekstinstruktion om handling og omgivelser. Det skaber en hel videosekvens, hvor den samme person ser ud til at have det nye tøj på og følger den angivne bevægelse. Udseendet er visuelt konsistent over tid.
De fleste lignende tidligere studier adskilte påklædning fra animation. Vanast behandler i stedet tøj, identitet og bevægelse samlet, så de kan påvirke hinanden under genereringen. Det mindsker tidligere metoders uoverensstemmelser og ustabilitet.
Datasæt
Træningen bruger tilsvarende eksempler med et personbillede, det tilhørende tøj og en video af samme person i bevægelse i tøjet. Bevægelsen udtrækkes med en tidligere arkitektur, der giver stabil vejledning med kropsstillinger mellem videobillederne.
Da intet offentligt datasæt opfyldte kravene, blev videoer med forskelligt tøj indsamlet fra uspecificerede netbutikker. Opgaven krævede dog videoer af den samme person i flere forskellige sæt tøj, hvilket er sjældent i naturligt indsamlet materiale. Derfor var det nødvendigt at skabe syntetiske data.
Processen havde tre trin. Egnede kandidatbilleder blev valgt fra videoerne med Qwen2.5-VL, en model for billeder og sprog (VLM). Billederne blev beskåret og vurderet efter egnethed, blandt andet om personen var synlig uden tildækning og stod korrekt. Derefter blev der skabt passende masker til inpainting for at isolere de berørte områder. Ligesom i det tidligere studie PERSE udføres dette med den efterhånden velkendte diffusionsmodel SDXL.

Oversigt over Vanasts forløb: et personbillede, billeder af det ønskede tøj og en video med bevægelsesreferencen kodes og behandles i én videodiffusionsmodel. Animationen bevarer identiteten, følger rækken af kropsstillinger og anvender det ønskede tøj. Syntetiske tripletter understøtter træningen, og to moduler adskiller animation fra overførsel af tøj for at bevare konsistensen.
I tredje trin klassificerer Qwen igen billederne efter køn. Derefter ændrer det populære billeddiffusionsværktøj Flux tøjet i billedet, fordi det kan kombinere flere inputelementer. Tekstinstruktionerne til inpainting blev sammensat med ChatGPT; versionen er ikke oplyst.
For at øge variationen i kropsstillinger og baggrunde blev der indført en proces til at skabe træningstripletter fra videoer optaget i virkelige omgivelser med HumanVid-datasættet. Samme fremgangsmåde skabte personbilleder, der bevarede identiteten.
Da videoerne ikke indeholdt separate billeder af tøjet, blev disse syntetiseret direkte fra optagelserne. Fra hver video blev billeder udvalgt og bedømt af Qwen efter synlighed forfra. Den bedste kandidat blev valgt ud fra synlighed af hele kroppen, skarphed, minimal tildækning, belysning og samlet komposition.
Området med tøj på overkroppen blev derefter udtrukket med SegFormer og baggrunden fjernet, så kun tøjet var tilbage.
For at undgå positionsbias blev tøjområdet tilfældigt flyttet inden for sin afgrænsningsboks. Qwen filtrerede igen upålidelige segmenteringer fra. Det skabte syntetiske tøjbilleder sammenkoblet med bevægelse og identitet, så tripletter kunne bygges i stor skala fra ustruktureret video. Det forbedrede også robustheden under forskellige virkelige forhold.
Arkitektur
En arkitektur med to moduler blev indført for at håndtere langsom konvergens og svag balance i styringen hos tidligere metoder, der forsøgte at forene alle betingelser. Den bruger diffusionstransformeren til tekst-til-video fra Wan og bygger også på VACE som beskrives nedenfor.
Modellen er opdelt i et modul til personanimation (HAM), der håndterer bevægelse og identitet fra person- og stillingsinput, og et modul til overførsel af tøj (GTM), der behandler tøj ud fra tøjbilleder. Begge har adgang til det fælles basisnetværk og integrerer egenskaber distribueret og i kaskader for at forbedre betingningen.
Træningen foregik ved at fastfryse basisnetværket og kun optimere HAM- og GTM-parametrene. Deres bidrag blev afbalanceret under integrationen af egenskaber. Input fra de syntetiske tripletter blev omdannet til latente repræsentationer med WAN’s variationelle autoencoder (VAE).
Kontekst, der tager højde for bevægelse, blev skabt ved at kombinere oplysninger om person og kropsstillinger over tid. Tøjets egenskaber blev behandlet separat og justeret via projektion til tokenindlejringer.
Modellen blev også udvidet til at støtte interpolation mellem beklædningsgenstande. Repræsentationer af to beklædningsgenstande blev kombineret for at skabe glidende overgange og en konsistent, sammenhængende blanding mellem tøjdele uden yderligere optimering.
Data og test
Modellen blev trænet på 9.135 videoer på tre til ti sekunder fra de nævnte netbutikker, forfatternes eget genererede datasæt og HumanVid.
Der blev oprettet to evalueringsdatasæt: Internet, med videoer og produktbilleder fra netbutikker, og den officielle testopdeling af Alibabas ViViD-datasæt. Da ViViD mangler ansigter, blev disse tilføjet med billedudvidelse med Flux. Videoen ovenfor viser dette, som er meget almindeligt i litteraturen om virtuel tøjprøvning.
De anvendte måletal var L1-tab; Peak Signal-to-Noise Ratio (PSNR); Structural Similarity Index (SSIM); Learned Perceptual Image Patch Similarity (LPIPS); Fréchet Inception Distance (FID) og Fréchet Video Distance†† (FVD).
Til overførsel af tøj blev OOTDiffusion; CatVTON; OmniTry og Any2AnyTryon testet. Blandt modellerne, der genererer billeder ud fra et bestemt motiv, blev VisualCloze; MOSAIC og ByteDances UNO testet.
Til andet trin, animation af personbilleder, blev StableAnimator og DisPose brugt.
VACE blev også testet i en mere begrænset form, da det ikke direkte understøtter målet, med visse forsøg på at kompensere for den manglende funktionalitet:

Kvantitativ sammenligning med kombinationer af modeller til billedgenerering ud fra et motiv og animationsmodeller på Internet og ViViD. Den foreslåede metode opnåede de bedste resultater på alle rapporterede måltal. Fed skrift angiver den højeste score i hver kolonne.
Om de første resultater ovenfor skriver forfatterne:
»Vores model opnår de bedste resultater på alle måltal sammenlignet med kombinationer af modeller til billedgenerering ud fra et motiv og animationsmodeller.«
»De kvalitative resultater [nedenfor] bekræfter yderligere, at vores metode følger kropsstillingerne og overfører tøjet med størst præcision, samtidig med at identiteten bevares mere trofast end med alle sammenligningsmetoder baseret på billedgenerering ud fra et motiv.«

Kvalitativ sammenligning på Internet og ViViD med modeller til billedgenerering ud fra et motiv og animation. Ifølge forfatterne giver metoden mere nøjagtig tilpasning til kropsstillinger og overførsel af tøj og bevarer identiteten mere konsistent end VisualCloze, MOSAIC, UNO og VACE.
I den anden testkategori blev kombinationer af billedbaseret virtuel tøjprøvning og animationsmodeller sammenlignet. Det nye arbejde opnåede igen den højeste score:

Kvantitativ sammenligning med kombinationer af billedbaseret virtuel tøjprøvning og animationsmodeller på Internet og ViViD. Metoden gav samlet set de bedste resultater på tværs af måltallene, mens SSIM forblev sammenligneligt med den stærkeste sammenligningsmetode. Fed skrift angiver den højeste score.
Forfatterne tilføjer:
»De kvalitative sammenligninger [nedenfor] viser, at vores resultater ligger tættest på de faktiske referencebilleder blandt alle sammenligningsmetoder baseret på billedbaseret virtuel tøjprøvning.«

Kvalitative test med sammenligningsmetoder, der kombinerer VTON-modeller og animationsmodeller.
Konklusion
Vanast tilbyder en samlet løsning fra start til slut. Artiklen mangler dog detaljer om ressourcekrav til træning og inferens, hvilket antyder, at dette måske ikke er den letteste eller mest smidige løsning. Selve opgaven er særdeles vanskelig selv i et ikke-optimeret system. Hvor meget sværere er den så ikke i kommerciel drift, der kræver lav latenstid, overkommelige omkostninger og investeringsafkast i stor skala?
Virtuel tøjprøvning er et af AI’s meget ambitiøse mål. Billedet af dagens teknologi, som spredes via overskrifter og nøje udvalgte resultater, skjuler opgavens reelle vanskelighed. Måske vil senere og lettere teknologier end transformere til sidst løse den.
† Tilgængelig i USA; geografisk blokeret i mange andre regioner, hvis ikke alle.
†† Forfatterne henviser til VFID, men linker kun til ViViD-artiklen, som efter min vurdering ikke underbygger henvisningen. Jeg havde begrænset tid til at undersøge det. Jeg har antaget, at de egentlig mente Fréchet Video Distance (FVD) og ligeledes havde begrænset tid. Kontakt mig gerne om nødvendige rettelser.
Først udgivet onsdag den 8. april 2026












