Andersons hoek
Nieuwe kleding virtueel passen met AI

Belangrijkste puntenVanast's enkelfasige AI-model integreert kleding, identiteit en beweging voor…
Meer weergeven
- Vanast's enkelfasige AI-model integreert kleding, identiteit en beweging voor stabielere virtuele pasvideo's.
- Het systeem genereert zijn eigen synthetische trainingsdata met modellen zoals Flux en Qwen om schaarste aan echte gegevens te overwinnen.
- Ondanks technische vooruitgang blijft de commerciële haalbaarheid beperkt door hoge rekenkundige eisen en latentie-uitdagingen.
Een AI-model kan nu uit één foto van een persoon en afbeeldingen van kledingstukken een video maken waarin dezelfde persoon in nieuwe kleding beweegt. Daarbij vermijdt het de fouten die vaak voorkomen in oudere systemen met twee stappen.
Binnen het onderzoek naar computervisie behoort virtueel kleding passen (VTON) volgens de onderzoeksliteratuur tot de best gefinancierde en productiefste richtingen. Dat komt vooral door de aanzienlijke financiële steun van de kapitaalkrachtige mode-industrie, zoals blijkt uit de vele samenwerkingen tussen bedrijven en universiteiten die jaarlijks worden gepubliceerd:

Uit Image-Based Virtual Try-On: A Survey: voorbeelden van manieren om personen weer te geven en van de filter- en verfijningsstappen die zelfs eenvoudige afbeeldingen moeten doorlopen voor virtueel kleding passen (VTON). Bron
Het doel kent veel varianten, zoals kleding extraheren uit afbeeldingen van mensen of rekening houden met een voller figuur waar nodig. Sommige systemen op basis van afbeeldingen zijn al commercieel toegepast op platforms zoals veesual.ai, wanna.fashion en fashn.ai.
Voor video experimenteerde Google Labs met deze functie in de Doppl-app, die vorige zomer werd gelanceerd:
Klik om af te spelen als de video niet automatisch start. Fragmenten uit het stopgezette Google Doppl-project voor virtueel kleding passen in video. Bron
Doppl stopt echter in april 2026 na een lauwe ontvangst en gebruikers worden nu verwezen naar de pasdienst† van het bedrijf, die uitsluitend afbeeldingen gebruikt:

Googles pasdienst op basis van uitsluitend afbeeldingen, waarnaar gebruikers van het stopgezette Doppl-platform worden verwezen. Bron
Er zijn enkele platforms die virtueel kleding passen in video aanbieden, maar geen daarvan lijkt verbonden aan een daadwerkelijke verkoper. Het zijn allemaal experimentele producten aan de uiterste rand van de techniek: marginaal, vaak dubieus en gericht op het verkopen van tokens.
Binnen het onderzoek bestaan interessante pogingen. Die gebruiken doorgaans echter complexe architecturen waarbij een lage latentie en hoge kwaliteit moeilijk te combineren zijn:
Klik om af te spelen als de video niet automatisch start. Uit het Fashion-VDM-project uit 2024: een voorbeeld van kledingoverdracht op afbeeldingen van personen zonder hoofd. Bron
Kleding op een echte persoon laten aansluiten zonder de kleding of de persoon te vervormen, en tegelijk een bruikbare beweging behouden die het kledingstuk toont, is een enorme uitdaging voor de huidige techniek. Wanneer de persoon zich omdraait, moet bijvoorbeeld de achterkant van het product nauwkeurig worden weergegeven.
Vanast
Een nieuwe studie uit Korea probeert deze uitdaging aan te pakken met een nieuwe, volledig geïntegreerde oplossing voor het verwerken van kleding, persoon en beweging:
Klik om af te spelen als de video niet automatisch start. Voorbeelden van de website met aanvullend materiaal bij het Vanast-project. Bron
Het nieuwe systeem Vanast gebruikt een speciaal samengestelde dataset die de drie noodzakelijke factoren combineert en op elkaar afstemt: kleding, persoon en beweging:
Klik om af te spelen. Meer voorbeelden van de Vanast-projectwebsite.
Het systeem gebruikt hulpmiddelen zoals Flux, Qwen en ChatGPT om een dataset met drietallen te maken voor het trainen van een architectuur die de hele taak van begin tot eind afhandelt:

Uit de nieuwe studie: voorbeelden van datapunten uit de dataset voor generatie en training. Bron –
De nieuwe studie heet Vanast: Virtual Try-On with Human Image Animation via Synthetic Triplet Supervision en is afkomstig van vier onderzoekers van Seoul National University. Er is ook een projectwebsite met veel video’s.
Methode
Het doel van de auteurs is de drie genoemde aspecten in één stap samen te brengen. Dat levert niet alleen een samenhangend proces op, maar geeft de aspecten ook meer gelegenheid om tijdens de training op elkaar in te werken, zodat de gegenereerde resultaten samenhangender worden:

Vanast combineert één foto van een persoon, afzonderlijke afbeeldingen van kledingstukken en een bewegingsreferentie. Het maakt een reeks beelden waarin dezelfde persoon in nieuwe kleding beweegt. Begeleiding met lichaamshoudingen zorgt voor consistente beweging, terwijl identiteit en kledingdetails tussen de beelden behouden blijven.
Het systeem krijgt afbeeldingen van de gewenste kledingstukken, een foto van de persoon in andere kleding, een referentievideo die de gewenste beweging bepaalt en een tekstprompt die de handeling en omgeving beschrijft. Het genereert een volledige videoreeks waarin dezelfde persoon de nieuwe kleding lijkt te dragen en de opgegeven beweging volgt. Elk beeld blijft daarbij visueel consistent door de tijd heen.
De meeste vergelijkbare eerdere studies scheidden het aankleden van de animatie. Vanast verwerkt kleding, identiteit en beweging samen, zodat deze elementen tijdens het genereren op elkaar kunnen inwerken. Dat vermindert de afwijkingen en instabiliteit van eerdere methoden.
Dataset
De training gebruikt bij elkaar passende voorbeelden van een persoonsfoto, de bijbehorende kleding en een video waarin dezelfde persoon in die kleding beweegt. De beweging wordt geëxtraheerd met een eerdere architectuur, die stabiele begeleiding met lichaamshoudingen tussen beelden biedt.
Omdat er geen openbare dataset was die aan de eisen voldeed, werden video’s met uiteenlopende kleding verzameld op niet nader genoemde webwinkels. De taak vereiste echter video’s van dezelfde persoon in meerdere verschillende outfits, wat zeldzaam is in natuurlijk verzameld materiaal. Daarom moesten de onderzoekers synthetische data maken.
De procedure bestond uit drie stappen. Geschikte kandidaatbeelden werden uit de video’s geselecteerd met Qwen2.5-VL, een model voor beeld en taal (VLM). De beelden werden passend bijgesneden en op geschiktheid beoordeeld, bijvoorbeeld of de persoon niet werd afgedekt en op de juiste plek stond. Vervolgens werden geschikte maskers voor inpainting gemaakt om de betrokken gebieden te isoleren. Net als bij de eerdere studie PERSE gebeurt dit met het inmiddels bekende diffusiemodel SDXL.

Overzicht van het Vanast-proces: een persoonsfoto, afbeeldingen van de gewenste kleding en een video met de bewegingsreferentie worden gecodeerd en in één videodiffusiemodel verwerkt. De animatie behoudt de identiteit, volgt de reeks lichaamshoudingen en past de gewenste kleding toe. Synthetische drietallen ondersteunen de training. Twee modules scheiden animatie van kledingoverdracht om de consistentie te bewaren.
In de derde stap classificeert Qwen de afbeeldingen opnieuw naar geslacht. Daarna verandert het populaire beelddiffusiehulpmiddel Flux de kleding in de afbeelding, omdat het meerdere invoerelementen kan combineren. De tekstprompts voor inpainting werden met ChatGPT samengesteld; de versie is niet vermeld.
Voor meer variatie in houdingen en achtergronden kwam er een proces om trainingsdrietallen te maken uit video’s uit echte omgevingen met behulp van de HumanVid-dataset. Dezelfde procedure werd gebruikt om persoonsafbeeldingen te genereren die de identiteit bewaren.
De video’s bevatten geen afzonderlijke kledingafbeeldingen, dus die werden rechtstreeks uit het videomateriaal gesynthetiseerd. Uit elke video werden beelden geselecteerd en met Qwen beoordeeld op zichtbaarheid van voren. De beste kandidaat werd gekozen op basis van zichtbaarheid van het hele lichaam, scherpte, minimale afdekking, verlichting en algemene compositie.
Vervolgens werd het gebied met bovenkleding geëxtraheerd met SegFormer en werd de achtergrond verwijderd om alleen het kledingstuk over te houden.
Om positiebias te voorkomen werd het kledinggebied willekeurig binnen zijn begrenzingskader verschoven. Qwen filterde opnieuw onbetrouwbare segmentaties weg. Zo ontstonden synthetische kledingafbeeldingen gekoppeld aan beweging en identiteit. Dat maakte grootschalige opbouw van drietallen uit ongestructureerde videodata mogelijk en verbeterde de robuustheid onder uiteenlopende werkelijke omstandigheden.
Architectuur
Een architectuur met twee modules moest de trage convergentie en zwakke balans in de aansturing verhelpen van eerdere methoden die alle voorwaarden samenvoegden. De aanpak gebruikt de diffusietransformer voor tekst-naar-video van Wan en bouwt ook voort op VACE dat hieronder wordt besproken.
Het model werd verdeeld in een module voor persoonsanimatie (HAM), die beweging en identiteit uit persoons- en houdingsinvoer verwerkt, en een module voor kledingoverdracht (GTM), die kleding verwerkt uit kledingafbeeldingen. Beide gebruiken gemeenschappelijke delen van het basisnetwerk en integreren kenmerken op een verdeelde, getrapte manier om de conditionering te verbeteren.
Bij de training werd het basisnetwerk bevroren en werden alleen de parameters van HAM en GTM geoptimaliseerd. Hun bijdragen werden tijdens de integratie van kenmerken in balans gebracht. Invoer uit de synthetische drietallen werd omgezet in latente representaties met de variationele auto-encoder (VAE) van WAN.
Bewegingsbewuste context werd opgebouwd door informatie over personen en houdingen door de tijd heen te combineren. Kledingkenmerken werden afzonderlijk verwerkt en via projectie op tokeninbeddingen uitgelijnd.
Het model werd ook uitgebreid met kledinginterpolatie. Representaties van twee kledingstukken werden gecombineerd voor vloeiende overgangen. Zo kunnen kledingstukken consistent en samenhangend in elkaar overvloeien zonder extra optimalisatie.
Data en tests
Het model werd getraind op 9.135 video’s van drie tot tien seconden. Die kwamen van de genoemde webwinkels, de eigen gegenereerde dataset van de auteurs en HumanVid.
Er werden twee evaluatiedatasets samengesteld: Internet, met video’s en productafbeeldingen van webwinkels, en de officiële testverdeling van Alibaba’s ViViD-dataset. Omdat ViViD geen gezichten bevat, werden die toegevoegd met beeldvergroting buiten de oorspronkelijke randen met Flux. De eerdere video laat dit zien; het is zeer gebruikelijk in de literatuur over virtueel kleding passen.
De gebruikte maatstaven waren L1-verlies; Peak Signal-to-Noise Ratio (PSNR); Structural Similarity Index (SSIM); Learned Perceptual Image Patch Similarity (LPIPS); Fréchet Inception Distance (FID) en Fréchet Video Distance†† (FVD).
Voor kledingoverdracht werden OOTDiffusion; CatVTON; OmniTry en Any2AnyTryon getest. Onder de modellen die vanuit een gegeven onderwerp een afbeelding genereren, werden VisualCloze; MOSAIC en ByteDance’s UNO getest.
Voor de tweede stap, het animeren van persoonsafbeeldingen, werden StableAnimator en DisPose gebruikt.
VACE werd in beperktere vorm getest, omdat het dit doel niet rechtstreeks ondersteunt. Er werd enige moeite gedaan om de ontbrekende functionaliteit te compenseren:

Kwantitatieve vergelijking met combinaties van modellen voor beeldgeneratie vanuit een onderwerp en animatiemodellen op Internet en ViViD. De voorgestelde methode presteerde het best op alle gerapporteerde maatstaven. Vetgedrukte waarden geven de hoogste score in elke kolom aan.
Over de eerste resultaten hierboven schrijven de auteurs:
“Ons model behaalt de beste prestaties op alle maatstaven in vergelijking met combinaties van modellen voor beeldgeneratie vanuit een onderwerp en animatiemodellen.”
“De kwalitatieve resultaten [hieronder] bevestigen verder dat onze aanpak de nauwkeurigste houdingsvolging en kledingoverdracht oplevert, terwijl de identiteit getrouwer behouden blijft dan bij alle vergelijkingsmethoden voor beeldgeneratie vanuit een onderwerp.”

Kwalitatieve vergelijking op Internet en ViViD met modellen voor beeldgeneratie vanuit een onderwerp en animatie. Volgens de auteurs biedt de voorgestelde methode nauwkeurigere uitlijning van houdingen en kledingoverdracht en behoudt zij de identiteit consistenter dan VisualCloze, MOSAIC, UNO en VACE.
In de tweede testcategorie werden combinaties van virtueel kleding passen op afbeeldingen en animatiemodellen vergeleken. Het nieuwe onderzoek behaalde opnieuw de hoogste score:

Kwantitatieve vergelijking met combinaties van virtueel kleding passen op afbeeldingen en animatiemodellen op Internet en ViViD. De methode behaalde over de maatstaven heen de beste totale prestaties, terwijl SSIM vergelijkbaar bleef met de sterkste vergelijkingsmethode. Vetgedrukte waarden geven de hoogste score aan.
De auteurs voegen toe:
“De kwalitatieve vergelijkingen [hieronder] laten zien dat onze resultaten van alle vergelijkingsmethoden voor virtueel kleding passen op afbeeldingen het meest op de werkelijke referentiebeelden lijken.”

Kwalitatieve tests met vergelijkingsmethoden die VTON-modellen en animatiemodellen combineren.
Conclusie
Vanast biedt een samenhangende oplossing van begin tot eind. Het ontbreken van details over de benodigde middelen voor training en inferentie suggereert echter dat dit misschien niet de lichtste of soepelste oplossing is. De taak zelf is zelfs in een niet-geoptimaliseerd systeem bijzonder moeilijk. Hoeveel lastiger is commerciële toepassing dan niet, met eisen aan lage latentie, betaalbaarheid en rendement op grote schaal?
Virtueel kleding passen is een van de zeer ambitieuze AI-doelen waarbij het beeld van de huidige techniek in krantenkoppen en zorgvuldig geselecteerde resultaten de werkelijke moeilijkheid verhult. Misschien zullen latere en lichtere technologieën dan transformers de taak uiteindelijk oplossen.
† Beschikbaar in de VS; geografisch geblokkeerd in veel andere regio’s, zo niet allemaal.
†† De auteurs verwijzen naar VFID, maar linken alleen naar de ViViD-studie, die voor zover ik binnen mijn beperkte zoektijd kan vaststellen geen onderbouwing voor die verwijzing biedt. Ik heb aangenomen dat zij eigenlijk Fréchet Video Distance (FVD) bedoelden en eveneens weinig tijd hadden. Neem zo nodig contact met mij op voor correcties.
Voor het eerst gepubliceerd op woensdag 8 april 2026












