Virtuele pasvorm van nieuwe kleding via AI

Een AI-model kan nu een enkele foto en kledingafbeeldingen omzetten in een bewegende video van een persoon die nieuwe outfits draagt, waarbij de fouten die vaak voorkomen in oudere, tweestapsystemen worden vermeden.

Het ‘virtuele pasvorm’ (VTON) categorie in computer vision onderzoek is een van de best gefinancierde en meest productieve doelen in de literatuur – voornamelijk omdat, zoals kan worden opgemaakt uit de frequente industrie/academische samenwerkingen die elk jaar worden gepubliceerd, dit doel significante financiering ontvangt van de welvarende mode-industrie:

Uit het paper ‘Image-Based Virtual Try-On: A Survey’, voorbeelden van persoonrepresentatietypen en enkele van de filter- en verfijningstadia die zelfs basisafbeeldingen moeten doorlopen voor een virtuele pasvorm (VTON). Bron

Er zijn veel variaties op het doel, zoals kleding extraheren uit afbeeldingen van mensen, en het accommoderen van vollere figuren wanneer nodig. Sommige op afbeeldingen gebaseerde systemen zijn commercieel geïmplementeerd, op platforms zoals veesual.ai, wanna.fashion en fashn.ai.

Voor video heeft Google Labs’ experimentele Doppl-app geëxperimenteerd met deze functionaliteit, gelanceerd vorige zomer:

Als de video niet automatisch afspeelt, klikt u alstublieft om af te spelen. Uit het stopgezette Google Doppl video-pasproject. Bron

Hoewel Doppl in april 2026 is stopgezet na een matige ontvangst, worden kijkers nu doorverwezen naar het bedrijfsimage-only proefprogramma^†:

Google’s image-only proefprogramma, waar gebruikers naar worden doorverwezen vanaf het bedrijfs stopgezette Doppl-platform. Bron

Hoewel er een klein aantal platforms zijn die virtuele pasvorm met video bieden, lijken geen van hen te zijn verbonden met een echte winkel; en ze zijn allemaal ‘bleeding edge’, marginale (en vaak ‘twijfelachtige’) token-tuitende producten.

Terwijl er een aantal interessante uitstapjes zijn vanuit het onderzoekssector, zijn ze traditioneel complexe architecturen die moeilijk zijn om te implementeren voor lage latentie en hoge kwaliteit:

Als de video niet automatisch afspeelt, klikt u alstublieft om af te spelen. Van het 2024 Fashion-VDM-project, een voorbeeld van ‘headless’ kledingoverdracht. Bron

De waarheid is dat de taak van het aanpassen van kleding aan een echte persoon, zonder de kleding of de persoon te vervormen, en tegelijkertijd een soort nuttige demonstratieve beweging te behouden (die accuraat de achterkant van het product laat zien wanneer de persoon zijn rug draait), een formidabele uitdaging is voor de huidige stand van de techniek.

Vanast

Het is een uitdaging die een nieuw paper uit Korea probeert aan te pakken, door een novum en geheel geïntegreerde oplossing te gebruiken voor het parseren van kleding + persoon + beweging:

Als de video niet automatisch afspeelt, klikt u alstublieft om af te spelen. Voorbeelden van de supplementaire materiaalwebsite voor het Vanast-project. Bron

Het nieuwe systeem, getiteld Vanast, maakt gebruik van een aangepaste dataset met de incorporatie en orchestratie van alle drie factoren die nodig zijn om de taak te voltooien: de kleding; de persoon; en de beweging:

Klikt u om af te spelen. Meer voorbeelden van het Vanast-projectsite.

Het systeem maakt gebruik van frameworks zoals Flux, Qwen en ChatGPT, om een ‘triplet’ dataset te genereren die in staat is om een eind-tot-eind architectuur te informeren:

Uit het nieuwe paper, voorbeelden van de dataset datapunten die worden gebruikt voor generatie en training. Bron –

Het nieuwe paper is getiteld Vanast: Virtuele pasvorm met menselijke beeldanimatie via synthetische triplet supervisie, en komt van vier onderzoekers aan de Seoul National University. Er is ook een video-rijke projectsite.

Methode

Het doel van de auteurs in dit werk is om de drie genoemde facetten in een enkelstapskader samen te voegen – niet alleen omdat het proces discreet zou zijn, maar ook omdat het de verschillende facetten meer kans geeft om samen te werken en te communiceren tijdens de training, met het oog op een meer samenhangende generatie:

Vanast combineert een enkele menselijke foto, afzonderlijke kledingafbeeldingen en een bewegingsreferentie om een bewegende sequentie te genereren waarin dezelfde persoon de nieuwe outfit draagt, met pose-guidance die ervoor zorgt dat de beweging consistent is, terwijl identiteit en kledingdetails over frames heen worden behouden.

Om dit te bereiken, neemt het systeem afbeeldingen van de doelkledingstukken; een foto van de persoon die andere kleding draagt; een bewegingsreferentievideo die aangeeft hoe de persoon moet bewegen; en een tekstprompt die de actie en de setting beschrijft; en produceert een volledige videosequentie waarin dezelfde persoon lijkt de nieuwe outfit te dragen, terwijl de opgelegde beweging volgt, met elke frame visueel consistent over tijd.

In plaats van het opdelen van het aankleden en animeren in verschillende stadia – wat de aanpak is geweest in de meeste soortgelijke eerdere werken – behandelt Vanast kleding, identiteit en beweging samen in een enkel proces, waardoor deze elementen kunnen communiceren tijdens de generatie, en waardoor de soorten mismatches en instabiliteit die in eerdere methoden werden aangetroffen, worden verminderd.

Dataset

De training voor het project is gebaseerd op gepaarde voorbeelden van een persoonafbeelding, de overeenkomstige kledingstukken en een video van die persoon die beweegt terwijl hij die kleding draagt, met beweging die wordt geëxtraheerd met behulp van een eerdere architectuur, om stabiele pose-guidance over frames heen te bieden.

In het gebrek aan een openbaar beschikbare dataset die aan de projecteisen voldoet, werd data geschrapt van (niet nader genoemde) online winkelplatforms, waardoor een cache van video’s met diverse kleding ontstond. Echter, de taak vereiste video’s van dezelfde persoon die meerdere outfits draagt, wat een zeldzame vondst is in wilde data, en die het creëren van synthetische data noodzakelijk maakte.

De driestapsproces omvatte het selecteren van geschikte kandidaatframes uit de geschrapt video’s, die werden behandeld via de Qwen2.5-VL Vision-Language Model (VLM), met passende bijsnijding en evaluatie van geschiktheid (d.w.z. geen occlusies, onderwerp in correcte positie, enz.); en het creëren van passende inpainting masks om de getroffen gebieden te isoleren – die (in overeenstemming met het eerdere werk PERSE) wordt behandeld door het inmiddels verouderde SDXL diffusiemodel.

Overzicht van de Vanast-pijplijn, waar een menselijke afbeelding, doelkledingafbeeldingen en een bewegingsreferentievideo worden gecodeerd en verwerkt in een geïntegreerde videodiffusiemodel. Het systeem genereert een animatie die identiteit behoudt, de posevolgorde volgt en de doelkleding toepast, terwijl synthetische tripletgeneratie de training ondersteunt, en een dual-module ontwerp animatie van kledingoverdracht scheidt, om consistentie te behouden.

In de derde stap, doet Qwen opnieuw dienst om afbeeldingen te classificeren op basis van geslacht, en wordt het populaire Flux beeld diffusiekader gebruikt om wijzigingen aan te brengen in de kleding in een afbeelding (aangezien Flux in staat is om meerdere invoerelementen samen te voegen). De inpainting tekstprompts werden gecreëerd door ChatGPT (versie niet gespecificeerd).

Om de pose- en achtergronddiversiteit verder te vergroten, werd een pijplijn geïntroduceerd om trainings triplets te construeren uit wilde video’s, met behulp van de HumanVid dataset. Hetzelfde proces werd gebruikt om de identiteitbehoudende menselijke afbeelding te genereren.

Aangezien er geen enkele kledingafbeelding bestond in deze video’s, werden kledingafbeeldingen rechtstreeks uit de beelden gegenereerd. Frames werden bemonsterd uit elke video, en Qwen werd gebruikt om ze te scoren op frontale zichtbaarheid, voordat de meest geschikte kandidaat werd geselecteerd op basis van volledige lichaamszichtbaarheid, beeldhelderheid, minimale occlusie, lichtkwaliteit en algehele compositie.

Een bovenkledingregio werd vervolgens geëxtraheerd met behulp van SegFormer, en de achtergrond verwijderd om de kleding te isoleren.

Om positionele bias te vermijden, werd het kledinggebied willekeurig verschoven binnen zijn begrenzingsbox, en Qwen opnieuw gebruikt om onbetrouwbare segmentaties te filteren. Dit proces produceerde synthetische kledingafbeeldingen die waren gekoppeld aan beweging en identiteit, waardoor grote schaal tripletconstructie uit ongestructureerde videodata mogelijk werd, en de robuustheid over verschillende werkelijke omstandigheden verbeterde.

Architectuur

Een dual-module architectuur werd geïntroduceerd om de trage convergentie en zwakke controlebalans te behandelen die werden waargenomen in eerdere methoden die hadden geprobeerd om alle voorwaarden samen te voegen. De aanpak maakte gebruik van de tekst-naar-video diffusietransformer van Wan, en trok ook voordeel uit het VACE project (zie hieronder).

Het model werd opgedeeld in een Menselijke Animatiemodule (HAM), die beweging en identiteit van menselijke en pose-ingangen behandelde; en een Kledingoverdrachtsmodule (GTM), die kleding van kledingafbeeldingen behandelde. Beide deelden toegang tot de backbone, terwijl ze functies integreerden op een gedistribueerde, cascade-achtige manier, om de conditie te verbeteren.

Training werd uitgevoerd door het vastzetten van de backbone en alleen de parameters van HAM en GTM te optimaliseren, waarbij hun bijdragen werden gebalanceerd tijdens de integratie van functies. Invoer van de synthetische triplet dataset werd omgezet in latent representaties met behulp van WAN’s variatie auto-encoder (VAE).

Bewegingsgevoelige context werd geconstrueerd door menselijke en pose-informatie over tijd te combineren, terwijl kledingfuncties afzonderlijk werden verwerkt en uitgelijnd door projectie in token-embeddings.

Het model werd ook uitgebreid om kledinginterpolatie te ondersteunen. Hier werden representaties van twee kledingstukken gecombineerd om gladde overgangen te genereren, waardoor consistent en coherent mengen tussen kledingstukken mogelijk werd, zonder extra optimalisatie.

Gegevens en tests

Het model werd getraind op 9.135 video’s, met lengtes variërend van drie tot tien seconden, afkomstig van de eerder genoemde ‘winkelcentrum sites’; de auteurs’ eigen gegenereerde dataset; en de HumanVid dataset.

Van deze werden twee evaluatiedatasets opgesteld: de ‘Internetdataset’, met video’s en productafbeeldingen van winkelcentra; en de officiële testsplit van Alibaba’s ViViD dataset.

Aangezien de ViViD-data geen gezichten bevat (zie eerder video hierboven voor een voorbeeld, wat zeer gebruikelijk is in de virtuele pasvormliteratuur), werden deze toegevoegd met behulp van Flux outpainting.

De gebruikte metrics waren L1-verlies; Peak Signaal-Ruis Verhouding (PSNR); Structural Similarity Index (SSIM); Learned Perceptual Image Patch Similarity (LPIPS); Fréchet Inception Afstand (FID); en Fréchet Video Afstand^†† (FVD)

Systemen getest voor kledingoverdracht waren OOTDiffusion; CatVTON; OmniTry; en Any2AnyTryon. Onderwerpen naar afbeelding generatiemodellen die werden getest, waren VisualCloze; MOSAIC; en ByteDance’s UNO.

Voor de tweede fase van de tests, waar combinaties van beeldvirtuele pasvorm en animatiemodellen werden getest, kon het nieuwe werk opnieuw de hoogste score behalen:

Kwantitatieve vergelijking met combinaties van onderwerp-naar-afbeelding en animatiemodellen op de Internet- en ViViD-datasets, waar de voorgestelde methode de beste prestatie behaalde over alle gemelde metrics. Vette waarden geven de hoogste score in elke kolom aan.

Van de initiële resultaten die hierboven worden getoond, verklaren de auteurs:

‘[Ons] model behaalt de beste prestatie over alle metrics wanneer het wordt vergeleken met combinaties van onderwerp-naar-afbeelding generatiemodellen en animatiemodellen.

‘Kwalitatieve resultaten [getoond hieronder] bevestigen verder dat onze aanpak de meest accurate posevolging en kledingoverdracht produceert, terwijl identiteit meer getrouw wordt behouden dan alle onderwerp-naar-afbeelding gebaseerde baselines.’

Kwalitatieve vergelijking op Internet- en ViViD-datasets tegen onderwerp-naar-afbeelding en animatiebaselines, waar de voorgestelde methode, volgens de auteurs, meer accurate poseuitlijning en kledingoverdracht biedt, terwijl identiteit meer consistent wordt behouden dan VisualCloze, MOSAIC, UNO en VACE.

Voor de tweede categorie van tests, waar combinaties van beeldvirtuele pasvorm en animatiemodellen werden getest, kon het nieuwe werk opnieuw de hoogste score behalen:

Kwantitatieve vergelijking met combinaties van beeldvirtuele pasvorm en animatiemodellen op de Internet- en ViViD-datasets. De voorgestelde methode behaalde de beste algehele prestatie over metrics, met SSIM die vergelijkbaar bleef met de sterkste baseline. Vette waarden geven de hoogste score aan.

De auteurs voegen toe:

‘Kwalitatieve vergelijkingen [getoond hieronder] demonstreren dat onze resultaten het meest overeenkomen met de grondwaarheid onder alle beeldvirtuele pasvorm gebaseerde baselines.’

Kwalitatieve tests met baselines die zijn gemaakt door beeldvirtuele pasvormmodellen te combineren met animatiemodellen.

Conclusie

Hoewel het Vanast-project een discreet eind-tot-eind oplossing bereikt, geeft het gebrek aan details over de trainings- en inferentiebronvereisten aan dat dit misschien niet de meest agile of behendige oplossing is. In werkelijkheid is de uitdaging zelf enorm moeilijk om te bereiken, zelfs in een niet-geoptimaliseerd systeem – en hoeveel meer in een commerciële implementatie die lage latentie en betaalbaarheid/ROI op grote schaal nodig heeft..?

De virtuele pasvorm is een van de ‘maanshot’ AI-doelen waar de huidige stand van de techniek, zoals die wordt weerspiegeld in diverse koppen en geselecteerde resultaten, de werkelijke moeilijkheid van de taak verhult, die misschien uiteindelijk zal worden opgelost door latere en lichtere technologieën dan Transformers.

^† Beschikbaar in de VS, geo-geblokkeerd in veel andere regio’s, indien niet alle.

^†† De auteurs verwijzen naar ‘VFID’, maar linken alleen naar het ViViD-paper, dat de verwijzing niet rechtvaardigt, voor zover ik kan zien, met beperkte tijd om het op te zoeken. Ik ga ervan uit dat ze eigenlijk Fréchet Video Afstand (FVD) bedoelden en eveneens weinig tijd hadden. Neem alstublieft contact met me op voor wijzigingen, indien nodig.

Publicatie op woensdag 8 april 2026