Prova Virtuale di Nuovi Abiti Attraverso l’Intelligenza Artificiale

Un modello di intelligenza artificiale può ora trasformare una singola foto e immagini di abiti in un video in movimento di una persona che indossa nuovi outfit, evitando i glitch comuni nei sistemi più vecchi e a due fasi.

La categoria di ricerca “prova virtuale” (VTON) nel campo della visione artificiale è tra le più finanziate e prolifiche – principalmente perché, come si può evincere dalle frequenti collaborazioni tra industria e accademia pubblicate ogni anno, questo obiettivo riceve un finanziamento significativo da parte dell’industria della moda.

Dallo studio ‘Image-Based Virtual Try-On: A Survey’, esempi di tipi di rappresentazione di persona e alcune delle fasi di filtraggio e raffinamento che anche le immagini base devono subire per una prova virtuale (VTON). Fonte

Esistono molte varianti di questo obiettivo, come ad esempio estrazione di abiti da immagini di persone e adattamento per le persone più in carne quando necessario. Alcuni sistemi basati su immagini sono stati implementati commercialmente su piattaforme come veesual.ai, wanna.fashion e fashn.ai.

Per quanto riguarda i video, l’app sperimentale Doppl di Google Labs ha sperimentato questa funzionalità, lanciata l’estate scorsa:

Per favore, clicca per riprodurre se il video non si riproduce automaticamente. Estratti dal progetto di prova virtuale abbandonato di Google Doppl. Fonte

Tuttavia, Doppl si chiude ad aprile 2026 dopo una accoglienza tiepida, con gli utenti ora indirizzati al servizio di prova virtuale basato su immagini della società ^†:

Il programma di prova virtuale basato su immagini di Google, dove gli utenti vengono indirizzati dalla piattaforma Doppl abbandonata della società. Fonte

Sebbene esistano alcune piattaforme che offrono la prova virtuale con video, nessuna di esse sembra essere affiliata a un vero e proprio outlet; e sono tutte ‘all’avanguardia’, marginali (e spesso ‘discutibili’) prodotti basati su token.

Mentre esistono diverse ricerche interessanti nel settore della ricerca, sono tradizionalmente architetture complesse che sono difficili da implementare per una bassa latenza e un’elevata qualità:

Per favore, clicca per riprodurre se il video non si riproduce automaticamente. Dal progetto Fashion-VDM del 2024, un esempio di ‘trasferimento di abiti senza testa’. Fonte

La verità è che il compito di adattare gli abiti a una persona reale, senza distorcere né gli abiti né la persona, mantenendo allo stesso tempo un movimento dimostrativo utile (che accuratamente mostra la parte posteriore del prodotto quando la persona si gira), è una sfida formidabile per lo stato attuale dell’arte.

Vanast

È una sfida che un nuovo studio coreano sta cercando di affrontare, utilizzando una soluzione completamente integrata per l’analisi degli abiti + persona + movimento:

Per favore, clicca per riprodurre se il video non si riproduce automaticamente. Esempi dal sito di materiali supplementari del progetto Vanast. Fonte

Il nuovo sistema, intitolato Vanast, sfrutta un dataset personalizzato che combina i tre fattori necessari per raggiungere l’obiettivo: gli abiti; la persona; e il movimento:

Clicca per riprodurre. Altri esempi dal sito del progetto Vanast.

Il sistema sfrutta framework diversi come Flux, Qwen e ChatGPT, per generare un dataset ‘triplet’ in grado di informare un’architettura end-to-end:

Dallo studio, esempi dei punti di dati del dataset utilizzati per la generazione e l’addestramento. Fonte –

Lo studio è intitolato Vanast: Prova Virtuale con Animazione di Immagini Umane tramite Supervisione Sinthetica Triplet, e proviene da quattro ricercatori dell’Università Nazionale di Seoul. Esiste anche un sito del progetto ricco di video.

Metodo

L’obiettivo dichiarato degli autori in questo lavoro è quello di combinare i tre aspetti sopra menzionati in un’unica soluzione a singola fase – non solo perché il processo sarebbe discreto, ma anche perché offre ai vari aspetti più opportunità di interagire durante l’addestramento, con l’obiettivo di una generazione più coesa:

Vanast combina una singola foto di una persona, immagini di abiti separati e un riferimento di movimento per generare una sequenza in movimento in cui la stessa persona indossa il nuovo outfit, con la guida della posa che assicura un movimento coerente, mentre l’identità e i dettagli degli abiti vengono preservati attraverso i frame.

Per raggiungere questo obiettivo, il sistema utilizza immagini degli abiti da trasferire; una foto della persona che indossa abiti diversi; un video di riferimento del movimento che la persona dovrebbe eseguire; e un prompt di testo che descrive l’azione e l’ambientazione; e produce una sequenza video completa in cui la stessa persona sembra indossare il nuovo outfit, seguendo il movimento impostato, con ogni frame mantenuto coerente nel tempo.

Al contrario di quanto fatto nella maggior parte dei lavori precedenti, che separavano il vestimento e l’animazione in fasi diverse – Vanast gestisce abiti, identità e movimento insieme in un unico processo, consentendo a questi elementi di interagire durante la generazione e riducendo i tipi di errori e instabilità presenti nei metodi precedenti.

Dataset

L’addestramento del progetto si basa su esempi accoppiati di un’immagine di persona, gli abiti corrispondenti e un video della persona che si muove indossando quegli abiti, con il movimento estratto utilizzando un’architettura precedente, per fornire una guida della posa stabile attraverso i frame.

Nell’assenza di un dataset pubblicamente disponibile che soddisfi i requisiti del progetto, i dati sono stati raccolti da piattaforme di shopping online (non specificate), fornendo una cache di video con abiti diversi. Tuttavia, il compito ha richiesto video della stessa persona che indossa più outfit, che è una rarità nei dati selvaggi, e che ha reso necessaria la creazione di dati sintetici.

Il processo a tre fasi ha comportato la selezione di frame candidati adatti dai video raccolti, gestiti tramite il modello di visione-linguaggio Qwen2.5-VL, con un’adeguata operazione di ritaglio e valutazione della loro idoneità (ad esempio, nessuna occlusione, soggetto nella posizione corretta, ecc.); e la creazione di maschere di inpainting per isolare le aree interessate – che (in linea con il lavoro precedente PERSE) è gestito dal modello di diffusione SDXL.

Panoramica della pipeline Vanast, dove un’immagine di persona, immagini di abiti di destinazione e un video di guida del movimento vengono codificati e processati in un modello di diffusione video unificato. Il sistema genera un’animazione che preserva l’identità, segue la sequenza di pose e applica gli abiti di destinazione, mentre la generazione di triplet sintetici supporta l’addestramento, e un design a doppio modulo separa l’animazione dal trasferimento degli abiti, per mantenere la coerenza.

Nel terzo stadio, Qwen svolge nuovamente il suo dovere per classificare le immagini per genere, e il popolare framework di diffusione di immagini Flux viene utilizzato per creare alterazioni degli abiti in un’immagine (poiché Flux è in grado di combinare più elementi di input). I prompt di testo di inpainting sono stati curati da ChatGPT (versione non specificata).

Per aumentare ulteriormente la diversità di pose e sfondo, è stata introdotta una pipeline per costruire triplet di addestramento da video in situ, utilizzando il dataset HumanVid. Lo stesso processo è stato utilizzato per generare l’immagine di persona che preserva l’identità.

Poiché non esisteva un’immagine di abito autonoma in questi video, le immagini di abiti sono state sintetizzate direttamente dal footage. I frame sono stati campionati da ogni video, e Qwen è stato utilizzato per valutarli per visibilità frontale, prima di selezionare il candidato più adatto, in base alla visibilità del corpo intero, chiarezza dell’immagine, minima occlusione, qualità dell’illuminazione e composizione generale.

Una regione di abito superiore è stata quindi estratta utilizzando SegFormer, e lo sfondo è stato rimosso per isolare l’abito.

Per evitare bias di posizione, la regione dell’abito è stata spostata casualmente all’interno della sua casella delimitante, e Qwen è stato utilizzato nuovamente per filtrare le segmentazioni non affidabili. Questo processo ha prodotto immagini di abiti sintetici accoppiate con movimento e identità, consentendo la costruzione di triplet su larga scala da dati video non strutturati, migliorando la robustezza in condizioni del mondo reale variate.

Architettura

È stata introdotta un’architettura a doppio modulo per affrontare la lenta convergenza e il debole equilibrio di controllo osservati in quei metodi precedenti che avevano cercato di fondere tutte le condizioni. L’approccio ha sfruttato il trasformatore di diffusione testo-video da Wan, e ha tratto anche ispirazione dal progetto VACE (vedi sotto).

Il modello è stato diviso in un Modulo di Animazione Umana (HAM), che gestisce il movimento e l’identità da input umani e di posa; e un Modulo di Trasferimento di Abiti (GTM), che gestisce gli abiti da immagini di abiti. Entrambi condividono l’accesso al backbone, mentre integrano le funzionalità in modo distribuito e cascatto, per migliorare la condizionamento.

L’addestramento è stato eseguito congelando il backbone e ottimizzando solo i parametri di HAM e GTM, con i loro contributi bilanciati durante l’integrazione delle funzionalità. Gli input del dataset triplet sintetico sono stati convertiti in rappresentazioni latenti utilizzando il VAE di WAN.

Il contesto di movimento è stato costruito combinando informazioni umane e di posa nel tempo, mentre le funzionalità degli abiti sono state elaborate separatamente e allineate attraverso la proiezione in token di embedding.

Il modello è stato esteso anche per supportare l’interpolazione di abiti. Qui, le rappresentazioni di due abiti sono state combinate per generare transizioni lisce, consentendo una fusione coerente e consistente tra gli articoli di abbigliamento, senza ulteriore ottimizzazione.

Dati e Test

Il modello è stato addestrato su 9.135 video, con lunghezze variabili da tre a dieci secondi, provenienti dai siti di shopping sopra menzionati; il dataset generato dagli autori; e il dataset HumanVid.

Da questi, due dataset di valutazione sono stati stabiliti: il dataset ‘Internet’, che presenta video e immagini di prodotti da centri commerciali; e la divisione di test ufficiale del dataset ViViD di Alibaba.

Poiché i dati ViViD mancano di volti (vedi il video precedente per un esempio di questo, che è molto comune nella letteratura sulla prova virtuale), questi sono stati aggiunti tramite outpainting Flux.

Le metriche utilizzate sono state L1 loss; Peak Signal-to-Noise Ratio (PSNR); Structural Similarity Index (SSIM); Learned Perceptual Image Patch Similarity (LPIPS); Fréchet Inception Distance (FID); e Fréchet Video Distance^†† (FVD)

I sistemi testati per il trasferimento di abiti sono stati OOTDiffusion; CatVTON; OmniTry; e Any2AnyTryon. I modelli di generazione di immagini da soggetto sono stati VisualCloze; MOSAIC; e UNO di ByteDance.

Per la seconda fase di animazione dell’immagine umana, sono stati utilizzati i framework StableAnimator e DisPose.

In un contesto più limitato (poiché non supporta direttamente l’obiettivo), VACE è stato testato, con alcuni sforzi per bilanciare la funzionalità mancante:

Confronto quantitativo con combinazioni di modelli di generazione di immagini da soggetto e animazione sui dataset Internet e ViViD, dove il metodo proposto ha raggiunto le migliori prestazioni in tutti i metrici riportati. I valori in grassetto indicano il punteggio più alto in ogni colonna.

Tra i risultati iniziali mostrati sopra, gli autori affermano:

‘[Il nostro] modello raggiunge le migliori prestazioni in tutti i metrici quando confrontato con combinazioni di modelli di generazione di immagini da soggetto e modelli di animazione.

‘I risultati qualitativi [mostrati di seguito] confermano ulteriormente che il nostro approccio produce la seguace di pose e il trasferimento di abiti più precisi, mentre preserva l’identità in modo più fedele di tutti i modelli di generazione di immagini da soggetto.’

Confronto qualitativo sui dataset Internet e ViViD contro modelli di generazione di immagini da soggetto e animazione, dove il metodo proposto, secondo gli autori, offre una seguace di pose e un trasferimento di abiti più precisi, mentre preserva l’identità in modo più coerente rispetto a VisualCloze, MOSAIC, UNO e VACE.

Per la seconda categoria di test, in cui sono stati testati combinazioni di modelli di prova virtuale basati su immagini e modelli di animazione, il nuovo lavoro è stato in grado di raggiungere nuovamente il punteggio più alto:

Confronto quantitativo con combinazioni di modelli di prova virtuale basati su immagini e modelli di animazione sui dataset Internet e ViViD. Il metodo proposto ha raggiunto le migliori prestazioni complessive sui metrici, con SSIM che rimane paragonabile al miglior modello di confronto. I valori in grassetto indicano il punteggio più alto.

Gli autori aggiungono:

‘I confronti qualitativi [mostrati di seguito] dimostrano che i nostri risultati assomigliano di più al ground truth tra tutti i modelli di prova virtuale basati su immagini.’

Test qualitativi utilizzando linee di base create combinando modelli VTON con modelli di animazione.

Conclusione

Sebbene il progetto Vanast raggiunga una soluzione discreta end-to-end, la mancanza di dettagli nello studio intorno ai requisiti di risorse di addestramento e inferenza indica che potrebbe non essere la soluzione più agile o agile. In realtà, la sfida stessa è estremamente difficile da raggiungere, anche in un sistema non ottimizzato – e quanto più in un deploy commerciale che richiederebbe bassa latenza e redditività su larga scala..?

La prova virtuale è uno degli obiettivi ‘moonshot’ dell’intelligenza artificiale, dove lo stato attuale dell’arte, come diffuso attraverso vari titoli e risultati selezionati, cela la difficoltà reale del compito, che forse sarà eventualmente risolto da tecnologie successive e più leggere dei Transformer.

^† Disponibile negli Stati Uniti, bloccato in molte altre regioni, se non tutte.

^†† Gli autori fanno riferimento a ‘VFID’, ma linkano solo al paper ViViD, che non giustifica il riferimento, per quanto mi è possibile verificare, con il tempo limitato per rintracciarlo. Ho assunto che intendessero effettivamente la Fréchet Video Distance (FVD), e che erano altrettanto a corto di tempo. Per favore, contattatemi per eventuali modifiche, se necessario.

Pubblicato per la prima volta mercoledì 8 aprile 2026