Unghiul lui Anderson

Probarea virtuală a hainelor noi cu AI

Martin Anderson
Adaugă Unite.AI la sursele tale preferate pe Google
Examples of virtual try-on from the Vanast project – source: https://arxiv.org/pdf/2604.04934
Puncte cheieModelul AI monostadial Vanast integrează îmbrăcămintea, identitatea și mișcarea pentru…
Vezi mai mult
  • Modelul AI monostadial Vanast integrează îmbrăcămintea, identitatea și mișcarea pentru videoclipuri de probă virtuală mai stabile.
  • Sistemul își creează propriile date sintetice de antrenament folosind modele precum Flux și Qwen pentru a depăși lipsa datelor din lumea reală.
  • În ciuda progreselor tehnice, viabilitatea comercială rămâne limitată de cerințele computaționale ridicate și provocările legate de latență.

Un model AI poate acum să transforme o singură fotografie a unei persoane și imagini cu haine într-un videoclip în care aceeași persoană se mișcă purtând ținute noi. Astfel evită erorile frecvente ale sistemelor mai vechi, în două etape.

 

În cercetarea vederii computerizate, probarea virtuală a hainelor (VTON) se numără printre domeniile cel mai bine finanțate și mai productive din literatura de specialitate. Motivul principal este sprijinul financiar consistent al industriei prospere a modei, după cum sugerează numeroasele colaborări dintre firme și universități publicate anual:

Din Image-Based Virtual Try-On: A Survey: exemple de moduri de reprezentare a persoanei și de etape de filtrare și rafinare pe care trebuie să le parcurgă chiar și imaginile de bază pentru probarea virtuală a hainelor (VTON).

Din Image-Based Virtual Try-On: A Survey: exemple de moduri de reprezentare a persoanei și de etape de filtrare și rafinare pe care trebuie să le parcurgă chiar și imaginile de bază pentru probarea virtuală a hainelor (VTON). Sursă

Obiectivul are numeroase variante, cum ar fi extragerea hainelor din imagini cu persoane sau adaptarea la o siluetă mai plină atunci când este necesar. Unele sisteme bazate pe imagini sunt deja folosite comercial pe platforme precum veesual.ai, wanna.fashion și fashn.ai.

Pentru video, Google Labs a testat această funcție prin aplicația sa experimentală Doppl, lansată vara trecută:

Dacă videoclipul nu pornește automat, faceți clic pentru redare. Secvențe din proiectul Google Doppl pentru probare virtuală în video, între timp abandonat.  Sursă

Doppl se închide însă în aprilie 2026 după o primire rezervată, iar utilizatorii sunt acum îndrumați către serviciul de probare virtualㆠal companiei, care folosește exclusiv imagini:

Serviciul Google de probare virtuală bazat exclusiv pe imagini, către care sunt îndrumați utilizatorii platformei Doppl abandonate.

Serviciul Google de probare virtuală bazat exclusiv pe imagini, către care sunt îndrumați utilizatorii platformei Doppl abandonate. Sursă

Există câteva platforme care oferă probare virtuală în video, dar niciuna nu pare afiliată unui comerciant real. Toate sunt produse experimentale aflate la limita tehnologiei, marginale și adesea discutabile, care promovează tokenuri.

În cercetare există încercări interesante. Acestea folosesc însă de obicei arhitecturi complexe, cu care este greu să se obțină simultan latență mică și calitate ridicată:

Dacă videoclipul nu pornește automat, faceți clic pentru redare. Din proiectul Fashion-VDM din 2024: un exemplu de transfer al hainelor pe imagini ale unor persoane fără cap. Sursă

Adaptarea hainelor la o persoană reală fără a deforma nici hainele, nici persoana, păstrând totodată o mișcare utilă pentru prezentarea produsului, este o provocare enormă pentru tehnologia actuală. De exemplu, când persoana se întoarce, partea din spate a produsului trebuie redată cu precizie.

Vanast

Un nou studiu din Coreea încearcă să răspundă acestei provocări printr-o soluție nouă, complet integrată, pentru procesarea hainelor, persoanei și mișcării:

Dacă videoclipul nu pornește automat, faceți clic pentru redare. Exemple de pe site-ul cu materiale suplimentare al proiectului Vanast. Sursă 

Noul sistem Vanast folosește un set de date special creat, care combină și coordonează cei trei factori necesari: hainele, persoana și mișcarea:

Faceți clic pentru redare. Alte exemple de pe site-ul proiectului Vanast.

Sistemul folosește instrumente precum Flux, Qwen și ChatGPT pentru a crea un set de date format din triplete, cu care poate fi antrenată o arhitectură ce rezolvă întreaga sarcină de la început până la sfârșit:

Din noul studiu: exemple de elemente ale setului de date folosite pentru generare și antrenare.

Din noul studiu: exemple de elemente ale setului de date folosite pentru generare și antrenare. Sursă –

Noul studiu se intitulează Vanast: Virtual Try-On with Human Image Animation via Synthetic Triplet Supervision și este realizat de patru cercetători de la Seoul National University. Există și un site al proiectului cu numeroase videoclipuri.

Metodă

Scopul autorilor este să reunească cele trei aspecte într-o singură etapă. Aceasta nu oferă doar un proces unitar, ci și mai multe ocazii ca aspectele să interacționeze în timpul antrenării, astfel încât rezultatele generate să fie mai coerente:

Vanast combină o singură fotografie a persoanei, imagini separate cu haine și un reper de mișcare. Generează o secvență în care aceeași persoană se mișcă în noua ținută. Ghidarea prin posturi corporale asigură mișcări consecvente, păstrând identitatea și detaliile hainelor între cadre.

Vanast combină o singură fotografie a persoanei, imagini separate cu haine și un reper de mișcare. Generează o secvență în care aceeași persoană se mișcă în noua ținută. Ghidarea prin posturi corporale asigură mișcări consecvente, păstrând identitatea și detaliile hainelor între cadre.

Sistemul primește imagini cu hainele dorite, o fotografie a persoanei în alte haine, un videoclip de referință care definește mișcarea și o instrucțiune textuală care descrie acțiunea și decorul. Produce o secvență video completă în care aceeași persoană pare să poarte noua ținută și urmează mișcarea impusă, cu un aspect vizual consecvent în timp.

Majoritatea studiilor anterioare similare separau îmbrăcarea de animație. Vanast procesează împreună hainele, identitatea și mișcarea, permițându-le să interacționeze în timpul generării. Astfel reduce nepotrivirile și instabilitatea metodelor anterioare.

Set de date

Antrenarea se bazează pe exemple corelate: o fotografie a persoanei, hainele corespunzătoare și un videoclip al aceleiași persoane mișcându-se în acele haine. Mișcarea este extrasă cu o arhitectură anterioară, care oferă ghidare stabilă prin posturi corporale între cadre.

În lipsa unui set public care să îndeplinească cerințele, au fost colectate videoclipuri cu haine diverse de pe magazine online nespecificate. Sarcina necesita însă videoclipuri cu aceeași persoană în mai multe ținute diferite, o situație rară în datele colectate în condiții reale. Prin urmare, a fost necesară crearea datelor sintetice.

Procedura are trei etape. Cadrele candidate potrivite sunt selectate din videoclipuri cu Qwen2.5-VL, un model pentru imagini și limbaj (VLM). Cadrele sunt decupate și evaluate pentru a verifica, de exemplu, dacă persoana nu este obturată și se află în poziția corectă. Apoi se creează măști de inpainting pentru izolarea zonelor vizate. La fel ca în studiul anterior PERSE, această parte este realizată cu modelul de difuzie deja consacrat SDXL.

Prezentare a fluxului Vanast: fotografia persoanei, imaginile hainelor dorite și videoclipul de ghidare a mișcării sunt codificate și procesate într-un singur model de difuzie video. Animația păstrează identitatea, urmează secvența de posturi și aplică hainele dorite. Tripletele sintetice susțin antrenarea, iar două module separă animația de transferul hainelor pentru a păstra coerența.

Prezentare a fluxului Vanast: fotografia persoanei, imaginile hainelor dorite și videoclipul de ghidare a mișcării sunt codificate și procesate într-un singur model de difuzie video. Animația păstrează identitatea, urmează secvența de posturi și aplică hainele dorite. Tripletele sintetice susțin antrenarea, iar două module separă animația de transferul hainelor pentru a păstra coerența.

În a treia etapă, Qwen clasifică din nou imaginile după gen. Apoi popularul instrument de difuzie a imaginilor Flux modifică hainele din imagine, deoarece poate combina mai multe elemente de intrare. Instrucțiunile textuale pentru inpainting au fost pregătite cu ChatGPT; versiunea nu este precizată.

Pentru o diversitate mai mare a posturilor și fundalurilor s-a introdus o procedură de creare a tripletelor de antrenare din videoclipuri filmate în condiții reale, folosind setul de date HumanVid. Același proces generează imagini ale persoanei care îi păstrează identitatea.

Videoclipurile nu aveau imagini separate ale hainelor, astfel că acestea au fost sintetizate direct din înregistrări. Din fiecare videoclip au fost selectate cadre, evaluate de Qwen după vizibilitatea frontală. Candidatul optim a fost ales în funcție de vizibilitatea întregului corp, claritate, obturare minimă, iluminare și compoziția generală.

Zona hainelor de pe partea superioară a corpului a fost extrasă cu SegFormer, iar fundalul a fost eliminat pentru a izola haina.

Pentru a evita biasul de poziție, zona hainei a fost deplasată aleatoriu în interiorul dreptunghiului de delimitare. Qwen a filtrat din nou segmentările nesigure. Au rezultat imagini sintetice ale hainelor corelate cu mișcarea și identitatea, permițând construirea tripletelor la scară largă din videoclipuri nestructurate și îmbunătățind robustețea în condiții reale variate.

Arhitectură

Arhitectura cu două module urmărește să rezolve convergența lentă și echilibrul slab al controlului din metodele anterioare care uneau toate condițiile. Folosește transformerul de difuzie text-video al modelului Wan și valorifică și proiectul VACE descris mai jos.

Modelul este împărțit într-un modul de animare a persoanei (HAM), care gestionează mișcarea și identitatea din datele persoanei și ale posturilor, și un modul de transfer al hainelor (GTM), care procesează hainele din imaginile lor. Ambele împart rețeaua de bază și integrează caracteristicile distribuit și în cascadă pentru a îmbunătăți condiționarea.

Antrenarea presupune înghețarea rețelei de bază și optimizarea numai a parametrilor HAM și GTM, echilibrând contribuțiile lor la integrarea caracteristicilor. Intrările din tripletele sintetice sunt transformate în reprezentări latente cu autoencoderul variațional (VAE) al WAN.

Contextul care ține cont de mișcare combină informații despre persoană și posturi în timp. Caracteristicile hainelor sunt procesate separat și aliniate prin proiecție în reprezentările vectoriale ale tokenurilor.

Modelul permite și interpolarea hainelor. Reprezentările a două articole vestimentare sunt combinate pentru tranziții line, permițând o îmbinare consecventă și coerentă între haine fără optimizare suplimentară.

Date și teste

Modelul a fost antrenat pe 9.135 de videoclipuri de trei până la zece secunde, provenite din magazinele online menționate, din setul generat de autori și din HumanVid.

Au fost create două seturi de evaluare: Internet, cu videoclipuri și imagini de produse din magazine online, și subsetul oficial de test al setului ViViD de la Alibaba. Deoarece ViViD nu are fețe, acestea au fost adăugate prin extinderea imaginii cu Flux. Videoclipul de mai sus exemplifică această practică, frecventă în literatura despre probarea virtuală.

Metricile folosite sunt pierderea L1; Peak Signal-to-Noise Ratio (PSNR); Structural Similarity Index (SSIM); Learned Perceptual Image Patch Similarity (LPIPS); Fréchet Inception Distance (FID) și Fréchet Video Distance†† (FVD).

Pentru transferul hainelor au fost testate OOTDiffusion; CatVTON; OmniTry și Any2AnyTryon. Au mai fost testate modelele de generare a imaginilor pornind de la un subiect VisualCloze; MOSAIC și modelul ByteDance UNO.

Pentru a doua etapă, animarea imaginilor persoanei, au fost folosite StableAnimator și DisPose.

VACE a fost testat într-un context mai restrâns, deoarece nu oferă direct funcționalitatea urmărită, cu unele încercări de a compensa funcționalitatea lipsă:

Comparație cantitativă cu combinații de modele de generare a imaginilor pornind de la un subiect și modele de animație pe seturile Internet și ViViD. Metoda propusă a obținut cele mai bune rezultate la toate metricile raportate. Valorile îngroșate indică scorul maxim din fiecare coloană.

Comparație cantitativă cu combinații de modele de generare a imaginilor pornind de la un subiect și modele de animație pe seturile Internet și ViViD. Metoda propusă a obținut cele mai bune rezultate la toate metricile raportate. Valorile îngroșate indică scorul maxim din fiecare coloană.

Despre primele rezultate prezentate mai sus, autorii afirmă:

„Modelul nostru obține cele mai bune rezultate la toate metricile în comparație cu combinațiile de modele de generare a imaginilor pornind de la un subiect și modele de animație.”

„Rezultatele calitative [de mai jos] confirmă în plus că metoda noastră urmărește posturile și transferă hainele cu cea mai mare precizie, păstrând identitatea mai fidel decât toate metodele de comparație bazate pe generarea de imagini pornind de la un subiect.”

Comparație calitativă pe seturile Internet și ViViD cu metode de generare a imaginilor pornind de la un subiect și de animație. Potrivit autorilor, metoda propusă aliniază mai precis posturile și transferă hainele, păstrând identitatea mai consecvent decât VisualCloze, MOSAIC, UNO și VACE.

Comparație calitativă pe seturile Internet și ViViD cu metode de generare a imaginilor pornind de la un subiect și de animație. Potrivit autorilor, metoda propusă aliniază mai precis posturile și transferă hainele, păstrând identitatea mai consecvent decât VisualCloze, MOSAIC, UNO și VACE.

În a doua categorie de teste au fost comparate combinații de probare virtuală pe imagini și modele de animație. Noul studiu a obținut din nou scorul maxim:

Comparație cantitativă cu combinații de probare virtuală pe imagini și modele de animație pe seturile Internet și ViViD. Metoda a obținut cele mai bune rezultate per ansamblul metricilor, în timp ce SSIM a rămas comparabil cu cea mai puternică metodă de comparație. Valorile îngroșate indică scorul maxim.

Comparație cantitativă cu combinații de probare virtuală pe imagini și modele de animație pe seturile Internet și ViViD. Metoda a obținut cele mai bune rezultate per ansamblul metricilor, în timp ce SSIM a rămas comparabil cu cea mai puternică metodă de comparație. Valorile îngroșate indică scorul maxim.

Autorii adaugă:

„Comparațiile calitative [de mai jos] arată că rezultatele noastre seamănă cel mai mult cu imaginile reale de referință dintre toate metodele de comparație bazate pe probarea virtuală pe imagini.”

Teste calitative cu metode de comparație create prin combinarea modelelor VTON cu modele de animație.

Teste calitative cu metode de comparație create prin combinarea modelelor VTON cu modele de animație.

Concluzie

Vanast oferă o soluție unitară de la început până la sfârșit. Lipsa detaliilor despre resursele necesare antrenării și inferenței sugerează însă că s-ar putea să nu fie cea mai ușoară sau agilă soluție. Sarcina în sine este extrem de dificilă chiar și într-un sistem neoptimizat. Cu cât mai dificilă ar fi o implementare comercială care cere latență mică, costuri accesibile și rentabilitate la scară mare?

Probarea virtuală se numără printre obiectivele foarte ambițioase ale AI. Imaginea tehnologiei actuale transmisă prin titluri și rezultate atent selectate ascunde dificultatea reală a sarcinii. Poate că tehnologii ulterioare și mai ușoare decât transformerele o vor rezolva în cele din urmă.

 

† Disponibil în SUA; blocat geografic în multe alte regiuni, dacă nu în toate.

†† Autorii menționează VFID, dar trimit doar la studiul ViViD, care, din câte am putut verifica în timpul limitat disponibil, nu justifică referința. Am presupus că se refereau de fapt la Fréchet Video Distance (FVD) și că și ei aveau puțin timp. Vă rog să mă contactați pentru eventuale corecturi.

Publicat prima dată miercuri, 8 aprilie 2026

Scriitor în învățare automată, specialist de domeniu în sinteza imaginilor umane. Fost șef al conținutului de cercetare la Metaphysic.ai, până la dizolvarea sa în Brahma.ai de la DNEG.
Site web: martinanderson.ai
Contact: martin@martinanderson.ai