Anderson का एंगल
AI से नए कपड़ों की वर्चुअल ट्राई-ऑन

मुख्य बिंदुवनास्ट का सिंगल-स्टेज एआई मॉडल कपड़ों, पहचान और गति को एकीकृत करता है, जिससे अधिक स्थिर…
और देखें
- वनास्ट का सिंगल-स्टेज एआई मॉडल कपड़ों, पहचान और गति को एकीकृत करता है, जिससे अधिक स्थिर वर्चुअल ट्राई-ऑन वीडियो बनते हैं।
- यह सिस्टम वास्तविक दुनिया के डेटा की कमी को दूर करने के लिए फ्लक्स और क्यूवेन जैसे मॉडल का उपयोग करके अपना स्वयं का सिंथेटिक प्रशिक्षण डेटा बनाता है।
- तकनीकी प्रगति के बावजूद, उच्च कम्प्यूटेशनल मांग और विलंबता की चुनौतियों के कारण व्यावसायिक व्यवहार्यता सीमित बनी हुई है।
अब AI मॉडल व्यक्ति की एक तस्वीर और कपड़ों की छवियों से ऐसा वीडियो बना सकता है जिसमें वही व्यक्ति नए कपड़े पहनकर हिलता-डुलता दिखाई दे। इसमें पुराने दो-चरणीय सिस्टम की आम त्रुटियों से बचा जाता है।
कंप्यूटर विज़न शोध में कपड़ों की वर्चुअल ट्राई-ऑन (VTON) वैज्ञानिक साहित्य के सबसे अधिक वित्तपोषित और शोध के लिहाज़ से सबसे उत्पादक क्षेत्रों में शामिल है। इसका मुख्य कारण समृद्ध फ़ैशन उद्योग से मिलने वाला पर्याप्त धन है, जिसका संकेत हर साल प्रकाशित होने वाले अनेक उद्योग-अकादमिक सहयोगों से मिलता है:

Image-Based Virtual Try-On: A Survey से: व्यक्ति को दर्शाने के विभिन्न तरीकों और छँटाई व सुधार के उन चरणों के उदाहरण जिनसे साधारण छवियों को भी वर्चुअल ट्राई-ऑन (VTON) के लिए गुजरना पड़ता है। स्रोत
इस लक्ष्य के कई रूप हैं, जैसे लोगों की छवियों से कपड़ों को अलग निकालना या अधिक भरे-पूरे शरीर के अनुरूप ढालना जब इसकी ज़रूरत हो। कुछ छवि-आधारित सिस्टम veesual.ai, wanna.fashion और fashn.ai जैसे प्लेटफ़ॉर्म पर व्यावसायिक उपयोग में हैं।
वीडियो के लिए Google Labs ने अपने प्रायोगिक Doppl ऐप में यह सुविधा आज़माई। ऐप पिछली गर्मियों में लॉन्च हुआ था:
यदि वीडियो अपने आप नहीं चलता, तो चलाने के लिए क्लिक करें। बंद हो चुके Google Doppl वीडियो ट्राई-ऑन प्रोजेक्ट के अंश। स्रोत
हालाँकि Doppl फीकी प्रतिक्रिया के बाद अप्रैल 2026 में बंद हो रहा है। उपयोगकर्ताओं को अब कंपनी की ट्राई-ऑन सेवा† की ओर भेजा जा रहा है, जो केवल छवियों पर काम करती है:

Google की केवल छवियों पर आधारित ट्राई-ऑन सेवा, जिसकी ओर बंद Doppl प्लेटफ़ॉर्म के उपयोगकर्ताओं को भेजा जा रहा है। स्रोत
वीडियो में वर्चुअल ट्राई-ऑन देने वाले कुछ प्लेटफ़ॉर्म हैं, लेकिन किसी का भी किसी वास्तविक विक्रेता से संबंध नहीं लगता। ये सभी तकनीक की प्रायोगिक सीमा पर मौजूद, सीमित दायरे वाले और अक्सर संदिग्ध उत्पाद हैं जो टोकन का प्रचार करते हैं।
शोध में कुछ दिलचस्प प्रयास हुए हैं। लेकिन उनमें आमतौर पर जटिल आर्किटेक्चर हैं, जिन्हें कम विलंब और उच्च गुणवत्ता के साथ लागू करना कठिन है:
यदि वीडियो अपने आप नहीं चलता, तो चलाने के लिए क्लिक करें। 2024 के Fashion-VDM प्रोजेक्ट से: सिर दिखाई न देने वाले व्यक्तियों की छवियों में कपड़े स्थानांतरित करने का उदाहरण. स्रोत
कपड़ों या व्यक्ति को विकृत किए बिना कपड़ों को वास्तविक व्यक्ति पर फ़िट करना और साथ ही उत्पाद दिखाने के लिए उपयोगी गति बनाए रखना मौजूदा तकनीक के लिए बड़ी चुनौती है। उदाहरण के लिए, व्यक्ति के मुड़ने पर उत्पाद का पिछला हिस्सा सटीक रूप से दिखना चाहिए।
Vanast
कोरिया का एक नया शोधपत्र कपड़े, व्यक्ति और गति को संसाधित करने वाले नए, पूरी तरह एकीकृत समाधान से इस चुनौती को हल करने की कोशिश करता है:
यदि वीडियो अपने आप नहीं चलता, तो चलाने के लिए क्लिक करें। Vanast प्रोजेक्ट की पूरक सामग्री वाली वेबसाइट के उदाहरण। स्रोत
नया सिस्टम Vanast विशेष रूप से तैयार डेटासेट इस्तेमाल करता है जो तीनों ज़रूरी तत्वों—कपड़े, व्यक्ति और गति—को जोड़ता और समन्वित करता है:
चलाने के लिए क्लिक करें। Vanast प्रोजेक्ट की वेबसाइट के और उदाहरण।
सिस्टम Flux, Qwen और ChatGPT जैसे उपकरणों से तीन-तीन घटकों वाले नमूनों का डेटासेट बनाता है। उससे शुरू से अंत तक पूरी प्रक्रिया सँभालने वाले आर्किटेक्चर को प्रशिक्षित किया जा सकता है:

नए शोधपत्र से: निर्माण और प्रशिक्षण में इस्तेमाल डेटासेट के नमूनों के उदाहरण। स्रोत –
नए शोधपत्र का शीर्षक Vanast: Virtual Try-On with Human Image Animation via Synthetic Triplet Supervision है और इसे सियोल नेशनल यूनिवर्सिटी के चार शोधकर्ताओं ने लिखा है। कई वीडियो वाली प्रोजेक्ट वेबसाइट भी उपलब्ध है।
विधि
लेखकों का लक्ष्य इन तीन पहलुओं को एक ही चरण में जोड़ना है। इससे केवल एकीकृत प्रक्रिया ही नहीं बनती, बल्कि प्रशिक्षण में पहलुओं को आपस में अधिक अंतःक्रिया का अवसर मिलता है, ताकि बनने वाले परिणाम अधिक सुसंगत हों:

Vanast व्यक्ति की एक तस्वीर, कपड़ों की अलग छवियाँ और गति का संदर्भ जोड़कर ऐसा क्रम बनाता है जिसमें वही व्यक्ति नए कपड़ों में हिलता-डुलता है। शारीरिक मुद्राओं से मिलने वाला मार्गदर्शन गति को सुसंगत रखता है और फ़्रेमों के बीच व्यक्ति की पहचान तथा कपड़ों के विवरण सुरक्षित रहते हैं।
इनपुट में लक्षित कपड़ों की छवियाँ, दूसरे कपड़े पहने व्यक्ति की तस्वीर, वांछित गति तय करने वाला संदर्भ वीडियो और क्रिया व परिवेश बताने वाला टेक्स्ट प्रॉम्प्ट शामिल हैं। सिस्टम पूरा वीडियो क्रम बनाता है जिसमें वही व्यक्ति नए कपड़े पहने हुए लगता है और तय गति का अनुसरण करता है। फ़्रेमों का दृश्य रूप समय के साथ सुसंगत रहता है।
अधिकतर समान पुराने शोध कपड़े पहनाने और ऐनिमेशन को अलग रखते थे। Vanast कपड़े, पहचान और गति को साथ संसाधित करता है ताकि निर्माण के दौरान वे आपस में प्रभाव डाल सकें। इससे पुराने तरीकों की असंगतियाँ और अस्थिरता घटती हैं।
डेटासेट
प्रशिक्षण में व्यक्ति की तस्वीर, उससे संबंधित कपड़े और उन्हीं कपड़ों में उसी व्यक्ति की गति का वीडियो एक-दूसरे से मेल खाते नमूनों के रूप में इस्तेमाल होते हैं। गति निकालने के लिए एक पुराने आर्किटेक्चर का उपयोग किया जाता है, जिससे फ़्रेमों में मुद्राओं का स्थिर मार्गदर्शन मिलता है।
परियोजना की ज़रूरतों के अनुरूप सार्वजनिक डेटासेट नहीं था, इसलिए अनिर्दिष्ट ऑनलाइन खरीदारी साइटों से अलग-अलग कपड़ों के वीडियो जुटाए गए। लेकिन काम के लिए उसी व्यक्ति के कई अलग-अलग पोशाकें पहने हुए वीडियो चाहिए थे, जो प्राकृतिक रूप से जुटाई गई सामग्री में दुर्लभ हैं। इसलिए सिंथेटिक डेटा बनाना ज़रूरी हुआ।
तीन चरणों की प्रक्रिया में पहले Qwen2.5-VL विज़न-लैंग्वेज मॉडल (VLM) से वीडियो के उपयुक्त फ़्रेम चुने गए। उन्हें काट-छाँटकर जाँचा गया कि व्यक्ति ढका हुआ न हो और सही स्थिति में हो। फिर संबंधित हिस्सों को अलग करने के लिए इनपेंटिंग मास्क बनाए गए। पुराने शोध PERSE की तरह यह काम पहले से परिचित डिफ्यूज़न मॉडल SDXL से किया जाता है।

Vanast प्रक्रिया का सार: व्यक्ति की छवि, लक्षित कपड़ों की छवियाँ और गति बताने वाला वीडियो एन्कोड होकर एकीकृत वीडियो डिफ्यूज़न मॉडल में संसाधित होते हैं। ऐनिमेशन पहचान सुरक्षित रखता है, मुद्राओं के क्रम का अनुसरण करता है और लक्षित कपड़े लागू करता है। सिंथेटिक त्रिक प्रशिक्षण में मदद करते हैं; दो मॉड्यूल ऐनिमेशन को कपड़ों के स्थानांतरण से अलग रखते हैं ताकि सुसंगति बनी रहे।
तीसरे चरण में Qwen फिर छवियों को लिंग के अनुसार वर्गीकृत करता है। फिर लोकप्रिय छवि डिफ्यूज़न उपकरण Flux चित्र में कपड़े बदलता है, क्योंकि वह कई इनपुट तत्व जोड़ सकता है। इनपेंटिंग के टेक्स्ट प्रॉम्प्ट ChatGPT से तैयार किए गए; संस्करण नहीं बताया गया है।
मुद्राओं और पृष्ठभूमियों की विविधता बढ़ाने के लिए HumanVid डेटासेट के वास्तविक परिस्थितियों वाले वीडियो से प्रशिक्षण त्रिक बनाने की प्रक्रिया जोड़ी गई। उसी विधि से व्यक्ति की पहचान सुरक्षित रखने वाली छवियाँ बनीं।
वीडियो में कपड़ों की अलग छवियाँ नहीं थीं, इसलिए उन्हें सीधे रिकॉर्डिंग से संश्लेषित किया गया। हर वीडियो से फ़्रेम चुने गए और Qwen ने सामने से स्पष्ट दिखने के आधार पर अंक दिए। सबसे उपयुक्त फ़्रेम पूरा शरीर दिखने, स्पष्टता, कम अवरोध, रोशनी और समग्र रचना के आधार पर चुना गया।
ऊपरी शरीर के कपड़ों का क्षेत्र SegFormer से अलग किया गया और पृष्ठभूमि हटाकर केवल कपड़ा रखा गया।
स्थिति-संबंधी पक्षपात से बचने के लिए कपड़े के क्षेत्र को उसके सीमांकन बॉक्स में बेतरतीब ढंग से खिसकाया गया। Qwen ने अविश्वसनीय विभाजन परिणामों को फिर छाँटा। इससे गति और पहचान से जुड़े सिंथेटिक कपड़ों के चित्र बने। असंरचित वीडियो से बड़े पैमाने पर त्रिक बनाना संभव हुआ और अलग-अलग वास्तविक परिस्थितियों में मजबूती बढ़ी।
आर्किटेक्चर
दो मॉड्यूल वाला आर्किटेक्चर सभी शर्तें जोड़ने वाले पुराने तरीकों में धीमे अभिसरण और कमज़ोर नियंत्रण संतुलन की समस्या दूर करने के लिए बनाया गया। यह Wan के टेक्स्ट-टू-वीडियो डिफ्यूज़न ट्रांसफ़ॉर्मर और नीचे बताए गए VACE प्रोजेक्ट का उपयोग करता है।
मॉडल में व्यक्ति ऐनिमेशन मॉड्यूल (HAM) और कपड़ा स्थानांतरण मॉड्यूल (GTM) हैं। HAM व्यक्ति और मुद्रा इनपुट से गति व पहचान सँभालता है; GTM कपड़ों की छवियों से कपड़े संसाधित करता है। दोनों साझा मूल नेटवर्क का उपयोग करते हैं और कंडीशनिंग सुधारने के लिए विशेषताओं को वितरित व क्रमिक ढंग से जोड़ते हैं।
प्रशिक्षण में मूल नेटवर्क फ़्रीज़ किया जाता है और केवल HAM तथा GTM के पैरामीटर अनुकूलित होते हैं। विशेषताओं को जोड़ते समय उनके योगदान संतुलित रखे जाते हैं। सिंथेटिक त्रिकों के इनपुट WAN के वैरिएशनल ऑटोएन्कोडर (VAE) से लेटेंट निरूपणों में बदले जाते हैं।
गति को ध्यान में रखने वाला संदर्भ समय के साथ व्यक्ति और मुद्राओं की जानकारी जोड़कर बनता है। कपड़ों की विशेषताएँ अलग संसाधित होती हैं और टोकन एम्बेडिंग में प्रक्षेपण से संरेखित की जाती हैं।
मॉडल कपड़ों के इंटरपोलेशन का भी समर्थन करता है। दो कपड़ों के निरूपण जोड़कर सहज बदलाव बनाए जाते हैं, जिससे अतिरिक्त अनुकूलन के बिना कपड़ों का सुसंगत और सहज मिश्रण संभव होता है।
डेटा और परीक्षण
मॉडल को तीन से दस सेकंड के 9,135 वीडियो पर प्रशिक्षित किया गया। वे ऊपर बताई खरीदारी साइटों, लेखकों के स्वयं बनाए डेटासेट और HumanVid से लिए गए।
मूल्यांकन के दो सेट बने: Internet, जिसमें खरीदारी साइटों के वीडियो और उत्पाद छवियाँ हैं, और Alibaba के आधिकारिक परीक्षण भाग से लिया गया ViViD डेटा। ViViD में चेहरे नहीं हैं, इसलिए Flux आउटपेंटिंग से चेहरे जोड़े गए। ऊपर का वीडियो इस प्रक्रिया का उदाहरण है, जो वर्चुअल ट्राई-ऑन शोध में बहुत आम है।
मूल्यांकन के मापदंड थे L1 लॉस; पीक सिग्नल-टू-नॉइज़ अनुपात (PSNR); संरचनात्मक समानता सूचकांक (SSIM); Learned Perceptual Image Patch Similarity (LPIPS); Fréchet Inception Distance (FID) और Fréchet Video Distance†† (FVD)।
कपड़ों के स्थानांतरण के लिए OOTDiffusion; CatVTON; OmniTry और Any2AnyTryon की जाँच की गई। किसी दिए गए विषय से छवि बनाने वाले मॉडल VisualCloze; MOSAIC और ByteDance का UNO भी जाँचे गए।
दूसरे चरण में व्यक्ति की तस्वीर को ऐनिमेट करने के लिए StableAnimator और DisPose का इस्तेमाल हुआ।
VACE का भी अधिक सीमित रूप में परीक्षण हुआ क्योंकि वह सीधे इस लक्ष्य का समर्थन नहीं करता। गायब कार्यक्षमता की भरपाई के कुछ प्रयास भी किए गए:

Internet और ViViD पर किसी दिए गए विषय से छवि बनाने वाले मॉडल तथा ऐनिमेशन मॉडल के संयोजनों की मात्रात्मक तुलना। प्रस्तावित विधि ने सभी बताए गए मापदंडों में सर्वश्रेष्ठ प्रदर्शन किया। बोल्ड मान हर स्तंभ का सबसे ऊँचा स्कोर बताते हैं।
ऊपर के शुरुआती परिणामों पर लेखक कहते हैं:
“हमारा मॉडल किसी दिए गए विषय से छवि बनाने वाले मॉडल और ऐनिमेशन मॉडल के संयोजनों से तुलना करने पर सभी मापदंडों में सर्वश्रेष्ठ प्रदर्शन करता है।”
“गुणात्मक परिणाम [नीचे] भी पुष्टि करते हैं कि हमारी विधि सबसे सटीक मुद्रा अनुसरण और कपड़ा स्थानांतरण करती है, साथ ही किसी दिए गए विषय से छवि बनाने वाली सभी तुलनात्मक विधियों से अधिक निष्ठा से व्यक्ति की पहचान सुरक्षित रखती है।”

Internet और ViViD पर किसी दिए गए विषय से छवि बनाने तथा ऐनिमेशन की तुलनात्मक विधियों के साथ गुणात्मक तुलना। लेखकों के अनुसार, प्रस्तावित विधि VisualCloze, MOSAIC, UNO और VACE से अधिक सटीक मुद्रा संरेखण व कपड़ा स्थानांतरण करती है और पहचान अधिक सुसंगत रखती है।
दूसरी परीक्षण श्रेणी में छवि-आधारित वर्चुअल ट्राई-ऑन और ऐनिमेशन मॉडल के संयोजन जाँचे गए। नए शोध ने फिर सबसे ऊँचा स्कोर पाया:

Internet और ViViD पर छवि-आधारित वर्चुअल ट्राई-ऑन तथा ऐनिमेशन मॉडल के संयोजनों की मात्रात्मक तुलना। विधि ने मापदंडों के समग्र आकलन में सर्वश्रेष्ठ प्रदर्शन किया, जबकि SSIM सबसे मज़बूत तुलनात्मक विधि के तुलनीय स्तर पर रहा। बोल्ड मान सबसे ऊँचा स्कोर दिखाते हैं।
लेखक आगे कहते हैं:
“गुणात्मक तुलनाएँ [नीचे] दिखाती हैं कि छवि-आधारित वर्चुअल ट्राई-ऑन की सभी तुलनात्मक विधियों में हमारे परिणाम वास्तविक संदर्भ छवियों से सबसे अधिक मिलते हैं।”

VTON और ऐनिमेशन मॉडल जोड़कर बनाई गई तुलनात्मक विधियों के गुणात्मक परीक्षण।
निष्कर्ष
Vanast शुरू से अंत तक काम करने वाला एकीकृत समाधान देता है। लेकिन प्रशिक्षण और इनफ़रेंस के लिए ज़रूरी संसाधनों का विवरण न होना संकेत देता है कि यह शायद सबसे हल्का या फुर्तीला समाधान न हो। काम अपने आप में अत्यंत कठिन है, यहाँ तक कि अनुकूलित न किए गए सिस्टम में भी। कम विलंब, किफ़ायती लागत और बड़े पैमाने पर निवेश प्रतिफल माँगने वाले व्यावसायिक उपयोग में यह कितना अधिक कठिन होगा?
वर्चुअल ट्राई-ऑन AI के बेहद महत्त्वाकांक्षी लक्ष्यों में से एक है। सुर्खियों और चुनिंदा परिणामों से सामने आने वाली मौजूदा तकनीक की तस्वीर वास्तविक कठिनाई छिपाती है। संभव है कि आगे आने वाली, ट्रांसफ़ॉर्मर से हल्की तकनीकें अंततः इसे हल करें।
† अमेरिका में उपलब्ध; कई अन्य क्षेत्रों में, संभवतः सभी में, भौगोलिक रूप से अवरुद्ध।
†† लेखक VFID का उल्लेख करते हैं, लेकिन केवल ViViD शोधपत्र का लिंक देते हैं। सीमित समय में मेरी जाँच के अनुसार यह शोधपत्र उस संदर्भ को उचित नहीं ठहराता। मैंने मान लिया कि उनका आशय Fréchet Video Distance (FVD) था और उनके पास भी समय कम था। ज़रूरत हो तो सुधार के लिए मुझसे संपर्क करें।
पहली बार बुधवार, 8 अप्रैल 2026 को प्रकाशित












