डीप जनरेटिव AI मॉडल के आगमन ने प्राकृतिक भाषा निर्माण, 3D निर्माण, छवि निर्माण और भाषण संश्लेषण में उल्लेखनीय क्षमताओं के साथ AI के विकास को काफी हद तक गति दी है। 3D जनरेटिव मॉडल ने कई उद्योगों और अनुप्रयोगों को बदल दिया है, जिससे वर्तमान 3D उत्पादन परिदृश्य में क्रांति आ गई है। हालाँकि, कई मौजूदा डीप जनरेटिव मॉडल एक आम बाधा का सामना करते हैं: जटिल वायरिंग और लाइटिंग टेक्सचर के साथ जेनरेट किए गए मेश अक्सर PBR (फिजिकली बेस्ड रेंडरिंग) जैसी पारंपरिक रेंडरिंग पाइपलाइनों के साथ असंगत होते हैं। डिफ्यूजन-आधारित मॉडल, जो लाइटिंग टेक्सचर के बिना 3D संपत्ति उत्पन्न करते हैं, विविध 3D संपत्ति निर्माण के लिए उल्लेखनीय क्षमता रखते हैं, जिससे फिल्म निर्माण, गेमिंग और संवर्धित/आभासी वास्तविकता जैसे उद्योगों में मौजूदा 3D फ्रेमवर्क को बढ़ाया जा सकता है।

इस लेख में, हम Paint3D पर चर्चा करेंगे, जो एक नया मोटे-से-बारीक ढाँचा है जो बिना बनावट वाले 2D मेश के लिए विविध, उच्च-रिज़ॉल्यूशन 3K UV टेक्सचर मैप बनाने में सक्षम है, जो दृश्य या पाठ्य इनपुट पर आधारित है। Paint3D द्वारा संबोधित की जाने वाली मुख्य चुनौती रोशनी की जानकारी को एम्बेड किए बिना उच्च-गुणवत्ता वाली बनावट उत्पन्न करना है, जिससे उपयोगकर्ता आधुनिक ग्राफ़िक्स पाइपलाइनों के भीतर फिर से संपादित या फिर से प्रकाशित कर सकते हैं। इस समस्या से निपटने के लिए, Paint3D ढाँचा बहु-दृश्य बनावट संलयन करने और दृश्य-सशर्त छवियाँ उत्पन्न करने के लिए एक पूर्व-प्रशिक्षित 2D प्रसार मॉडल का उपयोग करता है, जो शुरू में एक मोटे बनावट मानचित्र का उत्पादन करता है। हालाँकि, चूँकि 2D मॉडल प्रकाश प्रभावों को पूरी तरह से अक्षम नहीं कर सकते हैं या 3D आकृतियों को पूरी तरह से प्रदर्शित नहीं कर सकते हैं, इसलिए बनावट मानचित्र रोशनी की कलाकृतियाँ और अधूरे क्षेत्र प्रदर्शित कर सकता है।

इस लेख में, हम Paint3D फ्रेमवर्क का गहराई से अध्ययन करेंगे, इसके कामकाज और आर्किटेक्चर की जांच करेंगे, और अत्याधुनिक डीप जेनरेटिव फ्रेमवर्क के साथ इसकी तुलना करेंगे। तो, चलिए शुरू करते हैं।

पेंट3डी: एक परिचय

डीप जनरेटिव AI मॉडल ने प्राकृतिक भाषा निर्माण, 3D निर्माण और छवि संश्लेषण में असाधारण क्षमताओं का प्रदर्शन किया है, और वास्तविक जीवन के अनुप्रयोगों में लागू किया गया है, जिसने 3D निर्माण उद्योग में क्रांति ला दी है। हालाँकि, उनकी उल्लेखनीय क्षमताओं के बावजूद, आधुनिक डीप जनरेटिव AI फ्रेमवर्क अक्सर जटिल वायरिंग और अव्यवस्थित प्रकाश बनावट के साथ मेश का उत्पादन करते हैं जो पारंपरिक रेंडरिंग पाइपलाइनों के साथ असंगत हैं, जिसमें फिजिकली बेस्ड रेंडरिंग (PBR) शामिल है। इसी तरह, बनावट संश्लेषण तेजी से आगे बढ़ा है, खासकर 2D प्रसार मॉडल के उपयोग के साथ। ये मॉडल उच्च गुणवत्ता वाली बनावट बनाने के लिए पूर्व-प्रशिक्षित गहराई-से-छवि प्रसार मॉडल और पाठ स्थितियों का प्रभावी ढंग से उपयोग करते हैं। हालाँकि, एक महत्वपूर्ण चुनौती बनी हुई है: पूर्व-प्रबुद्ध बनावट अंतिम 3D वातावरण रेंडरिंग को प्रतिकूल रूप से प्रभावित कर सकती है, जब रोशनी को सामान्य वर्कफ़्लो के भीतर समायोजित किया जाता है, तो प्रकाश संबंधी त्रुटियाँ पेश करती हैं, जैसा कि निम्नलिखित छवि में दिखाया गया है।

जैसा कि देखा गया है, बिना प्री-इल्युमिनेशन के टेक्सचर मैप पारंपरिक रेंडरिंग पाइपलाइनों के साथ सहजता से काम करते हैं, और सटीक परिणाम देते हैं। इसके विपरीत, प्री-इल्युमिनेशन वाले टेक्सचर मैप में रीलाइटिंग लागू होने पर अनुपयुक्त छायाएँ शामिल होती हैं। 3D डेटा पर प्रशिक्षित टेक्सचर जनरेशन फ्रेमवर्क एक वैकल्पिक दृष्टिकोण प्रदान करते हैं, जो किसी विशिष्ट 3D ऑब्जेक्ट की संपूर्ण ज्यामिति को समझकर टेक्सचर उत्पन्न करते हैं। हालाँकि ये फ्रेमवर्क बेहतर परिणाम दे सकते हैं, लेकिन उनके प्रशिक्षण डेटा के बाहर 3D ऑब्जेक्ट पर मॉडल को लागू करने के लिए आवश्यक सामान्यीकरण क्षमताओं का अभाव है।

वर्तमान बनावट निर्माण मॉडल दो महत्वपूर्ण चुनौतियों का सामना करते हैं: छवि मार्गदर्शन या विविध संकेतों का उपयोग करके विभिन्न वस्तुओं में व्यापक सामान्यीकरण प्राप्त करना, और पूर्व-प्रशिक्षण परिणामों से युग्मित रोशनी को समाप्त करना। पूर्व-प्रबुद्ध बनावट रेंडरिंग इंजन के भीतर बनावट वाली वस्तुओं के अंतिम परिणामों में हस्तक्षेप कर सकती है। इसके अतिरिक्त, चूंकि पूर्व-प्रशिक्षित 2D प्रसार मॉडल केवल दृश्य डोमेन में 2D परिणाम प्रदान करते हैं, इसलिए उनमें आकृतियों की व्यापक समझ का अभाव होता है, जिससे 3D वस्तुओं के लिए दृश्य स्थिरता बनाए रखने में असंगतता होती है।

इन चुनौतियों का समाधान करने के लिए, पेंट3डी फ्रेमवर्क एक दोहरे चरण वाली बनावट विकसित करता है 3D वस्तुओं के लिए प्रसार मॉडल जो विभिन्न पूर्व-प्रशिक्षित जनरेटिव मॉडलों में सामान्यीकरण करता है और प्रकाश-मुक्त बनावट उत्पन्न करते समय दृश्य स्थिरता को संरक्षित करता है।

Paint3D एक दोहरे चरण वाला, मोटे-से-बारीक बनावट निर्माण मॉडल है जो 3D ऑब्जेक्ट्स को बनावट देने के लिए पूर्व-प्रशिक्षित जनरेटिव AI मॉडल के मजबूत प्रॉम्प्ट मार्गदर्शन और छवि निर्माण क्षमताओं का लाभ उठाता है। पहले चरण में, Paint3D एक पूर्व-प्रशिक्षित गहराई-जागरूक 2D छवि प्रसार मॉडल से बहु-दृश्य छवियों का क्रमिक रूप से नमूना लेता है, जिससे विविध प्रॉम्प्ट से उच्च-गुणवत्ता वाले, समृद्ध बनावट परिणामों के सामान्यीकरण को सक्षम किया जाता है। फिर मॉडल इन छवियों को 3D मेश सतह पर बैक-प्रोजेक्ट करके एक प्रारंभिक बनावट मानचित्र बनाता है। दूसरे चरण में, मॉडल प्रकाश प्रभावों को हटाने और आकार-जागरूक अपूर्ण क्षेत्रों को परिष्कृत करने में विशेषज्ञता वाले प्रसार मॉडल द्वारा नियोजित दृष्टिकोणों को लागू करके प्रकाश-मुक्त बनावट बनाने पर ध्यान केंद्रित करता है। पूरी प्रक्रिया के दौरान, Paint3D फ्रेमवर्क लगातार उच्च-गुणवत्ता वाले 2K बनावट को अर्थपूर्ण रूप से बनाता है, जिससे आंतरिक रोशनी के प्रभाव समाप्त हो जाते हैं।

संक्षेप में, Paint3D एक नया, मोटे-से-बारीक जनरेटिव AI मॉडल है जिसे बिना बनावट वाले 2D मेश के लिए विविध, प्रकाश-मुक्त, उच्च-रिज़ॉल्यूशन 3K UV टेक्सचर मैप बनाने के लिए डिज़ाइन किया गया है। इसका उद्देश्य टेक्स्ट और छवियों सहित विभिन्न सशर्त इनपुट के साथ 3D ऑब्जेक्ट्स को टेक्सचर करने में अत्याधुनिक प्रदर्शन प्राप्त करना है, जो संश्लेषण और ग्राफ़िक्स संपादन कार्यों के लिए महत्वपूर्ण लाभ प्रदान करता है।

कार्यप्रणाली और वास्तुकला

पेंट3डी फ्रेमवर्क, छवियों और संकेतों जैसे सशर्त इनपुट का उपयोग करके 3डी मॉडल के लिए विविध और उच्च गुणवत्ता वाली बनावट का उत्पादन करने के लिए बनावट मानचित्रों को उत्तरोत्तर उत्पन्न और परिष्कृत करता है, जैसा कि निम्नलिखित छवि में प्रदर्शित किया गया है।

चरण 1: प्रगतिशील मोटे बनावट का निर्माण

प्रारंभिक मोटे बनावट निर्माण चरण में, Paint3D पूर्व-प्रशिक्षित 2D छवि का उपयोग करता है प्रसार मॉडल मल्टी-व्यू इमेज का सैंपल लेने के लिए, जिन्हें फिर शुरुआती टेक्सचर मैप बनाने के लिए मेश सरफ़ेस पर बैक-प्रोजेक्ट किया जाता है। यह चरण विभिन्न कैमरा दृश्यों से डेप्थ मैप बनाने के साथ शुरू होता है। मॉडल डिफ्यूजन मॉडल से इमेज का सैंपल लेने के लिए डेप्थ कंडीशन का उपयोग करता है, जिन्हें फिर 3D मेश सरफ़ेस पर बैक-प्रोजेक्ट किया जाता है। यह वैकल्पिक रेंडरिंग, सैंपलिंग और बैक-प्रोजेक्शन दृष्टिकोण टेक्सचर मेश की स्थिरता को बढ़ाता है और टेक्सचर मैप को उत्तरोत्तर बनाने में सहायता करता है।

प्रक्रिया 3D मेश के दृश्यमान क्षेत्रों से शुरू होती है, जो 3D मेश को डेप्थ मैप पर रेंडर करके पहले कैमरा व्यू से टेक्सचर बनाने पर ध्यान केंद्रित करती है। फिर एक टेक्सचर इमेज को उपस्थिति और गहराई की स्थितियों के आधार पर सैंपल किया जाता है और मेश पर बैक-प्रोजेक्ट किया जाता है। इस विधि को बाद के व्यूपॉइंट के लिए दोहराया जाता है, जिसमें न केवल एक डेप्थ इमेज बल्कि बिना रंगे मास्क के साथ आंशिक रूप से रंगीन RGB इमेज को रेंडर करने के लिए पिछले टेक्सचर को शामिल किया जाता है। मॉडल बिना रंगे क्षेत्रों को भरने के लिए एक डेप्थ-अवेयर इमेज इनपेंटिंग एनकोडर का उपयोग करता है, जो 3D मेश पर इनपेंटेड इमेज को बैक-प्रोजेक्ट करके एक पूर्ण मोटे टेक्सचर मैप को बनाता है।

अधिक जटिल दृश्यों या वस्तुओं के लिए, मॉडल कई दृश्यों का उपयोग करता है। प्रारंभ में, यह सममित दृष्टिकोण से दो गहराई मानचित्रों को कैप्चर करता है और उन्हें एक गहराई ग्रिड में जोड़ता है, जो बहु-दृश्य गहराई-जागरूक बनावट नमूने के लिए एकल गहराई छवि को प्रतिस्थापित करता है।

चरण 2: यूवी अंतरिक्ष में बनावट शोधन

तार्किक मोटे बनावट मानचित्र बनाने के बावजूद, रेंडरिंग प्रक्रियाओं से बनावट छेद और 2D छवि प्रसार मॉडल से प्रकाश छाया जैसी चुनौतियाँ उत्पन्न होती हैं। इनसे निपटने के लिए, Paint3D मोटे बनावट मानचित्र के आधार पर UV स्पेस में एक प्रसार प्रक्रिया करता है, जिससे दृश्य अपील बढ़ती है और समस्याएँ हल होती हैं।

हालाँकि, UV स्पेस में टेक्सचर मैप को परिष्कृत करने से निरंतर टेक्सचर के अलग-अलग टुकड़ों में विखंडन के कारण असंततता आ सकती है। इसे कम करने के लिए, Paint3D टेक्सचर के टुकड़ों की आसन्न जानकारी का उपयोग करके टेक्सचर मैप को परिष्कृत करता है। UV स्पेस में, पोजिशन मैप टेक्सचर के टुकड़ों की 3D आसन्न जानकारी को दर्शाता है, प्रत्येक गैर-पृष्ठभूमि तत्व को 3D बिंदु निर्देशांक के रूप में मानता है। मॉडल प्रसार प्रक्रिया के दौरान इस आसन्न जानकारी को एकीकृत करने के लिए कंट्रोलनेट के समान एक अतिरिक्त पोजिशन मैप एनकोडर का उपयोग करता है।

मॉडल एक साथ सशर्त एनकोडर और अन्य एनकोडर की स्थिति का उपयोग करके UV स्पेस में परिशोधन कार्य करता है, जिससे दो क्षमताएँ मिलती हैं: UVHD (UV हाई डेफ़िनेशन) और UV इनपेंटिंग। UVHD, डिफ़्यूज़न मॉडल के साथ इमेज एन्हांसमेंट एनकोडर और पोज़िशन एनकोडर का उपयोग करके दृश्य अपील और सौंदर्य को बढ़ाता है। UV इनपेंटिंग टेक्सचर के छिद्रों को भरता है, जिससे रेंडरिंग से होने वाली सेल्फ़-ऑक्लूज़न समस्याओं से बचा जा सकता है। परिशोधन चरण UV इनपेंटिंग से शुरू होता है, उसके बाद UVHD का उपयोग करके अंतिम परिष्कृत टेक्सचर मैप तैयार किया जाता है।

इन परिशोधन विधियों को एकीकृत करके, पेंट3डी फ्रेमवर्क पूर्ण, विविध, उच्च-रिज़ॉल्यूशन और प्रकाश-मुक्त यूवी बनावट मानचित्र उत्पन्न करता है, जिससे यह 3डी ऑब्जेक्ट्स की बनावट के लिए एक मजबूत समाधान बन जाता है।

पेंट3डी: प्रयोग और परिणाम

पेंट3डी मॉडल टेक्सचर जनरेशन कार्यों में सहायता के लिए स्टेबल डिफ्यूजन टेक्स्ट2इमेज मॉडल का उपयोग करता है, जबकि इमेज एनकोडर घटक इमेज स्थितियों का प्रबंधन करता है। इमेज इनपेंटिंग, डेप्थ हैंडलिंग और हाई-डेफिनिशन इमेजरी जैसे सशर्त कार्यों पर अपने नियंत्रण को बढ़ाने के लिए, पेंट3डी फ्रेमवर्क कंट्रोलनेट डोमेन एनकोडर का उपयोग करता है। मॉडल को PyTorch फ्रेमवर्क पर लागू किया गया है, जिसमें रेंडरिंग और टेक्सचर प्रोजेक्शन काओलिन पर निष्पादित किए गए हैं।

पाठ से बनावट तुलना

Paint3D के प्रदर्शन का मूल्यांकन करने के लिए, हम टेक्स्टुअल प्रॉम्प्ट के साथ कंडीशन किए जाने पर इसके टेक्सचर जनरेशन का विश्लेषण करके शुरू करते हैं, इसकी तुलना Text2Tex, TEXTure और LatentPaint जैसे अत्याधुनिक फ्रेमवर्क से करते हैं। जैसा कि निम्नलिखित छवि में दिखाया गया है, Paint3D फ्रेमवर्क न केवल उच्च-गुणवत्ता वाले टेक्सचर विवरण उत्पन्न करने में उत्कृष्ट है, बल्कि एक रोशनी-मुक्त टेक्सचर मैप को भी प्रभावी ढंग से संश्लेषित करता है।

स्टेबल डिफ्यूजन और कंट्रोलनेट एनकोडर की मजबूत क्षमताओं का लाभ उठाकर, पेंट3डी बेहतर बनावट गुणवत्ता और बहुमुखी प्रतिभा प्रदान करता है। तुलना पेंट3डी की एम्बेडेड रोशनी के बिना विस्तृत, उच्च-रिज़ॉल्यूशन बनावट बनाने की क्षमता को उजागर करती है, जो इसे 3डी टेक्सचरिंग कार्यों के लिए एक अग्रणी समाधान बनाती है।

इसकी तुलना में, लेटेंट-पेंट फ्रेमवर्क धुंधली बनावट उत्पन्न करने के लिए प्रवृत्त होता है जिसके परिणामस्वरूप इष्टतम दृश्य प्रभाव नहीं होते हैं। दूसरी ओर, हालांकि टेक्सचर ढांचा स्पष्ट बनावट उत्पन्न करता है, लेकिन इसमें चिकनाई का अभाव है और ध्यान देने योग्य स्प्लिसिंग और सीम प्रदर्शित होता है। अंत में, Text2Tex फ्रेमवर्क उल्लेखनीय रूप से अच्छी तरह से चिकनी बनावट उत्पन्न करता है, लेकिन यह जटिल विवरण के साथ बढ़िया बनावट उत्पन्न करने के प्रदर्शन को दोहराने में विफल रहता है।  निम्नलिखित छवि मात्रात्मक रूप से पेंट3डी फ्रेमवर्क की अत्याधुनिक फ्रेमवर्क से तुलना करती है। 

जैसा कि देखा जा सकता है, पेंट3डी फ्रेमवर्क सभी मौजूदा मॉडलों से बेहतर प्रदर्शन करता है, और एफआईडी बेसलाइन में लगभग 30% सुधार और केआईडी बेसलाइन में लगभग 40% सुधार के साथ एक महत्वपूर्ण अंतर से बेहतर प्रदर्शन करता है। एफआईडी और केआईडी बेसलाइन स्कोर में सुधार विभिन्न वस्तुओं और श्रेणियों में उच्च गुणवत्ता वाले बनावट उत्पन्न करने की पेंट3डी की क्षमता को प्रदर्शित करता है। 

छवि से बनावट की तुलना

विज़ुअल प्रॉम्प्ट का उपयोग करके Paint3D की जनरेटिव क्षमताओं को उत्पन्न करने के लिए, हम बेसलाइन के रूप में TEXTure मॉडल का उपयोग करते हैं। जैसा कि पहले उल्लेख किया गया है, Paint3D मॉडल text2image मॉडल से प्राप्त इमेज एनकोडर का उपयोग करता है स्थिर प्रसारजैसा कि निम्नलिखित छवि में देखा जा सकता है, पेंट3डी फ्रेमवर्क उत्कृष्ट बनावट को उल्लेखनीय रूप से अच्छी तरह से संश्लेषित करता है, और अभी भी छवि की स्थिति के संबंध में उच्च निष्ठा बनाए रखने में सक्षम है। 

दूसरी ओर, टेक्सचर फ्रेमवर्क पेंट3डी के समान बनावट उत्पन्न करने में सक्षम है, लेकिन छवि स्थिति में बनावट विवरण को सटीक रूप से प्रस्तुत करने में यह कम पड़ जाता है। इसके अलावा, जैसा कि निम्नलिखित छवि में दिखाया गया है, पेंट3डी फ्रेमवर्क टेक्सचर फ्रेमवर्क की तुलना में बेहतर एफआईडी और केआईडी बेसलाइन स्कोर प्रदान करता है, जिसमें पहले वाला फ्रेमवर्क 40.83 से घटकर 26.86 हो गया है, जबकि बाद वाला 9.76 से घटकर 4.94 हो गया है। 

निष्कर्ष

इस लेख में, हमने पेंट3डी के बारे में बात की है, जो एक मोटे-से-महीन उपन्यास ढांचा है जो दृश्य या पाठ्य इनपुट पर वातानुकूलित बिना बनावट वाले 2डी जालों के लिए प्रकाश-रहित, विविध और उच्च-रिज़ॉल्यूशन 3K यूवी बनावट मानचित्र बनाने में सक्षम है। पेंट3डी फ्रेमवर्क का मुख्य आकर्षण यह है कि यह प्रकाश रहित उच्च-रिज़ॉल्यूशन 2K यूवी बनावट उत्पन्न करने में सक्षम है जो छवि या टेक्स्ट इनपुट पर वातानुकूलित किए बिना शब्दार्थ रूप से सुसंगत है। अपने मोटे-से-सूक्ष्म दृष्टिकोण के कारण, पेंट3डी फ्रेमवर्क प्रकाश-रहित, विविध और उच्च-रिज़ॉल्यूशन बनावट वाले मानचित्र तैयार करता है, और वर्तमान अत्याधुनिक फ्रेमवर्क की तुलना में बेहतर प्रदर्शन प्रदान करता है।