इमेज इनपेंटिंग कंप्यूटर विजन में एक क्लासिक समस्या है, और इसका उद्देश्य छवि के मास्क्ड क्षेत्रों को प्राकृतिक और यथार्थवादी सामग्री के साथ पुनर्स्थापित करना है। मौजूदा कार्य पारंपरिक इमेज इनपेंटिंग तकनीकों का उपयोग करते हैं जैसे कि जेनरेटिव एडवर्सेरियल नेटवर्क या जीएएन, और वेरिएशनल ऑटो-एनकोडर या वीएई, लेकिन अक्सर सहायक हाथ-इंजीनियर्ड सुविधाओं की आवश्यकता होती है लेकिन संतोषजनक परिणाम प्रदान नहीं करते हैं। पिछले कुछ वर्षों में, डिफ्यूजन-आधारित विधियों ने कंप्यूटर विजन समुदाय के भीतर लोकप्रियता हासिल की है क्योंकि उनकी उच्च-गुणवत्ता वाली छवि पीढ़ी क्षमताओं, आउटपुट विविधता, और बारीक-ग्रेन नियंत्रण के कारण।

डिफ्यूजन मॉडल का उपयोग करके पाठ-निर्देशित इमेज इनपेंटिंग के लिए प्रारंभिक प्रयासों में मानक शोर-मुक्ति रणनीति को संशोधित किया गया था, जिसमें मास्क्ड क्षेत्रों को एक पूर्व-प्रशिक्षित डिफ्यूजन मॉडल से नमूना लिया गया था, और अनमास्क्ड क्षेत्रों को दिए गए छवि से कॉपी-पेस्ट किया गया था। हालांकि इन विधियों ने संतोषजनक प्रदर्शन के साथ सरल इमेज इनपेंटिंग कार्यों में परिणाम दिए, लेकिन वे जटिल मास्क आकार, पाठ प्रॉम्प्ट, और छवि सामग्री के साथ संघर्ष करते थे जो एक समग्र असंगति का कारण बनते थे।

इन मॉडलों के विकास के बावजूद, इमेज इनपेंटिंग अभी भी कंप्यूटर विजन डेवलपर्स के लिए एक बड़ा चुनौती है। वर्तमान डिफ्यूजन मॉडल के अनुकूलन में सैंपलिंग रणनीति को संशोधित करना या इनपेंटिंग-विशिष्ट डिफ्यूजन मॉडल विकसित करना शामिल है, जो अक्सर कम छवि गुणवत्ता और असंगत अर्थों का कारण बनता है। इन चुनौतियों का सामना करने और इमेज इनपेंटिंग मॉडल के लिए आगे का रास्ता तैयार करने के लिए, इस लेख में, हम ब्रशनेट के बारे में बात करेंगे, एक नवाचारी प्लग और प्ले ड्यूल-ब्रांच इंजीनियर्ड फ्रेमवर्क जो किसी भी पूर्व-प्रशिक्षित डिफ्यूजन मॉडल में पिक्सेल-स्तर के मास्क्ड इमेज फीचर्स को एम्बेड करता है, जिससे संगति और इनपेंटिंग परिणाम में सुधार होता है।

यह लेख ब्रशनेट फ्रेमवर्क को गहराई से कवर करने का उद्देश्य रखता है, और हम फ्रेमवर्क की तंत्र, विधि, वास्तुकला का अन्वेषण करते हैं और इसकी राज्य-कला फ्रेमवर्क के साथ तुलना करते हैं। तो आइए शुरू करें।

ब्रशनेट: इमेज इनपेंटिंग के साथ ड्यूल-ब्रांच डिफ्यूजन

इमेज इनपेंटिंग, एक विधि जो छवि के मास्क्ड क्षेत्रों को पुनर्स्थापित करने का प्रयास करती है जबकि समग्र संगति बनाए रखती है, कंप्यूटर विजन क्षेत्र में एक लंबे समय से चली आ रही समस्या है और यह डेवलपर्स और शोधकर्ताओं के लिए एक चुनौती है। इमेज इनपेंटिंग का उपयोग इमेज संपादन, वर्चुअल ट्राई-ऑन जैसे विभिन्न कंप्यूटर विजन कार्यों में किया जाता है। हाल ही में, डिफ्यूजन मॉडल जैसे स्टेबल डिफ्यूजन और स्टेबल डिफ्यूजन 1.5 ने उच्च-गुणवत्ता वाली छवि पीढ़ी क्षमता का प्रदर्शन किया है और उपयोगकर्ताओं को सेमेंटिक और संरचनात्मक नियंत्रण की लचीलापन प्रदान करते हैं।

पारंपरिक डिफ्यूजन-आधारित पाठ-निर्देशित इनपेंटिंग फ्रेमवर्क के तरीके दो श्रेणियों में विभाजित किए जा सकते हैं: सैंपलिंग रणनीति संशोधन और समर्पित इनपेंटिंग मॉडल। सैंपलिंग रणनीति संशोधन विधि मानक शोर-मुक्ति प्रक्रिया को संशोधित करती है जिसमें मास्क्ड क्षेत्रों को एक पूर्व-प्रशिक्षित डिफ्यूजन मॉडल से नमूना लिया जाता है और अनमास्क्ड क्षेत्रों को दिए गए छवि से कॉपी-पेस्ट किया जाता है। हालांकि सैंपलिंग रणनीति संशोधन दृष्टिकोण को किसी भी डिफ्यूजन मॉडल में लागू किया जा सकता है, वे अक्सर असंगत इनपेंटिंग परिणामों का कारण बनते हैं क्योंकि वे मास्क सीमाओं और अनमास्क्ड छवि क्षेत्र संदर्भ के बारे में सीमित संवेदी ज्ञान होते हैं।

निम्नलिखित छवि में दिखाया गया है कि समर्पित इनपेंटिंग मॉडल मास्क्ड इमेज लेटेंट, शोर लेटेंट, पाठ, और मास्क को एक प्रारंभिक चरण में मिलाते हैं। समर्पित इनपेंटिंग मॉडल का वास्तुकला डिज़ाइन मास्क्ड इमेज फीचर्स को प्रभावित करता है और यू-नेट वास्तुकला के बाद के परतों को शुद्ध मास्क्ड इमेज फीचर्स प्राप्त करने से रोकता है क्योंकि पाठ प्रभाव के कारण। इसके अलावा, एक ही शाखा में पीढ़ी और स्थिति को संभालना यू-नेट वास्तुकला पर अतिरिक्त बोझ डालता है, और चूंकि इन दृष्टिकोणों को भी डिफ्यूजन बैकबोन के विभिन्न संस्करणों में फाइन-ट्यूनिंग की आवश्यकता होती है, वे अक्सर समय-साध्य होते हैं और सीमित हस्तांतरणीयता होती है।

यह प्रतीत हो सकता है कि मास्क्ड इमेज फीचर्स को निकालने के लिए एक अतिरिक्त शाखा जोड़ना उपरोक्त समस्याओं का एक पर्याप्त समाधान हो सकता है, लेकिन मौजूदा फ्रेमवर्क अक्सर सीधे इनपेंटिंग पर लागू होने पर पर्याप्त जानकारी निकालने और सम्मिलित करने में असफल होते हैं। नतीजतन, मौजूदा फ्रेमवर्क जैसे कंट्रोलनेट समर्पित इनपेंटिंग मॉडल की तुलना में असंतोषजनक परिणाम देते हैं। इस मुद्दे का सबसे प्रभावी तरीके से सामना करने के लिए, ब्रशनेट फ्रेमवर्क मूल डिफ्यूजन नेटवर्क में एक अतिरिक्त शाखा पेश करता है और इस प्रकार एक अधिक उपयुक्त वास्तुकला बनाता है इमेज इनपेंटिंग कार्यों के लिए। ब्रशनेट फ्रेमवर्क की डिज़ाइन और वास्तुकला को तीन बिंदुओं में सारांशित किया जा सकता है:

1. ब्रशनेट फ्रेमवर्क मास्क्ड इमेज को प्रोसेस करने के लिए एक वीएई एनकोडर लागू करता है, जिससे यह यू-नेट वितरण के लिए फीचर्स को अधिक प्रभावी ढंग से निकाल सकता है।
2. ब्रशनेट फ्रेमवर्क पूर्व-प्रशिक्षित यू-नेट वास्तुकला में पूरे यू-नेट फीचर लेयर को परत दर परत शामिल करता है, जो घने प्रति-पिक्सेल नियंत्रण को सक्षम बनाता है।
3. ब्रशनेट फ्रेमवर्क यू-नेट घटक से पाठ क्रॉस-एटेंशन को हटा देता है ताकि यह सुनिश्चित किया जा सके कि अतिरिक्त शाखा में केवल शुद्ध छवि जानकारी पर विचार किया जाए। इसके अलावा, ब्रशनेट मॉडल एक धुंधली मिश्रण रणनीति को लागू करने का प्रस्ताव करता है ताकि अनमास्क्ड क्षेत्रों में बेहतर संगति और नियंत्रण की एक विस्तृत श्रृंखला प्राप्त की जा सके।

ब्रशनेट: विधि और वास्तुकला

निम्नलिखित आकृति ब्रशनेट फ्रेमवर्क का एक संक्षिप्त अवलोकन प्रदान करती है:

जैसा कि देखा जा सकता है, फ्रेमवर्क मास्क्ड इमेज मार्गदर्शन सम्मिलन के लिए एक ड्यूल-ब्रांच रणनीति का उपयोग करता है और एक धुंधली मास्क के साथ मिश्रण संचालन का उपयोग करके अनमास्क्ड क्षेत्रों की बेहतर संरक्षण सुनिश्चित करता है। यह ध्यान देने योग्य है कि ब्रशनेट फ्रेमवर्क जोड़े गए स्केल को समायोजित करने में सक्षम है और लचीले नियंत्रण को प्राप्त करता है। एक दिए गए मास्क्ड इमेज इनपुट और मास्क के लिए, ब्रशनेट मॉडल एक इनपेंटेड इमेज आउटपुट देता है। मॉडल पहले मास्क को लेटेंट के आकार के अनुसार डाउनसैंपल करता है, और मास्क्ड इमेज को वीएई एनकोडर के इनपुट के रूप में उपयोग किया जाता है ताकि लेटेंट स्पेस के वितरण को संरेखित किया जा सके।

मास्क्ड इमेज मार्गदर्शन

ब्रशनेट फ्रेमवर्क एक अतिरिक्त शाखा का उपयोग करके पूर्व-प्रशिक्षित डिफ्यूजन नेटवर्क में मास्क्ड इमेज फीचर्स को सम्मिलित करता है, जो मास्क्ड इमेज फीचर्स को निकालने की प्रक्रिया को छवि पीढ़ी की प्रक्रिया से स्पष्ट रूप से अलग करता है। इनपुट मास्क्ड इमेज लेटेंट, शोर लेटेंट, और डाउनसैंपल्ड मास्क को जोड़कर बनाया जाता है। विशेष रूप से, शोर लेटेंट वर्तमान पीढ़ी प्रक्रिया के दौरान छवि पीढ़ी के लिए जानकारी प्रदान करता है और मास्क्ड इमेज फीचर्स की सेमेंटिक संगति को बढ़ाने में मदद करता है। ब्रशनेट फ्रेमवर्क मास्क्ड इमेज लेटेंट को मास्क्ड इमेज से एक वेरिएशनल ऑटो-एनकोडर का उपयोग करके निकालता है। इसके अलावा, फ्रेमवर्क मास्क को लेटेंट आकार के साथ संरेखित करने के लिए घनत्व अंतर्पोलेशन का उपयोग करता है।

मिश्रण संचालन

जैसा कि पहले उल्लेख किया गया है, लेटेंट स्पेस में मिश्रण संचालन करने से अक्सर त्रुटियां होती हैं, और ब्रशनेट फ्रेमवर्क भी लेटेंट स्पेस के आकार के साथ मास्क को समायोजित करने के दौरान इसी समस्या का सामना करता है। इसके अलावा, यह ध्यान देने योग्य है कि वेरिएशनल ऑटो-एनकोडर में एनकोडिंग और डीकोडिंग संचालन सीमित होते हैं और पूरी छवि पुनर्निर्माण की गारंटी नहीं देते हैं। अनमास्क्ड क्षेत्रों की एक पूरी तरह से सुसंगत छवि को पुनर्निर्माण सुनिश्चित करने के लिए, मौजूदा कार्यों ने विभिन्न तकनीकों को लागू किया है, जैसे कि मूल छवि से अनमास्क्ड क्षेत्रों की प्रतिलिपि बनाना। हालांकि यह दृष्टिकोण काम करता है, यह अक्सर परिणामी छवि पीढ़ी में सेमेंटिक संगति की कमी का कारण बनता है।

लचीला नियंत्रण

ब्रशनेट फ्रेमवर्क की वास्तुकला डिज़ाइन इसे विभिन्न पूर्व-प्रशिक्षित डिफ्यूजन मॉडल के साथ प्लग और प्ले एकीकरण के लिए उपयुक्त बनाती है और लचीले संरक्षण स्केल को सक्षम बनाती है। चूंकि ब्रशनेट फ्रेमवर्क पूर्व-प्रशिक्षित डिफ्यूजन मॉडल के वजन को नहीं बदलता है, डेवलपर्स के पास एक फाइन-ट्यून्ड डिफ्यूजन मॉडल के साथ इसे एक प्लग और प्ले घटक के रूप में एकीकृत करने की लचीलापन होती है, जो पूर्व-प्रशिक्षित मॉडल के साथ प्रयोग और अपनाने को आसान बनाता है। इसके अलावा, डेवलपर्स के पास ब्रशनेट फ्रेमवर्क के विशेषताओं को फ्रोजन डिफ्यूजन मॉडल में एक दिए गए वजन के साथ शामिल करके अनमास्क्ड क्षेत्रों के संरक्षण स्केल को नियंत्रित करने का विकल्प होता है, जो डेवलपर्स को वांछित स्तर के संरक्षण को समायोजित करने की अनुमति देता है।

ब्रशनेट: कार्यान्वयन और परिणाम

ब्रशनेट फ्रेमवर्क के परिणामों का विश्लेषण करने के लिए, ब्रशबेंच नामक एक सेगमेंटेशन-आधारित इमेज इनपेंटिंग डेटासेट का प्रस्ताव किया जाता है, जिसमें 600 से अधिक छवियां होती हैं, प्रत्येक छवि मानव-संकेतित मास्क और कैप्शन एनोटेशन के साथ आती है। डेटासेट में छवियां प्राकृतिक और कृत्रिम छवियों के बीच समान रूप से वितरित की जाती हैं और विभिन्न श्रेणियों में भी समान रूप से वितरित की जाती हैं, जो विभिन्न श्रेणियों में एक निष्पक्ष मूल्यांकन की अनुमति देता है। ब्रशनेट फ्रेमवर्क डेटासेट को दो भागों में विभाजित करता है: सेगमेंटेशन-आधारित और ब्रश मास्क।

मात्रात्मक तुलना

निम्नलिखित तालिका ब्रशनेट फ्रेमवर्क की तुलना ब्रशबेंच डेटासेट पर स्थिर डिफ्यूजन के रूप में आधार मॉडल के साथ मौजूदा डिफ्यूजन-आधारित इमेज इनपेंटिंग मॉडल से करती है:

जैसा कि देखा जा सकता है, ब्रशनेट फ्रेमवर्क मास्क्ड क्षेत्र संरक्षण, पाठ संरेखण, और छवि गुणवत्ता में उल्लेखनीय क्षमता प्रदर्शित करता है। इसके अलावा, मॉडल जैसे स्टेबल डिफ्यूजन इनपेंटिंग, एचडी-पेंटर, पावरपेंट, और अन्य ने इमेज इनपेंटिंग कार्यों में मजबूत प्रदर्शन दिखाया है, लेकिन वे बाहरी इनपेंटिंग कार्यों में पाठ संरेखण और छवि गुणवत्ता में अपने प्रदर्शन को दोहराने में विफल रहते हैं। समग्र रूप से, ब्रशनेट फ्रेमवर्क सबसे मजबूत परिणाम देता है।

इसके अलावा, निम्नलिखित तालिका ब्रशनेट फ्रेमवर्क की तुलना एडिटबेंच डेटासेट पर मौजूदा डिफ्यूजन-आधारित इमेज इनपेंटिंग मॉडल से करती है, और प्रदर्शन ब्रशबेंच डेटासेट पर देखे गए प्रदर्शन के समान है। परिणाम यह दर्शाते हैं कि ब्रशनेट फ्रेमवर्क विभिन्न प्रकार की इमेज इनपेंटिंग कार्यों में मजबूत प्रदर्शन प्रदान करता है, जिसमें विभिन्न प्रकार के मास्क शामिल हैं।

गुणात्मक तुलना

निम्नलिखित आकृति में ब्रशनेट फ्रेमवर्क की गुणात्मक तुलना मौजूदा इमेज इनपेंटिंग विधियों के साथ की जाती है, जिसमें कृत्रिम बुद्धिमत्ता और प्राकृतिक छवियों पर विभिन्न इनपेंटिंग कार्यों के परिणाम शामिल हैं:

जैसा कि देखा जा सकता है, ब्रशनेट फ्रेमवर्क अनमास्क्ड क्षेत्रों की संगति और सुसंगत क्षेत्रों में उल्लेखनीय परिणाम प्रदान करता है, और यह पृष्ठभूमि जानकारी के बारे में जागरूकता को सफलतापूर्वक महसूस करता है। इसके अलावा, पूर्व-प्रशिक्षित डिफ्यूजन मॉडल की अविचलित शाखा विभिन्न डेटा डोमेन जैसे कि एनीमे और पेंटिंग को बेहतर ढंग से कवर करने में मदद करती है, जो विभिन्न परिदृश्यों में बेहतर प्रदर्शन का कारण बनती है।

अंतिम विचार

इस लेख में, हमने ब्रशनेट के बारे में बात की है, एक नवाचारी प्लग और प्ले ड्यूल-ब्रांच इंजीनियर्ड फ्रेमवर्क जो किसी भी पूर्व-प्रशिक्षित डिफ्यूजन मॉडल में पिक्सेल-स्तर के मास्क्ड इमेज फीचर्स को एम्बेड करता है, जिससे संगति और इनपेंटिंग परिणाम में सुधार होता है। ब्रशनेट फ्रेमवर्क एक नए दृष्टिकोण को प्रस्तुत करता है जिसमें छवि फीचर्स और शोर लेटेंट को अलग-अलग शाखाओं में विभाजित किया जाता है, जो मॉडल के लिए सीखने के बोझ को कम करता है और मास्क्ड इमेज जानकारी को एक हाइरार्किकल तरीके से शामिल करने में मदद करता है। इसके अलावा, हम ब्रशबेंच और ब्रशडेटा के बारे में भी बात करेंगे जो सेगमेंटेशन-आधारित प्रदर्शन मूल्यांकन और इमेज इनपेंटिंग प्रशिक्षण को सुविधाजनक बनाते हैं।