एचडी-पेंटर: डिफ्यूजन मॉडल के साथ हाई रेजोल्यूशन टेक्स्ट-गाइडेड इमेज इनपेंटिंग

प्रसार मॉडल निस्संदेह एआई और एमएल उद्योग में क्रांति ला दी है, वास्तविक समय में उनके अनुप्रयोग हमारे रोजमर्रा के जीवन का अभिन्न अंग बन गए हैं। टेक्स्ट-टू-इमेज मॉडल ने अपनी उल्लेखनीय क्षमताओं का प्रदर्शन करने के बाद, प्रसार-आधारित छवि हेरफेर तकनीक, जैसे कि नियंत्रणीय पीढ़ी, विशेष और वैयक्तिकृत छवि संश्लेषण, ऑब्जेक्ट-स्तरीय छवि संपादन, त्वरित-वातानुकूलित विविधताएं और संपादन, गर्म शोध विषयों के रूप में उभरे। कंप्यूटर विज़न उद्योग में उनके अनुप्रयोगों के लिए।

हालाँकि, उनकी प्रभावशाली क्षमताओं और असाधारण परिणामों के बावजूद, टेक्स्ट-टू-इमेज फ्रेमवर्क, विशेष रूप से टेक्स्ट-टू-इमेज इनपेंटिंग फ्रेमवर्क में अभी भी विकास के संभावित क्षेत्र हैं। इनमें वैश्विक दृश्यों को समझने की क्षमता शामिल है, खासकर जब उच्च प्रसार टाइमस्टेप में छवि को दर्शाया जाता है। इस मुद्दे को संबोधित करते हुए, शोधकर्ताओं ने एचडी-पेंटर पेश किया, जो एक पूरी तरह से प्रशिक्षण-मुक्त ढांचा है जो पेंटिंग में उच्च-रिज़ॉल्यूशन वाली छवि के त्वरित निर्देशों और पैमानों का सटीक रूप से पालन करता है। एचडी-पेंटर फ्रेमवर्क एक प्रॉम्प्ट अवेयर इंट्रोवर्टेड अटेंशन (PAIntA) परत को नियोजित करता है, जो आत्म-ध्यान स्कोर को बढ़ाने के लिए त्वरित जानकारी का लाभ उठाता है, जिसके परिणामस्वरूप बेहतर पाठ संरेखण पीढ़ी होती है।

प्रॉम्प्ट की सुसंगतता को और बेहतर बनाने के लिए, एचडी-पेंटर मॉडल एक रीवेटिंग अटेंशन स्कोर गाइडेंस (आरएएसजी) दृष्टिकोण पेश करता है। यह दृष्टिकोण पोस्ट-हॉक नमूनाकरण रणनीति को डीडीआईएम घटक के सामान्य रूप में एकीकृत करता है, जिससे वितरण से बाहर के अव्यक्त बदलावों को रोका जा सकता है। इसके अतिरिक्त, एचडी-पेंटर फ्रेमवर्क में इनपेंटिंग के लिए अनुकूलित एक विशेष सुपर-रिज़ॉल्यूशन तकनीक है, जो इसे बड़े पैमाने पर विस्तारित करने और 2K तक रिज़ॉल्यूशन के साथ छवि में लापता क्षेत्रों को पूरा करने की अनुमति देती है।

एचडी-पेंटर: टेक्स्ट-गाइडेड इमेज इनपेंटिंग

टेक्स्ट-टू-इमेज प्रसार मॉडल वास्तव में हाल के महीनों में एआई और एमएल उद्योग में एक महत्वपूर्ण विषय रहा है, जिसमें मॉडल विभिन्न व्यावहारिक अनुप्रयोगों में प्रभावशाली वास्तविक समय क्षमताओं का प्रदर्शन करते हैं। DALL-E, Imagen और स्टेबल डिफ्यूजन जैसे पूर्व-प्रशिक्षित टेक्स्ट-टू-इमेज जेनरेशन मॉडल ने बैकवर्ड डिफ्यूजन प्रक्रिया के दौरान डिनोइज्ड (उत्पन्न) अज्ञात क्षेत्रों को विसरित ज्ञात क्षेत्रों के साथ विलय करके छवि पूर्णता के लिए अपनी उपयुक्तता दिखाई है। दृष्टिगत रूप से आकर्षक और अच्छी तरह से सामंजस्यपूर्ण आउटपुट देने के बावजूद, मौजूदा मॉडल वैश्विक परिदृश्य को समझने के लिए संघर्ष करते हैं, विशेष रूप से उच्च प्रसार टाइमस्टेप डीनोइज़िंग प्रक्रिया के तहत। अतिरिक्त संदर्भ जानकारी को शामिल करने के लिए पूर्व-प्रशिक्षित टेक्स्ट-टू-इमेज प्रसार मॉडल को संशोधित करके, उन्हें टेक्स्ट-निर्देशित छवि पूर्णता के लिए ठीक किया जा सकता है।

इसके अलावा, प्रसार मॉडल के भीतर, पाठ-निर्देशित इनपेंटिंग और पाठ-निर्देशित छवि पूर्णता शोधकर्ताओं के लिए रुचि के प्रमुख क्षेत्र हैं। यह रुचि इस तथ्य से प्रेरित है कि पाठ-निर्देशित इनपेंटिंग मॉडल पाठ्य संकेतों के आधार पर इनपुट छवि के विशिष्ट क्षेत्रों में सामग्री उत्पन्न कर सकते हैं, जिससे संभावित अनुप्रयोगों जैसे कि विशिष्ट छवि क्षेत्रों को सुधारना, रंगों या कपड़ों जैसी विषय विशेषताओं को संशोधित करना और जोड़ना शामिल है। वस्तुओं का प्रतिस्थापन. संक्षेप में, टेक्स्ट-टू-इमेज प्रसार मॉडल ने हाल ही में अपनी असाधारण यथार्थवादी और दृश्यमान आकर्षक पीढ़ी क्षमताओं के कारण अभूतपूर्व सफलता हासिल की है।

हालाँकि, अधिकांश मौजूदा ढाँचे दो परिदृश्यों में त्वरित उपेक्षा प्रदर्शित करते हैं। पहला है पृष्ठभूमि प्रभुत्व जब मॉडल पृष्ठभूमि में संकेत को अनदेखा करके अज्ञात क्षेत्र को पूरा करता है जबकि दूसरा परिदृश्य है निकटवर्ती वस्तु प्रभुत्व जब मॉडल इनपुट प्रॉम्प्ट के बजाय दृश्य संदर्भ संभावना का उपयोग करके ज्ञात क्षेत्र की वस्तुओं को अज्ञात क्षेत्र में प्रसारित करता है। ऐसी संभावना है कि ये दोनों मुद्दे वेनिला इनपेंटिंग डिफ्यूजन की पाठ्य संकेत की सटीक व्याख्या करने या ज्ञात क्षेत्र से प्राप्त प्रासंगिक जानकारी के साथ मिश्रण करने की क्षमता का परिणाम हो सकते हैं। 

इन बाधाओं से निपटने के लिए, एचडी-पेंटर फ्रेमवर्क ने प्रॉम्प्ट अवेयर इंट्रोवर्टेड अटेंशन या PAIntA परत की शुरुआत की है, जो स्व-ध्यान स्कोर को बढ़ाने के लिए त्वरित जानकारी का उपयोग करता है जिसके परिणामस्वरूप अंततः बेहतर पाठ संरेखण पीढ़ी होती है। PAIntA को बढ़ाने के लिए दी गई पाठ्य कंडीशनिंग का उपयोग करता है आत्म ध्यान स्कोर का उद्देश्य छवि क्षेत्र से गैर-प्रॉम्प्ट प्रासंगिक जानकारी के प्रभाव को कम करना है, साथ ही प्रॉम्प्ट के साथ संरेखित ज्ञात पिक्सेल के योगदान को बढ़ाना है। उत्पन्न परिणामों के पाठ-संरेखण को और बढ़ाने के लिए, एचडी-पेंटर फ्रेमवर्क एक पोस्ट-हॉक मार्गदर्शन पद्धति लागू करता है जो क्रॉस-अटेंशन स्कोर का लाभ उठाता है। हालाँकि, वैनिला पोस्ट-हॉक मार्गदर्शन तंत्र के कार्यान्वयन से प्रसार समीकरण में अतिरिक्त ग्रेडिएंट शब्द के परिणामस्वरूप वितरण में बदलाव हो सकता है। वितरण में बदलाव से अंततः उत्पन्न आउटपुट की गुणवत्ता में गिरावट आएगी। इस बाधा से निपटने के लिए, एचडी-पेंटर फ्रेमवर्क रीवेटिंग अटेंशन स्कोर गाइडेंस या आरएएसजी को लागू करता है, एक ऐसी विधि जो पोस्ट-हॉक सैंपलिंग रणनीति को डीडीआईएम घटक के सामान्य रूप में सहजता से एकीकृत करती है। यह फ्रेमवर्क को नमूने को शीघ्र-संरेखित अव्यक्तों की ओर निर्देशित करके और उन्हें उनके प्रशिक्षित डोमेन में शामिल करके दृश्यमान रूप से प्रशंसनीय इनपेंटिंग परिणाम उत्पन्न करने की अनुमति देता है।

अपने आर्किटेक्चर में RASH और PAIntA दोनों घटकों को तैनात करके, HD-पेंटर फ्रेमवर्क मौजूदा अत्याधुनिक, इनपेंटिंग और टेक्स्ट से लेकर छवि प्रसार मॉडल सहित मौजूदा पर एक महत्वपूर्ण लाभ रखता है क्योंकि यह त्वरित उपेक्षा के मौजूदा मुद्दे को हल करने का प्रबंधन करता है। इसके अलावा, RASH और PAIntA दोनों घटक प्लग एंड प्ले कार्यक्षमता प्रदान करते हैं, जिससे वे ऊपर उल्लिखित चुनौतियों से निपटने के लिए डिफ्यूजन बेस इनपेंटिंग मॉडल के साथ संगत हो सकते हैं। इसके अलावा, समय-पुनरावृत्त सम्मिश्रण तकनीक को लागू करके और क्षमताओं का लाभ उठाकर उच्च-रिज़ॉल्यूशन प्रसार मॉडल, एचडी-पेंटर पाइपलाइन 2K रिज़ॉल्यूशन तक की इनपेंटिंग के लिए प्रभावी ढंग से काम कर सकती है। 

संक्षेप में, एचडी-पेंटर का लक्ष्य क्षेत्र में निम्नलिखित योगदान देना है:

1. इसका उद्देश्य अपने आर्किटेक्चर में प्रॉम्प्ट अवेयर इंट्रोवर्टेड अटेंशन या PAIntA लेयर को लागू करके टेक्स्ट-निर्देशित छवि इनपेंटिंग फ्रेमवर्क द्वारा अनुभव की गई पृष्ठभूमि और आस-पास की वस्तु प्रभुत्व की त्वरित उपेक्षा के मुद्दे को हल करना है। 
2. इसका लक्ष्य अपने आर्किटेक्चर में रीवेटिंग अटेंशन स्कोर गाइडेंस या आरएएसजी परत को लागू करके आउटपुट के टेक्स्ट-संरेखण में सुधार करना है जो एचडी-पेंटर फ्रेमवर्क को शिफ्ट वितरण को रोकने के दौरान पोस्ट-हॉक निर्देशित नमूनाकरण करने में सक्षम बनाता है। 
3. एक प्रभावी प्रशिक्षण-मुक्त टेक्स्ट-निर्देशित छवि पूर्णता पाइपलाइन को डिजाइन करना जो मौजूदा अत्याधुनिक ढांचे से बेहतर प्रदर्शन करने में सक्षम है, और 2K रिज़ॉल्यूशन तक टेक्स्ट-निर्देशित छवि इनपेंटिंग करने के लिए सरल लेकिन प्रभावी इनपेंटिंग-विशेष सुपर-रिज़ॉल्यूशन ढांचे का उपयोग करना। 

एचडी-पेंटर: विधि और वास्तुकला

इससे पहले कि हम वास्तुकला पर नज़र डालें, एचडी-पेंटर ढांचे की नींव बनाने वाली तीन मूलभूत अवधारणाओं को समझना महत्वपूर्ण है: इमेज इनपेंटिंग, डिफ्यूजन फ्रेमवर्क में पोस्ट-हॉक मार्गदर्शन, और विशिष्ट वास्तुशिल्प ब्लॉकों की इनपेंटिंग। 

इमेज इनपेंटिंग एक ऐसा दृष्टिकोण है जिसका उद्देश्य उत्पन्न छवि की दृश्य अपील सुनिश्चित करते हुए छवि के भीतर गायब क्षेत्रों को भरना है। पारंपरिक गहन शिक्षण ढाँचे ने उन तरीकों को लागू किया जो गहरी विशेषताओं को प्रचारित करने के लिए ज्ञात क्षेत्रों का उपयोग करते थे। हालाँकि, प्रसार मॉडल की शुरूआत के परिणामस्वरूप इनपेंटिंग मॉडल का विकास हुआ है, विशेष रूप से पेंटिंग फ्रेमवर्क में पाठ-निर्देशित छवि। परंपरागत रूप से, छवि प्रसार मॉडल के लिए एक पूर्व-प्रशिक्षित पाठ नमूनाकरण प्रक्रिया के दौरान ज्ञात क्षेत्र के शोर संस्करण का उपयोग करके अव्यक्त के उजागर क्षेत्र को प्रतिस्थापित करता है। हालाँकि यह दृष्टिकोण एक हद तक काम करता है, लेकिन यह उत्पन्न आउटपुट की गुणवत्ता को काफी हद तक कम कर देता है क्योंकि डीनोइज़िंग नेटवर्क केवल ज्ञात क्षेत्र का शोर संस्करण देखता है। इस बाधा से निपटने के लिए, कुछ दृष्टिकोणों का उद्देश्य टेक्स्ट-निर्देशित छवि इनपेंटिंग को प्राप्त करने के लिए छवि मॉडल में पूर्व-प्रशिक्षित टेक्स्ट को ठीक करना है। इस दृष्टिकोण को कार्यान्वित करके, फ्रेमवर्क कॉन्सटेनेशन के माध्यम से एक यादृच्छिक मुखौटा उत्पन्न करने में सक्षम है क्योंकि मॉडल अनमास्क क्षेत्र पर डीनोइज़िंग फ्रेमवर्क को कंडीशन करने में सक्षम है। 

आगे बढ़ते हुए, पारंपरिक गहन शिक्षण मॉडल ने कुशल इनपेंटिंग के लिए विशेष डिजाइन परतों को लागू किया, जिसमें कुछ रूपरेखाएं प्रभावी ढंग से जानकारी निकालने और छवि के ज्ञात क्षेत्रों से निपटने के लिए विशेष कनवल्शन परतों को पेश करके दृश्यमान आकर्षक छवियों का उत्पादन करने में सक्षम थीं। कुछ रूपरेखाओं ने उच्च गुणवत्ता वाली इनपेंटिंग के लिए स्वयं के ध्यान की अवांछित भारी कम्प्यूटेशनल आवश्यकताओं को कम करने के लिए अपने आर्किटेक्चर में एक प्रासंगिक ध्यान परत भी जोड़ी है। 

अंत में, पोस्ट-हॉक मार्गदर्शन विधियां पिछड़े प्रसार नमूनाकरण विधियां हैं जो किसी विशेष फ़ंक्शन न्यूनीकरण उद्देश्य के लिए अगले चरण की अव्यक्त भविष्यवाणी का मार्गदर्शन करती हैं। जब विशेष रूप से अतिरिक्त बाधाओं की उपस्थिति में दृश्य सामग्री तैयार करने की बात आती है तो पोस्ट-हॉक मार्गदर्शन विधियां बहुत मददगार होती हैं। हालाँकि, पोस्ट-हॉक मार्गदर्शन विधियों में एक बड़ी खामी है: उन्हें छवि गुणवत्ता में गिरावट के लिए जाना जाता है क्योंकि वे अव्यक्त पीढ़ी प्रक्रिया को एक क्रमिक अवधि द्वारा स्थानांतरित करते हैं। 

एचडी-पेंटर के आर्किटेक्चर की बात करें तो, फ्रेमवर्क पहले टेक्स्ट-निर्देशित छवि पूर्णता समस्या तैयार करता है, और फिर दो प्रसार मॉडल पेश करता है, अर्थात् स्टेबल इनपेंटिंग और स्थिर प्रसार. एचडी-पेंटर मॉडल फिर पेंटा और आरएएसजी ब्लॉक पेश करता है, और अंत में हम इनपेंटिंग-विशिष्ट सुपर रिज़ॉल्यूशन तकनीक पर पहुंचते हैं। 

स्थिर प्रसार और स्थिर इनपेंटिंग

स्थिर प्रसार एक प्रसार मॉडल है जो एक ऑटोएन्कोडर के अव्यक्त स्थान के भीतर संचालित होता है। पाठ से छवि संश्लेषण के लिए, स्थिर प्रसार ढांचा प्रक्रिया का मार्गदर्शन करने के लिए एक पाठ्य संकेत लागू करता है। मार्गदर्शक फ़ंक्शन की संरचना यूनेट आर्किटेक्चर के समान होती है, और क्रॉस-अटेंशन परतें इसे पाठ्य संकेतों पर कंडीशन करती हैं। इसके अलावा, स्टेबल डिफ्यूजन मॉडल कुछ संशोधनों और फाइन-ट्यूनिंग के साथ इमेज इनपेंटिंग कर सकता है। ऐसा प्राप्त करने के लिए, एनकोडर द्वारा उत्पन्न नकाबपोश छवि की विशेषताओं को डाउनस्केल्ड बाइनरी मास्क के साथ अव्यक्त में संयोजित किया जाता है। परिणामी टेंसर को अनुमानित शोर प्राप्त करने के लिए यूनेट आर्किटेक्चर में इनपुट किया जाता है। इसके बाद फ्रेमवर्क नए जोड़े गए कनवल्शनल फिल्टर को शून्य के साथ आरंभ करता है, जबकि यूनेट के शेष को स्थिर प्रसार मॉडल से पूर्व-प्रशिक्षित चौकियों का उपयोग करके आरंभ किया जाता है। 

उपरोक्त चित्र दो चरणों वाले एचडी-पेंटर ढांचे का अवलोकन दर्शाता है। पहले चरण में, एचडी-पेंटर फ्रेमवर्क टेक्स्ट-निर्देशित छवि पेंटिंग को लागू करता है जबकि दूसरे चरण में, मॉडल आउटपुट के विशिष्ट सुपर-रिज़ॉल्यूशन को चित्रित करता है। मिशन क्षेत्रों को भरने और इनपुट प्रॉम्प्ट के अनुरूप बने रहने के लिए, मॉडल एक पूर्व-प्रशिक्षित इनपेंटिंग प्रसार मॉडल लेता है, स्व-ध्यान परतों को PAIntA परतों से बदल देता है, और एक पिछड़े प्रसार प्रक्रिया को करने के लिए RASG तंत्र को लागू करता है। इसके बाद मॉडल अंतिम अनुमानित अव्यक्त को डिकोड करता है जिसके परिणामस्वरूप एक चित्रित छवि बनती है। एचडी-पेंटर फिर मूल आकार की छवि को इनपेंट करने के लिए सुपर स्टेबल डिफ्यूजन मॉडल को लागू करता है, और कम रिज़ॉल्यूशन इनपुट छवि पर वातानुकूलित स्टेबल डिफ्यूजन फ्रेमवर्क की डिफ्यूजन बैकवर्ड प्रक्रिया को लागू करता है। मॉडल ज्ञात क्षेत्र में प्रत्येक चरण के बाद मूल छवि के एन्कोडिंग के साथ मूल्यांकित भविष्यवाणियों को मिश्रित करता है और अगले अव्यक्त को प्राप्त करता है। अंत में, मॉडल अव्यक्त को डीकोड करता है और किनारे की कलाकृतियों से बचने के लिए पॉइसन मिश्रण को लागू करता है। 

प्रॉम्प्ट अवेयर इंट्रोवर्टेड अटेंशन या PAIntA

स्टेबल इनपेंटिंग जैसे मौजूदा इनपेंटिंग मॉडल इनपेंटिंग क्षेत्र के आसपास के दृश्य संदर्भ पर अधिक भरोसा करते हैं और इनपुट उपयोगकर्ता संकेतों को अनदेखा करते हैं। उपयोगकर्ता अनुभव के आधार पर, इस मुद्दे को दो वर्गों में वर्गीकृत किया जा सकता है: निकटवर्ती वस्तु प्रभुत्व और पृष्ठभूमि प्रभुत्व। इनपुट संकेतों पर दृश्य संदर्भ प्रभुत्व का मुद्दा आत्म-ध्यान परतों की एकमात्र-स्थानिक और शीघ्र-मुक्त प्रकृति का परिणाम हो सकता है। इस समस्या से निपटने के लिए, एचडी-पेंटर फ्रेमवर्क ने प्रॉम्प्ट अवेयर इंट्रोवर्टेड अटेंशन या PAIntA की शुरुआत की है जो अज्ञात क्षेत्र में स्व-ध्यान परतों के आउटपुट को नियंत्रित करने के लिए क्रॉस-अटेंशन मैट्रिसेस और एक इनपेंटिंग मास्क का उपयोग करता है। 

प्रॉम्प्ट अवेयर इंट्रोवर्टेड अटेंशन घटक पहले समानता मैट्रिक्स के साथ कुंजी, मान और क्वेरी प्राप्त करने के लिए प्रक्षेपण परतों को लागू करता है। फिर मॉडल अज्ञात क्षेत्र पर ज्ञात क्षेत्र के मजबूत प्रभाव को कम करने के लिए ज्ञात पिक्सल के ध्यान स्कोर को समायोजित करता है, और पाठ्य संकेत का लाभ उठाकर एक नई समानता मैट्रिक्स को परिभाषित करता है। 

रिवेटिंग अटेंशन स्कोर गाइडेंस या आरएएसजी

एचडी-पेंटर फ्रेमवर्क पाठ्य संकेतों के साथ पीढ़ी संरेखण को और भी अधिक बढ़ाने के लिए पोस्ट-हॉक सैंपलिंग मार्गदर्शन पद्धति को अपनाता है। एक वस्तुनिष्ठ कार्य के साथ, पोस्ट-हॉक नमूना मार्गदर्शन दृष्टिकोण का उद्देश्य क्रॉस-ध्यान परतों के खुले-शब्दावली विभाजन गुणों का लाभ उठाना है। हालाँकि, वैनिला पोस्ट-हॉक मार्गदर्शन के इस दृष्टिकोण में प्रसार अव्यक्त के डोमेन को स्थानांतरित करने की क्षमता है जो उत्पन्न छवि की गुणवत्ता को ख़राब कर सकता है। इस समस्या से निपटने के लिए, एचडी-पेंटर मॉडल रीवेटिंग अटेंशन स्कोर गाइडेंस या आरएएसजी तंत्र को लागू करता है जो एक ग्रेडिएंट रीवेटिंग तंत्र का परिचय देता है जिसके परिणामस्वरूप अव्यक्त डोमेन संरक्षण होता है। 

एचडी-पेंटर: प्रयोग और परिणाम

इसके प्रदर्शन का विश्लेषण करने के लिए, एचडी-पेंटर फ्रेमवर्क की तुलना स्टेबल इनपेंटिंग, ग्लाइड और बीएलडी या ब्लेंडेड लेटेंट डिफ्यूजन सहित 10000 से अधिक यादृच्छिक नमूनों सहित अत्याधुनिक मॉडलों से की जाती है, जहां प्रॉम्प्ट को चयनित इंस्टेंस मास्क के लेबल के रूप में चुना जाता है। 

जैसा कि देखा जा सकता है, एचडी-पेंटर फ्रेमवर्क तीन अलग-अलग मेट्रिक्स पर मौजूदा फ्रेमवर्क से बेहतर प्रदर्शन करता है, विशेष रूप से सीएलआईपी मेट्रिक पर 1.5 अंकों का सुधार और अन्य अत्याधुनिक तरीकों से उत्पन्न सटीकता स्कोर में लगभग 10% का अंतर। . 

आगे बढ़ते हुए, निम्नलिखित आंकड़ा अन्य इनपेंटिंग फ्रेमवर्क के साथ एचडी-पेंटर ढांचे की गुणात्मक तुलना को दर्शाता है। जैसा कि देखा जा सकता है, अन्य बेसलाइन मॉडल या तो संकेतों की उपेक्षा करते हुए ज्ञात क्षेत्र की वस्तुओं की निरंतरता के रूप में छवि में लापता क्षेत्रों का पुनर्निर्माण करते हैं या वे एक पृष्ठभूमि उत्पन्न करते हैं। दूसरी ओर, एचडी-पेंटर फ्रेमवर्क अपने आर्किटेक्चर में PAIntA और RASG घटकों के कार्यान्वयन के कारण लक्ष्य वस्तुओं को सफलतापूर्वक उत्पन्न करने में सक्षम है। 

निष्कर्ष

इस लेख में, हमने एचडी-पेंटर के बारे में बात की है, जो एक प्रशिक्षण मुक्त पाठ निर्देशित उच्च-रिज़ॉल्यूशन इनपेंटिंग दृष्टिकोण है जो त्वरित उपेक्षा, और आस-पास और पृष्ठभूमि ऑब्जेक्ट प्रभुत्व सहित मौजूदा इनपेंटिंग ढांचे द्वारा अनुभव की गई चुनौतियों का समाधान करता है। एचडी-पेंटर फ्रेमवर्क एक प्रॉम्प्ट अवेयर इंट्रोवर्टेड अटेंशन या PAIntA परत को लागू करता है, जो स्व-ध्यान स्कोर को बढ़ाने के लिए त्वरित जानकारी का उपयोग करता है जिसके परिणामस्वरूप अंततः बेहतर पाठ संरेखण पीढ़ी होती है। 

प्रॉम्प्ट की सुसंगतता को और भी बेहतर बनाने के लिए, एचडी-पेंटर मॉडल एक रीवेटिंग अटेंशन स्कोर गाइडेंस या आरएएसजी दृष्टिकोण पेश करता है जो वितरण अव्यक्त बदलावों को रोकने के लिए डीडीआईएम घटक के सामान्य रूप में पोस्ट-हॉक नमूनाकरण रणनीति को एकीकृत करता है। इसके अलावा, एचडी-पेंटर फ्रेमवर्क इनपेंटिंग के लिए अनुकूलित एक विशेष सुपर-रिज़ॉल्यूशन तकनीक पेश करता है जिसके परिणामस्वरूप बड़े पैमाने पर विस्तार होता है, और एचडी-पेंटर फ्रेमवर्क को 2K तक रिज़ॉल्यूशन के साथ छवि में लापता क्षेत्रों को पूरा करने की अनुमति मिलती है।