एचडी-पेंटर: उच्च रिज़ॉल्यूशन टेक्स्ट-गाइडेड इमेज इनपेंटिंग के साथ डिफ्यूज़न मॉडल

डिफ्यूज़न मॉडल ने निश्चित रूप से एआई और एमएल उद्योग को क्रांतिकारी बनाया है, जिनके वास्तविक समय में अनुप्रयोग हमारे दैनिक जीवन का एक अभिन्न अंग बन गए हैं। टेक्स्ट-टू-इमेज मॉडल ने अपनी उल्लेखनीय क्षमताओं का प्रदर्शन किया, डिफ्यूज़न-आधारित इमेज मैनिपुलेशन तकनीकें, जैसे कि नियंत्रित पीढ़ी, विशेषज्ञता और व्यक्तिगत इमेज सिंथेसिस, वस्तु-स्तर इमेज संपादन, प्रॉम्प्ट-शर्त विविधता और संपादन, शोध के गर्म विषय बन गए हैं क्योंकि उनके कंप्यूटर विजन उद्योग में अनुप्रयोग हैं।

हालांकि, उनकी प्रभावशाली क्षमताओं और असाधारण परिणामों के बावजूद, टेक्स्ट-टू-इमेज फ्रेमवर्क, विशेष रूप से टेक्स्ट-टू-इमेज इनपेंटिंग फ्रेमवर्क, अभी भी विकास के लिए संभावित क्षेत्र हैं। इनमें वैश्विक दृश्यों को समझने की क्षमता शामिल है, विशेष रूप से जब उच्च डिफ्यूज़न टाइमस्टेप में छवि को शोर हटाने की बात आती है। इस मुद्दे को संबोधित करने के लिए, शोधकर्ताओं ने एचडी-पेंटर पेश किया, जो एक पूरी तरह से प्रशिक्षण-मुक्त फ्रेमवर्क है जो प्रॉम्प्ट निर्देशों का सटीक रूप से पालन करता है और उच्च-रिज़ॉल्यूशन इमेज इनपेंटिंग में सुसंगत रूप से स्केल करता है। एचडी-पेंटर फ्रेमवर्क एक प्रॉम्प्ट अवेयर इंट्रोवर्टेड अटेंशन (पीएआईएनटीए) लेयर का उपयोग करता है, जो प्रॉम्प्ट जानकारी का लाभ उठाकर स्व-ध्यान स्कोर को बढ़ाता है, जिसके परिणामस्वरूप बेहतर पाठ संरेखण पीढ़ी होती है।

प्रॉम्प्ट की सुसंगतता को और बेहतर बनाने के लिए, एचडी-पेंटर मॉडल एक रीवेटिंग अटेंशन स्कोर गाइडेंस (आरएएसजी) दृष्टिकोण पेश करता है। यह दृष्टिकोण डीडीआईएम घटक के सामान्य रूप में एक पोस्ट-होक नमूना रणनीति को निर्बाध रूप से एकीकृत करता है, जो वितरण के बाहर के लेटेंट शिफ्ट को रोकता है। इसके अलावा, एचडी-पेंटर फ्रेमवर्क में एक विशेषज्ञता सुपर-रिज़ॉल्यूशन तकनीक शामिल है जो इनपेंटिंग के लिए अनुकूलित है, जो इसे बड़े पैमाने पर विस्तार करने और छवि में缺失 क्षेत्रों को 2K तक के रिज़ॉल्यूशन के साथ पूरा करने की अनुमति देती है।

एचडी-पेंटर: टेक्स्ट-गाइडेड इमेज इनपेंटिंग

टेक्स्ट-टू-इमेज डिफ्यूज़न मॉडल वास्तव में हाल के महीनों में एआई और एमएल उद्योग में एक महत्वपूर्ण विषय रहा है, जिसमें मॉडल विभिन्न व्यावहारिक अनुप्रयोगों में असाधारण वास्तविक समय क्षमताओं का प्रदर्शन कर रहे हैं। प्री-ट्रेन्ड टेक्स्ट-टू-इमेज जेनरेशन मॉडल जैसे डीएलएल-ई, इमेजन और स्टेबल डिफ्यूज़न ने छवि पूर्ति के लिए अपनी उपयुक्तता का प्रदर्शन किया है bằng मास्क्ड क्षेत्र को नोइज़ की गई ज्ञात क्षेत्रों के साथ जोड़कर पीछे की डिफ्यूज़न प्रक्रिया के दौरान। हालांकि वे दृश्य रूप से आकर्षक और सुसंगत आउटपुट उत्पन्न करते हैं, मौजूदा मॉडल विशेष रूप से उच्च डिफ्यूज़न टाइमस्टेप शोर हटाने की प्रक्रिया के तहत वैश्विक दृश्य को समझने में संघर्ष करते हैं।

इसके अलावा, डिफ्यूज़न मॉडल के भीतर, टेक्स्ट-गाइडेड इनपेंटिंग और टेक्स्ट-गाइडेड इमेज पूर्ति शोधकर्ताओं के लिए रुचि के प्रमुख क्षेत्र हैं। यह रुचि इस तथ्य से उत्पन्न होती है कि टेक्स्ट-गाइडेड इनपेंटिंग मॉडल छवि के विशिष्ट क्षेत्रों में सामग्री उत्पन्न कर सकते हैं जो पाठ प्रॉम्प्ट पर आधारित होते हैं, जिससे छवि के विशिष्ट क्षेत्रों को रीटच करने, विषय विशेषताओं जैसे रंग या कपड़ों को संशोधित करने और वस्तुओं को जोड़ने या प्रतिस्थापित करने जैसे संभावित अनुप्रयोग हो सकते हैं। सारांश में, टेक्स्ट-टू-इमेज डिफ्यूज़न मॉडल हाल ही में असाधारण वास्तविक और दृश्य रूप से आकर्षक पीढ़ी क्षमताओं के कारण अभूतपूर्व सफलता हासिल की है।

हालांकि, अधिकांश मौजूदा फ्रेमवर्क दो परिदृश्यों में प्रॉम्प्ट उपेक्षा का प्रदर्शन करते हैं। पहला है बैकग्राउंड प्रभुत्व जब मॉडल प्रॉम्प्ट को पृष्ठभूमि में अनदेखा करके अज्ञात क्षेत्र को पूरा करता है, जबकि दूसरा परिदृश्य है निकटवर्ती वस्तु प्रभुत्व जब मॉडल दृश्य संदर्भ संभावना के बजाय प्रॉम्प्ट का उपयोग करके ज्ञात क्षेत्र वस्तुओं को अज्ञात क्षेत्र में प्रसारित करता है। यह संभव है कि दोनों मुद्दे स्व-ध्यान परतों की केवल स्थानिक और प्रॉम्प्ट-मुक्त प्रकृति के कारण हो सकते हैं जो प्रॉम्प्ट को सटीक रूप से व्याख्या करने या इसे ज्ञात क्षेत्र से प्राप्त संदर्भ जानकारी के साथ मिलाने में असमर्थ हो सकते हैं।

इन रोडब्लॉक्स को संबोधित करने के लिए, एचडी-पेंटर फ्रेमवर्क प्रॉम्प्ट अवेयर इंट्रोवर्टेड अटेंशन या पीएआईएनटीए लेयर पेश करता है, जो प्रॉम्प्ट जानकारी का उपयोग स्व-ध्यान स्कोर को बढ़ाने के लिए करता है, जिसके परिणामस्वरूप बेहतर पाठ संरेखण पीढ़ी होती है। पीएआईएनटीए प्रॉम्प्ट जानकारी का उपयोग करके स्व-ध्यान स्कोर को बढ़ाने के लिए दिया जाता है ताकि यह सुनिश्चित किया जा सके कि अज्ञात क्षेत्र में गैर-प्रॉम्प्ट प्रासंगिक जानकारी के प्रभाव को कम किया जा सके और ज्ञात पिक्सल के योगदान को बढ़ाया जा सके जो प्रॉम्प्ट के साथ संरेखित हैं। पीढ़ी के परिणामों की पाठ संरेखण को और बेहतर बनाने के लिए, एचडी-पेंटर फ्रेमवर्क एक पोस्ट-होक मार्गदर्शन विधि को लागू करता है जो क्रॉस-ध्यान स्कोर का लाभ उठाता है। हालांकि, पोस्ट-होक मार्गदर्शन तंत्र के वैनिला कार्यान्वयन के परिणामस्वरूप डिफ्यूज़न समीकरण में अतिरिक्त ग्रेडिएंट शब्द के कारण गुणवत्ता में गिरावट आ सकती है। इस रोडब्लॉक को संबोधित करने के लिए, एचडी-पेंटर फ्रेमवर्क एक रीवेटिंग अटेंशन स्कोर गाइडेंस या आरएएसजी तंत्र को लागू करता है, जो एक पोस्ट-होक नमूना रणनीति को डीडीआईएम घटक के सामान्य रूप में निर्बाध रूप से एकीकृत करता है, जिससे लेटेंट डोमेन संरक्षण सुनिश्चित होता है।

आरएएसएच और पीएआईएनटीए घटकों को अपनी वास्तुकला में तैनात करके, एचडी-पेंटर फ्रेमवर्क मौजूदा फ्रेमवर्क, जिनमें राज्य-ऑफ-द-आर्ट इनपेंटिंग और टेक्स्ट-टू-इमेज डिफ्यूज़न मॉडल शामिल हैं, के लिए एक महत्वपूर्ण लाभ रखता है क्योंकि यह मौजूदा प्रॉम्प्ट उपेक्षा मुद्दे का समाधान करता है। इसके अलावा, आरएएसएच और पीएआईएनटीए घटक प्लग एंड प्ले कार्यक्षमता प्रदान करते हैं, जिससे वे डिफ्यूज़न-आधारित इनपेंटिंग मॉडल के साथ संगत हो सकते हैं और ऊपर वर्णित चुनौतियों का सामना कर सकते हैं। इसके अलावा, समय-इटरेटिव ब्लेंडिंग प्रौद्योगिकी को लागू करके और उच्च-रिज़ॉल्यूशन डिफ्यूज़न मॉडल की क्षमताओं का लाभ उठाकर, एचडी-पेंटर पाइपलाइन 2K रिज़ॉल्यूशन इनपेंटिंग के लिए प्रभावी ढंग से काम कर सकती है।

सारांश में, एचडी-पेंटर निम्नलिखित योगदान करने का लक्ष्य रखता है:

1. यह प्रॉम्प्ट नेग्लेक्ट मुद्दे को हल करने का लक्ष्य रखता है जो पृष्ठभूमि और निकटवर्ती वस्तु प्रभुत्व के रूप में टेक्स्ट-गाइडेड इमेज इनपेंटिंग फ्रेमवर्क द्वारा अनुभव किया जाता है, अपनी वास्तुकला में प्रॉम्प्ट अवेयर इंट्रोवर्टेड अटेंशन या पीएआईएनटीए लेयर को लागू करके।
2. यह आउटपुट की पाठ संरेखण में सुधार करने का लक्ष्य रखता है रीवेटिंग अटेंशन स्कोर गाइडेंस या आरएएसजी लेयर को अपनी वास्तुकला में लागू करके, जो एचडी-पेंटर फ्रेमवर्क को पोस्ट-होक निर्देशित नमूना करने की अनुमति देता है और वितरण के बाहर के शिफ्ट को रोकता है।
3. यह एक प्रभावी प्रशिक्षण-मुक्त टेक्स्ट-गाइडेड इमेज पूर्ति पाइपलाइन को डिज़ाइन करने का लक्ष्य रखता है जो मौजूदा राज्य-ऑफ-द-आर्ट फ्रेमवर्क को पार कर सकती है, और इनपेंटिंग-विशिष्ट सुपर-रिज़ॉल्यूशन फ्रेमवर्क का उपयोग करके 2K रिज़ॉल्यूशन तक टेक्स्ट-गाइडेड इमेज इनपेंटिंग करने में सक्षम है।

एचडी-पेंटर: विधि और वास्तुकला

वास्तुकला को देखने से पहले, यह महत्वपूर्ण है कि एचडी-पेंटर फ्रेमवर्क के तीन मूलभूत अवधारणाओं को समझा जाए: इमेज इनपेंटिंग, पोस्ट-होक मार्गदर्शन डिफ्यूज़न फ्रेमवर्क में, और इनपेंटिंग विशिष्ट वास्तुकला ब्लॉक।

इमेज इनपेंटिंग एक दृष्टिकोण है जो छवि के भीतर缺失 क्षेत्रों को भरने का लक्ष्य रखता है, सुनिश्चित करता है कि उत्पन्न छवि दृश्य रूप से आकर्षक है। पारंपरिक गहरी शिक्षा फ्रेमवर्क ने ज्ञात क्षेत्रों से गहरी विशेषताओं को प्रसारित करने के लिए तरीकों को लागू किया। हालांकि, डिफ्यूज़न मॉडल की शुरुआत के साथ, इनपेंटिंग मॉडल विशेष रूप से टेक्स्ट-गाइडेड इमेज इनपेंटिंग फ्रेमवर्क में विकसित हुए हैं। पारंपरिक रूप से, एक पूर्व-प्रशिक्षित टेक्स्ट-टू-इमेज डिफ्यूज़न मॉडल ज्ञात क्षेत्र के शोर वाले संस्करण का उपयोग करके लेटेंट में अज्ञात क्षेत्र को प्रतिस्थापित करता है। हालांकि यह दृष्टिकोण कुछ हद तक काम करता है, यह उत्पन्न आउटपुट की गुणवत्ता में काफी गिरावट का कारण बनता है क्योंकि शोर हटाने वाला नेटवर्क केवल ज्ञात क्षेत्र के शोर वाले संस्करण को देखता है। इस बाधा को दूर करने के लिए, कुछ दृष्टिकोण पूर्व-प्रशिक्षित टेक्स्ट-टू-इमेज मॉडल को टेक्स्ट-गाइडेड इमेज पूर्ति के लिए अनुकूलित करने का लक्ष्य रखते हैं। इस दृष्टिकोण को लागू करके, फ्रेमवर्क एक यादृच्छिक मास्क के माध्यम से ज्ञात क्षेत्र को सशर्त बनाने में सक्षम है।

इसके अलावा, पारंपरिक गहरी शिक्षा मॉडल ने इनपेंटिंग के लिए कुशल डिज़ाइन परतों को लागू किया, जिससे वे ज्ञात क्षेत्रों से प्रभावी ढंग से जानकारी निकालकर दृश्य रूप से आकर्षक छवियों का उत्पादन कर सकते हैं। कुछ फ्रेमवर्क ने अपनी वास्तुकला में एक संदर्भ ध्यान परत जोड़कर ज्ञात क्षेत्रों के साथ काम करने में मदद की, जिससे उच्च गुणवत्ता वाली पेंटिंग के लिए आवश्यक सभी से सभी स्व-ध्यान की भारी गणनात्मक आवश्यकताओं को कम किया जा सके।

अंत में, पोस्ट-होक मार्गदर्शन विधियां पीछे की डिफ्यूज़न नमूना विधियां हैं जो अगले कदम के लेटेंट पूर्वानुमान को एक विशिष्ट कार्य मिनिमाइजेशन उद्देश्य की ओर मार्गदर्शन करती हैं। पोस्ट-होक मार्गदर्शन विधियां विशेष रूप से तब उपयोगी होती हैं जब अतिरिक्त प्रतिबंधों की उपस्थिति में दृश्य सामग्री उत्पन्न करने की बात आती है। हालांकि, पोस्ट-होक मार्गदर्शन विधियों का एक प्रमुख नुकसान है: वे जाने जाते हैं कि वे छवि गुणवत्ता में गिरावट का कारण बनते हैं क्योंकि वे ग्रेडिएंट शब्द द्वारा लेटेंट पीढ़ी प्रक्रिया को स्थानांतरित करते हैं।

एचडी-पेंटर की वास्तुकला की ओर बढ़ते हुए, फ्रेमवर्क पहले टेक्स्ट-गाइडेड इमेज पूर्ति समस्या को सूत्र-bind करता है, और फिर दो डिफ्यूज़न मॉडल पेश करता है, स्टेबल इनपेंटिंग और स्टेबल डिफ्यूज़न। एचडी-पेंटर मॉडल फिर पीएआईएनटीए और आरएएसजी ब्लॉक पेश करता है, और अंत में हम इनपेंटिंग-विशिष्ट सुपर-रिज़ॉल्यूशन तकनीक पर आते हैं।

स्टेबल डिफ्यूज़न और स्टेबल इनपेंटिंग

स्टेबल डिफ्यूज़न एक डिफ्यूज़न मॉडल है जो एक ऑटोएनकोडर के लेटेंट स्पेस में काम करता है। टेक्स्ट-टू-इमेज सिंथेसिस के लिए, स्टेबल डिफ्यूज़न फ्रेमवर्क एक पाठ प्रॉम्प्ट को मार्गदर्शन प्रक्रिया के लिए लागू करता है। मार्गदर्शन कार्य एक यूनेट वास्तुकला के समान संरचना का होता है, और क्रॉस-ध्यान परतें इसे पाठ प्रॉम्प्ट पर सशर्त बनाती हैं। इसके अलावा, स्टेबल डिफ्यूज़न मॉडल इमेज इनपेंटिंग कर सकता है कुछ संशोधनों और अनुकूलन के साथ। ऐसा करने के लिए, मॉडल एनकोडर द्वारा उत्पन्न मास्क्ड छवि की विशेषताओं को डाउनस्केल्ड बाइनरी मास्क के साथ लेटेंट में जोड़ता है। परिणामी टेंसर को फिर यूनेट वास्तुकला में इनपुट किया जाता है ताकि अनुमानित शोर प्राप्त किया जा सके। फ्रेमवर्क फिर नए जोड़े गए कन्वोल्यूशनल फिल्टर को शून्य के साथ आरंभ करता है, जबकि यूनेट का शेष भाग स्टेबल डिफ्यूज़न मॉडल के पूर्व-प्रशिक्षित चेकपॉइंट से आरंभिकरण किया जाता है।

उपरोक्त चित्र एचडी-पेंटर फ्रेमवर्क का अवलोकन दिखाता है, जो दो चरणों में काम करता है। पहले चरण में, एचडी-पेंटर फ्रेमवर्क टेक्स्ट-गाइडेड इमेज पेंटिंग को लागू करता है, जबकि दूसरे चरण में मॉडल आउटपुट का सुपर-रिज़ॉल्यूशन करता है। मिशन क्षेत्रों को भरने और इनपुट प्रॉम्प्ट के साथ सुसंगत रहने के लिए, मॉडल एक पूर्व-प्रशिक्षित इनपेंटिंग डिफ्यूज़न मॉडल लेता है, स्व-ध्यान परतों को पीएआईएनटीए परतों से बदल देता है, और पोस्ट-होक मार्गदर्शन तंत्र को लागू करता है ताकि पीछे की डिफ्यूज़न प्रक्रिया को पूरा किया जा सके। मॉडल फिर अंतिम अनुमानित लेटेंट को डिकोड करता है, जिससे एक इनपेंटेड छवि का उत्पादन होता है। एचडी-पेंटर फिर स्टेबल डिफ्यूज़न मॉडल को लागू करता है ताकि मूल आकार की छवि को इनपेंट किया जा सके, और स्टेबल डिफ्यूज़न फ्रेमवर्क की पीछे की डिफ्यूज़न प्रक्रिया को लागू करता है जो निम्न-रिज़ॉल्यूशन इनपुट छवि पर सशर्त है। मॉडल फिर ज्ञात क्षेत्र में दृश्य सुधार के बाद प्रत्येक चरण में मूल छवि के एनकोडिंग के साथ दृश्य सुधार को मिलाता है और अगले लेटेंट का निर्धारण करता है। अंत में, मॉडल लेटेंट को डिकोड करता है और पॉइसन ब्लेंडिंग को लागू करता है ताकि एज आर्टिफैक्ट्स से बचा जा सके।

प्रॉम्प्ट अवेयर इंट्रोवर्टेड अटेंशन या पीएआईएनटीए

मौजूदा इनपेंटिंग मॉडल जैसे स्टेबल इनपेंटिंग प्रॉम्प्ट की उपेक्षा करने की प्रवृत्ति रखते हैं और इसके बजाय दृश्य संदर्भ पर अधिक निर्भर करते हैं। यह मुद्दा दो श्रेणियों में वर्गीकृत किया जा सकता है: निकटवर्ती वस्तु प्रभुत्व और पृष्ठभूमि प्रभुत्व। दृश्य संदर्भ के प्रभुत्व का मुद्दा प्रॉम्प्ट के प्रति स्व-ध्यान परतों की केवल स्थानिक और प्रॉम्प्ट-मुक्त प्रकृति के कारण हो सकता है। इस मुद्दे को संबोधित करने के लिए, एचडी-पेंटर फ्रेमवर्क प्रॉम्प्ट अवेयर इंट्रोवर्टेड अटेंशन या पीएआईएनटीए को पेश करता है, जो क्रॉस-ध्यान मैट्रिक्स और इनपेंटिंग मास्क का उपयोग अज्ञात क्षेत्र में स्व-ध्यान परतों के आउटपुट को नियंत्रित करने के लिए करता है।

प्रॉम्प्ट अवेयर इंट्रोवर्टेड अटेंशन घटक पहले प्रोजेक्शन परतों को लागू करता है ताकि कुंजी, मूल्य और प्रश्नों के साथ-साथ समानता मैट्रिक्स प्राप्त किया जा सके। मॉडल फिर ज्ञात पिक्सल के ध्यान स्कोर को समायोजित करता है ताकि ज्ञात क्षेत्र के अज्ञात क्षेत्र पर प्रभाव को कम किया जा सके, और प्रॉम्प्ट का लाभ उठाकर एक नई समानता मैट्रिक्स को परिभाषित करता है।

रीवेटिंग अटेंशन स्कोर गाइडेंस या आरएएसजी

एचडी-पेंटर फ्रेमवर्क एक पोस्ट-होक नमूना मार्गदर्शन दृष्टिकोण को अपनाता है ताकि पाठ प्रॉम्प्ट के साथ पीढ़ी की संरेखण को और बेहतर बनाया जा सके। एक उद्देश्य कार्य के साथ, पोस्ट-होक नमूना मार्गदर्शन दृष्टिकोण क्रॉस-ध्यान परतों के खुले शब्दावली विभाजन गुणों का लाभ उठाने का लक्ष्य रखता है। हालांकि, वैनिला पोस्ट-होक मार्गदर्शन दृष्टिकोण के परिणामस्वरूप डिफ्यूज़न लेटेंट का डोमेन स्थानांतरित हो सकता है, जो उत्पन्न छवि की गुणवत्ता में गिरावट का कारण बनता है। इस मुद्दे को संबोधित करने के लिए, एचडी-पेंटर मॉडल रीवेटिंग अटेंशन स्कोर गाइडेंस या आरएएसजी तंत्र को लागू करता है, जो एक ग्रेडिएंट पुनर्वजन तंत्र को पेश करता है, जिससे लेटेंट डोमेन संरक्षण सुनिश्चित होता है।

एचडी-पेंटर: प्रयोग और परिणाम

इसके प्रदर्शन का विश्लेषण करने के लिए, एचडी-पेंटर फ्रेमवर्क की तुलना वर्तमान राज्य-ऑफ-द-आर्ट मॉडल जैसे स्टेबल इनपेंटिंग, जीएलआईडीई और बीएलडी या ब्लेंडेड लेटेंट डिफ्यूज़न से 10,000 यादृच्छिक नमूनों पर की जाती है, जहां प्रॉम्प्ट का चयन चयनित उदाहरण मास्क के लेबल के रूप में किया जाता है।

जैसा कि देखा जा सकता है, एचडी-पेंटर फ्रेमवर्क मौजूदा फ्रेमवर्क को तीन अलग-अलग मीट्रिक पर एक महत्वपूर्ण अंतर से पार करता है, विशेष रूप से सीएलआईपी मीट्रिक पर 1.5 अंकों की सुधार और अन्य राज्य-ऑफ-द-आर्ट तरीकों से लगभग 10% का अंतर।

इसके अलावा, निम्नलिखित चित्र एचडी-पेंटर फ्रेमवर्क की गुणात्मक तुलना अन्य इनपेंटिंग फ्रेमवर्क के साथ दिखाता है। जैसा कि देखा जा सकता है, अन्य बेसलाइन मॉडल या तो ज्ञात क्षेत्र की वस्तुओं को अज्ञात क्षेत्र में प्रसारित करते हैं या प्रॉम्प्ट की उपेक्षा करते हुए पृष्ठभूमि का उत्पादन करते हैं। दूसरी ओर, एचडी-पेंटर फ्रेमवर्क पीएआईएनटीए और आरएएसजी घटकों को लागू करके लक्ष्य वस्तुओं को सफलतापूर्वक उत्पन्न करने में सक्षम है।

अंतिम विचार

इस लेख में, हमने एचडी-पेंटर के बारे में बात की है, जो एक प्रशिक्षण-मुक्त टेक्स्ट-गाइडेड उच्च-रिज़ॉल्यूशन इनपेंटिंग दृष्टिकोण है जो मौजूदा इनपेंटिंग फ्रेमवर्क द्वारा अनुभव किए जाने वाले चुनौतियों का समाधान करता है, जिनमें प्रॉम्प्ट उपेक्षा और निकटवर्ती और पृष्ठभूमि वस्तु प्रभुत्व शामिल हैं। एचडी-पेंटर फ्रेमवर्क एक प्रॉम्प्ट अवेयर इंट्रोवर्टेड अटेंशन या पीएआईएनटीए लेयर को लागू करता है, जो प्रॉम्प्ट जानकारी का उपयोग स्व-ध्यान स्कोर को बढ़ाने के लिए करता है, जिससे बेहतर पाठ संरेखण पीढ़ी होती है।

प्रॉम्प्ट की सुसंगतता को और बेहतर बनाने के लिए, एचडी-पेंटर मॉडल एक रीवेटिंग अटेंशन स्कोर गाइडेंस या आरएएसजी दृष्टिकोण को पेश करता है, जो डीडीआईएम घटक के सामान्य रूप में एक पोस्ट-होक नमूना रणनीति को निर्बाध रूप से एकीकृत करता है, जिससे वितरण के बाहर के लेटेंट शिफ्ट को रोका जा सके। इसके अलावा, एचडी-पेंटर फ्रेमवर्क एक विशेषज्ञता सुपर-रिज़ॉल्यूशन तकनीक को पेश करता है जो इनपेंटिंग के लिए अनुकूलित है, जो इसे बड़े पैमाने पर विस्तार करने और छवि में缺失 क्षेत्रों को 2K तक के रिज़ॉल्यूशन के साथ पूरा करने की अनुमति देता है।