एआई मॉडल और प्लेटफ़ॉर्म

DiffSeg: Stable Diffusion से अपर्यवेक्षित ज़ीरो-शॉट सेगमेंटेशन

Kunal Kejriwal
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
मुख्य बिंदुडिफसेग बिना किसी प्रशिक्षण या लेबल के स्टेबल डिफ्यूज़न की स्व-ध्यान परतों से सेगमेंटेशन…
और देखें
  • डिफसेग बिना किसी प्रशिक्षण या लेबल के स्टेबल डिफ्यूज़न की स्व-ध्यान परतों से सेगमेंटेशन मास्क बनाता है।
  • इसकी नवीन मर्जिंग प्रक्रिया पारंपरिक अनिरीक्षित तरीकों के विपरीत क्लस्टर संख्या निर्दिष्ट करने से बचती है।
  • यह एल्गोरिदम सिटीस्केप्स और कोको-स्टफ जैसे बेंचमार्क पर अत्याधुनिक शून्य-शॉट सेगमेंटेशन हासिल करता है।

कंप्यूटर दृष्टि-आधारित मॉडल में उच्च-गुणवत्ता वाले विभाजन मास्क का उत्पादन करना एक मूल चुनौती है। हाल के वर्षों में बड़े पैमाने पर पर्यवेक्षित प्रशिक्षण में प्रगति ने विभिन्न छवि शैलियों में शून्य-शॉट विभाजन को सक्षम बनाया है। इसके अलावा, अपर्यवेक्षित प्रशिक्षण ने व्यापक एनोटेशन की आवश्यकता के बिना विभाजन को सरल बना दिया है। इसके बावजूद, एक कंप्यूटर दृष्टि ढांचे का निर्माण करना जो शून्य-शॉट सेटिंग में किसी भी चीज़ को विभाजित कर सकता है, एनोटेशन के बिना, एक जटिल कार्य बना हुआ है। सेमेंटिक विभाजन, कंप्यूटर दृष्टि मॉडल में एक मूलभूत अवधारणा, छवि को छोटे क्षेत्रों में विभाजित करने के लिए शामिल है जो समान अर्थ-संबंधी विशेषताओं के साथ हैं। यह तकनीक कई डाउनस्ट्रीम कार्यों के लिए आधार बनाती है, जैसे कि चिकित्सा इमेजिंग, छवि संपादन, स्वायत्त ड्राइविंग, और अधिक।

कंप्यूटर दृष्टि मॉडल के विकास को आगे बढ़ाने के लिए, यह आवश्यक है कि छवि विभाजन को एक निश्चित डेटासेट के साथ सीमित न किया जाए जिसमें सीमित श्रेणियां हों। इसके बजाय, यह विभिन्न अनुप्रयोगों के लिए एक बहुमुखी मूलभूत कार्य के रूप में कार्य करना चाहिए। हालांकि, प्रति-पिक्सेल आधार पर लेबल एकत्र करने की उच्च लागत एक महत्वपूर्ण चुनौती प्रस्तुत करती है, जो शून्य-शॉट और पर्यवेक्षित विभाजन विधियों की प्रगति को सीमित करती है जो एनोटेशन की आवश्यकता नहीं है और लक्ष्य के पूर्व ज्ञान की कमी है। इस लेख में हम चर्चा करेंगे कि कैसे Stable Diffusion मॉडल में स्व-ध्यान परतें एक मॉडल के निर्माण को सुविधाजनक बना सकती हैं जो शून्य-शॉट सेटिंग में किसी भी इनपुट को विभाजित कर सकता है, यहां तक कि एनोटेशन के बिना भी। ये स्व-ध्यान परतें वस्तु अवधारणाओं को समझने में सक्षम हैं जो एक पूर्व-प्रशिक्षित Stable Diffusion मॉडल द्वारा सीखी जाती हैं।

DiffSeg : एक उन्नत शून्य-शॉट विभाजन एल्गोरिदम

सेमेंटिक विभाजन एक प्रक्रिया है जो छवि को विभिन्न खंडों में विभाजित करती है, प्रत्येक खंड में समान अर्थ-संबंधी विशेषताओं होती है। यह तकनीक कई डाउनस्ट्रीम कार्यों के लिए आधार बनाती है। पारंपरिक रूप से, शून्य-शॉट कंप्यूटर दृष्टि कार्यों ने पर्यवेक्षित सेमेंटिक विभाजन पर निर्भर किया है, जिसमें बड़े डेटासेट के साथ एनोटेटेड और लेबल की गई श्रेणियां होती हैं। हालांकि, शून्य-शॉट सेटिंग में अपर्यवेक्षित सेमेंटिक विभाजन को लागू करना एक चुनौती बना हुआ है। जबकि पारंपरिक पर्यवेक्षित विधियां प्रभावी हैं, उनकी प्रति-पिक्सेल लेबलिंग लागत अक्सर निषेधात्मक होती है, जो अपर्यवेक्षित विभाजन विधियों के विकास की आवश्यकता को रेखांकित करती है जो कम प्रतिबंधात्मक शून्य-शॉट सेटिंग में काम कर सकती हैं, जहां मॉडल को एनोटेटेड डेटा या पूर्व ज्ञान की आवश्यकता नहीं होती है।

इस सीमा को दूर करने के लिए, DiffSeg एक नई पोस्ट-प्रोसेसिंग रणनीति की शुरुआत करता है, जो Stable Diffusion ढांचे का लाभ उठाकर एक सामान्य विभाजन मॉडल बनाने के लिए है जो किसी भी छवि पर शून्य-शॉट हस्तांतरण को लागू कर सकता है। Stable Diffusion ढांचे ने उच्च-रिज़ॉल्यूशन छवियों को प्रॉम्प्ट स्थितियों के आधार पर उत्पन्न करने में अपनी प्रभावशीलता का प्रदर्शन किया है। उत्पन्न छवियों के लिए, ये ढांचे संबंधित पाठ प्रॉम्प्ट का उपयोग करके विभाजन मास्क उत्पन्न कर सकते हैं, जिनमें आमतौर पर केवल प्रमुख फोरग्राउंड वस्तुएं शामिल होती हैं।

इसके विपरीत, DiffSeg एक नवाचारी पोस्ट-प्रोसेसिंग विधि है जो Stable Diffusion मॉडल में स्व-ध्यान परतों से ध्यान टेंसर का उपयोग करके विभाजन मास्क बनाती है। DiffSeg एल्गोरिदम में तीन मुख्य घटक होते हैं: पुनरावृत्त ध्यान विलय, ध्यान एकत्रीकरण, और गैर-अधिकतम दमन, जैसा कि निम्नलिखित छवि में दिखाया गया है।

DiffSeg एल्गोरिदम स्थानिक संगति बनाए रखते हुए चार-आयामी अटेंशन टेंसर को एकत्रित करके और पुनरावृत्त विलय प्रक्रिया से एंकर बिंदुओं का नमूना लेकर विभिन्न रिज़ॉल्यूशन पर दृश्य जानकारी को संरक्षित करता है। ये एंकर अटेंशन मास्क के विलय के शुरुआती बिंदु होते हैं; एक ही वस्तु से संबंधित एंकर अंततः विलय में समाहित हो जाते हैं। DiffSeg ढांचे में विलय प्रक्रिया को नियंत्रित करने के लिए केएल विचलन विधि का उपयोग किया जाता है ताकि दो ध्यान मानचित्रों के बीच समानता को मापा जा सके।

जब अपर्यवेक्षित विभाजन विधियों की तुलना की जाती है, तो DiffSeg एल्गोरिदम में क्लस्टरिंग-आधारित अपर्यवेक्षित विभाजन विधियों की तुलना में विकासकर्ताओं को पहले से क्लस्टर की संख्या निर्दिष्ट करने की आवश्यकता नहीं होती है, और यहां तक कि किसी भी पूर्व ज्ञान के बिना, DiffSeg एल्गोरिदम विभाजन का उत्पादन कर सकता है बिना किसी अतिरिक्त संसाधनों का उपयोग किए। समग्र रूप से, DiffSeg एल्गोरिदम “एक नवाचारी अपर्यवेक्षित और शून्य-शॉट विभाजन विधि है जो एक पूर्व-प्रशिक्षित Stable Diffusion मॉडल का उपयोग करती है और किसी भी अतिरिक्त संसाधनों या पूर्व ज्ञान के बिना छवियों को विभाजित कर सकती है।”

DiffSeg : मूलभूत अवधारणाएं

DiffSeg एक नवाचारी एल्गोरिदम है जो डिफ्यूज़न मॉडल, अपर्यवेक्षित विभाजन, और शून्य-शॉट विभाजन से सीखे गए ज्ञान पर आधारित है।

डिफ्यूज़न मॉडल

DiffSeg एल्गोरिदम पूर्व-प्रशिक्षित डिफ्यूज़न मॉडल से सीखे गए ज्ञान पर आधारित है। डिफ्यूज़न मॉडल कंप्यूटर दृष्टि मॉडल के लिए सबसे लोकप्रिय जनरेटिव ढांचों में से एक है, और यह एक नमूनित समदैशिक गॉसियन शोर छवि से एक छवि को उत्पन्न करने के लिए आगे और रिवर्स प्रसार प्रक्रिया सीखता है। Stable Diffusion डिफ्यूज़न मॉडल का सबसे लोकप्रिय संस्करण है, और इसका उपयोग पर्यवेक्षित विभाजन, शून्य-शॉट वर्गीकरण, सेमेंटिक-संबंध मिलान, लेबल-कुशल विभाजन, और खुले शब्दावली विभाजन जैसे विभिन्न कार्यों के लिए किया जाता है। हालांकि, डिफ्यूज़न मॉडल के साथ समस्या यह है कि वे उच्च-आयामी दृश्य विशेषताओं पर निर्भर करते हैं और अक्सर इन विशेषताओं का पूरा लाभ उठाने के लिए अतिरिक्त प्रशिक्षण की आवश्यकता होती है।

अपर्यवेक्षित विभाजन

DiffSeg एल्गोरिदम अपर्यवेक्षित विभाजन से जुड़ा हुआ है, जो एक आधुनिक एआई अभ्यास है जो घने विभाजन मास्क को एनोटेशन के बिना उत्पन्न करने का लक्ष्य रखता है। हालांकि, अच्छा प्रदर्शन देने के लिए, अपर्यवेक्षित विभाजन मॉडल को लक्ष्य डेटासेट पर अपर्यवेक्षित प्रशिक्षण की आवश्यकता होती है। अपर्यवेक्षित विभाजन आधारित एआई ढांचे दो श्रेणियों में वर्गीकृत किए जा सकते हैं: पूर्व-प्रशिक्षित मॉडल का उपयोग करके क्लस्टरिंग, और अपरिवर्तनीयता पर आधारित क्लस्टरिंग। पहली श्रेणी में, ढांचे पूर्व-प्रशिक्षित मॉडल द्वारा सीखे गए विभेदक विशेषताओं का उपयोग विभाजन मास्क उत्पन्न करने के लिए करते हैं, जबकि दूसरी श्रेणी में ढांचे एक सामान्य क्लस्टरिंग एल्गोरिदम का उपयोग करते हैं जो दो छवियों के बीच पारस्परिक सूचना को अनुकूलित करता है, ताकि छवियों को अर्थ-संबंधी क्लस्टरों में विभाजित किया जा सके और अवक्षयी विभाजन से बचा जा सके।

शून्य-शॉट विभाजन

DiffSeg एल्गोरिदम शून्य-शॉट विभाजन ढांचे से जुड़ा हुआ है, जो लक्ष्य डेटा पर पूर्व प्रशिक्षण या उसके ज्ञान के बिना किसी भी वस्तु को विभाजित करने में सक्षम है। शून्य-शॉट विभाजन मॉडल ने हाल के वर्षों में शून्य-शॉट हस्तांतरण क्षमता में उत्कृष्ट प्रदर्शन दिखाया है, हालांकि उन्हें आमतौर पर विभाजन के लिए वर्णनात्मक पाठ इनपुट और प्रॉम्प्ट की आवश्यकता होती है। इसके विपरीत, DiffSeg एल्गोरिदम एक डिफ्यूज़न मॉडल से विभाजन उत्पन्न करता है, जिसके लिए अनेक छवियाँ मांगना या संश्लेषित करना और वस्तुओं की सामग्री जानना आवश्यक नहीं है।

DiffSeg : विधि और वास्तुकला

DiffSeg एल्गोरिदम एक पूर्व-प्रशिक्षित Stable Diffusion मॉडल में स्व-ध्यान परतों का उपयोग करके उच्च-गुणवत्ता वाले विभाजन कार्यों को उत्पन्न करने में सक्षम है।

Stable Diffusion मॉडल

Stable Diffusion DiffSeg ढांचे में एक मूलभूत अवधारणा है। Stable Diffusion एक जनरेटिव एआई ढांचा है, और डिफ्यूज़न मॉडल का सबसे लोकप्रिय संस्करण है। डिफ्यूज़न मॉडल की एक मुख्य विशेषता आगे और रिवर्स प्रसार है। आगे प्रसार में, एक छोटी मात्रा में गॉसियन शोर को छवि में जोड़ा जाता है जो प्रत्येक समय चरण में छवि को एक समदैशिक गॉसियन शोर छवि में परिवर्तित करता है। इसके विपरीत, रिवर्स प्रसार में, डिफ्यूज़न मॉडल समदैशिक गॉसियन शोर छवि से शोर को हटाकर मूल छवि को पुनर्प्राप्त करने का प्रयास करता है।

Stable Diffusion ढांचे में एक एनकोडर-डिकोडर और एक यू-नेट डिज़ाइन होता है, जिसमें एक ध्यान परत के साथ एक एनकोडर होता है जो छवि को छोटे स्थानिक आयामों वाले लेटेंट स्पेस में संकुचित करता है और एक डिकोडर होता है जो छवि को वापस पुनर्प्राप्त करने के लिए उपयोग किया जाता है। यू-नेट वास्तुकला में मॉड्यूलर ब्लॉक का एक स्टैक होता है, जिसमें प्रत्येक ब्लॉक या तो एक ट्रांसफॉर्मर लेयर या एक रेसनेट लेयर होता है।

घटक और वास्तुकला

डिफ्यूज़न मॉडल में स्व-ध्यान परतें वस्तुओं की जानकारी को स्थानिक ध्यान मानचित्रों के रूप में समूहित करती हैं, और DiffSeg एक नवाचारी पोस्ट-प्रोसेसिंग विधि है जो ध्यान टेंसर को एक वैध विभाजन मास्क में विलय करने के लिए तीन मुख्य घटकों का उपयोग करती है: ध्यान एकत्रीकरण, गैर-अधिकतम दमन, और पुनरावृत्त ध्यान।

ध्यान एकत्रीकरण

जब एक इनपुट छवि यू-नेट परतों और एनकोडर के माध्यम से गुजरती है, तो Stable Diffusion मॉडल 16 ध्यान टेंसर का उत्पादन करता है, जिसमें प्रत्येक आयाम के लिए 5 टेंसर होते हैं। ध्यान टेंसर को विभिन्न रिज़ॉल्यूशन में एकत्रित करने का प्राथमिक लक्ष्य एक टेंसर का उत्पादन करना है जो संभवतः उच्चतम रिज़ॉल्यूशन हो। इसे प्राप्त करने के लिए, DiffSeg एल्गोरिदम 4 आयामों को एक दूसरे से अलग तरह से व्यवहार करता है।

चार आयामों में, अंतिम 2 आयाम अटेंशन टेंसर में विभिन्न रिज़ॉल्यूशन के साथ स्थानिक रूप से संगत होते हैं क्योंकि DiffSeg ढांचे का 2D स्थानिक मानचित्र स्थानों और स्थानिक स्थानों के बीच संबंध को दर्शाता है। परिणामस्वरूप, DiffSeg ढांचे इन दो आयामों को सभी ध्यान मानचित्रों के लिए उच्चतम रिज़ॉल्यूशन, 64 x 64 में नमूना लेता है। दूसरी ओर, पहले 2 आयाम ध्यान मानचित्रों के स्थान संदर्भ को दर्शाते हैं, जैसा कि निम्नलिखित छवि में दिखाया गया है।

चूंकि ये आयाम ध्यान मानचित्रों के स्थान को दर्शाते हैं, ध्यान मानचित्रों को उनके अनुसार एकत्रित किया जाना चाहिए। इसके अलावा, एकत्रित ध्यान मानचित्र को एक वैध वितरण होने के लिए, ढांचे एकत्रीकरण के बाद वितरण को सामान्य करता है, प्रत्येक ध्यान मानचित्र को उसके रिज़ॉल्यूशन के अनुपात में एक वजन सौंपा जाता है।

पुनरावृत्त ध्यान विलय

जबकि ध्यान एकत्रीकरण का प्राथमिक लक्ष्य एक ध्यान टेंसर की गणना करना था, पुनरावृत्त ध्यान विलय का प्राथमिक लक्ष्य ध्यान मानचित्रों को एक वस्तु प्रस्ताव के स्टैक में विलय करना है, जहां प्रत्येक प्रस्ताव में या तो सतह या पदार्थ की श्रेणी (stuff) होती है या एक वस्तु की सक्रियता होती है। इसे प्राप्त करने के लिए प्रस्तावित समाधान ध्यान टेंसर के वैध वितरण पर के-मीन्स एल्गोरिदम को लागू करना है ताकि वस्तुओं के क्लस्टर का पता लगाया जा सके। हालांकि, के-मीन्स का उपयोग करना सबसे अच्छा समाधान नहीं है क्योंकि के-मीन्स क्लस्टरिंग के लिए उपयोगकर्ता को पहले से क्लस्टर की संख्या निर्दिष्ट करने की आवश्यकता होती है। इसके अलावा, के-मीन्स एल्गोरिदम को लागू करने से एक ही छवि के लिए अलग-अलग परिणाम मिल सकते हैं क्योंकि यह स्टोकास्टिक रूप से प्रारंभिक मान पर निर्भर करता है। इस बाधा को पार करने के लिए, DiffSeg ढांचे में प्रस्तावों का निर्माण करने के लिए एक नमूना ग्रिड का प्रस्ताव किया जाता है जो ध्यान मानचित्रों को पुनरावृत्त रूप से विलय करता है।

गैर-अधिकतम दमन

पुनरावृत्त ध्यान विलय के पिछले चरण से वस्तु प्रस्तावों की एक सूची प्राप्त होती है, जिसमें प्रत्येक वस्तु प्रस्ताव में वस्तु की सक्रियता होती है। ढांचे गैर-अधिकतम दमन का उपयोग एक वैध विभाजन मास्क में वस्तु प्रस्तावों की सूची को परिवर्तित करने के लिए करता है, और यह प्रक्रिया एक प्रभावी दृष्टिकोण है क्योंकि सूची में प्रत्येक तत्व पहले से ही एक संभावना वितरण मानचित्र है। प्रत्येक स्थानिक स्थान के लिए सभी मानचित्रों में, एल्गोरिदम सबसे बड़ी संभावना के सूचकांक को लेता है और संबंधित मानचित्र के सूचकांक के आधार पर एक सदस्यता निर्धारित करता है।

DiffSeg : प्रयोग और परिणाम

अपर्यवेक्षित विभाजन पर काम करने वाले ढांचे दो विभाजन बेंचमार्क का उपयोग करते हैं, अर्थात् सिटीस्केप्स और कोको-स्टफ-27। सिटीस्केप्स बेंचमार्क एक स्वायत्त ड्राइविंग डेटासेट है जिसमें 27 मध्य-स्तरीय श्रेणियां हैं, जबकि कोको-स्टफ-27 बेंचमार्क मूल कोको-स्टफ डेटासेट का एक क्यूरेटेड संस्करण है जो वस्तुओं की 80 श्रेणियों और सतहों या पदार्थों की 91 श्रेणियों को 27 श्रेणियों में मिलाता है। इसके अलावा, विभाजन प्रदर्शन का विश्लेषण करने के लिए, DiffSeg ढांचे में औसत इंटरसेक्शन-ओवर-यूनियन (mIoU) और पिक्सेल सटीकता (ACC) का उपयोग किया जाता है, और चूंकि DiffSeg एल्गोरिदम एक सेमेंटिक लेबल प्रदान नहीं कर सकता है, यह हंगेरियन मिलान एल्गोरिदम का उपयोग प्रत्येक पूर्वानुमानित मास्क के साथ एक ग्राउंड-ट्रुथ मास्क को सौंपने के लिए करता है। यदि पूर्वानुमानित मास्क की संख्या ग्राउंड-ट्रुथ मास्क की संख्या से अधिक है, तो ढांचे बिना मिलान वाले पूर्वानुमानित मास्क को झूठे नकारात्मक के रूप में मानेगा।

इसके अलावा, DiffSeg ढांचे में निम्नलिखित तीन आवश्यकताओं का इन्फरेंस के संदर्भ में मूल्यांकन किया जाता है: भाषा निर्भरता या एलडी, अपर्यवेक्षित अनुकूलन या यूए, और सहायक छवि या एएक्स। भाषा निर्भरता का अर्थ है कि विधि को छवि के लिए विभाजन को सुविधाजनक बनाने के लिए वर्णनात्मक पाठ इनपुट और प्रॉम्प्ट की आवश्यकता होती है, अपर्यवेक्षित अनुकूलन से तात्पर्य है कि विधि को लक्ष्य डेटासेट पर अपर्यवेक्षित प्रशिक्षण की आवश्यकता होती है, जबकि सहायक छवि से तात्पर्य है कि विधि को अतिरिक्त इनपुट की आवश्यकता होती है, या तो सिंथेटिक छवियों के रूप में या संदर्भ छवियों के एक समूह के रूप में।

परिणाम

कोको बेंचमार्क पर, DiffSeg ढांचे में दो के-मीन्स बेसलाइन शामिल हैं, के-मीन्स-एस और के-मीन्स-सी। के-मीन्स-सी बेसलाइन में 6 क्लस्टर होते हैं जो उन छवियों में वस्तुओं की संख्या को औसत करके गणना की जाती है जिनका मूल्यांकन किया जाता है, जबकि के-मीन्स-एस बेसलाइन प्रत्येक छवि के लिए एक विशिष्ट संख्या में क्लस्टर का उपयोग करता है जो ग्राउंड-ट्रुथ में वस्तुओं की संख्या के आधार पर है। दोनों बेसलाइन पर परिणाम निम्नलिखित छवि में दिखाए गए हैं।

जैसा कि देखा जा सकता है, के-मीन्स बेसलाइन मौजूदा विधियों से बेहतर प्रदर्शन करता है, जो स्व-ध्यान टेंसर का उपयोग करने के लाभ को प्रदर्शित करता है। दिलचस्प बात यह है कि के-मीन्स-एस बेसलाइन के-मीन्स-सी बेसलाइन से बेहतर प्रदर्शन करता है, जो यह दर्शाता है कि क्लस्टर की संख्या एक मूलभूत हाइपरपैरामीटर है, और इसका समायोजन प्रत्येक छवि के लिए महत्वपूर्ण है। इसके अलावा, यहां तक कि जब समान ध्यान टेंसर पर निर्भर करता है, DiffSeg ढांचा के-मीन्स बेसलाइन से बेहतर प्रदर्शन करता है, जो DiffSeg ढांचे की क्षमता को प्रदर्शित करता है न केवल बेहतर विभाजन प्रदान करने के लिए, बल्कि के-मीन्स बेसलाइन के द्वारा प्रस्तुत नुकसान से भी बचने के लिए।

सिटीस्केप्स डेटासेट पर, DiffSeg ढांचे ने 320-रिज़ॉल्यूशन इनपुट के साथ काम करने वाले ढांचों के समान परिणाम प्रदान किए, जबकि सटीकता और mIoU दोनों में 512-रिज़ॉल्यूशन इनपुट के साथ काम करने वाले ढांचों से बेहतर प्रदर्शन किया।

जैसा कि पहले उल्लेख किया गया है, DiffSeg ढांचे में कई हाइपरपैरामीटर हैं, जो निम्नलिखित छवि में दिखाए गए हैं।

ध्यान एकत्रीकरण DiffSeg ढांचे में एक मूलभूत अवधारणा है, और विभिन्न एकत्रीकरण भारों का उपयोग करने के प्रभाव निम्नलिखित छवि में दिखाए गए हैं, छवि के रिज़ॉल्यूशन को स्थिर रखते हुए।

जैसा कि देखा जा सकता है, उच्च-रिज़ॉल्यूशन मानचित्र (बी) में 64 x 64 मानचित्र विस्तृत विभाजन प्रदान करते हैं, हालांकि विभाजन में कुछ दिखाई देने वाले फ्रैक्चर होते हैं, जबकि निम्न-रिज़ॉल्यूशन 32 x 32 मानचित्र विवरण को अधिक विभाजित करते हैं, लेकिन सुसंगत विभाजन को बढ़ावा देते हैं। चित्र (डी) में, निम्न-रिज़ॉल्यूशन मानचित्र विभाजन का उत्पादन करने में विफल रहते हैं क्योंकि पूरी छवि एक ही वस्तु में विलय हो जाती है मौजूदा हाइपरपैरामीटर सेटिंग्स के साथ। अंत में, चित्र (ए) में अनुपातिक एकत्रीकरण रणनीति का उपयोग विस्तृत विभाजन और संतुलित सुसंगतता प्रदान करता है।

अंतिम विचार

शून्य-शॉट अपर्यवेक्षित विभाजन अभी भी कंप्यूटर दृष्टि ढांचों के लिए सबसे बड़ी चुनौतियों में से एक है, और मौजूदा मॉडल या तो गैर-शून्य-शॉट अपर्यवेक्षित अनुकूलन पर निर्भर करते हैं या बाहरी संसाधनों का उपयोग करते हैं। इस बाधा को पार करने के लिए, हमने चर्चा की कि कैसे Stable Diffusion मॉडल में स्व-ध्यान परतें एक मॉडल के निर्माण को सुविधाजनक बना सकती हैं जो शून्य-शॉट सेटिंग में किसी भी इनपुट को विभाजित कर सकता है, यहां तक कि एनोटेशन के बिना भी। हमने DiffSeg के बारे में भी चर्चा की, जो एक नवाचारी पोस्ट-प्रोसेसिंग रणनीति है जो Stable Diffusion ढांचे का लाभ उठाकर एक सामान्य विभाजन मॉडल बनाने के लिए है जो किसी भी छवि पर शून्य-शॉट हस्तांतरण को लागू कर सकता है। एल्गोरिदम अलग-अलग अटेंशन मानचित्रों के बीच की समानता और प्रत्येक मानचित्र के भीतर की समानता पर निर्भर करता है ताकि ध्यान मानचित्रों को पुनरावृत्त रूप से वैध विभाजन मास्क में विलय किया जा सके और लोकप्रिय बेंचमार्क पर उत्कृष्ट प्रदर्शन प्राप्त किया जा सके।

Kunal Kejriwal
medium

कुणाल केजरीवाल एक बैकएंड इंजीनियर हैं जो Python, PostgreSQL, Redis और GCP व AWS पर क्लाउड इन्फ्रास्ट्रक्चर में विशेषज्ञता रखते हैं। उन्हें वास्तविक उपयोग में चलने वाली प्रणालियों को बनाने और उनका विस्तार करने का तीन वर्षों का अनुभव है। वे एआई इन्फ्रास्ट्रक्चर, वितरित प्रणालियों और मशीन लर्निंग वर्कलोड को डिप्लॉय करने की आर्किटेक्चर के बारे में लिखते हैं।