आरएजी-संवर्धित छवि पीढ़ी का भविष्य

स्टेबल डिफ्यूजन, फ्लक्स और वीडियो मॉडल जैसे हन्युआन जैसे व्युत्पन्न डिफ्यूजन मॉडल एकल, संसाधन-गहन प्रशिक्षण सत्र के दौरान प्राप्त ज्ञान पर निर्भर करते हैं जो एक निश्चित डेटासेट का उपयोग करता है। प्रशिक्षण के बाद पेश किए गए किसी भी अवधारणा – जिसे ज्ञान कट-ऑफ के रूप में जाना जाता है – मॉडल से अनुपस्थित है जब तक कि इसे फाइन-ट्यूनिंग या बाहरी अनुकूलन तकनीकों जैसे लो रैंक एडैप्टेशन (LoRA) के माध्यम से पूरक नहीं किया जाता है।

यह आदर्श होगा यदि एक उत्पन्न प्रणाली जो छवियों या वीडियो का उत्पादन करती है ऑनलाइन स्रोतों तक पहुंच सकती है और उत्पादन प्रक्रिया में उन्हें आवश्यकतानुसार ला सकती है। इस तरह, उदाहरण के लिए, नवीनतम एप्पल या टेस्ला रिलीज़ के बारे में कुछ नहीं जानने वाला एक डिफ्यूजन मॉडल अभी भी इन नए उत्पादों को含ने वाली छवियों का उत्पादन कर सकता है।

भाषा मॉडल के संबंध में, हम में से अधिकांश परिचित हैं जैसे कि परिप्लेक्सिटी, नोटबुक एलएम और चैटजीपीटी-4ओ जैसे सिस्टम जो रिट्रीवल ऑगमेंटेड जेनरेशन (आरएजी) मॉडल में बाहरी जानकारी को शामिल कर सकते हैं।

आरएजी प्रक्रियाएं चैटजीपीटी 4ओ के उत्तरों को अधिक प्रासंगिक बनाती हैं। स्रोत: https://chatgpt.com/

हालांकि, यह सुविधा छवियों को उत्पन्न करने के लिए असामान्य है, और चैटजीपीटी अपनी सीमाओं को इस संबंध में स्वीकार करेगा:

चैटजीपीटी 4ओ ने एक नए घड़ी रिलीज़ के दृश्य के बारे में एक अच्छा अनुमान लगाया है, जो सामान्य रेखा और विवरण पर आधारित है जिसे यह व्याख्या करता है; लेकिन यह एक डीएलएल-ई आधारित पीढ़ी में नए छवियों को ‘अवशोषित’ और एकीकृत नहीं कर सकता है।

बाहरी डेटा को एक उत्पन्न छवि में शामिल करना चुनौतीपूर्ण है क्योंकि आने वाली छवि को पहले टोकन और एम्बेडिंग में तोड़ा जाना चाहिए, जो तब मॉडल के निकटतम प्रशिक्षित डोमेन ज्ञान के विषय के साथ मैप किए जाते हैं।

जबकि यह प्रक्रिया पोस्ट-ट्रेनिंग टूल्स जैसे कंट्रोलनेट के लिए प्रभावी ढंग से काम करती है, ऐसे मैनिपुलेशन मुख्य रूप से सतही रहते हैं, मूल रूप से पुनर्प्राप्त छवि को एक रेंडरिंग पाइपलाइन के माध्यम से निर्देशित करते हैं, लेकिन इसे मॉडल के आंतरिक प्रतिनिधित्व में गहराई से एकीकृत नहीं करते हैं।

इसके परिणामस्वरूप, मॉडल में न्यूरल रेंडरिंग सिस्टम जैसे नेर्फ की तरह नए दृष्टिकोण उत्पन्न करने की क्षमता का अभाव है, जो वास्तविक स्थानिक और संरचनात्मक समझ के साथ दृश्य का निर्माण कर सकते हैं।

परिपक्व तर्क

एक समान सीमा बड़े भाषा मॉडल (एलएलएम) में आरएजी-आधारित प्रश्नों पर लागू होती है, जैसे कि परिप्लेक्सिटी। जब इस प्रकार का मॉडल बाहरी पुनर्प्राप्त डेटा को संसाधित करता है, तो यह बहुत कुछ एक वयस्क की तरह कार्य करता है जो एक जीवनकाल के ज्ञान का उपयोग करके एक विषय के बारे में संभावनाओं का अनुमान लगाने के लिए करता है।

हालांकि, जैसे एक व्यक्ति अपने मूल दृष्टिकोण को प्रभावित करने वाले पूर्वाग्रहों और धारणाओं के गठन के दौरान अपने मूल विश्वदृष्टि के ढांचे में नए ज्ञान को पीछे की ओर एकीकृत नहीं कर सकता है, एक एलएलएम अपने पूर्व-प्रशिक्षित ढांचे में नए ज्ञान को निर्बाध रूप से मिला नहीं सकता है।

इसके बजाय, यह केवल ‘प्रभाव’ या अपने मौजूदा आंतरिक ज्ञान के खिलाफ नए डेटा को जोड़ सकता है, सीखे गए सिद्धांतों का उपयोग करके विश्लेषण और अनुमान लगाने के लिए, न कि मूल स्तर पर संश्लेषण करने के लिए।

जक्सपोज्ड और इंटरनलाइज्ड जेनरेशन के बीच इस असमानता की संभावना एक उत्पन्न छवि में अधिक स्पष्ट होने की संभावना है, न कि भाषा-आधारित पीढ़ी में: ‘मूल’ (आरएजी-आधारित नहीं) पीढ़ी के गहरे नेटवर्क कनेक्शन और बढ़ी हुई रचनात्मकता को विभिन्न अध्ययनों में स्थापित किया गया है।

आरएजी-क्षमता छवि पीढ़ी के छिपे हुए जोखिम

यहां तक कि अगर यह तकनीकी रूप से संभव था कि पुनर्प्राप्त इंटरनेट छवियों को नए संश्लेषित छवियों में एक आरएजी शैली में निर्बाध रूप से एकीकृत किया जा सकता है, तो सुरक्षा-संबंधित सीमाएं एक अतिरिक्त चुनौती प्रस्तुत करेंगी।

उत्पन्न मॉडल के लिए प्रशिक्षण के लिए उपयोग किए जाने वाले कई डेटासेट को स्पष्ट, नस्लवादी या हिंसक सामग्री जैसे संवेदनशील श्रेणियों की उपस्थिति को कम करने के लिए क्यूरेट किया गया है। हालांकि, यह प्रक्रिया असंपूर्ण है, और अवशेष संघों को बनाए रखा जा सकता है। इसे कम करने के लिए, डीएलएल-ई और एडोबी फायरफ्लाई जैसे सिस्टम माध्यमिक फिल्टरिंग तंत्र पर भरोसा करते हैं जो इनपुट प्रॉम्प्ट और उत्पन्न आउटपुट दोनों को निषिद्ध सामग्री के लिए स्क्रीन करते हैं।

परिणामस्वरूप, एक सरल एनएसएफडब्ल्यू फिल्टर – जो मुख्य रूप से स्पष्ट रूप से स्पष्ट सामग्री को अवरुद्ध करता है – पुनर्प्राप्त आरएजी-आधारित डेटा की स्वीकार्यता का मूल्यांकन करने के लिए पर्याप्त नहीं होगा। ऐसी सामग्री अभी भी मॉडल के पूर्व-निर्धारित मॉडरेशन पैरामीटर के बाहर गिरने के तरीकों से अपमानजनक या हानिकारक हो सकती है, संभावित रूप से ऐसी सामग्री को पेश करती है जिसे एआई उचित रूप से मूल्यांकन करने के लिए संदर्भ जागरूकता की कमी है।

सीसीपी-निर्मित डीपसीक में एक हालिया कमजोरियों की खोज, जो प्रतिबंधित राजनीतिक सामग्री पर चर्चाओं को दबाने के लिए डिज़ाइन किया गया है, यह प्रकट करता है कि वैकल्पिक इनपुट पथ कैसे मॉडल के नैतिक सुरक्षा उपायों को बायपास करने के लिए शोषित किए जा सकते हैं; तर्कसंगत रूप से, यह इंटरनेट से पुनर्प्राप्त मनमाने डेटा पर भी लागू होता है, जब इसका उद्देश्य एक नए छवि पीढ़ी में शामिल किया जाना है।

आरएजी छवि पीढ़ी के लिए

इन चुनौतियों और कांटेदार राजनीतिक पहलुओं के बावजूद, कई परियोजनाएं सामने आई हैं जो दृश्य पीढ़ी में नए डेटा को शामिल करने के लिए आरएजी-आधारित विधियों का उपयोग करने का प्रयास करती हैं।

रेडी

2023 पुनर्प्राप्ति-आधारित डिफ्यूजन (रेडी) परियोजना एक शिक्षा-मुक्त ढांचा है जो एक पूर्व-गणना किए गए ज्ञान आधार से समान траJECTORIES को पुनर्प्राप्त करके डिफ्यूजन मॉडल के अनुमान को तेज करता है।

मूल्य एक डेटासेट से ‘उधार’ लिए जा सकते हैं एक नए पीढ़ी के लिए रेडी。 स्रोत: https://arxiv.org/pdf/2302.02285

डिफ्यूजन मॉडल के संदर्भ में, एक ट्रैजेक्टरी वह कदम-दर-कदम मार्ग है जो मॉडल एक छवि को शुद्ध शोर से उत्पन्न करने के लिए लेता है। सामान्य तौर पर, यह प्रक्रिया कई चरणों में धीरे-धीरे होती है, प्रत्येक चरण छवि को थोड़ा और परिष्कृत करता है।

रेडी इसे तेज करता है कि यह कई चरणों को छोड़ देता है। इसके बजाय प्रत्येक चरण की गणना करने के, यह एक समान अतीत के ट्रैजेक्टरी को एक डेटाबेस से पुनर्प्राप्त करता है और प्रक्रिया में एक बाद के बिंदु पर कूद जाता है। इससे आवश्यक गणनाओं की संख्या कम हो जाती है, जिससे डिफ्यूजन-आधारित छवि पीढ़ी बहुत तेज हो जाती है, जबकि गुणवत्ता को भी बनाए रखा जाता है।

रेडी डिफ्यूजन मॉडल के वजन को संशोधित नहीं करता है, बल्कि मध्यवर्ती चरणों को छोड़ने के लिए ज्ञान आधार का उपयोग करता है, जिससे नमूनाकरण के लिए आवश्यक फ़ंक्शन अनुमानों की संख्या कम हो जाती है।

बिल्कुल, यह विशिष्ट छवियों को इच्छा से एक पीढ़ी अनुरोध में शामिल करने के समान नहीं है; लेकिन यह समान प्रकार की पीढ़ी से संबंधित है।

2022 में जारी, जब लेटेंट डिफ्यूजन मॉडल सार्वजनिक कल्पना पर कब्जा कर लिया, रेडी डिफ्यूजन-आधारित दृष्टिकोण पर निर्भर एक डिफ्यूजन-आधारित दृष्टिकोण के बीच में प्रतीत होता है।

हालांकि यह उल्लेख किया जाना चाहिए कि 2021 में फेसबुक रिसर्च ने इंस्टेंस-कंडीशंड जीएन जारी किया, जिसने जीएन छवियों को नए छवि इनपुट पर सशर्त बनाने का प्रयास किया, इस तरह का प्रोजेक्शन लेटेंट स्पेस में सामान्य है; गैन्स और डिफ्यूजन मॉडल दोनों के लिए यह एक चुनौती है कि इस प्रक्रिया को प्रशिक्षण-मुक्त और वास्तविक समय में कार्यात्मक बनाया जाए, जैसा कि एलएलएम-केंद्रित आरएजी विधियों में।

आरडीएम

आरएजी-संवर्धित छवि पीढ़ी में एक और प्रारंभिक प्रयास पुनर्प्राप्ति-संवर्धित डिफ्यूजन मॉडल (आरडीएम) है, जो उत्पन्न छवि संश्लेषण के लिए एक अर्ध-पैरामेट्रिक दृष्टिकोण पेश करता है। जबकि पारंपरिक डिफ्यूजन मॉडल अपने न्यूरल नेटवर्क पैरामीटर के भीतर सभी सीखे गए दृश्य ज्ञान को संग्रहीत करते हैं, आरडीएम एक बाहरी छवि डेटाबेस पर निर्भर करता है:

आरडीएम में एक प्रतिनिधि प्रश्न में पुनर्प्राप्त निकटतम पड़ोसी।

प्रशिक्षण के दौरान, मॉडल बाहरी डेटाबेस से निकटतम पड़ोसी (दृश्य या सेमेंटिक रूप से समान छवियों) को पुनर्प्राप्त करता है, जो उत्पादन प्रक्रिया को निर्देशित करने में मदद करता है। इससे मॉडल को वास्तविक दुनिया के दृश्य उदाहरणों पर अपने आउटपुट को सशर्त बनाने की अनुमति मिलती है।

पुनर्प्राप्ति प्रक्रिया क्लिप एम्बेडिंग द्वारा संचालित होती है, जो पुनर्प्राप्त छवियों को प्रश्न के साथ अर्थपूर्ण समानता साझा करने के लिए मजबूर करती है, और उत्पादन में नए ज्ञान प्रदान करने के लिए भी।

यह पैरामीटर पर निर्भरता को कम करता है, जिससे छोटे मॉडल संभव हो जाते हैं जो व्यापक प्रशिक्षण डेटासेट की आवश्यकता के बिना प्रतिस्पर्धी परिणाम प्राप्त करते हैं।

आरडीएम दृष्टिकोण पोस्ट-हॉक संशोधनों का समर्थन करता है: शोधकर्ता अनुमान समय पर डेटाबेस को स्वैप कर सकते हैं, जिससे नए शैलियों, डोमेन या यहां तक कि स्टाइलाइजेशन या वर्ग-शर्त पीढ़ी जैसे कार्यों में शून्य-शॉट अनुकूलन संभव हो जाता है।

आरडीएम में पुनर्प्राप्त निकटतम पड़ोसियों को डिफ्यूजन प्रक्रिया में खींचा जा रहा है।

आरडीएम का एक प्रमुख लाभ यह है कि यह मॉडल को पुनः प्रशिक्षण की आवश्यकता के बिना छवि पीढ़ी में सुधार करने की अनुमति देता है। डेटाबेस को संशोधित करके, मॉडल उन नए अवधारणाओं पर सामान्य बना सकता है जिन पर यह विशेष रूप से प्रशिक्षित नहीं किया गया था। यह विशेष रूप से उपयोगी है जहां डोमेन शिफ्ट होते हैं, जैसे कि विकसित डेटासेट पर आधारित चिकित्सा छवियों का उत्पादन, या रचनात्मक अनुप्रयोगों के लिए पाठ-से-छवि मॉडल को अनुकूलित करना।

नकारात्मक रूप से, इस तरह की पुनर्प्राप्ति-आधारित विधियों पर निर्भरता बाहरी डेटाबेस की गुणवत्ता और प्रासंगिकता पर निर्भर करती है, जो डेटा क्यूरेशन को एक महत्वपूर्ण कारक बनाती है; और यह दृष्टिकोण अभी भी एक छवि संश्लेषण के बराबर नहीं है जो व्यावसायिक एलएलएम में पाए जाने वाले आरएजी-आधारित इंटरैक्शन के समान है।

रीमोडिफ्यूज

रीमोडिफ्यूज एक पुनर्प्राप्ति-संवर्धित गति डिफ्यूजन मॉडल है जो 3डी मानव गति पीढ़ी के लिए डिज़ाइन किया गया है। पारंपरिक गति पीढ़ी मॉडल के विपरीत जो शुद्ध रूप से सीखे गए प्रतिनिधित्व पर निर्भर करते हैं, रीमोडिफ्यूज एक बड़े गति डेटासेट से प्रासंगिक गति नमूनों को पुनर्प्राप्त करता है और उन्हें शोर-मुक्त करने की प्रक्रिया में, आरडीएम (ऊपर देखें) के समान योजना में एकीकृत करता है।

आरएजी-संवर्धित रीमोडिफ्यूज (दाएं-सबसे) की पूर्व विधियों की तुलना में। स्रोत: https://arxiv.org/pdf/2304.01116

यह मॉडल को अधिक प्राकृतिक और विविध गति अनुक्रम उत्पन्न करने की अनुमति देता है, साथ ही साथ उपयोगकर्ता के पाठ प्रॉम्प्ट के प्रति सेमेंटिक रूप से वफादार।

रीमोडिफ्यूज एक नवाचार हाइब्रिड पुनर्प्राप्ति तंत्र का उपयोग करता है, जो सेमेंटिक और काइनेमैटिक समानता दोनों पर आधारित गति अनुक्रमों का चयन करता है, ताकि यह सुनिश्चित किया जा सके कि पुनर्प्राप्त गति न केवल थीमेटिक रूप से प्रासंगिक हैं, बल्कि एकीकरण के लिए भौतिक रूप से यथार्थवादी भी हैं।

मॉडल तब सेमेंटिक्स-मॉड्यूलेटेड ट्रांसफॉर्मर का उपयोग करके इन पुनर्प्राप्त नमूनों को परिष्कृत करता है, जो पुनर्प्राप्त गति से ज्ञान को चयनात्मक रूप से एकीकृत करता है, जबकि उत्पन्न अनुक्रम की विशिष्ट गुणों को बनाए रखता है:

रीमोडिफ्यूज के पाइपलाइन की योजना।

परियोजना की कंडीशन मिक्सचर तकनीक मॉडल की क्षमता को बढ़ाती है जो विभिन्न प्रॉम्प्ट और पुनर्प्राप्ति स्थितियों में सामान्य बनाती है, पुनर्प्राप्त गति नमूनों को पाठ प्रॉम्प्ट के साथ संतुलित करती है, और समायोजित करती है कि प्रत्येक स्रोत को प्रत्येक चरण में कितना वजन मिलता है।

यह असंभव या दोहराए जाने वाले आउटपुट को रोकने में मदद कर सकता है, यहां तक कि दुर्लभ प्रॉम्प्ट के लिए भी; यह स्केल संवेदनशीलता मुद्दे को भी संबोधित करता है जो अक्सर क्लासिफायर-मुक्त मार्गदर्शन तकनीकों में उत्पन्न होता है जो डिफ्यूजन मॉडल में सामान्य रूप से उपयोग किया जाता है।

आरा-सीएम3

स्टैनफोर्ड के 2023 पेपर पुनर्प्राप्ति-संवर्धित बहुसंकेत भाषा मॉडलिंग (आरा-सीएम3) प्रणाली को वास्तविक दुनिया की जानकारी तक पहुंच प्रदान करती है अनुमान समय पर:

स्टैनफोर्ड का पुनर्प्राप्ति-संवर्धित बहुसंकेत भाषा मॉडलिंग (आरा-सीएम3) मॉडल इंटरनेट-पुनर्प्राप्त छवियों को पीढ़ी प्रक्रिया में प्रतिबिंबित करता है, लेकिन एक प्रोटोटाइप के रूप में रहता है जिसके लिए सार्वजनिक पहुंच नहीं है। स्रोत: https://cs.stanford.edu/~myasu/files/RACM3_slides.pdf

आरा-सीएम3 पुनर्प्राप्त पाठ और छवियों को पीढ़ी पाइपलाइन में एकीकृत करता है, पाठ-से-छवि और छवि-से-पाठ दोनों संश्लेषण में सुधार करता है। क्लिप का उपयोग पुनर्प्राप्ति के लिए और एक ट्रांसफॉर्मर का उपयोग जनरेटर के रूप में करते हुए, मॉडल प्रतिक्रिया तैयार करने से पहले प्रासंगिक बहुसंकेत दस्तावेजों का उल्लेख करता है।

एमएस-सीओसीओ पर बेंचमार्क में डीएलएल-ई और समान प्रणालियों की तुलना में एक उल्लेखनीय 12-बिंदु फ्रेचेट इन्सेप्शन दूरी (एफआईडी) कमी हासिल की जाती है, जिसमें कम गणना लागत होती है।

हालांकि, जैसे अन्य पुनर्प्राप्ति-संवर्धित दृष्टिकोण, आरा-सीएम3 अपने पुनर्प्राप्त ज्ञान को निर्बाध रूप से आंतरिक नहीं बनाता है। इसके बजाय, यह अपने पूर्व-प्रशिक्षित नेटवर्क पर नए डेटा को सुपरइम्पोज़ करता है, एक एलएलएम की तरह जो अपने उत्तरों को खोज परिणामों के साथ पूरक करता है। जबकि यह विधि तथ्यात्मक सटीकता में सुधार कर सकती है, यह गहरे संश्लेषण की आवश्यकता वाले डोमेन में प्रशिक्षण अद्यतनों की आवश्यकता को प्रतिस्थापित नहीं करती है।

इसके अलावा, इस प्रणाली का एक व्यावहारिक कार्यान्वयन जारी नहीं किया गया है, यहां तक कि एक एपीआई-आधारित प्लेटफ़ॉर्म पर भी।

रियलआरएजी

चीन से एक नया रिलीज, और जिसने इस आरएजी-संवर्धित उत्पन्न छवि प्रणालियों के अवलोकन को प्रेरित किया है, पुनर्प्राप्ति-संवर्धित वास्तविक छवि पीढ़ी (रियलआरएजी) कहा जाता है।

बाहरी छवियों को रियलआरएजी (नीचे मध्य) में खींचा जा रहा है। स्रोत: https://arxiv.o7rg/pdf/2502.00848

रियलआरएजी वास्तविक वस्तुओं की छवियों को सार्वजनिक रूप से उपलब्ध डेटासेट जैसे इमेजनेट, स्टैनफोर्ड कार, स्टैनफोर्ड कुत्ते, और ऑक्सफोर्ड फूल से एक डेटाबेस से पुनर्प्राप्त करता है। फिर यह पुनर्प्राप्त छवियों को पीढ़ी प्रक्रिया में एकीकृत करता है, मॉडल में ज्ञान अंतराल को संबोधित करता है।

रियलआरएजी का एक प्रमुख घटक स्व-प्रतिबिंबित विपरीत शिक्षा है, जो एक पुनर्प्राप्ति मॉडल को प्रशिक्षित करता है जो केवल दृश्य रूप से समान छवियों का चयन करने के बजाय सूचनात्मक संदर्भ छवियों को खोजने के लिए।

लेखकों का कहना है:

‘हमारा मुख्य अंतर्दृष्टि यह है कि एक पुनर्प्राप्ति मॉडल को प्रशिक्षित करना है जो पीढ़ी के स्थान से दूर रहता है, लेकिन पाठ प्रॉम्प्ट के प्रतिनिधित्व के करीब है।

‘इसके लिए, हम पहले दिए गए पाठ प्रॉम्प्ट से छवियों को उत्पन्न करते हैं, और फिर उत्पन्न छवियों का उपयोग पुनर्प्राप्ति क्वेरी के रूप में करते हैं ताकि डेटाबेस में सबसे प्रासंगिक छवियों को पुनर्प्राप्त किया जा सके। ये सबसे प्रासंगिक छवियां प्रतिबिंबित नकारात्मक के रूप में उपयोग की जाती हैं। ‘

यह दृष्टिकोण सुनिश्चित करता है कि पुनर्प्राप्त छवियां पीढ़ी प्रक्रिया में गायब ज्ञान का योगदान करती हैं, मॉडल में मौजूदा पूर्वाग्रहों को मजबूत करने के बजाय।

बाएं-सबसे, पुनर्प्राप्त संदर्भ छवि; केंद्र, आरएजी के बिना; दाएं-सबसे, पुनर्प्राप्त छवि का उपयोग करते हुए।

हालांकि, पुनर्प्राप्ति की गुणवत्ता और डेटाबेस कवरेज पर निर्भरता का अर्थ है कि इसकी प्रभावशीलता डेटासेट में उच्च गुणवत्ता वाले संदर्भों की उपलब्धता पर निर्भर करती है। यदि डेटासेट में एक प्रासंगिक छवि नहीं है, तो मॉडल अभी भी अज्ञात अवधारणाओं के साथ संघर्ष कर सकता है।

रियलआरएजी एक बहुत ही मॉड्यूलर आर्किटेक्चर प्रदान करता है, जो कई अन्य उत्पन्न संरचनाओं के साथ संगतता प्रदान करता है, जिसमें यू-नेट-आधारित, डीआईटी-आधारित और स्व-सरंक्षित मॉडल शामिल हैं।

सामान्य तौर पर, बाहरी छवियों को पुनर्प्राप्त करने और संसाधित करने से गणनात्मक ओवरहेड जुड़ा होता है, और प्रणाली का प्रदर्शन इस बात पर निर्भर करता है कि पुनर्प्राप्ति तंत्र विभिन्न कार्यों और डेटासेट में कैसे सामान्य बनाता है।

निष्कर्ष

यह आरएजी-संवर्धित बहुसंकेत प्रणालियों का एक प्रतिनिधि अवलोकन है, जो छवि पीढ़ी के लिए डिज़ाइन की गई हैं। कुछ प्रणालियों का उपयोग केवल दृष्टि समझ या डेटासेट क्यूरेशन में सुधार के लिए पुनर्प्राप्ति के रूप में किया जाता है, न कि छवियों को उत्पन्न करने के लिए। एक उदाहरण इंटरनेट एक्सप्लोरर है।

साहित्य में आरएजी-एकीकृत परियोजनाओं में से अधिकांश अभी भी जारी नहीं की गई हैं। प्रोटोटाइप, केवल प्रकाशित शोध के साथ, में री-इमेजन शामिल है, जो अपने मूल के बावजूद केवल एक स्थानीय कस्टम डेटाबेस से छवियों तक पहुंच सकता है।

इसके अलावा, नवंबर 2024 में, बaidu ने घोषणा की इमेज-आधारित पुनर्प्राप्ति-संवर्धित पीढ़ी (iRAG), एक नई प्लेटफ़ॉर्म जो ‘एक डेटाबेस से’ पुनर्प्राप्त छवियों का उपयोग करता है। हालांकि iRAG को एर्नी प्लेटफ़ॉर्म पर उपलब्ध होने के रूप में बताया गया है, पुनर्प्राप्ति प्रक्रिया के बारे में कोई अतिरिक्त विवरण नहीं है, जो एक स्थानीय डेटाबेस (सेवा के लिए स्थानीय और उपयोगकर्ता के लिए सीधे पहुंच योग्य नहीं) पर निर्भर करता है।

इसके अलावा, 2024 के पेपर एकीकृत पाठ-से-छवि पीढ़ी और पुनर्प्राप्ति एक और आरएजी-आधारित विधि प्रदान करता है जो बाहरी छवियों का उपयोग पीढ़ी समय पर परिणामों को बढ़ाने के लिए करता है – फिर से, एक स्थानीय डेटाबेस से और न कि अधोहस्त इंटरनेट स्रोतों से।

आरएजी-आधारित पीढ़ी में उत्साह उन प्रणालियों पर केंद्रित होने की संभावना है जो इंटरनेट-सourced या उपयोगकर्ता-अपलोड की गई छवियों को सीधे पीढ़ी प्रक्रिया में शामिल कर सकती हैं, और जो उपयोगकर्ताओं को छवियों के स्रोत या विकल्पों में भाग लेने की अनुमति देती हैं।

हालांकि, यह एक महत्वपूर्ण चुनौती है; पहले, क्योंकि ऐसी प्रणालियों की प्रभावशीलता आमतौर पर एक संसाधन-गहन प्रशिक्षण प्रक्रिया के दौरान बनाए गए गहरे संबंधों पर निर्भर करती है; और दूसरा, क्योंकि सुरक्षा, कानूनी और कॉपीराइट प्रतिबंध के बारे में चिंताएं, जैसा कि पहले उल्लेख किया गया है, इसे एक एपीआई-चालित वेब सेवा और व्यावसायिक तैनाती के लिए एक असंभावित सुविधा बनाती है।

* स्रोत: https://proceedings.neurips.cc/paper_files/paper/2022/file/62868cc2fc1eb5cdf321d05b4b88510c-Paper-Conference.pdf

मंगलवार, 4 फरवरी, 2025 को पहली बार प्रकाशित