शून्य-शॉट अनुकूलन में संघर्ष जेनरेटिव एआई में

यदि आप एक लोकप्रिय छवि या वीडियो पीढ़ी उपकरण में खुद को रखना चाहते हैं – लेकिन आप पहले से ही इतने प्रसिद्ध नहीं हैं कि संस्थापक मॉडल आपको पहचान सके – तो आपको अपनी तस्वीरों के संग्रह का उपयोग करके एक निम्न-रैंक अनुकूलन (लोरा) मॉडल प्रशिक्षित करने की आवश्यकता होगी। एक बार बन जाने के बाद, यह व्यक्तिगत लोरा मॉडल उत्पन्न मॉडल को भविष्य के आउटपुट में आपकी पहचान को शामिल करने की अनुमति देता है।

इसे आमतौर पर छवि और वीडियो संश्लेषण अनुसंधान क्षेत्र में अनुकूलन कहा जाता है। यह स्टेबल डिफ्यूजन के आगमन के कुछ महीने बाद 2022 की गर्मियों में उभरा, गूगल रिसर्च के ड्रीमबूथ परियोजना ने उच्च-गीगाबाइट अनुकूलन मॉडल पेश किए, एक बंद-स्रोत योजना में जिसे जल्द ही उत्साही लोगों द्वारा अनुकूलित किया गया और समुदाय को जारी किया गया।

लोरा मॉडल जल्द ही इसका अनुसरण किया, और प्रशिक्षण और फ़ाइल आकार में आसानी और बहुत कम या कोई लागत के साथ गुणवत्ता में कोई कमी के बिना पेश की, जल्द ही स्टेबल डिफ्यूजन और इसके उत्तराधिकारियों के लिए अनुकूलन दृश्य पर हावी हो गए, बाद के मॉडल जैसे फ्लक्स, और अब नए जेनरेटिव वीडियो मॉडल जैसे हुन्युआन वीडियो और वान 2.1।

रिन्स और रिपीट

समस्या यह है, जैसा कि हमने पहले उल्लेख किया है, कि हर बार जब एक नया मॉडल आता है, तो इसके लिए नए लोरा को प्रशिक्षित करने की आवश्यकता होती है, जो लोरा-निर्माताओं के लिए काफी घर्षण का प्रतिनिधित्व करता है, जो अपने स्व-मॉडल को प्रशिक्षित करने के लिए एक श्रृंखला को प्रशिक्षित कर सकते हैं केवल यह पाते हैं कि एक मॉडल अपडेट या एक लोकप्रिय नए मॉडल का मतलब है कि उन्हें फिर से शुरू करने की आवश्यकता है।

इसलिए, शून्य-शॉट अनुकूलन दृष्टिकोण हाल के साहित्य में एक मजबूत धारा बन गए हैं। इस परिदृश्य में, अपने स्वयं के उप-मॉडल को प्रशिक्षित करने और एक डेटासेट को क्यूरेट करने की आवश्यकता के बजाय, आप पीढ़ी में इंजेक्ट किए जाने वाले विषय की एक या अधिक तस्वीरें प्रदान करते हैं, और प्रणाली इन इनपुट स्रोतों को एक मिश्रित आउटपुट में व्याख्या करती है।

नीचे हम देखते हैं कि चेहरे की अदला-बदली के अलावा, एक ऐसी प्रणाली (यहाँ पुलिड का उपयोग करके) शैली स्थानांतरण में आईडी मानों को भी शामिल कर सकती है:

पुलिड सिस्टम का उपयोग करके चेहरे की पहचान स्थानांतरण के उदाहरण। स्रोत: https://github.com/ToTheBeginning/PuLID?tab=readme-ov-file

जबकि एक जेनेरिक एडाप्टर के साथ लोरा जैसी एक श्रमसाध्य और भंगुर प्रणाली को बदलना एक अच्छा (और लोकप्रिय) विचार है; यह चुनौतीपूर्ण भी है; लोरा प्रशिक्षण प्रक्रिया में प्राप्त विस्तार से ध्यान और कवरेज को एक एक-शॉट आईपी-एडाप्टर-शैली के मॉडल में दोहराना बहुत मुश्किल है, जिसे लोरा के विवरण और लचीलेपन के स्तर को मैच करने की आवश्यकता है बिना पूर्व लाभ के एक व्यापक सेट पहचान छवियों का विश्लेषण करना।

हाइपरलोरा

इस बात को ध्यान में रखते हुए, बाइटडांस से एक दिलचस्प नया पत्र है जो वास्तविक लोरा कोड ऑन-द-फ्लाई उत्पन्न करने वाली एक प्रणाली का प्रस्ताव करता है, जो वर्तमान में शून्य-शॉट समाधानों में अद्वितीय है:

बाएं, इनपुट छवियां। उनके दाहिने हाथ पर, स्रोत छवियों के आधार पर एक लचीली श्रृंखला का आउटपुट, जो एंथनी हॉपकिंस और एन हैथवे जैसे अभिनेताओं के गहरे नकाबपोश बनाता है। स्रोत: https://arxiv.org/pdf/2503.16944

पत्र में कहा गया है:

‘एडाप्टर आधारित तकनीक जैसे आईपी-एडाप्टर संस्थापक मॉडल पैरामीटर को जमा देते हैं और शून्य-शॉट अनुमान को सक्षम करने के लिए एक प्लग-इन आर्किटेक्चर का उपयोग करते हैं, लेकिन वे अक्सर प्राकृतिकता और प्रामाणिकता की कमी का प्रदर्शन करते हैं, जो पोर्ट्रेट संश्लेषण कार्यों में उपेक्षा नहीं की जा सकती है।

‘[हम] एक पैरामीटर-कुशल अनुकूली पीढ़ी की विधि का परिचय देते हैं, जिसे हाइपरलोरा कहा जाता है, जो लोरा वजनों को उत्पन्न करने के लिए एक अनुकूली प्लग-इन नेटवर्क का उपयोग करता है, लोरा के श्रेष्ठ प्रदर्शन को एडाप्टर योजना की शून्य-शॉट क्षमता के साथ मिलाता है।

‘हमारे द्वारा सावधानी से डिज़ाइन किए गए नेटवर्क संरचना और प्रशिक्षण रणनीति के माध्यम से, हम उच्च फोटोरियलिज़्म, विश्वास, और संपादन योग्यता के साथ शून्य-शॉट व्यक्तिगत चित्र पीढ़ी (एकल और एकाधिक छवि इनपुट दोनों का समर्थन) प्राप्त करते हैं। ‘

सबसे उपयोगी, प्रशिक्षित प्रणाली का उपयोग मौजूदा कंट्रोलनेट के साथ किया जा सकता है, जो पीढ़ी में एक उच्च स्तर की विशिष्टता की अनुमति देता है:

टिमोथी चालोमेट ‘द शाइनिंग’ (1980) में एक अप्रत्याशित रूप से खुश दिखाई देते हैं, जो हाइपरलोरा में तीन इनपुट फोटो पर आधारित हैं, जिसमें एक कंट्रोलनेट मास्क आउटपुट (एक पाठ प्रोम्प्ट के साथ) को परिभाषित करता है।

यह जानने के लिए कि क्या नया सिस्टम कभी अंतिम उपयोगकर्ताओं के लिए उपलब्ध कराया जाएगा, बाइटडांस का इस संबंध में एक उचित रिकॉर्ड है, जिसमें बहुत शक्तिशाली लेटेंटसिंक लिप-सिंक्रोनाइजेशन फ्रेमवर्क जारी किया गया है, और हाल ही में इन्फिनिटीयू फ्रेमवर्क भी जारी किया गया है।

नकारात्मक रूप से, पत्र में इसके जारी करने के इरादे का कोई संकेत नहीं है, और पुनरावृत्ति कार्य को पुन: बनाने के लिए आवश्यक प्रशिक्षण संसाधन इतने अधिक हैं कि यह उत्साही समुदाय के लिए (जैसा कि उन्होंने ड्रीमबूथ के साथ किया था) इसे पुन: बनाने के लिए चुनौतीपूर्ण होगा।

नया पत्र शीर्षक है हाइपरलोरा: पोर्ट्रेट संश्लेषण के लिए पैरामीटर-कुशल अनुकूली पीढ़ी, और बाइटडांस और बाइटडांस के समर्पित इंटेलिजेंट क्रिएशन विभाग के सात शोधकर्ताओं से आता है।

विधि

नई विधि स्थिर प्रसार लेटेंट डिफ्यूजन मॉडल (एलडीएम) एसडीएक्सएल का उपयोग संस्थापक मॉडल के रूप में करती है, हालांकि सिद्धांतों को सामान्य रूप से प्रसार मॉडल पर लागू किया जा सकता है (हालांकि, प्रशिक्षण की मांगें – नीचे देखें – यह संभव हो सकती हैं जेनरेटिव वीडियो मॉडल पर लागू करने के लिए मुश्किल बना देती हैं)।

हाइपरलोरा के लिए प्रशिक्षण प्रक्रिया को तीन चरणों में विभाजित किया गया है, प्रत्येक चरण विशिष्ट जानकारी को सीखे हुए वजन में अलग और संरक्षित करने के लिए डिज़ाइन किया गया है। इस प्रक्रिया का उद्देश्य पहचान-संबंधित विशेषताओं को कपड़े, पृष्ठभूमि जैसे अप्रासंगिक तत्वों द्वारा प्रदूषित होने से रोकना है, साथ ही तेजी से और स्थिर अभिसरण प्राप्त करना है।

<img class=" wp-image-214296" src="https://www.unite.ai/wp-content/uploads/2025/03/fig-2.jpg" alt="हाइपरलोरा के लिए संकल्पनात्मक योजना। मॉडल को 'हाइपर आईडी-लोरा' में विभाजित किया गया है पहचान विशेषताओं के लिए और 'हाइपर बेस-लोरा' के लिए पृष्ठभूमि और कपड़े। यह पृथक्करण सुविधा रिसाव को कम करता है। प्रशिक्षण के दौरान, एसडीएक्सएल बेस और एनकोडर जमे हुए हैं, और केवल हाइपरलोरा मॉड्यूल अपडेट किए जाते हैं। अनुमान में, केवल आईडी-लोरा की आवश्यकता होती है व्यक्तिगत छवियों को उत्पन्न करने के लिए।

पहले चरण में पहचान-हीन विवरण को पकड़ने वाले एक ‘बेस-लोरा’ (ऊपर दिए गए योजना छवि में निचले बाएं) पर ध्यान केंद्रित किया जाता है।

इस पृथक्करण को लागू करने के लिए, शोधकर्ताओं ने जानबूझकर प्रशिक्षण छवियों में चेहरे को धुंधला कर दिया, जिससे मॉडल को चीजों जैसे पृष्ठभूमि, प्रकाश और मुद्रा पर कब्जा करने की अनुमति मिली, लेकिन पहचान नहीं। यह ‘वार्म-अप’ चरण एक फिल्टर के रूप में कार्य करता है, पहचान-विशिष्ट सीखने से पहले कम-स्तरीय विक्षेपों को हटा देता है।

दूसरे चरण में, एक ‘आईडी-लोरा’ (ऊपर दी गई योजना छवि में ऊपरी बाएं) पेश किया जाता है। यहाँ, संरचनात्मक विशेषताओं के लिए एक सीएलआईपी दृष्टि ट्रांसफॉर्मर (सीएलआईपी वीआईटी) और अधिक अमूर्त पहचान प्रतिनिधित्व के लिए इनसाइटफेस एंटीलोपवी2 एनकोडर का उपयोग करके चेहरे की पहचान एन्कोड की जाती है।

संक्रमणकालीन दृष्टिकोण

सीएलआईपी सुविधाएं मॉडल को तेजी से अभिसरण में मदद करती हैं, लेकिन अति-फिटिंग का जोखिम चलाती हैं, जबकि एंटीलोप एम्बेडिंग अधिक स्थिर होती हैं लेकिन प्रशिक्षण में अधिक समय लेती हैं। इसलिए, प्रणाली सीएलआईपी पर अधिक भारी रूप से निर्भर करती है, और धीरे-धीरे एंटीलोप को चरणबद्ध करती है, अस्थिरता से बचने के लिए।

अंतिम चरण में, सीएलआईपी-निर्देशित ध्यान परतें पूरी तरह से जमी हुई हैं। केवल एंटीलोपवी2-लिंक्ड ध्यान मॉड्यूल प्रशिक्षण जारी रखते हैं, जिससे मॉडल को पहचान संरक्षण को परिष्कृत करने की अनुमति मिलती है बिना पहले से सीखे हुए घटकों की विश्वसनीयता या सामान्यता को बिगाड़े।

यह चरणबद्ध संरचना मूल रूप से विच्छेदन का एक प्रयास है। पहचान और गैर-पहचान विशेषताएं पहले अलग की जाती हैं, फिर स्वतंत्र रूप से परिष्कृत की जाती हैं। यह व्यक्तिगतीकरण के सामान्य विफलता मोड के लिए एक व्यवस्थित प्रतिक्रिया है: पहचान ड्रिफ्ट, कम संपादन योग्यता, और अप्रासंगिक विशेषताओं में अति-फिटिंग।

जबकि आप वजन

एक बार सीएलआईपी वीआईटी और एंटीलोपवी2 ने एक दिए गए पोर्ट्रेट से संरचनात्मक और पहचान-विशिष्ट विशेषताओं को निकाल लिया है, तो प्राप्त विशेषताओं को एक प्राप्तकर्ता रीसैम्पलर (उपरोक्त आईपी-एडाप्टर परियोजना से व्युत्पन्न) के माध्यम से पारित किया जाता है – एक ट्रांसफॉर्मर-आधारित मॉड्यूल जो विशेषताओं को एक कॉम्पैक्ट सेट में मैप करता है सहगुणांक।

दो अलग-अलग रीसैम्पलर का उपयोग किया जाता है: एक बेस-लोरा वजन (जो पृष्ठभूमि और गैर-पहचान तत्वों को एन्कोड करता है) के लिए और दूसरा आईडी-लोरा वजन (जो चेहरे की पहचान पर केंद्रित है) के लिए।

हाइपरलोरा नेटवर्क के लिए योजना।

आउटपुट सहगुणांक एक सीखे हुए लोरा बेस मैट्रिस के सेट के साथ रैखिक रूप से संयुक्त होते हैं, जो बिना बेस मॉडल को फाइन-ट्यून करने की आवश्यकता के पूर्ण लोरा वजन का उत्पादन करते हैं।

यह दृष्टिकोण प्रणाली को छवि एनकोडर और हल्के प्रक्षेपण का उपयोग करके पूरी तरह से ऑन-द-फ्लाई व्यक्तिगत वजन उत्पन्न करने की अनुमति देता है, जबकि अभी भी लोरा की क्षमता का लाभ उठाता है सीधे बेस मॉडल के व्यवहार को संशोधित करने के लिए।

डेटा और परीक्षण

हाइपरलोरा को प्रशिक्षित करने के लिए, शोधकर्ताओं ने लायोन-2बी डेटासेट के 4.4 मिलियन चेहरे छवियों के एक उपसेट का उपयोग किया (अब 2022 के मूल स्टेबल डिफ्यूजन मॉडल के डेटा स्रोत के रूप में जाना जाता है)।

इनसाइटफेस का उपयोग गैर-पोर्ट्रेट चेहरों और एक से अधिक छवियों को फिल्टर करने के लिए किया गया था। छवियों को तब बीएलआईपी-2 कैप्शनिंग सिस्टम के साथ एनोटेट किया गया था।

डेटा वृद्धि के संदर्भ में, छवियों को चेहरे के क्षेत्र में यादृच्छिक रूप से फसली की गई थी, लेकिन हमेशा चेहरे के क्षेत्र पर केंद्रित थी।

संबंधित लोरा रैंक को उपलब्ध मेमोरी के अनुसार अनुकूलित करने की आवश्यकता थी। इसलिए, आईडी-लोरा के लिए लोरा रैंक 8 पर सेट किया गया था, और बेस-लोरा के लिए 4, जबकि 8-चरण ग्रेडिएंट एकत्रीकरण का उपयोग एक बड़े बैच आकार को अनुकरण करने के लिए किया गया था जो वास्तव में हार्डवेयर पर संभव था।

शोधकर्ताओं ने क्रमशः 20के, 15के, और 55के पुनरावृत्तियों के लिए बेस-लोरा, आईडी-लोरा (सीएलआईपी), और आईडी-लोरा (पहचान एम्बेडिंग) मॉड्यूल प्रशिक्षित किए। आईडी-लोरा प्रशिक्षण के दौरान, उन्होंने 0.9, 0.05, और 0.05 की संभावनाओं के साथ तीन स्थितियों से नमूना लिया।

प्रणाली को पायटॉर्च और डिफ्यूजर्स का उपयोग करके लागू किया गया था, और पूरी प्रशिक्षण प्रक्रिया लगभग दस दिनों तक 16 एनवीडिया ए100 जीपीयू* पर चली।

कम्फ्यूआई परीक्षण

लेखकों ने कम्फ्यूआई संश्लेषण प्लेटफ़ॉर्म में कार्य प्रवाह बनाए ताकि हाइपरलोरा की तीन प्रतिद्वंद्वी विधियों के साथ तुलना की जा सके: इन्स्टेंटआईडी; उपरोक्त आईपी-एडाप्टर-फेसआईडी-पोर्ट्रेट फ्रेमवर्क के रूप में उल्लिखित आईपी-एडाप्टर; और उपरोक्त उल्लिखित पुलिड। सभी फ्रेमवर्क में सुसंगत बीज, प्रेरक और नमूना विधियों का उपयोग किया गया था।

लेखकों का उल्लेख है कि एडाप्टर-आधारित (लोरा-आधारित के बजाय) विधियों को आमतौर पर कम वर्गीकरणकर्ता-मुक्त मार्गदर्शन (सीएफजी) स्केल की आवश्यकता होती है, जबकि लोरा (हाइपरलोरा सहित) इस संबंध में अधिक अनुमति देता है।

इसलिए, एक निष्पक्ष तुलना के लिए, शोधकर्ताओं ने परीक्षणों में खुला स्रोत एसडीएक्सएल फाइन-ट्यून किए गए चेकपॉइंट संस्करण लियोसम्स हैलो वर्ल्ड का उपयोग किया। गुणात्मक परीक्षणों के लिए, अनस्प्लैश-50 छवि डेटासेट का उपयोग किया गया था।

मेट्रिक्स

एक विश्वसनीयता बेंचमार्क के लिए, लेखकों ने सीएलआईपी छवि एम्बेडिंग (सीएलआईपी-आई) और करिकुलरफेस के माध्यम से निकाले गए अलग पहचान एम्बेडिंग (आईडी सिम) के बीच कोसाइन दूरी को मापा।

प्रत्येक विधि ने परीक्षण सेट में प्रति पहचान चार उच्च-रिज़ॉल्यूशन हेडशॉट उत्पन्न किए, जिसके परिणामस्वरूप औसतन परिणाम मिले।

संपादन योग्यता का मूल्यांकन दो तरह से किया गया था: सीएलआईपी-आई स्कोर की तुलना आउटपुट के बीच की जाती थी जिसमें पहचान मॉड्यूल थे या नहीं (यह देखने के लिए कि पहचान प्रतिबंध कितना बदल गया था); और सीएलआईपी छवि-पाठ संरेखण (सीएलआईपी-टी) को दस प्रेरक भिन्नताओं पर मापा जाता था जो बाल, सजावट, कपड़े, और पृष्ठभूमि को कवर करते थे।

लेखकों ने तुलना में आर्क2फेस संस्थापक मॉडल को भी शामिल किया, जो तय किए गए कैप्शन और फसली चेहरे के क्षेत्रों पर प्रशिक्षित था।

हाइपरलोरा के लिए, दो संस्करणों का परीक्षण किया गया था: एक जिसमें केवल आईडी-लोरा मॉड्यूल था, और दूसरा जिसमें आईडी और बेस-लोरा दोनों थे, जिसमें बाद वाले को 0.4 पर भारित किया गया था। जबकि बेस-लोरा ने विश्वसनीयता में सुधार किया, यह संपादन योग्यता को थोड़ा सीमित कर दिया।

प्रारंभिक गुणात्मक तुलना के परिणाम।

गुणात्मक परीक्षणों में, पत्र में दावा किया गया है कि हाइपरलोरा के लेआउट पुलिड द्वारा उत्पादित लोगों के समान थे, और इंस्टेंटआईडी या आईपी-एडाप्टर (जो कभी-कभी प्रोम्प्ट का पालन करने में विफल रहते थे या अस्वाभाविक रचनाएं उत्पन्न करते थे) की तुलना में काफी मजबूत थे:

हाइपरलोरा के साथ कंट्रोलनेट पीढ़ी के और उदाहरण।

निष्कर्ष

पिछले 18 महीनों में, विभिन्न एक-शॉट अनुकूलन प्रणालियों की निरंतर धारा ने अब एक हताशा की गुणवत्ता ले ली है। इनमें से बहुत से ऑफरings ने राज्य-ऑफ-द-आर्ट पर एक उल्लेखनीय प्रगति नहीं की है; और जिन्होंने थोड़ा आगे बढ़ाया है, उनके पास अक्सर अत्यधिक प्रशिक्षण मांगें और/या बेहद जटिल या संसाधन-गहन अनुमान मांगें हैं।

हाइपरलोरा के अपने प्रशिक्षण शासन के रूप में गुल्प-लेने वाले हैं, लेकिन कम से कम आप एक मॉडल के साथ समाप्त होते हैं जो बॉक्स से बाहर अध:संचार अनुकूलन को संभाल सकता है।

पत्र के पूरक सामग्री से, हम ध्यान देते हैं कि हाइपरलोरा की अनुमान गति आईपी-एडाप्टर से बेहतर है, लेकिन दो अन्य पूर्व विधियों से खराब है – और यह आंकड़े एक एनवीडिया वी100 जीपीयू पर आधारित हैं, जो एक典型 उपभोक्ता हार्डवेयर नहीं है (हालांकि नए ‘घरेलू’ एनवीडिया जीपीयू वी100 के अधिकतम 32 जीबी वीआरएएम को मैच या पार कर सकते हैं)।

मिलीसेकंड में प्रतिस्पर्धी विधियों की अनुमान गति।

यह कहना उचित है कि शून्य-शॉट अनुकूलन अभी भी एक व्यावहारिक दृष्टिकोण से एक असुलझा समस्या है, क्योंकि हाइपरलोरा की महत्वपूर्ण हार्डवेयर आवश्यकताएं इसकी क्षमता के साथ वास्तव में दीर्घकालिक एकल संस्थापक मॉडल का उत्पादन करने के लिए तर्कसंगत रूप से विरोधाभासी हैं।

* जो मॉडल का उपयोग किया गया था (यह निर्दिष्ट नहीं है) के आधार पर 640 जीबी या 1280 जीबी वीआरएएम का प्रतिनिधित्व करता है

सोमवार, 24 मार्च, 2025 को पहली बार प्रकाशित