एआई मॉडल को फाइन-ट्यून करने से होने वाली क्षति को आसानी से पुनर्प्राप्त किया जा सकता है, शोध में पाया गया है

अमेरिका से नए शोध से पता चलता है कि फाइन-ट्यूनिंग एक एआई फाउंडेशन मॉडल को अपने डेटा पर नहीं करना पड़ता है – और एक अपेक्षाकृत सरल समाधान न केवल मूल मॉडल की क्षमताओं को बहाल कर सकता है, बल्कि वास्तव में बेहतर आउटपुट की गुणवत्ता में सुधार कर सकता है जिसे आप (पहले से ही प्रशिक्षित) मॉडल से प्राप्त करने की कोशिश कर रहे हैं।

विभिन्न मॉडलों पर नए पोस्ट-ट्रेनिंग कैलिब्रेशन के साथ प्रदर्शन लाभ। आगे के विवरण इस लेख में बाद में दिए गए हैं। स्रोत: http://export.arxiv.org/pdf/2409.16223

इसके परिणाम महत्वपूर्ण हैं, न केवल उन तकनीकी दिग्गजों के लिए जिनका ध्यान जनरेटिव सिस्टम को ‘एज़-ए-सर्विस’ के रूप में किराए पर देने के वित्तीय लाभों पर केंद्रित है, बल्कि उन बढ़ती संख्या में ‘कॉर्ड-कटर’ शौकीनों के लिए भी जो ओपन सोर्स मॉडल डाउनलोड और अनुकूलित करते हैं, ताकि वे अधिक सस्ते और कम प्रतिबंधों के साथ व्यक्तिगत एआई लेखन और छवि/वीडियो जनरेशन प्रणाली तक पहुंच प्राप्त कर सकें।

लेखकों ने अपने तरीके की संभावना के लिए उत्साह दिखाने से परहेज नहीं किया है, जो 2023 के प्रस्तुति होलिस्टिक ट्रांसफर: टूवर्ड्स नॉन-डिसरप्टिव फाइन-ट्यूनिंग विद पार्टियल टार्गेट डेटा (जिसमें नए पेपर के कई योगदानकर्ता शामिल हैं) पर महत्वपूर्ण प्रगति करता है।

वे कहते हैं:

‘परिणाम उत्साहजनक हैं और गहरे अर्थ रखते हैं! वे यह बताते हैं कि एक सरल पोस्ट-प्रोसेसिंग कैलिब्रेशन संभावित रूप से फाइन-ट्यून किए गए मॉडल की कमजोर सटीकता को अनुपस्थित वर्गों पर संबोधित कर सकता है, मूल पूर्व-प्रशिक्षित मॉडल की क्षमता को बहाल करता है और साथ ही सभी वर्गों पर सुविधा की गुणवत्ता में सुधार करता है।’

हम जल्द ही नए काम पर एक नज़र डालेंगे। सबसे पहले, आइए देखें कि यह किस समस्या का समाधान करने का प्रयास कर रहा है।

यह क्यों मायने रखता है

फाइन-ट्यूनिंग का पहला चरण स्टेबिलिटी.एआई के स्टेबल डिफ्यूजन टेक्स्ट-टू-इमेज मॉडल की रिलीज के बाद हुआ था। शुरुआती मॉडल, जो एक उपसेट हाइपरस्केल लायोन डेटासेट पर प्रशिक्षित किए गए थे, को किसी के भी डाउनलोड के लिए उपलब्ध कराया गया था।

हालांकि, जो उपयोगकर्ता स्टेबल डिफ्यूजन की असाधारण उत्पन्न गुणों में विशिष्ट सामग्री (जैसे कि अपनी पहचान, कला शैली या हस्तियों का प्रतिनिधित्व) डालना चाहते थे, उन्हें ड्रीमबूथ जैसी तकनीकों का उपयोग करने के लिए मजबूर होना पड़ा, जो एक गूगल रिसर्च अनुकूलन विधि का विस्तार था, जिसने उपयोगकर्ता को मुक्त रूप से उपलब्ध मॉडल में नए डेटा को प्रशिक्षित करने की अनुमति दी थी।

2022 से गूगल के आधिकारिक ड्रीमबूथ कार्यान्वयन के लिए उपयोगकर्ता प्रक्रिया के उदाहरण। उपयोगकर्ता एक छोटी छवि चयन को क्यूरेट करता है और फाइन-ट्यून किए गए मॉडल से टेक्स्ट-प्रॉम्प्ट्स में एक अद्वितीय नाम (जो स्टेबल डिफ्यूजन के प्रशिक्षण डेटा में नहीं है) चुनता है। स्रोत: https://dreambooth.github.io/

इस तरह, यह संभव था कि एक मॉडल की प्रतिलिपि प्राप्त की जाए जो एक विशिष्ट व्यक्ति या एक अनुकूलित कला शैली को बनाने में बहुत अच्छा था, लेकिन जो अब ‘समर्पित’ था अधिक सामान्य उपयोग के लिए।

इसका मतलब था कि यदि आप स्टेबल डिफ्यूजन को तीन अलग-अलग लोगों को सटीक रूप से चित्रित करने के लिए फाइन-ट्यून करना चाहते थे, तो आपको अनिवार्य रूप से तीन अलग-अलग मॉडल बनाने होंगे, प्रत्येक 2-4GB, या अधिक।

इन मॉडलों को दूसरी बार फाइन-ट्यून करने का कोई भी प्रयास न केवल मॉडल के सामान्य प्रदर्शन को और अधिक खराब कर देगा, बल्कि पिछले फाइन-ट्यूनिंग सत्र से आउटपुट पर भी प्रतिकूल प्रभाव डालेगा।

किसी भी मामले में, सेलिब्रिटी ड्रीमबूथ मॉडल जल्द ही इंटरनेट पर प्रसारित हो गए, जो मुख्य रूप से सिविट.एआई डोमेन में एकत्रित हुए। अंततः, लो-रैंक एडैप्टेशन (LoRA) जैसे कम परेशानी वाले तरीके फाइन-ट्यूनिंग की लोकप्रियता में आगे निकल गए (हालांकि यह विवादास्पद है कि LoRA आउटपुट एक पूर्ण फाइन-ट्यून के रूप में प्रभावी है या नहीं, और NVIDIA ने तब से ओपन-सोर्स एक ऐसा दृष्टिकोण प्रदान किया है जिसे DoRA कहा जाता है)।

एक LoRA पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग (PEFT) की श्रेणी में आता है, जो केवल मॉडल के प्रशिक्षित पैरामीटर के एक उपसेट को प्रभावित करता है।

कुछ उपयोगकर्ता खुले स्रोत स्टेबल डिफ्यूजन चेकपॉइंट की मूल प्रकृति को बदलना चाहते थे, उन्हें कई हजारों छवियों पर फाइन-ट्यून करते हुए।

यह, प्रभावी रूप से, जिस डोमेन के लिए उपयोगकर्ता प्रशिक्षण करने का प्रयास कर रहा था, उसके लिए एक वैकल्पिक फाउंडेशन मॉडल का उत्पादन किया, जो कि एक विशिष्ट कला शैली जैसा था। इस उद्देश्य के लिए, LoRA जैसे ‘लाइटवेट’ तरीके संभवतः कम प्रभावी होंगे, क्योंकि मॉडल के वजन को नए प्रशिक्षण डेटा के लिए गंभीर पूर्वाग्रह की आवश्यकता थी।

स्थानीय चैट

लार्ज लैंग्वेज मॉडल (LLM) में हाल के उत्साह के साथ, जो उपयोगकर्ता API-चालित सेवाओं जैसे ChatGPT के बढ़ते आउटलेट (और संबंधित लागत) से बचना चाहते हैं, ने बढ़ती संख्या में ओपन सोर्स मॉडल डाउनलोड और फाइन-ट्यून शुरू किए हैं, जैसे कि Llama 3, ताकि वे अधिक सस्ते और कम प्रतिबंधों के साथ व्यक्तिगत एआई लेखन और छवि/वीडियो पीढ़ी प्रणाली तक पहुंच प्राप्त कर सकें।

यहां भी, LoRAs का उपयोग पूर्ण चेकपॉइंट के बजाय फाइन-ट्यूनिंग के लिए किया जा सकता है। हमने पहले तर्क दिया है कि फाइन-ट्यूनिंग उपयोगकर्ता की विशिष्ट आवश्यकताओं के अनुरूप LLMs का उत्पादन करने के लिए एक श्रेष्ठ तरीका है। हालांकि फाइन-ट्यूनिंग में अधिक हार्डवेयर आवश्यकताएं हो सकती हैं और इसमें अधिक समय लग सकता है, यह उस नए डेटा के लिए एक गहरी सामान्यीकरण प्रदान करता है जिसे उपयोगकर्ता मॉडल को अवशोषित करना चाहता है।

फाइन-ट्यूनिंग की समस्या यह है कि यह एक विनाशकारी प्रक्रिया है जिसे बाद में अधिक डेटा पर प्रशिक्षित नहीं किया जा सकता है, जैसा कि हमने ऊपर उल्लेख किया है।

मॉडल में इंजेक्ट किए गए सुविधाओं और पूर्वाग्रह स्पष्ट रूप से मूल डेटासेट में वजनों के मूल संतुलन को परेशान करते हैं, जिसका अर्थ है कि मॉडल या तो उपयोगकर्ता-योगदान डेटा को प्रतिबिंबित करने के लिए अत्यधिक संभावना है, या मूल फाउंडेशन मॉडल (नए डेटा से संबंधित कार्यों पर) की तुलना में समग्र रूप से खराब प्रदर्शन करेगा।

एक可以 इसे एक निश्चित सीमा तक कुछ मॉडल के हिस्सों को प्रशिक्षण के दौरान फ्रीज करके ठीक कर सकता है; लेकिन इससे सामान्य कार्यक्षमता में कमी आ सकती है, क्योंकि मॉडल के फ्रोजन हिस्से मॉडल के लेटेंट स्पेस के भीतर नए फाइन-ट्यून किए गए डेटा के लिए अच्छी तरह से सामान्य नहीं हो सकते हैं।

यह वास्तव में बहुत अच्छा होगा यदि मूल प्रशिक्षित मॉडल की क्षमताओं को बनाए रखने के लिए फाइन-ट्यून किए गए मॉडल की क्षमता को बहाल करने का कोई आसान तरीका हो।

एक ऐसा विकास सभी संभावित उपयोगकर्ताओं के लिए लाभकारी होगा, शौकीनों और शुरुआती अपनाने वालों से लेकर स्थानीय एलएलएम और अन्य प्रकार के उत्पन्न मॉडल का उपयोग करने वाले, फैंग-स्तर (जहां एक बहुत महंगा एआई मॉडल को पुनरावृत्ति और गैर-विनाशकारी रूप से सुधारा जा सकता है, बिना अतिरिक्त डेटा के साथ प्रशिक्षण शुरू करने के लिए कई मिलियन डॉलर के खर्च के बिना)।

पोस्ट-प्रोसेसिंग कैलिब्रेशन

यह हमें नए पेपर पर वापस लाता है, जिसे फाइन-ट्यूनिंग इज फाइन, इफ कैलिब्रेटेड कहा जाता है, और ओहियो स्टेट यूनिवर्सिटी, विस्कॉन्सिन-मैडिसन विश्वविद्यालय और रेंसेलर पॉलिटेक्निक संस्थान के 11 शोधकर्ताओं द्वारा आयोजित किया जाता है।

शोधकर्ता यह पता लगाने की कोशिश कर रहे थे कि फाइन-ट्यूनिंग में एक फाउंडेशन मॉडल में क्या क्षति होती है। उन्होंने निष्कर्ष निकाला है कि फाइन-ट्यूनिंग और मूल मॉडल के बीच एकमात्र प्रमुख अंतर यह है कि फाइन-ट्यूनिंग कक्षाओं और मॉडल की मूल कक्षाओं में लॉगिट स्केल में एक बड़ा विचलन है।

लॉगिट लिंक तार्किक प्रतिगमन प्रक्रिया में सफलता की संभावना की भविष्यवाणी करते हैं, जो अनुमानित मूल्यों (जो बहुत सटीक हो सकते हैं) को शून्य या एक में परिवर्तित करते हैं।

लेखकों ने न केवल यह पाया कि यह घाटा एक कैलिब्रेशन तकनीक द्वारा लगभग आसानी से उलट हो जाता है, बल्कि यह पोस्ट फैक्टो फिक्स वास्तव में फाइन-ट्यूनिंग डेटा के लिए आउटपुट की गुणवत्ता में सुधार करता है। इसलिए, इस तकनीक के साथ, आपको न केवल मूल फाउंडेशन मॉडल की क्षमताएं मिलती हैं, बल्कि आपके फाइन-ट्यून किए गए डेटा का बेहतर एकीकरण भी मिलता है।

(हालांकि पेपर इस संभावना की जांच नहीं करता है, यह तकनीक यह बताती है कि एक मॉडल को कई बार फाइन-ट्यून किया जा सकता है और अभी भी प्रभावी हो सकता है)

फाइन-ट्यूनिंग के बाद मॉडल की क्षति की जांच में अपने निष्कर्षों पर चर्चा करते हुए, लेखक कहते हैं:

‘हमारे लिए आश्चर्य की बात है कि फाइन-ट्यून किए गए मॉडल ने अन्य वर्गों के बीच संबंध को भूला नहीं है और इन वर्गों को पहचानने के लिए सुविधाओं को खराब नहीं किया है।

‘इसके बजाय, फाइन-ट्यून किए गए मॉडल अक्सर इन अन्य वर्गों के लिए अधिक विभेदक सुविधाएं उत्पन्न करते हैं, भले ही वे फाइन-ट्यूनिंग के दौरान अनुपस्थित थीं!

‘[वास्तव में] जो वास्तव में सटीकता को चोट पहुंचाता है वह फाइन-ट्यूनिंग कक्षाओं और अन्य [कक्षाओं] के बीच लॉगिट स्केल में विचलन है, जो यह बताता है कि एक सरल पोस्ट-प्रोसेसिंग कैलिब्रेशन मूल पूर्व-प्रशिक्षित मॉडल की क्षमता को बहाल करेगा और साथ ही सभी कक्षाओं पर सुविधा में सुधार करेगा।’

लेखकों ने अपने सिद्धांत के परीक्षण के परिणामों को एक गिटहब रिपॉजिटरी में पुनरुत्पादित किया है।

उन्होंने पाया कि जांच में, फाउंडेशन मॉडल की वास्तुकला में क्षतिग्रस्त होने वाला एकमात्र हिस्सा बाइनरी क्लासिफायर है, जो मूल मॉडल में अनुपस्थित कक्षाओं को फाइन-ट्यूनिंग कक्षाओं के रूप में गलत वर्गीकृत करता है।

पेपर कहता है*:

‘[अनुपस्थित कक्षाओं के लॉगिट्स में एक कैलिब्रेशन बायस फैक्टर जोड़कर 4, 40 ], फाइन-ट्यून किए गए मॉडल अनुपस्थित कक्षा सटीकता को सफलतापूर्वक पुनर्प्राप्त कर सकता है और डाउनस्ट्रीम [डोमेन] में एक अच्छा समग्र सुधार प्राप्त कर सकता है।

‘परिणामी प्रदर्शन कई बेंचमार्क में मजबूत बेसलाइन [होलिस्टिक ट्रांसफर – जिस पेपर पर यह पेपर आधारित है] को पार करता है, जिसमें इमेजनेट और इसके वेरिएंट [इमेजनेट, इमेजनेट-आर(ेंडिशन), इमेजनेट-एस(केच) ], ऑफिस-होम, और वीटीएबी, जटिल प्रशिक्षण और हाइपरपैरामीटर सेटिंग के बिना.’

पेपर से परिणाम: लेखकों का कहना है कि पोस्ट प्रोसेसिंग कैलिब्रेशन के साथ एक फाइन-ट्यून किए गए मॉडल राज्य के अत्याधुनिक दृष्टिकोण को पार कर सकता है।

लेखक एक पोस्ट-कैलिब्रेटेड फाइन-ट्यून किए गए मॉडल के सुधारित प्रदर्शन को ‘अप्रत्याशित सौम्य व्यवहार’ के रूप में वर्गीकृत करते हैं, और यह देखते हैं कि जब एक मूल स्टोकास्टिक ग्रेडिएंट डेसेंट (एसजीडी) ऑप्टिमाइज़र का उपयोग किया जाता है, तो एक बेहतर परिणाम प्राप्त होता है जो कि अधिक लोकप्रिय वर्तमान ऑप्टिमाइज़रों की तुलना में है, जैसे कि एडम।

‘फिर भी,’ वे ध्यान देते हैं ‘छोटे पर्याप्त शिक्षण दर और वजन क्षय के साथ, सौम्य व्यवहार दिखाई देते हैं और बने रहते हैं।’

मामूली मरम्मत

फाइन-ट्यूनिंग के परिणामस्वरूप लॉगिट विचलन की मरम्मत करने के लिए, लेखकों ने शून्य-शॉट सीखने से एक तकनीक का उपयोग किया, जिसमें सभी अनुपस्थित कक्षाओं के लॉगिट्स में एक निरंतर कारक जोड़ा गया। इससे एक नई वर्गीकरण नियम बनता है।

लेखकों का कहना है कि यह प्रक्रिया ‘उपेक्षित अनुपस्थित कक्षाओं को फाइन-ट्यून किए गए कक्षाओं के समान भविष्यवाणी गुणवत्ता में बढ़ावा देती है, मूल प्रदर्शन को बहाल करती है और अनुमान समय पर जोड़े गए डेटा के प्रदर्शन में सुधार करती है।

परीक्षणों में, पोस्ट-कैलिब्रेशन तकनीक ने विविध फाइन-ट्यून किए गए मॉडलों के प्रदर्शन को बहाल किया। तालिका में दिखाए गए ‘ओरेकल’ एक फाइन-ट्यून किए गए क्लासिफायर को संदर्भित करता है जो अनुपस्थित कक्षा डेटा पर भी विचार करता है।

वे आगे देखते हैं कि पोस्ट-प्रोसेसिंग कैलिब्रेशन ‘संभावित रूप से किसी भी मॉडल पर लागू किया जा सकता है’, और यह कि परतों (जैसे क्लासिफायर और बैकबोन) को जमाने के माध्यम से फाउंडेशन मॉडल की अखंडता को बनाए रखने के लिए तरीके उनके प्रस्तावित दृष्टिकोण की तुलना में खराब स्कोर करते हैं।

निष्कर्ष

इस सहयोग से प्राप्त निष्कर्ष महत्वपूर्ण प्रतीत होते हैं। एक एआई मॉडल को एक हाइपरस्केल डेटासेट पर प्रशिक्षित करना एक बड़ा प्रयास है, जो एक यात्री जेट के उड़ान भरने के समान है। हालांकि प्रशिक्षण बीच में रोका जा सकता है, और काफी भंडारण लागत पर वर्तमान वजन को बचाकर प्रशिक्षण में व्यवधान की अनुमति दी जा सकती है, लॉन्च के बाद परिणाम को बदलने के लिए बहुत कुछ नहीं किया जा सकता है।

क्या आश्चर्यजनक है कि शोधकर्ताओं ने सामान्य एआई मॉडल प्रशिक्षण में एक मूलभूत सिद्धांत की खोज की है, और उनका समाधान आश्चर्यजनक रूप से सुंदर है।

फाइन-ट्यूनिंग के बाद फाउंडेशन मॉडल की सटीकता को बनाए रखने में सक्षम होने के आर्थिक परिणाम भी महत्वपूर्ण हैं। अब तक, फाइन-ट्यून किए गए मॉडल की कमियों को संबोधित करने का सबसे सामान्य तरीका अनुमान समय पर आउटपुट को फिल्टर करना या अनुमान को नियंत्रित करना था, ताकि मॉडल में कोई कमजोरी न हो।

इसके अलावा, एक ऐसी तकनीक जो सैद्धांतिक रूप से फाइन-ट्यून किए गए जनरेटिव मॉडलों की क्षमताओं में महत्वपूर्ण सुधार ला सकती है, जिसमें उपभोक्ता स्तर पर आउटपुट गुणवत्ता में वृद्धि होती है, जो बोनस के रूप में आती है।

* लेखकों के इनलाइन उद्धरणों को हाइपरलिंक में बदलने का मेरा रूपांतरण।

मंगलवार, 1 अक्टूबर, 2024 को पहली बार प्रकाशित