बड़े भाषा मॉडल डेटासेट को याद कर रहे हैं जो उन्हें परीक्षण करने के लिए उपयोग किए जाते हैं

यदि आप देखने, पढ़ने या खरीदने के लिए क्या है यह सिफारिश करने के लिए एआई पर निर्भर करते हैं, तो नई शोध से पता चलता है कि कुछ प्रणालियां वास्तव में स्मृति से परिणामों को आधार बना सकती हैं, न कि कौशल से: उपयोगी सुझाव देने के लिए सीखने के बजाय, मॉडल अक्सर उन डेटासेट से आइटम को याद करते हैं जिनका उपयोग उन्हें मूल्यांकन करने के लिए किया जाता है, जिसके परिणामस्वरूप प्रदर्शन का अतिरंजित और सिफारिशें हो सकती हैं जो पुरानी या उपयोगकर्ता के लिए खराब मेल खाती हैं।

मशीन लर्निंग में, एक परीक्षण-विभाजन का उपयोग यह देखने के लिए किया जाता है कि क्या एक प्रशिक्षित मॉडल ने समान, लेकिन विभिन्न समस्याओं को हल करने के लिए सीखा है जो इसे प्रशिक्षित किया गया था।

तो यदि एक नई एआई ‘कुत्ते की नस्ल पहचान’ मॉडल 100,000 कुत्तों की तस्वीरों के डेटासेट पर प्रशिक्षित किया जाता है, तो यह आमतौर पर 80/20 विभाजन की सुविधा प्रदान करेगा – 80,000 तस्वीरें मॉडल को प्रशिक्षित करने के लिए उपलब्ध कराई जाती हैं; और 20,000 तस्वीरें वापस रखी जाती हैं और परीक्षण सामग्री के रूप में उपयोग की जाती हैं।

यह कहना स्पष्ट है कि यदि एआई के प्रशिक्षण डेटा में अनजाने में ‘गुप्त’ 20% खंड शामिल है, तो मॉडल इन परीक्षणों में उत्तीर्ण हो जाएगा, क्योंकि यह पहले से ही उत्तर जानता है (यह पहले से ही 100% डोमेन डेटा देख चुका है)। बिल्कुल, यह वास्तव में नहीं दर्शाता है कि मॉडल बाद में कैसा प्रदर्शन करेगा, नए ‘लाइव’ डेटा पर, उत्पादन संदर्भ में।

मूवी स्पॉइलर

एआई की परीक्षा में धोखा देने की समस्या मॉडल के पैमाने के साथ बढ़ी है। क्योंकि आज की प्रणालियों को विशाल, भेदभावपूर्ण वेब-स्क्रैप्ड निगमों जैसे कॉमन क्रॉल पर प्रशिक्षित किया जाता है, संभावना है कि बेंचमार्क डेटासेट (अर्थात, रखे हुए 20%) प्रशिक्षण मिश्रण में फिसल जाते हैं, अब एक किनारे का मामला नहीं है, लेकिन डिफ़ॉल्ट – एक सिंड्रोम जिसे डेटा दूषण के रूप में जाना जाता है; और इस पैमाने पर, त्रुटियों को पकड़ने के लिए मैनुअल क्यूरेशन व्यावहारिक रूप से असंभव है।

यह मामला इटली के पोलिटेक्निको डी बारी से एक नए शोध पत्र में अन्वेषित किया गया है, जहां शोधकर्ता एक फिल्म अनुशंसा डेटासेट, मूवीलेंस-1एम की असामान्य भूमिका पर ध्यान केंद्रित करते हैं, जिसे वे तर्क देते हैं कि कई प्रमुख एआई मॉडल द्वारा प्रशिक्षण के दौरान आंशिक रूप से स्मृति में रखा गया है।

चूंकि यह विशिष्ट डेटासेट सिफारिश प्रणालियों के परीक्षण में व्यापक रूप से उपयोग किया जाता है, इसकी मॉडल की स्मृति में उपस्थिति संभावित रूप से उन परीक्षणों को अर्थहीन बना देती है: जो बुद्धिमत्ता के रूप में प्रतीत होता है वह वास्तव में साधारण रिकॉल हो सकता है, और जो सिफारिश कौशल के रूप में दिखाई देता है वह केवल एक सांख्यिकीय प्रतिध्वनि हो सकती है जो पहले के संपर्क को दर्शाती है।

लेखकों का कहना है:

‘हमारे निष्कर्ष यह दिखाते हैं कि एलएलएम मूवीलेंस-1एम डेटासेट का व्यापक ज्ञान रखते हैं, जिसमें आइटम, उपयोगकर्ता विशेषताएं और इंटरैक्शन इतिहास शामिल हैं। उल्लेखनीय रूप से, एक सरल प्रॉम्प्ट जीपीटी-4ओ को डेटासेट में अधिकांश फिल्मों के नामों को पुनर्प्राप्त करने में सक्षम बनाता है।’

‘परीक्षा में शामिल किए गए किसी भी मॉडल में यह ज्ञान नहीं है, जो सुझाव देता है कि मूवीलेंस-1एम डेटा उनके प्रशिक्षण सेट में शामिल है। हमने उपयोगकर्ता विशेषताओं और इंटरैक्शन इतिहास को पुनर्प्राप्त करने में समान रुझानों का अवलोकन किया।’

जांच का संक्षिप्त नया पत्र क्या एलएलएम सिफारिश डेटासेट को याद करते हैं? मूवीलेंस-1एम पर एक प्रारंभिक अध्ययन है, और छह पोलिटेक्निको शोधकर्ताओं से है। उनके काम को पुनरुत्पादित करने के लिए पाइपलाइन गिटहब पर उपलब्ध कराई गई है।

विधि

यह जानने के लिए कि क्या मॉडल वास्तव में सीख रहे थे या बस याद कर रहे थे, शोधकर्ताओं ने इस संदर्भ में स्मृति का क्या अर्थ है, इसकी परिभाषा करने और मॉडल को मूवीलेंस-1एम डेटासेट से विशिष्ट जानकारी पुनर्प्राप्त करने में सक्षम होने की जांच करने के लिए शुरू किया।

यदि एक मॉडल को एक फिल्म का आईडी दिखाया गया और वह इसका शीर्षक और शैली उत्पन्न कर सकता है, तो यह एक आइटम को याद करने के रूप में गिना जाता है; यदि यह एक उपयोगकर्ता आईडी से विवरण उत्पन्न कर सकता है, तो यह उपयोगकर्ता स्मृति के रूप में गिना जाता है; और यदि यह एक ज्ञात अनुक्रम से एक उपयोगकर्ता की अगली रेटिंग का पुनरुत्पादन कर सकता है, तो यह विशिष्ट इंटरैक्शन डेटा को याद करने के साक्ष्य के रूप में लिया जाता है।

इन प्रत्येक रूपों की जांच की गई थी जो मॉडल को सही तरीके से प्रेरित किए बिना प्रेरित करने के लिए डिज़ाइन किए गए प्रॉम्प्ट का उपयोग करके की गई थी।

नये पत्र में उपयोग किए गए मूल्यांकन प्रोटोकॉल के लिए शून्य-शॉट प्रेरण। स्रोत: https://arxiv.org/pdf/2505.10212

डेटा और परीक्षण

एक उपयुक्त डेटासेट क्यूरेट करने के लिए, लेखकों ने क्षेत्र की दो प्रमुख सम्मेलनों से हाल के पत्रों का सर्वेक्षण किया, एसीएम रेक्सिस 2024, और एसीएम सिगिर 2024। मूवीलेंस-1एम सबसे अधिक बार दिखाई दिया, जो लगभग एक पांचवें सबमिशन में उद्धृत किया गया था। चूंकि पिछले अध्ययनों ने समान निष्कर्ष निकाले थे, यह एक आश्चर्यजनक परिणाम नहीं था, बल्कि डेटासेट के प्रभुत्व की पुष्टि थी।

मूवीलेंस-1एम में तीन फाइलें होती हैं: मूवीज़.डेट, जो फिल्मों को उनके आईडी, शीर्षक और शैली के अनुसार सूचीबद्ध करती है; यूज़र्स.डेट, जो उपयोगकर्ता आईडी को मूल बायोग्राफिक क्षेत्रों में मैप करती है; और रेटिंग्स.डेट, जो रिकॉर्ड करती है कि किसने क्या रेट किया और कब।

यह जानने के लिए कि क्या यह डेटा बड़े भाषा मॉडल द्वारा स्मृति में रखा गया था, शोधकर्ताओं ने प्रेरण तकनीकों की ओर रुख किया जो पहले पेपर में पेश की गई थीं लार्ज लैंग्वेज मॉडल से प्रशिक्षण डेटा निकालना, और बाद में बाद के काम में अनुकूलित किया गया था लैंग्वेज मॉडल से प्रशिक्षण डेटा निकालने के लिए बैग ऑफ ट्रिक्स।

विधि सीधी है: डेटासेट प्रारूप को दर्पण देने वाला एक प्रश्न पूछें और देखें कि क्या मॉडल सही उत्तर देता है। शून्य-शॉट, चेन-ऑफ-थॉट, और कुछ-शॉट प्रेरण का परीक्षण किया गया था, और पाया गया कि बाद की विधि, जिसमें मॉडल को कुछ उदाहरण दिखाए जाते हैं, सबसे प्रभावी थी; भले ही अधिक जटिल दृष्टिकोण उच्च रिकॉल पैदा कर सकते हों, इसे स्मृति को प्रकट करने के लिए पर्याप्त माना जाता था।

न्यूनतम संदर्भ के साथ मूवीलेंस-1एम मानों को पुनर्प्राप्त करने के लिए मॉडल का परीक्षण करने के लिए उपयोग किया जाने वाला कुछ-शॉट प्रेरण।

स्मृति को मापने के लिए, शोधकर्ताओं ने तीन रूपों की स्मृति को परिभाषित किया: आइटम, उपयोगकर्ता, और इंटरैक्शन। इन परीक्षणों ने यह जांचा कि क्या एक मॉडल एक फिल्म के आईडी से इसका शीर्षक पुनर्प्राप्त कर सकता है, एक उपयोगकर्ता आईडी से विवरण उत्पन्न कर सकता है, या पहले के अनुक्रम से एक उपयोगकर्ता की अगली रेटिंग का अनुमान लगा सकता है। प्रत्येक को एक कवरेज मेट्रिक का उपयोग करके स्कोर किया गया था जो यह दर्शाता था कि प्रेरणा के माध्यम से डेटासेट को कितना पुनर्निर्मित किया जा सकता है।

परीक्षण किए गए मॉडल थे जीपीटी-4ओ; जीपीटी-4ओ मिनी; जीपीटी-3.5 टर्बो; लामा-3.3 70बी; लामा-3.2 3बी; लामा-3.2 1बी; लामा-3.1 405बी; लामा-3.1 70बी; और लामा-3.1 8बी। सभी को तापमान शून्य पर, टॉप_पी एक पर, और दोनों आवृत्ति और उपस्थिति दंड अक्षम पर चलाए गए थे। एक निश्चित रैंडम सीड ने सुनिश्चित किया कि आउटपुट रनों में संगत था।

मूवीलेंस-1एम प्रविष्टियों का मॉडल द्वारा पुनर्प्राप्त किया गया अनुपात, मॉडल को संस्करण द्वारा समूहीकृत किया गया और पैरामीटर गणना द्वारा क्रमबद्ध किया गया।

मूवीलेंस-1एम को कितनी गहराई से अवशोषित किया गया था, इसकी जांच करने के लिए, शोधकर्ताओं ने प्रत्येक मॉडल को डेटासेट की तीन (उपरोक्त) फाइलों से सटीक प्रविष्टियों के लिए प्रेरित किया: मूवीज़.डेट, यूज़र्स.डेट, और रेटिंग्स.डेट।

प्रारंभिक परीक्षणों के परिणाम, जो ऊपर दिखाए गए हैं, जीपीटी और लामा परिवारों के बीच तेजी से अंतर को प्रकट करते हैं, साथ ही मॉडल के आकार में भी। जबकि जीपीटी-4ओ और जीपीटी-3.5 टर्बो आसानी से डेटासेट के बड़े हिस्से को पुनर्प्राप्त करते हैं, अधिकांश ओपन-सोर्स मॉडल केवल उसी सामग्री का एक अंश याद रखते हैं, जो प्रशिक्षण में इस बेंचमार्क के असमान एक्सपोजर का सुझाव देता है।

इनमें छोटे मार्जिन नहीं हैं। तीनों फाइलों में, सबसे मजबूत मॉडल ने न केवल कमजोर मॉडलों को पीछे छोड़ दिया, बल्कि मूवीलेंस-1एम के पूरे हिस्से को याद किया।

जीपीटी-4ओ के मामले में, कवरेज इतना उच्च था कि यह सुझाव देता है कि डेटासेट का एक महत्वपूर्ण हिस्सा सीधे स्मृति में रखा गया था।

लेखकों का कहना है:

‘हमारे निष्कर्ष यह दिखाते हैं कि एलएलएम मूवीलेंस-1एम डेटासेट का व्यापक ज्ञान रखते हैं, जिसमें आइटम, उपयोगकर्ता विशेषताएं और इंटरैक्शन इतिहास शामिल हैं।’

‘उल्लेखनीय रूप से, एक सरल प्रॉम्प्ट जीपीटी-4ओ को डेटासेट में लगभग 80% मूवीआईडी::टाइटल रिकॉर्ड को पुनर्प्राप्त करने में सक्षम बनाता है। परीक्षा में शामिल किए गए किसी भी मॉडल में यह ज्ञान नहीं है, जो सुझाव देता है कि मूवीलेंस-1एम डेटा उनके प्रशिक्षण सेट में शामिल है।’

‘हमने उपयोगकर्ता विशेषताओं और इंटरैक्शन इतिहास को पुनर्प्राप्त करने में समान रुझानों का अवलोकन किया।’

इसके बाद, लेखकों ने सिफारिश कार्यों पर स्मृति के प्रभाव का परीक्षण करने के लिए प्रत्येक मॉडल को एक सिफारिश प्रणाली के रूप में कार्य करने के लिए प्रेरित किया। प्रदर्शन को बेंचमार्क करने के लिए, उन्होंने आउटपुट की तुलना सात मानक विधियों से की: यूज़रकेएनएन; आइटमकेएनएन; बीपीआरएमएफ; ईएएसई^आर; लाइटजीसीएन; मोस्टपॉप; और रैंडम।

मूवीलेंस-1एम डेटासेट को 80/20 में प्रशिक्षण और परीक्षण सेट में विभाजित किया गया था, एक लीव-वन-आउट नमूना रणनीति का उपयोग करके वास्तविक दुनिया के उपयोग का अनुकरण किया गया था। उपयोग किए गए मेट्रिक्स थे हिट रेट (एचआर@[न]); और एनडीसीजी(@[न]):

मानक बेसलाइन और एलएलएम-आधारित विधियों पर सिफारिश सटीकता। मॉडल को परिवार द्वारा समूहीकृत किया गया और पैरामीटर गणना द्वारा क्रमबद्ध किया गया। बोल्ड मान प्रत्येक समूह में उच्चतम स्कोर को इंगित करते हैं।

यहां कई बड़े भाषा मॉडल पारंपरिक बेसलाइन को सभी मेट्रिक्स में पार कर गए, जीपीटी-4ओ ने हर कॉलम में एक व्यापक बढ़त स्थापित की, और यहां तक कि मध्यम आकार के मॉडल जैसे जीपीटी-3.5 टर्बो और लामा-3.1 405बी ने बीपीआरएमएफ और लाइटजीसीएन जैसे बेंचमार्क विधियों को नियमित रूप से पार किया।

छोटे लामा वेरिएंट के बीच, प्रदर्शन में तेजी से भिन्नता थी, लेकिन लामा-3.2 3बी अपने समूह में उच्चतम एचआर@1 के साथ खड़ा है।

परिणाम, लेखक सुझाव देते हैं, यह इंगित करते हैं कि स्मृति किए गए डेटा सिफारिश-शैली की प्रेरणा में मापनीय लाभों में अनुवाद कर सकते हैं, विशेष रूप से सबसे मजबूत मॉडल के लिए।

एक अतिरिक्त अवलोकन में, शोधकर्ता जारी रखते हैं:

‘हालांकि सिफारिश प्रदर्शन उत्कृष्ट लगता है, तालिका 2 की तुलना तालिका 1 से एक दिलचस्प पैटर्न का खुलासा करती है। प्रत्येक समूह में, उच्च स्मृति वाला मॉडल सिफारिश कार्य में बेहतर प्रदर्शन प्रदर्शित करता है।’

‘उदाहरण के लिए, जीपीटी-4ओ जीपीटी-4ओ मिनी से बेहतर प्रदर्शन करता है, और लामा-3.1 405बी लामा-3.1 70बी और 8बी से बेहतर प्रदर्शन करता है।’

‘इन परिणामों से पता चलता है कि यदि एलएलएम का मूल्यांकन उनके प्रशिक्षण डेटा में रिसाव वाले डेटासेट पर किया जाता है, तो यह स्मृति के बजाय सामान्यीकरण के कारण अतिरंजित प्रदर्शन का कारण बन सकता है।’

मॉडल के आकार और इस मुद्दे पर इसके प्रभाव के संबंध में, लेखकों ने स्मृति, स्मृति और डाउनस्ट्रीम कार्यों में प्रदर्शन के बीच एक स्पष्ट संबंध देखा।

लामा-3.1 405बी, उदाहरण के लिए, ने 12.9% की औसत स्मृति दर दिखाई, जबकि लामा-3.1 8बी ने केवल 5.82% को बनाए रखा। इस 55% की कमी स्मृति में नीडीसीजी में 54.23% और एचआर में 47.36% की गिरावट के अनुरूप थी।

पैटर्न पूरे में बना रहा – जहां स्मृति कम हुई, वहीं प्रदर्शन भी कम हुआ:

‘इन निष्कर्षों से पता चलता है कि मॉडल के आकार को बढ़ाने से डेटासेट की स्मृति में वृद्धि होती है, जिसके परिणामस्वरूप डाउनस्ट्रीम कार्यों में बेहतर प्रदर्शन होता है।’

‘परिणामस्वरूप, जबकि बड़े मॉडल बेहतर सिफारिश प्रदर्शन प्रदर्शित करते हैं, वे संभावित प्रशिक्षण डेटा रिसाव से संबंधित जोखिम भी प्रस्तुत करते हैं।’

अंतिम परीक्षण यह जांचता है कि क्या स्मृति मूवीलेंस-1एम में निहित लोकप्रियता पूर्वाग्रह को प्रतिबिंबित करती है। आइटम को बातचीत की आवृत्ति द्वारा समूहीकृत किया गया था, और नीचे दिया गया चार्ट दिखाता है कि बड़े मॉडल लगातार सबसे लोकप्रिय प्रविष्टियों को पसंद करते हैं:

मॉडल द्वारा आइटम कवरेज तीन लोकप्रियता स्तरों में: शीर्ष 20% सबसे लोकप्रिय; मध्य 20% मध्यम रूप से लोकप्रिय; और नीचे 20% कम बातचीत वाले आइटम।

जीपीटी-4ओ ने शीर्ष रैंक वाले आइटमों में से 89.06% को पुनर्प्राप्त किया, लेकिन कम से कम लोकप्रिय लोगों में से केवल 63.97%। जीपीटी-4ओ मिनी और छोटे लामा मॉडल ने सभी बैंड में बहुत कम कवरेज दिखाई। शोधकर्ताओं का कहना है कि यह प्रवृत्ति सुझाव देती है कि स्मृति न केवल मॉडल के आकार के साथ बढ़ती है, बल्कि प्रशिक्षण डेटा में पहले से मौजूद असमानताओं को भी बढ़ाती है।

वे जारी रखते हैं:

‘हमारे निष्कर्ष एलएलएम में एक प्रमुख लोकप्रियता पूर्वाग्रह का खुलासा करते हैं, जिसमें शीर्ष 20% लोकप्रिय आइटम कम से कम लोकप्रिय 20% की तुलना में काफी आसानी से पुनर्प्राप्त किए जाते हैं। ‘

‘यह प्रवृत्ति प्रशिक्षण डेटा वितरण के प्रभाव को उजागर करती है, जहां लोकप्रिय फिल्में अधिक प्रतिनिधित्व करती हैं, जिसके परिणामस्वरूप उनकी मॉडल द्वारा असमान स्मृति होती है।’

निष्कर्ष

यह दुविधा अब नई नहीं है: जैसे ही प्रशिक्षण सेट बढ़ते हैं, उनके क्यूरेशन की संभावना इसके विपरीत अनुपात में कम हो जाती है। मूवीलेंस-1एम, शायद कई अन्य लोगों के साथ, इन विशाल निगमों में देखरेख के बिना प्रवेश करता है – वolum में अनाम।

समस्या प्रत्येक पैमाने पर दोहराई जाती है और स्वचालन का विरोध करती है। कोई भी समाधान न केवल प्रयास मांगता है, बल्कि मानव निर्णय लेने की भी मांग करता है – वह धीमा, त्रुटिपूर्ण प्रकार जो मशीनें प्रदान नहीं कर सकती हैं। इस संबंध में, नया पत्र कोई आगे का रास्ता नहीं देता है।

* इस संदर्भ में, एक कवरेज मेट्रिक एक प्रतिशत है जो दिखाता है कि एक भाषा मॉडल कितना मूल डेटासेट पुनर्प्राप्त कर सकता है जब इसे सही प्रकार का प्रश्न पूछा जाता है। यदि एक मॉडल को एक फिल्म आईडी के साथ प्रेरित किया जाता है और यह सही शीर्षक और शैली का उत्तर देता है, तो यह एक सफल रिकॉल के रूप में गिना जाता है। सफल रिकॉल की कुल संख्या तब कुल डेटासेट प्रविष्टियों की संख्या से विभाजित की जाती है ताकि एक कवरेज स्कोर उत्पन्न किया जा सके। उदाहरण के लिए, यदि एक मॉडल 1,000 आइटमों में से 800 के लिए जानकारी सही ढंग से वापस करता है, तो इसका कवरेज 80 प्रतिशत होगा।

पहली बार शुक्रवार, 16 मई, 2025 को प्रकाशित