बड़े भाषा मॉडल का मूल्यांकन: एक तकनीकी गाइड

बड़े भाषा मॉडल (LLM) जैसे GPT-4, Claude, और LLaMA की लोकप्रियता में वृद्धि हुई है। उनकी मानव-जैसी पाठ उत्पन्न करने की क्षमता के कारण, ये AI सिस्टम अब सामग्री निर्माण से लेकर ग्राहक सेवा चैटबॉट तक के लिए उपयोग किए जा रहे हैं।

लेकिन हमें कैसे पता चलता है कि ये मॉडल वास्तव में कोई अच्छा काम कर रहे हैं? नए LLM के निरंतर घोषणा के साथ, जो सभी बड़े और बेहतर होने का दावा करते हैं, हम उनके प्रदर्शन का मूल्यांकन और तुलना कैसे करते हैं?

इस व्यापक गाइड में, हम बड़े भाषा मॉडल के मूल्यांकन के लिए शीर्ष तकनीकों का अन्वेषण करेंगे। हम प्रत्येक दृष्टिकोण के पेशेवरों और विपक्षों को देखेंगे, जब वे सबसे अच्छे लगेंगे, और आप अपने स्वयं के LLM परीक्षण में उन्हें कैसे उपयोग कर सकते हैं।

कार्य-विशिष्ट मेट्रिक्स

एक LLM का मूल्यांकन करने का सबसे सीधा तरीका है इसे स्थापित NLP कार्यों पर मानक मेट्रिक्स का उपयोग करके परीक्षण करना। उदाहरण के लिए:

सारांश

सारांश कार्यों के लिए, मेट्रिक्स जैसे ROUGE (रिकॉल-ओरिएंटेड अंडरस्टडी फॉर गिस्टिंग इवैल्यूएशन) सामान्य रूप से उपयोग किए जाते हैं। ROUGE मॉडल-उत्पन्न सारांश की तुलना मानव-लिखित “संदर्भ” सारांश से करता है, शब्दों या वाक्यांशों के ओवरलैप की गणना करता है।

ROUGE के कई संस्करण हैं, प्रत्येक के अपने पेशेवर और विपक्ष हैं:

• ROUGE-N: n-ग्राम (N शब्दों के क्रम) के ओवरलैप की तुलना करता है। ROUGE-1 एकल शब्दों (यूनिग्राम) का उपयोग करता है, ROUGE-2 दो शब्दों (बिग्राम) का उपयोग करता है, आदि। इसका लाभ यह है कि यह शब्द क्रम को पकड़ता है, लेकिन यह बहुत सख्त हो सकता है।
• ROUGE-L: सबसे लंबे सामान्य उपक्रम (LCS) पर आधारित है। शब्द क्रम पर अधिक लचीला है, लेकिन मुख्य बिंदुओं पर केंद्रित है।
• ROUGE-W: LCS मैचों को उनके महत्व के अनुसार भारित करता है। ROUGE-L में सुधार करने का प्रयास करता है।

सामान्य तौर पर, ROUGE मेट्रिक्स तेज, स्वचालित और रैंकिंग प्रणाली सारांश के लिए अच्छी तरह से काम करते हैं। हालांकि, वे संगतता या अर्थ को मापते नहीं हैं। एक सारांश उच्च ROUGE स्कोर प्राप्त कर सकता है और अभी भी अर्थहीन हो सकता है।

ROUGE-N का सूत्र है:

ROUGE-N=∑∈{Reference Summaries}∑∑�∈{Reference Summaries}∑ROUGE-N=∑s∈{Reference Summaries}​∑gramn​∈s​Count(gramn​)∑s∈{Reference Summaries}​∑gramn​∈s​Countmatch​(gramn​)​

जहां:

• Count_{match}(gram_n) दोनों उत्पन्न और संदर्भ सारांश में n-ग्राम की गणना है।
• Count(gram_n) संदर्भ सारांश में n-ग्राम की गणना है।

उदाहरण के लिए, ROUGE-1 (यूनिग्राम) के लिए:

• उत्पन्न सारांश: “बिल्ली बैठी थी।”
• संदर्भ सारांश: “बिल्ली मैट पर बैठी थी।”
• ओवरलैपिंग यूनिग्राम: “बिल्ली”, “बैठी”
• ROUGE-1 स्कोर = 3/5 = 0.6

ROUGE-L सबसे लंबे सामान्य उपक्रम (LCS) का उपयोग करता है। यह शब्द क्रम पर अधिक लचीला है। सूत्र है:

ROUGE-L=���(generated,reference)max(length(generated), length(reference))ROUGE-L=max(length(generated), length(reference))LCS(generated,reference)​

जहां LCS सबसे लंबे सामान्य उपक्रम की लंबाई है।

ROUGE-W LCS मैचों को भारित करता है। यह LCS में प्रत्येक मैच के महत्व को मानता है।

अनुवाद

मशीन अनुवाद कार्यों के लिए, BLEU (बाइलिंगुअल इवैल्यूएशन अंडरस्टडी) एक लोकप्रिय मेट्रिक है। BLEU मॉडल के आउटपुट अनुवाद और पेशेवर मानव अनुवाद के बीच समानता को मापता है, n-ग्राम सटीकता और एक संक्षिप्तता दंड का उपयोग करता है।

BLEU के काम करने के तरीके के मुख्य पहलू:

• n-ग्राम के ओवरलैप की तुलना करता है, n 4 तक (यूनिग्राम, बिग्राम, ट्रिग्राम, 4-ग्राम)।
• n-ग्राम सटीकता का ज्यामितीय माध्य गणना करता है।
• अनुवाद के बहुत छोटा होने पर एक संक्षिप्तता दंड लागू करता है।
• आम तौर पर 0 से 1 के बीच होता है, 1 एक आदर्श मैच को संदर्भ के साथ दर्शाता है।

BLEU अनुवाद गुणवत्ता के मानव निर्णयों के साथ काफी हद तक संबंधित है। लेकिन इसकी सीमाएं भी हैं:

• केवल संदर्भों के खिलाफ सटीकता को मापता है, पुनरावृत्ति या F1 को नहीं।
• रचनात्मक अनुवादों के साथ संघर्ष करता है जो विभिन्न शब्दों का उपयोग करते हैं।
• अनुवाद चालों के साथ “गेमिंग” के लिए संवेदनशील है।

अन्य अनुवाद मेट्रिक्स जैसे METEOR और TER BLEU की कमजोरियों में सुधार करने का प्रयास करते हैं। लेकिन सामान्य तौर पर, स्वचालित मेट्रिक्स अनुवाद गुणवत्ता को पूरी तरह से नहीं पकड़ते हैं।

अन्य कार्य

सारांश और अनुवाद के अलावा, मेट्रिक्स जैसे F1, सटीकता, MSE, और अधिक LLM प्रदर्शन का मूल्यांकन करने के लिए उपयोग किए जा सकते हैं:

• पाठ वर्गीकरण
• सूचना निष्कर्षण
• प्रश्न उत्तर
• भावना विश्लेषण
• व्याकरणिक त्रुटि पता लगाना

कार्य-विशिष्ट मेट्रिक्स का लाभ यह है कि मूल्यांकन पूरी तरह से स्वचालित हो सकता है मानकीकृत डेटासेट का उपयोग करके, जैसे कि SQuAD के लिए QA और GLUE बेंचमार्क के लिए विभिन्न कार्यों के लिए। परिणाम आसानी से समय के साथ ट्रैक किए जा सकते हैं क्योंकि मॉडल में सुधार होता है।

हालांकि, ये मेट्रिक्स संकीर्ण रूप से केंद्रित हैं और समग्र भाषा गुणवत्ता को माप नहीं सकते हैं। एकल कार्य के लिए मेट्रिक्स पर अच्छा प्रदर्शन करने वाले LLM सामान्य रूप से तार्किक, सुसंगत और उपयोगी पाठ उत्पन्न करने में विफल हो सकते हैं।

अनुसंधान बेंचमार्क

LLM का मूल्यांकन करने का एक लोकप्रिय तरीका है उन्हें व्यापक अनुसंधान बेंचमार्क के खिलाफ परीक्षण करना, जो विभिन्न विषयों और कौशलों को कवर करते हैं। ये बेंचमार्क मॉडलों को तेजी से बड़े पैमाने पर परीक्षण करने की अनुमति देते हैं।

कुछ प्रसिद्ध बेंचमार्क में शामिल हैं:

• SuperGLUE – 11 विविध भाषा कार्यों का एक चुनौतीपूर्ण सेट।
• GLUE – 9 वाक्य समझने के कार्यों का संग्रह। SuperGLUE की तुलना में सरल है।
• MMLU – 57 विभिन्न STEM, सामाजिक विज्ञान और मानविकी कार्य। ज्ञान और तर्क क्षमता का परीक्षण करता है।
• Winograd Schema Challenge – सामान्य ज्ञान तर्क के लिए प्रोनाउन रिजॉल्यूशन समस्याएं।
• ARC – प्राकृतिक भाषा तर्क कार्यों का एक चुनौतीपूर्ण सेट।
• Hellaswag – सामान्य ज्ञान तर्क के बारे में स्थितियों के बारे में सामान्य ज्ञान।
• PIQA – भौतिकी प्रश्न जो आरेखों की आवश्यकता होती है।

इन बेंचमार्क पर मूल्यांकन करके, शोधकर्ता मॉडल की गणित, तर्क, तर्क, कोडिंग, सामान्य ज्ञान और बहुत कुछ करने की क्षमता का तेजी से परीक्षण कर सकते हैं। सही उत्तरों का प्रतिशत एक बेंचमार्क मेट्रिक बन जाता है जिसका उपयोग मॉडलों की तुलना के लिए किया जा सकता है।

हालांकि, बेंचमार्क के साथ एक प्रमुख मुद्दा प्रशिक्षण डेटा दूषण है। कई बेंचमार्क में ऐसे उदाहरण होते हैं जिन्हें मॉडल पूर्व-प्रशिक्षण के दौरान देख चुके होते हैं। इससे मॉडल विशिष्ट प्रश्नों के उत्तर “याद” कर सकते हैं और अपनी वास्तविक क्षमता से बेहतर प्रदर्शन कर सकते हैं।

बेंचमार्क को “शुद्ध” करने के प्रयास किए जाते हैं जिसमें ओवरलैपिंग उदाहरणों को हटाया जाता है। लेकिन यह पूरी तरह से करना चुनौतीपूर्ण है, खासकर जब मॉडल प्रश्नों के परिभाषित या अनुवादित संस्करणों को देखा हो सकता है।

इसलिए, जबकि बेंचमार्क एक विस्तृत सेट कौशल का कुशलता से परीक्षण कर सकते हैं, वे वास्तविक तर्क क्षमता या दूषण के कारण स्कोर मुद्रास्फीति को विश्वसनीय रूप से माप नहीं सकते हैं। पूरक मूल्यांकन विधियों की आवश्यकता है।

LLM स्व-मूल्यांकन

एक दिलचस्प दृष्टिकोण यह है कि एक LLM को दूसरे LLM के आउटपुट का मूल्यांकन करने के लिए कहा जाए। विचार यह है कि “आसान” कार्य की अवधारणा का लाभ उठाना:

• उच्च गुणवत्ता वाला आउटपुट उत्पन्न करना एक LLM के लिए कठिन हो सकता है।
• लेकिन दिए गए आउटपुट की गुणवत्ता का निर्धारण करना एक आसान कार्य हो सकता है।

उदाहरण के लिए, जबकि एक LLM को शून्य से एक तथ्यात्मक, सुसंगत अनुच्छेद उत्पन्न करना मुश्किल हो सकता है, यह अधिक आसानी से निर्धारित कर सकता है कि एक दिया गया अनुच्छेद तार्किक अर्थ और संदर्भ में फिट बैठता है या नहीं।

तो प्रक्रिया है:

1. पहले LLM को इनपुट प्रॉम्प्ट देकर आउटपुट उत्पन्न करने के लिए कहें।
2. इनपुट प्रॉम्प्ट + उत्पन्न आउटपुट को दूसरे “मूल्यांकक” LLM को दें।
3. मूल्यांकक LLM से आउटपुट की गुणवत्ता का आकलन करने के लिए एक प्रश्न पूछें। उदाहरण के लिए, “क्या ऊपर दिया गया उत्तर तार्किक अर्थ रखता है?”

यह दृष्टिकोण तेजी से लागू किया जा सकता है और LLM मूल्यांकन को स्वचालित करता है। लेकिन कुछ चुनौतियां हैं:

• प्रदर्शन मूल्यांकक LLM और प्रॉम्प्ट शब्दों के चयन पर बहुत अधिक निर्भर करता है।
• मूल कार्य की कठिनाई से सीमित है। जटिल तर्क का मूल्यांकन अभी भी LLM के लिए कठिन है।
• API-आधारित LLM का उपयोग करने पर यह गणनात्मक रूप से महंगा हो सकता है।

स्व-मूल्यांकन RAG (पुनर्प्राप्ति-संवर्धित पीढ़ी) प्रणालियों में पुनर्प्राप्त जानकारी का मूल्यांकन करने के लिए विशेष रूप से आशाजनक है। अतिरिक्त LLM प्रश्न पुनर्प्राप्त संदर्भ का उपयोग उचित रूप से किया जा रहा है या नहीं यह सत्यापित कर सकते हैं।

सामान्य तौर पर, स्व-मूल्यांकन में संभावना है, लेकिन इसके कार्यान्वयन में सावधानी की आवश्यकता है। यह मानव मूल्यांकन को पूरक बनाता है, इसका स्थान नहीं लेता है।

मानव मूल्यांकन

स्वचालित मेट्रिक्स और बेंचमार्क की सीमाओं को देखते हुए, मानव मूल्यांकन अभी भी LLM गुणवत्ता का मूल्यांकन करने के लिए स्वर्ण मानक है।

विशेषज्ञ विस्तृत गुणात्मक मूल्यांकन प्रदान कर सकते हैं:

• सटीकता और तथ्यात्मक सही
• तर्क, तर्क और सामान्य ज्ञान
• सुसंगतता, सुसंगतता और पठनीयता
• स्वर, शैली और आवाज की उपयुक्तता
• व्याकरणिकता और प्रवाह
• रचनात्मकता और सूक्ष्मता

एक मॉडल का मूल्यांकन करने के लिए, मानव को इनपुट प्रॉम्प्ट और LLM-उत्पन्न प्रतिक्रियाओं का एक सेट दिया जाता है। वे प्रतिक्रियाओं की गुणवत्ता का आकलन करते हैं, अक्सर रेटिंग स्केल और रूब्रिक का उपयोग करते हैं।

नुकसान यह है कि मैनुअल मानव मूल्यांकन महंगा, धीमा और स्केल करना मुश्किल है। इसके लिए मानक मानदंड विकसित करने और रेटर्स को उन्हें लगातार लागू करने की आवश्यकता है।

कुछ शोधकर्ताओं ने मानव LLM मूल्यांकन को टूर्नामेंट-शैली प्रणालियों के माध्यम से भीड़भाड़ वाले स्रोत के लिए रचनात्मक तरीके खोजे हैं, जहां लोग मॉडल के बीच मुकाबलों पर दांव लगाते हैं और निर्णय लेते हैं। लेकिन कवरेज अभी भी पूर्ण मैनुअल मूल्यांकन की तुलना में सीमित है।

गुणवत्ता की तुलना में मात्रा को प्राथमिकता देने वाले व्यावसायिक उपयोग के मामलों में, विशेषज्ञ मानव परीक्षण अभी भी सोने का मानक है, इसकी लागत के बावजूद। यह विशेष रूप से LLM के जोखिम भरे अनुप्रयोगों के लिए सच है।

निष्कर्ष

बड़े भाषा मॉडल का व्यापक मूल्यांकन एक विविध उपकरण के साथ किया जाना चाहिए, एक ही तकनीक पर निर्भर नहीं रहना चाहिए।

स्वचालित दृष्टिकोणों के साथ मानव निरीक्षण को जोड़कर, हम बड़े भाषा मॉडल के लिए विश्वसनीय परीक्षण विधियों का विकास कर सकते हैं। मजबूत मूल्यांकन के साथ, हम LLM की जबरदस्त क्षमता को अनलॉक कर सकते हैं और जिम्मेदारी से उनके जोखिमों का प्रबंधन कर सकते हैं।