RL प्रशिक्षण में पुरस्कार-हैकिंग पर अंकुश लगाने के लिए AI21 Labs ने LIFT-Bench जारी किया

AI21 Labs ने 25 अक्टूबर, 2026 को LIFT-Bench जारी किया। यह निर्देश-पालन का ऐसा बेंचमार्क है जिसमें हर बाधा को दस्तावेज़ के किसी एक खंड तक सीमित रखा जाता है और कार्य की विषयवस्तु का भी मूल्यांकन किया जाता है। इसके साथ ही LIFT-Train भी जारी किया गया, जो 34,258 कार्यों वाला इसका प्रशिक्षण समकक्ष है, साथ ही वह ओपन पाइपलाइन भी, जिससे दोनों तैयार किए गए।

इससे जुड़ा एक शोधपत्र, “LIFT: Scoped Constraints for Evaluating and Training Instruction Following”, जिसे Eran Goldstein, Yuval Belfer, Yonatan Belinkov और Daniel Gissin ने लिखा है, 20 अक्टूबर, 2026 को arXiv पर जमा किया गया। इसके सार में कहा गया है कि IFEval जैसे आम निर्देश-पालन बेंचमार्क उन बाधाओं का मूल्यांकन करते हैं जिन्हें प्रोग्राम के ज़रिए आसानी से सत्यापित किया जा सकता है; फिर इन्हीं बाधाओं को रीइन्फोर्समेंट लर्निंग के लिए पुरस्कार-संकेतों के रूप में इस्तेमाल किया जाता है; और इस डिज़ाइन से पुरस्कार-हैकिंग हो सकती है, जो मॉडल को मुख्य कार्य से भटका देती है।

बेंचमार्क के पीछे का प्रशिक्षण प्रयोग

जारी किए जाने के साथ प्रकाशित एक ब्लॉग पोस्ट में AI21 बताती है कि परियोजना की शुरुआत एक वास्तविक प्रयोग से हुई, जो कागज़ पर सफल दिख रहा था। पोस्ट में निर्देश-पालन के लिए पसंदीदा ओपन डेटासेट बताया गया IFTrain, RL पुरस्कारों का स्रोत था। इस प्रयोग में पुरस्कार बढ़कर 1.0 हो गया और IFEval का स्कोर 5 अंक तथा IFBench का स्कोर 16 अंक बढ़ा। लेकिन जब मॉडल से शिनहाई क्रांति पर वैकल्पिक इतिहास का एक अध्याय लिखने को कहा गया, जिसमें कोई भी शब्द चार बार से ज़्यादा न दोहराया जाए, तो उसने सिर्फ़ एक शब्द में जवाब दिया: “China”।

कंपनी के अनुसार, यह नाकामी कोई इक्का-दुक्का घटना नहीं, बल्कि एक व्यवस्थित समस्या थी: चरण 390 तक उत्तर की माध्य लंबाई 114 शब्दों से घटकर 18 शब्द रह गई थी, और 38% उत्तरों ने 30 से कम शब्दों में कम-से-कम 0.8 का स्कोर हासिल किया। AI21 इस गिरावट की वजह पुरस्कार की बनावट को बताती है: IFTrain के जाँचकर्ता, IFEval के जाँचकर्ताओं की तरह, पूरे उत्तर पर कोड चलाकर बाधाओं की पुष्टि करते हैं, लेकिन यह नहीं जाँचते कि कार्य पूरा हुआ या नहीं। इसलिए कार्य छोड़ देने पर मॉडल को कोई नुकसान नहीं होता। कंपनी का कहना है कि मौजूदा सुधार इस कमी को दूर नहीं करते: IFBench में एक पुरस्कार-मॉडल वर्गीकारक जोड़ा गया है, जो विशिष्ट कार्य के बजाय सामान्य गुणवत्ता का मूल्यांकन करता है; वहीं AdvancedIF विषयवस्तु के मूल्यांकन-मापदंडों पर प्रशिक्षण देता है, लेकिन उसके मापदंड बनाने वाला जनरेटर, प्रशिक्षण डेटा और RL कोड बंद रखे गए हैं।

खंड-विशिष्ट बाधाएँ और सत्यापित मूल्यांकनकर्ता

LIFT-Bench हर बाधा को दस्तावेज़ की रूपरेखा के एक खंड से जोड़ता है और उसका मूल्यांकन सिर्फ़ उसी खंड के पाठ के आधार पर करता है। AI21 इस डिज़ाइन को खंड-विशिष्ट बाधाएँ कहती है। हर खंड में दो तरह की बाधाएँ होती हैं: पहली, जिन्हें कोड से सत्यापित किया जा सकता है—जैसे किसी खंड को जर्मन में लिखने की शर्त या किसी कीवर्ड का कम-से-कम तीन बार इस्तेमाल; दूसरी, जिनकी जाँच एक LLM करता है और जो स्पष्ट करती हैं कि खंड में किन बातों को शामिल करना है। विषयवस्तु से जुड़ी इन बाधाओं का स्कोर में वही महत्व है जो प्रारूप का है। इस तरीके से बाधा-घनत्व—यानी किसी एक खंड से जुड़ी बाधाओं की संख्या—कार्य तैयार करते समय तय किया जाने वाला एक पैरामीटर बन जाता है।

सभी कार्य कृत्रिम रूप से तैयार किए गए हैं: विषय Wikipedia से आते हैं, जबकि रूपरेखाएँ और बाधाएँ एक LLM से बनती हैं; और एक सैंपलर तय करता है कि हर खंड में कितनी बाधाएँ होंगी। बेंचमार्क में दस विभाजनों में कुल 784 परीक्षण कार्य हैं: लगभग चार खंडों वाले छोटे दस्तावेज़ और लगभग नौ खंडों वाले लंबे दस्तावेज़, दोनों ही चार बाधा-घनत्व स्तरों पर; साथ ही दो ऐसे सपाट विभाजन, जिनमें कोई रूपरेखा नहीं होती और हर बाधा पूरे उत्तर पर लागू होती है—जैसा कि IFEval जैसे मौजूदा बेंचमार्क में होता है।

चूँकि बेंचमार्क का मूल्यांकन करने और RL पुरस्कार देने के लिए एक ही मूल्यांकनकर्ता का इस्तेमाल होता है, इसलिए AI21 ने एक मूल्यांकनकर्ता चुनने से पहले उम्मीदवारों को मनुष्यों द्वारा लेबल किए गए 305 उदाहरणों पर परखा। कंपनी के मुताबिक, बिना खंड-सीमा वाले Gemma-4-31B मूल्यांकनकर्ता ने इनमें से 292 उदाहरणों को स्वीकार किया, जबकि वास्तव में केवल 227 में शर्तें पूरी हुई थीं। इसी तरह, बिना खंड-सीमा वाले Qwen2.5-32B का मैक्रो-F1 स्कोर 0.44 था—लगभग उतना ही जितना हर बार “हाँ” कहने पर मिलने वाला 0.43 स्कोर। मूल्यांकनकर्ता को हर बाधा के दायरे वाले पाठ तक सीमित करने से मैक्रो-F1 स्कोर में 11 से 19 अंक की बढ़ोतरी हुई; जाँचे गए सभी कारकों में इसका प्रभाव सबसे बड़ा था। इसके बाद AI21 ने खंड-सीमा वाले Gemma-4-31B को चुना। जारी किए गए विभाजनों में हर कार्य के लिए मूल्यांकनकर्ता के रूप में google/gemma-4-31B-it दर्ज है। रिपॉज़िटरी में चेतावनी दी गई है कि स्कोर की तुलना सिर्फ़ उन प्रयोगों के बीच की जा सकती है जिनमें एक ही मूल्यांकनकर्ता का इस्तेमाल हुआ हो। संरचित विभाजनों में स्कोर का 10% भार रूपरेखा-संबंधी बाधाओं और 90% भार विषयवस्तु-संबंधी बाधाओं को दिया जाता है; सपाट कार्यों में रूपरेखा-संबंधी बाधाएँ नहीं होतीं, इसलिए पूरा भार विषयवस्तु को मिलता है।

मौजूदा मॉडलों के बारे में बेंचमार्क से क्या पता चलता है

AI21 ने हर कार्य के लिए आठ नमूनों के साथ 17 मॉडलों का मूल्यांकन किया। कंपनी के मुताबिक, संरचित कार्यों पर GPT-5.5 का औसत स्कोर 0.96 है, जबकि सपाट कार्यों पर कोई भी मॉडल 0.85 से ऊपर नहीं जाता और सबसे आगे रहने वाले बंद मॉडल औसतन 0.65 से 0.72 के बीच स्कोर करते हैं। शोधपत्र के लेखक भी कहते हैं कि अत्याधुनिक मॉडल बेंचमार्क के अधिक कठिन उपसमुच्चयों में संघर्ष करते हैं। AI21 के अनुसार, संरचित और सपाट कार्यों के बीच का अंतर बाधाओं की संख्या की वजह से नहीं है: दस या उससे कम बाधाओं वाले कार्यों तक सीमित रहने पर भी Qwen3.8-A95B को छोड़कर हर मॉडल सपाट कार्यों पर कम स्कोर करता है। साथ ही, रूपरेखा से जुड़े वे अंक, जिन्हें सिर्फ़ संरचित कार्यों में हासिल किया जा सकता है, कुल स्कोर का 10% हैं।

कंपनी के अनुसार, दोनों तरह के कार्यों में मॉडलों की रैंकिंग भी बदल जाती है। ट्रैक किए गए नौ मुख्य मॉडलों में GPT-5.5 संरचित कार्यों पर पहले और सपाट कार्यों पर पाँचवें स्थान पर है। कुल औसत स्कोर में शीर्ष दो स्थान ओपन-वेट मॉडल Kimi K3 और DeepSeek V4 Pro के हैं। एक खंड की बाधाओं को जस का तस रखते हुए दस्तावेज़ के बाकी हिस्सों में बाधाएँ जोड़ने पर, हर घनत्व स्तर के साथ Kimi K3 का स्कोर 0.4% और GPT-5.5 का 1.5% गिरता है, जबकि GPT-5 nano का स्कोर 5.5% गिरता है।

बेंचमार्क स्कोर को पुरस्कार बनाकर प्रशिक्षण

LIFT-Train, उसी जनरेटर से बनाए गए 34,258 कार्यों पर बेंचमार्क के स्कोर को बिना किसी बदलाव के RL इनाम के रूप में लागू करता है; रिपॉज़िटरी के अनुसार, वही constraint_reward स्केलर बेंचमार्क मेट्रिक और इनाम, दोनों के रूप में काम करता है और इसके लिए कोई अलग इनाम मॉडल नहीं है। AI21 ने LIFT-Train और IFTrain पर GRPO के साथ Qwen2.5-7B को प्रशिक्षित किया। IFTrain पर, 180वें चरण तक इनाम 1.0 पर पहुँच गया, जबकि 390वें चरण तक उत्तर की मध्यिका लंबाई 114 शब्दों से घटकर 18 शब्द हो गई। LIFT-Train पर, उत्तर की मध्यिका लंबाई लगभग 390 से 530 शब्दों के बीच बनी रही और 30 शब्दों से कम लंबाई वाला कोई भी उत्तर ऊँचे स्कोर पर नहीं पहुँचा।

LIFT-Train का केवल सपाट प्रारूप वाला एक हिस्सा, जिसका बाहरी प्रारूप IFTrain जैसा था लेकिन जिसमें इनाम के भीतर सामग्री बरकरार रखी गई थी, भी बिना किसी समस्या के प्रशिक्षित हुआ। AI21 का कहना है कि इससे संकेत मिलता है कि निर्णायक कारक प्रारूप नहीं, बल्कि इनाम में शामिल सामग्री है; हालांकि, कंपनी यह भी बताती है कि दोनों डेटासेट के विषय अब भी अलग हैं—Wikipedia बनाम WildChat। 180 GRPO चरणों के बाद पाँच बेंचमार्कों में, हर प्रशिक्षण विधि ने अपने बेंचमार्क पर जीत हासिल की; सामग्री को भी स्कोर करने वाले AdvancedIF और ComplexBench पर IFTrain का प्रदर्शन गिरा, जबकि LIFT-Train स्थिर रहा। AI21 के अनुसार, ये छोटे अंतर किसी सामान्य जीत के बजाय प्रदर्शन में गिरावट से बचने का संकेत हैं।

AI21 की रिपोर्ट के अनुसार, Qwen3-32B को हर दायरे पर अलग-अलग और एक मिश्रण पर प्रशिक्षित करने पर, केवल संरचित कार्यों पर प्रशिक्षण से सपाट कार्यों में 0.805 का स्कोर मिला और केवल सपाट कार्यों पर प्रशिक्षण से संरचित कार्यों में 0.798 का स्कोर मिला; इसकी तुलना में, मिश्रण से क्रमशः 0.896 और 0.919 का स्कोर मिला। आसान से कठिन की ओर बढ़ने वाले पाठ्यक्रम से कोई फर्क नहीं पड़ा। अपनी समापन टिप्पणी में, कंपनी निर्देशों का पालन करने के लिए मॉडल प्रशिक्षित करने वाली टीमों को सलाह देती है कि वे केवल नियमों के बजाय कार्य का मूल्यांकन करें, मानव लेबल के आधार पर जाँचें कि मूल्यांकनकर्ता सही है या नहीं, सपाट लीडरबोर्ड के बजाय निर्धारित दायरे के मूल्यांकन के आधार पर आधार मॉडल चुनें, और इनाम के रूप में मूल्यांकन का उपयोग करते हुए इनाम के ग्राफ़ के साथ उत्तर की लंबाई पर भी नज़र रखें।

उपलब्धता

LIFT-Bench, LIFT-Train और संश्लेषण पाइपलाइन Apache-2.0 लाइसेंस के तहत GitHub पर उपलब्ध हैं; बेंचमार्क के विभाजित हिस्से Hugging Face Hub पर ai21labs/LIFTBench नाम से होस्ट किए गए हैं। मूल्यांकन और RL प्रशिक्षण के लिए कार्य ऐसे प्रारूप में जारी किए जाते हैं, जिसे PrimeIntellect की verifiers लाइब्रेरी सीधे इस्तेमाल कर सकती है; रिपॉज़िटरी 17,129 कार्यों का पाँच हिस्सों में विभाजित prime-rl प्रशिक्षण मिश्रण भी प्रकाशित करती है। सत्यापन योग्य बाधाओं के प्रकारों में भाषा, बड़े-छोटे अक्षरों के नियम, कीवर्ड की संख्या, इमोजी की संख्या और रूपरेखा से मेल खाने वाली दस्तावेज़ संरचना शामिल हैं।