लंबे संदर्भों में अवस्था-ट्रैकिंग मापने के लिए Ai2 ने StateBench जारी किया

Allen Institute for AI (Ai2) ने 3 नवंबर, 2026 को StateBench पेश किया और इसके साथ चार-स्तरीय बेंचमार्क, डेटासेट तथा कोड जारी किए, जिनसे यह परखा जा सकता है कि भाषा मॉडल लंबे दस्तावेज़ों में बदलते चरों को ट्रैक कर सकते हैं या नहीं। Ai2 ने बताया कि उसके द्वारा परखे गए चारों अग्रणी मॉडल, इनपुट लंबे होने के साथ अवस्था-ट्रैकिंग के अधिक कठिन रूपों में विफल हो गए।

Jackson Petty, William Merrill और Ashish Sabharwal का साथ में प्रकाशित शोधपत्र इस काम को मापन में मौजूद कमी के जवाब के रूप में प्रस्तुत करता है। अब तक के परीक्षणों में S₅ शब्द-समस्या पर ज़ोर दिया गया है—यह पाँच वस्तुओं के बीच लगातार होने वाली अदला-बदली को ट्रैक करने का कठिन काम है—जबकि सरल रूप व्यावहारिक कार्यों का अधिक प्रतिनिधित्व कर सकते हैं और आर्किटेक्चर के बीच अंतर पहले ही उजागर कर सकते हैं। इसके बजाय, StateBench अवस्था-ट्रैकिंग को इस आधार पर अलग-अलग वर्गों में बाँटता है कि मॉडल को किस तरह के अपडेट का अनुसरण करना है।

अवस्था-अपडेट के चार स्तर

पहले स्तर में, r-trivial कार्यों में असाइनमेंट बदलते नहीं हैं, इसलिए मॉडल को केवल किसी चर का मूल मान निकालना होता है। Aperiodic कार्यों में मान के आधार पर दोबारा असाइनमेंट की अनुमति होती है, इसलिए सबसे नया असाइनमेंट ही पर्याप्त होता है। Soluble कार्यों में ऐसे स्व-संदर्भित अपडेट शामिल होते हैं, जैसे x = x + 5, जिनमें हर बदलाव को आगे तक बनाए रखना पड़ता है। General finite कार्यों में संदर्भ के आधार पर असाइनमेंट भी शामिल होते हैं, जैसे अदला-बदली, जिससे चरों के बीच निर्भरताएँ बनती हैं।

इन श्रेणियों का औपचारिक आधार Krohn–Rhodes सिद्धांत में भी है—यह एक बीजगणितीय ढाँचा है, जो सीमित-अवस्था ट्रैकिंग की समस्याओं को मूलभूत संक्रियाओं में बाँटता है। नियंत्रित तुलना के लिए, शोधकर्ताओं ने अन्य रूप एक ही सामान्य सीमित अनुक्रम से तैयार किए। इस दौरान चरों की संख्या, अलग-अलग मानों और असाइनमेंट की स्थितियों को समान रखा गया और केवल अपडेट की संक्रिया बदली गई। मूल्यांकन समूह में 8 से 64,000 असाइनमेंट तक शामिल हैं। प्रत्येक अनुक्रम में एक सही अंतिम अवस्था और चार गलत विकल्प हैं, जिनका उपयोग जनरेटिव या बहुविकल्पीय परीक्षण में किया जाता है। यह जाँचने के लिए कि प्रस्तुति का बाहरी रूप नतीजे को बदलता है या नहीं, समस्याओं को कई पाठ्य प्रारूपों में भी दिखाया गया है, जिनमें पूर्णांक कोड और स्प्रेडशीट की सेल शामिल हैं।

पूर्व-प्रशिक्षित मॉडल निर्भरताएँ बढ़ने पर जूझते हैं

Ai2 के खुले मॉडलों के मूल्यांकन में 7 अरब पैरामीटर वाला Olmo 3 ट्रांसफॉर्मर और Olmo Hybrid शामिल थे, जिसमें Gated DeltaNet की परतें जोड़ी गई हैं; साथ ही, उसी डेटा पर प्रशिक्षित छोटे सिस्टम भी शामिल थे। प्रशिक्षण के दौरान किसी भी मॉडल ने 64,000 टोकन से लंबे संदर्भ नहीं देखे थे, और उनमें से अधिकांश का परीक्षण इस लंबाई से आगे किया गया। Ai2 ने बताया कि लगभग सभी ने r-trivial कार्यों में अच्छा प्रदर्शन किया, इनपुट बढ़ने पर aperiodic कार्यों में उनकी सटीकता घटी और general finite कार्यों में उनका प्रदर्शन संयोगवश मिलने वाले स्तर पर ही रहा।

प्रस्तुति के प्रारूप से नतीजे बदले: Ai2 के अनुसार, छोटे hybrid और Gated DeltaNet मॉडलों ने एक प्रारूप में r-trivial प्रॉम्प्ट पर लगभग अधिकतम अंक हासिल किए, लेकिन जब समान समस्याएँ स्प्रेडशीट में किए गए संपादनों के रूप में आईं, तो उनका प्रदर्शन संयोगवश मिलने वाले स्तर के करीब रहा। इस अंतर का अर्थ है कि किसी एक प्रारूप में अच्छा नतीजा अपने-आप में अवस्था ट्रैक करने की सामान्य क्षमता का प्रमाण नहीं है।

विशिष्ट परीक्षणों में Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol और GPT-6 Luna से हर चर का अंतिम मान जनरेट करने को कहा गया। Ai2 ने बताया कि चारों ने r-trivial और aperiodic समस्याओं में अच्छा प्रदर्शन किया, लेकिन इनपुट लंबे होने के साथ soluble और general finite समस्याओं में उनका प्रदर्शन तेज़ी से गिरा। सबसे लंबे general finite मामलों में उनकी सटीकता 13% या उससे कम रह गई।

प्रत्यक्ष प्रशिक्षण से आर्किटेक्चर और पूर्व-प्रशिक्षण के असर अलग किए गए

यह पता लगाने के लिए कि ये विफलताएँ आर्किटेक्चर के कारण थीं या पूर्व-प्रशिक्षण के, शोधकर्ताओं ने बिना किसी पूर्व-प्रशिक्षण के 275 मिलियन पैरामीटर वाले छह मॉडल प्रशिक्षित किए: ट्रांसफॉर्मर के दो रूप, hybrid के दो रूप और अलग-अलग मेमोरी-अपडेट बाधाओं वाले Gated DeltaNet के दो रूप। प्रशिक्षण अनुक्रमों में अधिकतम 256 असाइनमेंट थे, जबकि परीक्षण की लंबाई इस अधिकतम सीमा से 250 गुना तक रखी गई।

Ai2 ने बताया कि Gated DeltaNet और hybrid मॉडलों ने परीक्षण किए गए सबसे लंबे अनुक्रमों तक r-trivial, aperiodic और soluble कार्यों में लगभग पूर्ण सामान्यीकरण किया। ट्रांसफॉर्मरों ने आसान स्तरों को सीख लिया, लेकिन अपने प्रशिक्षण डेटा के दायरे से बाहर जाने पर उनका प्रदर्शन घटा और उन्होंने प्रशिक्षण-वितरण के भीतर भी general finite कार्य कभी नहीं सीखे। General finite कार्यों में, धनात्मक और ऋणात्मक दोनों आइगेनवैल्यू की अनुमति देने वाला Gated DeltaNet रूप अपनी अधिकतम प्रशिक्षण लंबाई से लगभग 10 गुना तक लगभग पूर्ण प्रदर्शन पर बना रहा; इसके विपरीत, केवल गैर-ऋणात्मक आइगेनवैल्यू की अनुमति देने वाले रूप का प्रदर्शन प्रशिक्षण की सीमा से आगे बढ़ते ही घट गया।

शोधकर्ताओं के अनुसार, यह अंतर इस बात का संकेत है कि पूर्व-प्रशिक्षण से आवर्ती और hybrid मॉडलों की पूर्व-प्रशिक्षित अवस्था में हुई विफलताओं को समझने में मदद मिलती है, जबकि लक्षित प्रशिक्षण के बाद भी सबसे कठिन स्तर पर ट्रांसफॉर्मरों की लगातार विफलता आर्किटेक्चर की सीमा की ओर इशारा करती है।

सार्वजनिक संसाधन और बाकी सीमाएँ

जारी किए गए डेटासेट में 68,000 पंक्तियाँ हैं, जिनका कुल आकार 1.05 GB है। इसके मानक कॉन्फ़िगरेशन में फ़ॉर्मैटर से स्वतंत्र संक्रिया-अनुक्रम और अंतिम अवस्थाएँ शामिल हैं; प्रस्तुत रिकॉर्ड में प्रॉम्प्ट, पूर्णताएँ, गलत विकल्प, जटिलता के लेबल और जनरेशन का मेटाडेटा भी जोड़ा जाता है। टोकन-लंबाई वाले फ़ील्ड और स्तर-विभाजन से प्रॉम्प्ट की लंबाई के आधार पर उदाहरण चुने जा सकते हैं।

Apache-2.0 लाइसेंस के तहत जारी किया गया कोड रिपॉज़िटरी मानक अनुक्रमों से कार्य-परिवार तैयार करता है और प्रशिक्षण तथा परीक्षण विभाजनों के बीच अर्थगत असंबद्धता लागू कर सकता है। कठिनाई के स्तरों के बीच नियंत्रित संबंध बनाए रखते हुए यह मूल्यांकन और प्रशिक्षण-डेटा तैयार करने, दोनों में मदद करता है।

शोधपत्र में यह प्रमाण भी प्रस्तुत किया गया है कि गैर-ऋणात्मक आइगेनवैल्यू वाले निश्चित-परिशुद्धता Gated DeltaNet से सभी अपरिवर्ती आवर्ती कार्य और कुछ आवर्ती कार्य हल किए जा सकते हैं। इनमें समता का कार्य भी शामिल है, जिसमें यह पहचानना होता है कि कोई दोहराया गया इनपुट सम या विषम संख्या में आया है। हालांकि, समता के इस निर्माण में पूर्णांकन पर निर्भरता है। इस प्रकार का पदानुक्रम में सटीक स्थान अभी अनिर्णीत है। यह भी स्पष्ट नहीं है कि यह हर हल किए जा सकने वाले कार्य को हल कर सकता है या नहीं, और संख्यात्मक परिशुद्धता तथा अटेंशन परतें जोड़ने का क्या प्रभाव पड़ता है।

StateBench यह भी मानता है कि चरों की संख्या निश्चित है, इसलिए यह अभी ऐसी बातचीतों या दस्तावेज़ों का मॉडल नहीं बनाता जिनमें समय के साथ नए लोग और वस्तुएँ सामने आती हैं।

इस बेंचमार्क का केंद्रीय अंतर लंबा इनपुट स्वीकार करने और उसमें मौजूद स्थिति को बनाए रखने के बीच है। इसके नियंत्रित कार्य अलग-अलग आर्किटेक्चर में इस अंतर को मापने योग्य बनाते हैं, लेकिन चरों की निश्चित संख्या वाली इसकी रूपरेखा का अर्थ है कि पूर्ण अंक मिलने पर भी यह साबित नहीं होगा कि दस्तावेज़ या बातचीत में नई इकाइयाँ आने पर उनकी स्थिति को विश्वसनीय ढंग से ट्रैक किया जा सकता है।