IBM Research की रिपोर्ट: सीखी हुई स्मृति τ²-Bench ग्राहक-सेवा बेंचमार्क में सबसे आगे

Hugging Face पर 20 अक्टूबर 2026 की एक पोस्ट में, IBM Research ने बताया कि एजेंट के अपने प्रशिक्षण दौरों से अपने-आप सीखे गए दिशानिर्देशों को उसके सिस्टम प्रॉम्प्ट में जोड़ने से, बिना किसी बदलाव वाले GPT-4.1 ग्राहक-सेवा एजेंट का τ²-bench के खुदरा क्षेत्र में Pass^4 स्कोर बढ़कर 67.5% हो गया। यह टीम की 12 अक्टूबर 2026 की लीडरबोर्ड की तस्वीर में खुदरा क्षेत्र की हर प्रविष्टि से अधिक था।

यह नतीजा ALTK-Evolve से आया है—यह लैब की वह विधि है जिससे लेखक अपनी भाषा में कहें तो, सीखी हुई कार्य-पुस्तिका तैयार की जाती है। इस विधि में एजेंट के प्रशिक्षण कार्यों पर किए गए प्रयासों का विश्लेषण किया जाता है और सफलताओं तथा विफलताओं को छोटे व्यवहारगत नियमों में ढालने के लिए उसी मॉडल का उपयोग होता है। इन नियमों में ग्राहक की पहचान प्रमाणित करने, लेन-देन की पुष्टि करने या रिटर्न संभालने जैसी स्थितियाँ शामिल होती हैं। पोस्ट के अनुसार, दिशानिर्देश निकालने और एजेंट को चलाने—दोनों के लिए एक ही मॉडल काम करता है, और इस प्रक्रिया में न तो मॉडल के वज़न अपडेट करने पड़ते हैं, न ही मानव एनोटेशन की आवश्यकता होती है। टीम ने पहले कोडिंग एजेंटों पर इस तरीके का प्रदर्शन किया था; नए अध्ययन में इसे ग्राहक-सेवा पर लागू किया गया है। पोस्ट में IBM Research के ग्यारह लेखकों के नाम दिए गए हैं, जिनमें Ashwath Vaithinathan Aravindan, Vatche Isahagian और Vinod Muthusamy शामिल हैं।

अध्ययन कैसे किया गया

Sierra Research द्वारा संचालित τ²-bench, अलग-अलग क्षेत्रों में ग्राहक-सेवा एजेंटों का मूल्यांकन करने वाला एक सिमुलेशन ढाँचा है। τ²-bench रिपॉज़िटरी के अनुसार, हर क्षेत्र में वह नीति तय होती है जिसका एजेंट को पालन करना होता है, साथ ही उपकरणों और मूल्यांकन कार्यों का एक समूह दिया जाता है। बेंचमार्क के मूल शोधपत्र में इसे दोहरे नियंत्रण वाले परिवेश के रूप में वर्णित किया गया है। IBM के अध्ययन में खुदरा और एयरलाइन क्षेत्र शामिल हैं। हर कार्य में एजेंट को एक ऐसे ग्राहक के साथ रखा जाता है जिसका अनुकरण LLM करता है; साथ में उस क्षेत्र के उपकरण और लिखित नीति-दस्तावेज़ भी दिए जाते हैं। किसी कार्य को तभी हल माना जाता है जब अंतिम डेटाबेस स्थिति अपेक्षित नतीजे से मेल खाए। पोस्ट के अनुसार, इसे सख्त द्विआधारी पुरस्कार के रूप में परिभाषित किया गया है।

मूल्यांकन में τ²-bench के अपने बुनियादी ReAct एजेंट का उपयोग किया गया, जिसमें THINK→ACT का दो-चरणीय चक्र था। एजेंट मॉडल के रूप में gpt-4.1 और ग्राहक-सिम्युलेटर मॉडल के रूप में gpt-5.5 इस्तेमाल किया गया; हर कार्य के लिए चार परीक्षण किए गए। एकमात्र बदलाव यह था कि क्षेत्र-विशिष्ट नीति के बाद सिस्टम प्रॉम्प्ट में सीखे गए दिशानिर्देशों की सादी मार्कडाउन सूची जोड़ दी गई। प्रकाशित उदाहरणों में ऑर्डर से जुड़ी कोई भी कार्रवाई करने से पहले उपयोगकर्ता की पहचान प्रमाणित करना, डेटाबेस में बदलाव करने वाली कार्रवाइयों से पहले उपयोगकर्ता की स्पष्ट मंज़ूरी लेना, रिफंड का मदवार विवरण देना, हर चरण में एक ही कार्रवाई करना और उपयोगकर्ता को खोजने से पहले संयुक्त नाम-हैंडल को अलग-अलग समझना शामिल हैं।

दिशानिर्देश τ²-bench के प्रशिक्षण कार्यों पर एजेंट के किए गए क्रमिक प्रयासों से gpt-4.1 का उपयोग करके निकाले गए और बिना किसी बदलाव के अलग रखे गए परीक्षण-समूह पर लागू किए गए। हर दिशानिर्देश के साथ एक समर्थन-संख्या दी गई है, जो बताती है कि उसे कितने अलग-अलग प्रशिक्षण कार्यों से निकाला गया था। अध्ययन में तीन विन्यासों की तुलना की गई: बिना दिशानिर्देशों वाला आधारभूत विन्यास; sup3, जिसमें केवल कम-से-कम तीन की समर्थन-संख्या वाले दिशानिर्देश रखे गए (खुदरा क्षेत्र में 31 और एयरलाइन में 14); और lossless, जिसमें रखे गए सभी दिशानिर्देश शामिल थे (खुदरा क्षेत्र में 292 और एयरलाइन में 101)।

खुदरा और एयरलाइन में अलग रखे गए परीक्षण-समूह के नतीजे

अध्ययन हर कार्य के चार परीक्षणों में दो मापदंडों पर नज़र रखता है: औसत सटीकता, यानी सफलता की औसत दर, जिसे लेखक क्षमता का माप बताते हैं; और Pass^4, यानी चारों परीक्षणों में हल किए गए कार्यों का प्रतिशत। इसे विश्वसनीयता का माप बताया गया है और τ²-bench लीडरबोर्ड में दर्ज मापदंड के रूप में पहचाना गया है।

अलग रखे गए खुदरा परीक्षण-समूह के 40 कार्यों पर IBM के अनुसार, आधारभूत एजेंट ने औसत सटीकता में 78.1% और Pass^4 में 57.5% अंक प्राप्त किए। sup3 कोर ने क्रमशः 78.8% और 60.0% अंक हासिल किए, जबकि lossless विन्यास ने 82.5% और 67.5% अंक प्राप्त किए। आधारभूत विन्यास की तुलना में ये बढ़ोतरी क्रमशः 4.4 और 10.0 प्रतिशत अंक बताई गई।

अलग रखे गए एयरलाइन परीक्षण-समूह के 20 कार्यों पर आधारभूत विन्यास ने सटीकता में 57.5% और Pass^4 में 35.0% अंक प्राप्त किए। sup3 कोर ने सटीकता में 60.0% और Pass^4 में 45.0% अंक हासिल किए, जबकि lossless ने सटीकता में 65.0% और Pass^4 में 40.0% अंक प्राप्त किए। दोनों क्षेत्रों में दिशानिर्देशों की मात्रा को लेकर नतीजे अलग-अलग रहे: खुदरा क्षेत्र में पूरे lossless समूह से सबसे अधिक सुधार हुआ, जबकि एयरलाइन क्षेत्र में संक्षिप्त sup3 कोर ने Pass^4 का सर्वश्रेष्ठ नतीजा दिया। IBM का कहना है कि समर्थन-संख्या को हर क्षेत्र के अनुसार समायोजित करना चाहिए, न कि उसका कोई एक मान तय करके हर जगह लागू कर देना चाहिए।

लागत, एक अग्रणी मॉडल पर दोबारा परीक्षण और लीडरबोर्ड की स्थिति

पूरे आधारभूत विभाजन पर प्रति बातचीत कुल LLM लागत, प्रॉम्प्ट के आकार के साथ बढ़ी: खुदरा क्षेत्र में आधारभूत विन्यास के $0.084 से lossless के $0.139 तक—यानी 65% की बढ़ोतरी; और एयरलाइन क्षेत्र में $0.081 से $0.107 तक—यानी 32% की बढ़ोतरी। sup3 विन्यासों की लागत क्रमशः $0.095 और $0.097 रही। उन मिलान किए गए परीक्षणों में, जो आधारभूत और दिशानिर्देश वाले—दोनों विन्यासों में हल हुए, दिशानिर्देशों के साथ बातचीत थोड़ी छोटी रही: lossless विन्यास में खुदरा क्षेत्र की बातचीत 10.59 से घटकर 10.16 सहायक-चरणों की और एयरलाइन क्षेत्र की 9.15 से घटकर 8.82 चरणों की हो गई। किसी भी विन्यास में बातचीत लंबी नहीं हुई। IBM का कहना है कि कम चरणों का अर्थ है ग्राहक के लिए शुरू से अंत तक कम विलंबता। यह भी बताया गया है कि दिशानिर्देशों वाला खंड हर कॉल में एक जैसा होने के कारण, प्रॉम्प्ट कैशिंग के ज़रिए उत्पादन परिवेश में अतिरिक्त इनपुट लागत का बड़ा हिस्सा वापस हासिल किया जा सकता है।

टीम ने एयरलाइन क्षेत्र का एक और परीक्षण किया, जिसमें gpt-5.5 को एजेंट और दिशानिर्देश निकालने वाले मॉडल—दोनों के रूप में इस्तेमाल किया गया और दिशानिर्देश उसी एजेंट के अपने परीक्षणों से दोबारा निकाले गए। किसी भी निकाले गए दिशानिर्देश की समर्थन-संख्या कम-से-कम तीन नहीं थी, इसलिए अधिक समर्थन वाले समूह के रूप में sup2 में 103 दिशानिर्देश शामिल किए गए। इसके साथ 146 दिशानिर्देशों वाला lossless समूह भी था। उन्हीं अलग रखे गए एयरलाइन परीक्षण-कार्यों पर gpt-5.5 के आधारभूत विन्यास ने सटीकता में 72.5% और Pass^4 में 55.0% अंक प्राप्त किए; sup2 ने क्रमशः 80.0% और 70.0% अंक हासिल किए; और lossless ने 82.5% और 70.0% अंक प्राप्त किए। इसे सटीकता में 10.0 प्रतिशत अंक और Pass^4 में 15.0 प्रतिशत अंक की बढ़ोतरी बताया गया। IBM के अनुसार, दोबारा किए गए परीक्षणों में lossless का नतीजा हूबहू दोहराया गया।

लीडरबोर्ड पर जमा किए गए परिणामों का मूल्यांकन पूरे आधार विभाजन पर किया जाता है, जिसमें प्रशिक्षण और परीक्षण के कार्य शामिल होते हैं, और उन्हें Pass^4 के रूप में रिपोर्ट किया जाता है; इसलिए ये आँकड़े ऊपर दिए गए अलग रखे गए आँकड़ों से भिन्न हैं। 12 अक्टूबर, 2026 के अपने स्नैपशॉट के आधार पर, IBM के अनुसार उसका खुदरा एजेंट 67.5% के साथ पहले स्थान पर है। वह 61.4% वाले RAFT-30B-A3B से 6.1 अंक आगे है—IBM इस मॉडल को सिंथेटिक τ²-bench खुदरा डेटा पर फ़ाइन-ट्यून किया गया बताता है। एयरलाइन क्षेत्र में, IBM के अनुसार gpt-5.5 एजेंट 82.0% के साथ पहले स्थान पर है, जबकि उसके द्वारा सूचीबद्ध अग्रणी प्रविष्टियाँ 66–72% पर हैं। इस बीच, gpt-4.1 sup3 संस्करण 44% के साथ आठवें स्थान पर रहा; उसने बिना रीजनिंग के चलाए गए GPT-5.2 से बेहतर प्रदर्शन किया और Claude Sonnet 4.5 के प्रदर्शन के लगभग बराबर रहा। IBM का कहना है कि यह तरीका वज़न अपडेट किए बिना, मानवीय एनोटेशन के बिना और परीक्षण-सेट से डेटा लीक हुए बिना, मूल एजेंटों के प्रदर्शन में सुधार करता है।

खुदरा लीडरबोर्ड प्रविष्टि को 14 सितंबर, 2026 को τ²-bench पुल अनुरोध के रूप में जमा किया गया था। इसमें चार ट्रायल में आधार-विभाजन के 114 कार्यों पर Pass^1 का स्कोर 81.14% से लेकर Pass^4 का स्कोर 67.54% तक बताया गया था। tau2-bench v1.0.1 पर प्रति बातचीत औसत लागत $0.1084 थी। इसमें यह भी बताया गया था कि दिशानिर्देश खुदरा प्रशिक्षण-विभाजन से सीखे गए थे, जो आधार मूल्यांकन-विभाजन में शामिल है। एयरलाइन लीडरबोर्ड प्रविष्टि 21 सितंबर, 2026 को जमा की गई। इसमें 50 कार्यों पर Pass^1 का स्कोर 88.50% से लेकर Pass^4 का स्कोर 82.00% तक बताया गया था और प्रति बातचीत औसत लागत $0.1690 थी। दोनों प्रविष्टियों में संशोधित प्रॉम्प्ट का खुलासा किया गया है, कहा गया है कि उन्हें Unverified के रूप में सूचीबद्ध किए जाने की अपेक्षा है, और वे अब भी खुली हैं।