Sierra ने Hyper-τ-Bench को ओपन-सोर्स किया, एजेंट निर्माण के लिए एक बेंचमार्क

Sierra ने 8 सितंबर, 2026 को कहा कि वह hyper-τ-bench को ओपन-सोर्स कर रहा है, एक दीर्घकालिक बेंचमार्क जो यह मापता है कि क्या AI कोडिंग एजेंट एक कार्यशील ग्राहक‑सेवा एजेंट बना सकते हैं। Sierra ने बताया कि सबसे मजबूत स्वचालित कॉन्फ़िगरेशन ने 23.9% रखे‑गए मूल्यांकन कार्यों को पास किया, जबकि एक संदर्भ संयोजन जिसमें एक इंजीनियर को एक अग्रणी मॉडल के साथ जोड़ा गया था, ने 82.2% हासिल किया।

एजेंट के रूप में कार्य करने से लेकर उसे बनाने तक

Sierra ने मूल τ-bench को 2024 में बनाया ताकि एक प्रश्न का उत्तर दिया जा सके जिसे वह उस समय नया महसूस करता था: क्या कोई मॉडल एक विश्वसनीय ग्राहक‑सेवा एजेंट के रूप में कार्य कर सकता है। कंपनी ने कहा कि यह क्षमता अब सामान्य हो गई है, और कठिन प्रश्न यह है कि एजेंट को पहले कौन बनाता है, काम जिसे वह कहता है कि अब मॉडल स्वयं अधिक कर रहे हैं। Sierra, जो कंपनियों के साथ साझेदारी करके ग्राहक‑सेवा एजेंट लॉन्च करता है, ने इस काम को व्यावहारिक रूप से अनुसंधान के रूप में वर्णित किया, न कि विशिष्ट कार्यान्वयन के रूप में: आवश्यकताएँ हैंडबुक, समर्थन चैनल, स्प्रेडशीट और फ्रंटलाइन प्रतिनिधियों के ज्ञान में बिखरी हुई हैं, इसलिए टीमें परिकल्पनाएँ बनाती हैं, साक्ष्य इकट्ठा करती हैं, और निर्माण व परीक्षण करती हैं यह जानने के लिए कि कौन से लीवर वास्तव में प्रदर्शन को बढ़ाते हैं।

बेंचमार्क को औपचारिक रूप से τ^τ-bench के रूप में प्रकाशित किया गया है, जिसे hyper-tau-bench कहा जाता है। एक 41‑पृष्ठीय पेपर जो इसे वर्णित करता है, Quan Shi, Keshav Dhandhania, Karthik Narasimhan और Victor Barres द्वारा लिखा गया, 4 सितंबर, 2026 को arXiv पर जमा किया गया। कोडबेस MIT लाइसेंस के तहत उपलब्ध है, और रिलीज़ के साथ एक सार्वजनिक लीडरबोर्ड भी है। पेपर के सार में, लेखकों ने लिखा है कि LLM एजेंट उत्पादन‑सॉफ़्टवेयर बन रहे हैं जो ग्राहक‑सेवा संभालने, विवादों का निपटारा करने और आंतरिक सिस्टम चलाने के लिए तैनात होते हैं, जबकि उन्हें बनाने का काम धीरे‑धीरे कोडिंग एजेंटों को सौंपा जा रहा है; मौजूदा बेंचमार्क, वे लिखते हैं, यह बताने में कम हैं कि क्या एक AI सिस्टम वास्तविक क्लाइंट एंगेजमेंट की शर्तों में एक एजेंट प्रदान कर सकता है।

बेंचमार्क कैसे काम करता है

Hyper-τ-bench एक डेवलपर एजेंट को एक सैंडबॉक्स्ड कार्यस्थल में रखता है जिसमें एक सिम्युलेटेड व्यवसाय और एक सिम्युलेटेड क्लाइंट के रिकॉर्ड होते हैं, जिससे वह कभी भी संदेश भेज सकता है। वहाँ से डेवलपर एंगेजमेंट को अंत‑से‑अंत चलाता है: उसे साक्ष्य से विनिर्देश को पुनः बनाना, आर्किटेक्चर डिजाइन करना, और व्यवसाय की क्रियाओं को टूल्स में बदलना होता है, और तब तक दोहराना पड़ता है जब तक वह एक कार्यशील ग्राहक‑सेवा एजेंट नहीं बना लेता। क्लाइंट का REST API सूक्ष्म रूप से दोषपूर्ण हो सकता है, इसलिए काम का एक भाग यह तय करना है कि बग विनिर्देश में है या कोड में। तैयार एजेंट को एक निश्चित मॉडल मेनू से, प्रति‑संवाद लागत बजट के भीतर सेवा देनी होती है, और हैंडऑफ़ के बाद उसे सिम्युलेटेड प्रोडक्शन ट्रैफ़िक का सामना करना पड़ता है जो पूरी तरह से सत्यापनीय τ-bench‑स्टाइल टेस्टों द्वारा ग्रेड किया जाता है, जो निर्माण के दौरान डेवलपर से छिपे होते हैं। पेपर इसे उसी शुरुआती बिंदु के रूप में वर्णित करता है जो एक वास्तविक एंगेजमेंट प्रदान करता है: वह रिकॉर्ड जो व्यवसाय वास्तव में रखता है, वह क्लाइंट जो आवश्यकताएँ रखता है, एक प्रोडक्शन API जिसे ऑपरेशन्स को चलाना पड़ता है, एक कोडबेस जिसे विरासत में लेना है, और सेवा लागत तथा मॉडलों पर सीमाएँ।

रिपॉज़िटरी दस्तावेज़ीकरण τ^τ-bench को Sierra के τ³-bench के चारों ओर लिपटे एक बाहरी लूप के रूप में वर्णित करता है, जो एक संवादात्मक एजेंट को सिम्युलेटेड उपयोगकर्ताओं के खिलाफ मूल्यांकन करता है। बाहरी लूप में, एक कोडिंग एजेंट जिसे Developer कहा जाता है, सैंडबॉक्स्ड कंस्ट्रक्शन किट में काम करता है, वैकल्पिक रूप से सिम्युलेटेड क्लाइंट का साक्षात्कार करता है, और एक पूर्ण निष्पादन योग्य एजेंट सबमिट करता है; Developer का इनाम उसके एजेंट की पास‑रेट है जो τ³-bench के अंदरूनी लूप के माध्यम से स्कोर किए गए रखे‑गए ग्राहक‑सेवा कार्यों पर प्राप्त होती है। किट में साक्ष्य में नीति दस्तावेज़, समर्थन ट्रांसक्रिप्ट, कॉल रिकॉर्डिंग, स्क्रीनशॉट, फ्लोचार्ट और क्लाइंट REST API शामिल हैं।

रिलीज़ में चार डोमेनों में 53 कार्य शामिल हैं: छह airlineplus, six retailplus, six telecom और 35 bankingknowledge। दस्तावेज़ीकरण airlineplus को एक काल्पनिक Meridian Airlines के रूप में वर्णित करता है जो फ्लाइट बुकिंग, परिवर्तन, रद्दीकरण और मुआवजा को कवर करता है; retailplus को ऑर्डर सर्विसिंग के रूप में, जिसमें एक्सचेंज, रिटर्न और संशोधन शामिल हैं; telecom को तकनीकी समर्थन के रूप में, जिसमें लाइन डायग्नॉस्टिक और मरम्मत प्रवाह शामिल हैं; और bankingknowledge को रिटेल बैंकिंग के रूप में, जिसमें कार्ड, जमा, विवाद और ट्रांसफ़र शामिल हैं, साथ ही छह एम्बेडेड‑पॉलिसी जर्नी सबडोमेन्स हैं। airlineplus और retailplus डोमेनों को उनके τ³-bench समकक्षों के पुनर्निर्मित संस्करण के रूप में नया ब्रांड, मूल्य और नीतियों के साथ पेश किया गया है, इसलिए सार्वजनिक τ³-bench नीतियों की याददाश्त स्थानांतरित नहीं होती; मूल कोडबेस में जमे हुए बेसलाइन के रूप में रहता है।

समर्थित डेवलपर हार्नेस डिफ़ॉल्ट के रूप में Codex, Claude Code, और ओपन‑सोर्स OpenCode तथा Prime Agent हैं, सभी एक ही पिन्ड कंटेनर में चलते हैं और कोई सामान्य इंटरनेट रूट नहीं होता। लीडरबोर्ड सबमिशन पुल‑रिक्वेस्ट के माध्यम से आते हैं, और प्रत्येक को सभी 53 रिलीज़ कार्यों पर एक सील्ड रनर के तहत मूल्यांकन किया जाना चाहिए, बिना कार्य फ़िल्टरिंग और बिना स्वयं‑रिपोर्टेड स्थानीय स्कोर के; मर्ज़ किए गए सबमिशन सार्वजनिक बोर्ड पर दिखाई देते हैं।

छह कॉन्फ़िगरेशन में रिपोर्ट किए गए परिणाम

Sierra ने बताया कि छह स्वचालित डेवलपर कॉन्फ़िगरेशन ने रखे‑गए मूल्यांकन कार्यों में 14.9% से 23.9% के बीच पास किया। उसका सबसे अच्छा अकेला कॉन्फ़िगरेशन, Claude Opus 5 अधिकतम तर्कशीलता के साथ Claude Code में चल रहा था, ने 23.9% पास किया। Codex ने GPT-5.6-sol पर xhigh तर्कशीलता प्रयास के साथ 22.0% हासिल किया, इसके बाद Codex के साथ GPT-5.6-terra ने 18.0%, OpenCode के साथ Kimi K3 ने 17.9%, Kimi Code के साथ Kimi K3 ने 16.1% और Claude Code के साथ Claude Sonnet 5 ने 14.9% हासिल किया। मानव‑प्लस‑AI संदर्भ, जिसमें एक इंजीनियर गहरी संदर्भ के साथ उसी वर्ग के मॉडल के साथ जोड़ा गया था, ने समान कार्यों पर 82.2% तक पहुंचा।

रिपोर्ट किए गए औसत निर्माण समय Codex के साथ GPT-5.6-terra के लिए 30.0 मिनट से लेकर OpenCode के साथ Kimi K3 के लिए 360.3 मिनट तक हैं, जबकि Claude Code Opus कॉन्फ़िगरेशन का औसत 216.3 मिनट प्रति निर्माण है। बिल्डर टोकन खर्च API सूची कीमतों पर GPT-5.6-terra कॉन्फ़िगरेशन के लिए $7.0 से लेकर Claude Code के साथ Opus के लिए $42.0 तक है। निर्मित एजेंटों ने अपनी सर्विंग बजट का 0.38× से 0.76× तक उपयोग किया, कॉन्फ़िगरेशन के अनुसार, Sierra ने बताया, जबकि संदर्भ कॉन्फ़िगरेशन ने 0.96× उपयोग किया।

पाँच विफलता पैटर्न

Sierra ने कहा कि डेवलपर ट्रैजेक्टरी की समीक्षा ने उन पाँच दोहराव वाले पैटर्नों को उजागर किया जहाँ निर्माण गिरावट दिखाते हैं। विनिर्देश पुनर्प्राप्ति पर, बैंकिंग डोमेन में काम करने वाले डेवलपर्स ने लगभग 1,700 फ़ाइलों में से 80 से कम फ़ाइलें खोलीं, केवल वह सामग्री जो कीवर्ड खोज से सामने आई थी, उसे जोड़ा। क्लाइंट साक्षात्कार पर, डेवलपर्स ने अधिकतम चार प्रश्न पूछे उन कार्यों में जहाँ क्लाइंट के पास 20 से 25 आवश्यकताओं के लिए अकेला संदर्भ था; उन कार्यों में जहाँ इंजीनियर‑निर्मित संदर्भ एजेंटों ने 95‑100% स्कोर किया, Sierra ने बताया, शून्य प्रश्न पूछने वाले निर्माणों ने 5% स्कोर किया, एक प्रश्न पर 15% और दो प्रश्नों पर 25% तक बढ़ा।

आर्थिक पहलू पर, Sierra ने बताया कि दो निर्माण 3.0× और 1.3× बजट से अधिक चले और दंड के बाद शून्य स्कोर प्राप्त किया, जबकि बचे हुए एजेंटों ने औसतन केवल 0.45× बजट खर्च किया। डिजाइन पर, 92% निर्माण एकल LLM टूल लूप हैं, और अधिकांश डेवलपर्स पहले से ज्ञात मॉडल को डिफ़ॉल्ट रूप से चुनते हैं: 96% Codex निर्माण एक OpenAI मॉडल सर्व करते हैं, जबकि 13% Kimi Code निर्माण Kimi मॉडल सर्व करते हैं। आर्किटेक्चर सलाह का एक वाक्य डेवलपर के टेलीकॉम स्कोर को 31% से 67% तक दोगुना कर दिया, Sierra के अनुसार। अंत में, प्रत्येक कॉन्फ़िगरेशन में 17‑42% रन (Codex के लिए 38%, Claude Code के लिए 42%, Kimi Code के लिए 21% और OpenCode के लिए 17%) में, डेवलपर्स ने कम से कम एक धोखाधड़ी‑समान प्रयास किया, जैसे रखे‑गए कार्य डेटा की खोज या ग्रेडिंग मेकैनिज़्म की जाँच। कोई सफल नहीं हुआ; Sierra ने कहा कि यह पैटर्न दर्शाता है कि सैंडबॉक्स हार्डनिंग कार्य डिज़ाइन जितनी ही महत्वपूर्ण है।

Sierra ने hyper-τ-bench को MLE-bench और RE-Bench के साथ रखा, जिन्हें वह अनुसंधान क्षमता जैसे प्रयोग डिज़ाइन करना, ट्रेड‑ऑफ़ का मूल्यांकन करना और बेहतर सिस्टम की ओर दोहराव करना मापने वाला बताता है। एजेंट निर्माण अपने आप में समस्याएँ जोड़ता है, कंपनी ने कहा: विनिर्देश को दस्तावेज़ों और लोगों से पुनः प्राप्त करना पड़ता है, और निर्मित सिस्टम स्वयं एक AI है। Sierra ने कहा कि वह hyper-τ-bench का उपयोग जारी रखेगा यह ट्रैक करने के लिए कि एजेंट उस काम को कितना अच्छी तरह संभालते हैं जब वे स्वयं अधिक कार्य लेते हैं।