SemiAnalysis ने 11 एजेंट-आधारित क्षेत्रों में फैला GDPx बेंचमार्क लॉन्च किया

SemiAnalysis ने 2 नवंबर 2026 को मैक्स कान, एंड्रयू मेगाला और डायलन पटेल द्वारा लिखी गई एक घोषणा में GDPx जारी किया। यह 11 पेशेवर क्षेत्रों में फैली सामान्य एजेंट-आधारित क्षमताओं का बेंचमार्क है। शुरुआती लीडरबोर्ड में Anthropic का Claude Opus 5.5 12.0% के स्कोर के साथ सबसे आगे है।

V1.0 का लीडरबोर्ड

GDPx की आधिकारिक साइट के अनुसार, पहले संस्करण में 14 विशिष्ट डेटा साझेदारों के सहयोग से तैयार किए गए 206 कार्य हैं और इसके लीडरबोर्ड में 13 मॉडल शामिल हैं। Claude Opus 5.5 रैंकिंग में सबसे ऊपर है; प्रति कार्य इसकी औसत लागत $51.41 है और यह 548K आउटपुट टोकन इस्तेमाल करता है। Google का Gemini 4 Carbon 10.9% और प्रति कार्य $16.29 की लागत के साथ दूसरे स्थान पर है, जबकि OpenAI का GPT-6 Astra 9.6% और प्रति कार्य $53.99 की लागत के साथ तीसरे स्थान पर है। Meta का Muse Wonder Full 9.0% के साथ चौथे स्थान पर है; इसकी कोई सार्वजनिक कीमत नहीं दी गई है। Z.ai का GLM 5.3 2.7% के साथ 13वें स्थान पर है।

SemiAnalysis के अनुसार, GDPx वास्तव में अग्रणी स्तर का बेंचमार्क है, क्योंकि इसका सर्वोच्च स्कोर भी इतना कम है। GDPx का मुख्य स्कोर तीन प्रयासों में प्रत्येक मॉडल के pass@1 नतीजे का औसत निकालता है, हर क्षेत्र को समान भार देता है और हर कार्य के लिए निर्धारित मूल्यांकन पद्धति—द्विआधारी या सतत—लागू करता है।

डिज़ाइन, साझेदार और कार्यप्रणाली

इन क्षेत्रों में चिप डिज़ाइन, साइबर सुरक्षा, जीवविज्ञान, वित्त, कानून, मात्रात्मक ट्रेडिंग, पुनरावर्ती आत्म-सुधार (RSI), हार्डवेयर डिज़ाइन, पदार्थ विज्ञान, संरेखण और सॉफ्टवेयर इंजीनियरिंग शामिल हैं। SemiAnalysis का कहना है कि उसने जानबूझकर सरकार, रियल एस्टेट और बीमा जैसे उद्योगों को शामिल नहीं किया। लेखकों का तर्क है कि AI से होने वाला शुरुआती एक ट्रिलियन डॉलर का राजस्व उन क्षेत्रों में केंद्रित होगा जहाँ अग्रणी बुद्धिमत्ता को निवेश पर उच्च प्रतिफल के साथ लागू किया जा सकता है। उनका यह भी कहना है कि GDP में हिस्सेदारी या SOC/O*NET व्यावसायिक वर्गीकरण के आधार पर एक सामान्य बेंचमार्क बनाना गलती है।

हर क्षेत्र को विशिष्ट साझेदारों के सहयोग से तैयार किया गया: चिप डिज़ाइन के लिए Aria, Arcverex और Ergodex; साइबर सुरक्षा के लिए Arithmetic; जीवविज्ञान के लिए Latch Bio; वित्त के लिए Living Context; कानून के लिए Chakra; मात्रात्मक ट्रेडिंग के लिए Third Moment; RSI के लिए Extrapolate; हार्डवेयर डिज़ाइन के लिए Beautiful Machines; पदार्थ विज्ञान के लिए ValenceForge और Emulated; संरेखण के लिए Fleet; और सॉफ्टवेयर इंजीनियरिंग के लिए Datacurve।

कार्यों के लिए सामान्य समय-सीमा आठ घंटे है। उपलब्ध होने पर मॉडल अपने मूल निष्पादन परिवेश में चलते हैं—Opus 5.5 के लिए Claude Code, GPT-6 Astra के लिए Codex और Gemini 4 Carbon के लिए Antigravity—और विकल्प के तौर पर OpenCode का इस्तेमाल किया जाता है। SemiAnalysis ने हर साझेदार से अपेक्षा की कि वह पहली कोशिश में ही इसकी स्वचालित गुणवत्ता-जाँच पास करे और अधिकतम मामूली गलतियाँ हों। उसका कहना है कि यही प्रक्रिया Terminal Bench 4.0 बेंचमार्क के लगभग 50% कार्यों को दोषपूर्ण बताती है।

GDPval की आलोचना

इस घोषणा में GDPx को OpenAI के GDPval का उत्तराधिकारी बताया गया है। GDPval 25 सितंबर 2025 को जारी हुआ था और लेखकों के अनुसार, प्रमुख मॉडल रिलीज़ कार्डों पर यह अब भी सबसे लोकप्रिय सामान्य-उद्देश्य बेंचमार्क है। उनकी आलोचना है कि GDPval के कार्य संवादात्मक नहीं हैं और सभी ज़रूरी संदर्भ प्रॉम्प्ट में पहले से ही दे दिए जाते हैं। वे इसके गोल्ड उपसमुच्चय पर मानव विशेषज्ञों के बीच 71% मूल्यांकनकर्ता-सहमति का भी हवाला देते हैं। इसके बजाय, GDPx का हर कार्य एक वास्तविक-जैसे परिवेश के साथ आता है। उदाहरण के लिए, वित्त के 24 कार्य एक वास्तविक निजी इक्विटी सौदे की नकल करते हैं, जिसमें एक फंड स्नैक निर्माता कंपनी का लगभग 62% हिस्सा $880 मिलियन और भविष्य के प्रदर्शन पर निर्भर अतिरिक्त भुगतान के बदले खरीदता है; इस सौदे का पुनर्निर्माण लगभग 4,000 गुमनाम की गई फ़ाइलों के आधार पर किया गया है।

क्षेत्रवार नतीजे और बताई गई सीमाएँ

SemiAnalysis के अनुसार, Claude Opus 5.5 समग्र रूप से सर्वश्रेष्ठ मॉडल है और इसने मात्रात्मक ट्रेडिंग, हार्डवेयर डिज़ाइन तथा चिप डिज़ाइन में जीत हासिल की। Gemini 4 Carbon जीवविज्ञान का सर्वश्रेष्ठ मॉडल है और सॉफ्टवेयर इंजीनियरिंग में मामूली अंतर से आगे है। GPT-6 Astra ने RSI और पदार्थ विज्ञान में जीत हासिल की। SemiAnalysis ने आगाह किया कि साइबर सुरक्षा, जीवविज्ञान और संरेखण क्षेत्रों में इसके सुरक्षा वर्गीकारकों के कारण Opus 5.5 और GPT-6 Astra के समग्र स्कोर कम हुए हैं। उसने Meta के Muse Wonder Full को अच्छे-खासे अंतर से उपलब्ध सर्वश्रेष्ठ साइबर मॉडल बताया।

वित्त और कानून के कार्य इतने कठिन हैं कि निर्धारित द्विआधारी मूल्यांकन में हर मॉडल का स्कोर शून्य आता है, इसलिए SemiAnalysis इन क्षेत्रों के लिए औसत आंशिक स्कोर बताता है। मात्रात्मक ट्रेडिंग में, मूल्यांकित 111 निष्पादनों में से 70 उस संदर्भ रणनीति से भी खराब रहे जिसे एजेंट को पीछे छोड़ने के लिए कहा गया था; किसी भी मॉडल ने सार्वजनिक aapl-target-winsorization कार्य हल नहीं किया। Fleet के संरेखण-संबंधी साइबर कार्यों में, 200 में से 196 निष्पादनों ने व्यवहार के कम-से-कम एक नियम का उल्लंघन किया और 173 ने ऐसे नियम का उल्लंघन किया जिसे गंभीर रूप से असंगत माना गया। स्वास्थ्य सेवा के कार्यों में, 100 में से 19 निष्पादनों का स्कोर शून्य से अधिक रहा। लागत के मामले में, SemiAnalysis ने लागत और प्रदर्शन के संतुलन की सीमा के निचले छोर पर GPT-6 Luna और DeepSeek को, ऊपरी छोर पर Opus को और बीच में OpenAI को रखा।

SemiAnalysis का कहना है कि GDPx को लगातार विकसित होने वाला बेंचमार्क बनाने का इरादा है और इसके नए संस्करण हर 3–6 महीने में जारी करने की योजना है। डेटा कंपनियों के भाग लेने और प्रयोगशालाओं द्वारा भविष्य के रिलीज़ का मूल्यांकन कराने में रुचि रखने वालों के लिए gdpx@semianalysis.com दिया गया है।