Google ने 85-कार्य वाला इंजीनियरिंग बेंचमार्क और एजेंट प्रतियोगिता शुरू की

Google AI & Infrastructure ने 3 नवंबर 2026 को घोषणा की कि वह Physical-Engineering’s Last Exam (PLE) के लिए 29 सार्वजनिक कार्य, ग्रेडिंग टूल और एक मूल्यांकन कंटेनर जारी कर रहा है। PLE, Mercor के साथ विकसित 85 कार्यों वाला इंजीनियरिंग बेंचमार्क है। इसके साथ एक खुली एजेंट प्रतियोगिता और लीडरबोर्ड भी जारी किया जा रहा है।

PLE में एजेंट को यांत्रिक, विद्युत, सिविल और संरचनात्मक इंजीनियरिंग के पेशेवर कार्य पूरे करने होते हैं—न कि पाठ्यपुस्तक जैसे सवालों के जवाब देने या किसी एक अलग-थलग टूल का इस्तेमाल करने होते हैं। इस बेंचमार्क में यांत्रिक इंजीनियरिंग के 30, विद्युत के 27, सिविल के 18 और संरचनात्मक इंजीनियरिंग के 10 कार्य हैं। सफलता का आकलन ऐसे परिणामों से किया जाता है जिन्हें इंजीनियरिंग कोड और भौतिक सीमाओं पर खरा उतरना होता है; डिज़ाइन संबंधी कार्यों में उन्हें लागत या प्रदर्शन के उद्देश्यों को भी पूरा करना होता है।

लेख के arXiv रिकॉर्ड में पहली प्रस्तुति की तारीख 21 अक्टूबर, 2026 और संशोधन की तारीख 30 अक्टूबर, 2026 दी गई है। नया घटनाक्रम कार्यों और मूल्यांकन उपकरणों को सार्वजनिक करना तथा प्रतियोगिता शुरू करना है—यह लेख का पहली बार प्रकाशित होना नहीं है।

परियोजना की फ़ाइलें और पेशेवर कार्य-परिणाम

हर असाइनमेंट Mercor के Archipelago पर बने कंटेनर-आधारित परियोजना परिवेश में चलता है। हर कार्य में औसतन 61 फ़ाइलें हैं और पूरे बेंचमार्क में कुल 5,170 फ़ाइलें हैं। इनमें PDF, स्प्रेडशीट, ईमेल, 2D CAD ड्रॉइंग, 3D BIM मॉडल और पुराने, प्रतिस्थापित संशोधन शामिल हैं। एजेंट को तय करना होता है कि कौन-से दस्तावेज़ और आवश्यकताएँ लागू होती हैं, गणनाएँ करनी होती हैं और इंजीनियरिंग मेमो, गणना कार्यपुस्तिकाएँ, उपकरण-सूचियाँ और ड्रॉइंग जैसी फ़ाइलें ऐसे प्रारूपों में तैयार करनी होती हैं जो लाइसेंसधारी विशेषज्ञों की समीक्षा के लिए बनाए गए हों।

पेशेवर इंजीनियरों ने विशेषज्ञों द्वारा तैयार किए गए 44 कार्य शुरू से अंत तक बनाए—इनमें उनकी परियोजना फ़ोल्डर, निर्देश और भारित मूल्यांकन मानदंड शामिल थे। सह-निर्मित 41 कार्यों के लिए इंजीनियरों ने शुरुआती विवरण दिए; फिर एक प्रतिकूल-परीक्षण वाली Creator–Solver प्रक्रिया ने वास्तविक, लाइसेंस के तहत इस्तेमाल की जा सकने वाली सामग्रियों से परिवेश और निष्पादन योग्य मूल्यांकनकर्ता बनाए और उनका परीक्षण किया। इसके बाद विशेषज्ञों ने कार्यों को मान्य किया और उनकी कठिनाई बढ़ाई। तकनीकी लेख के अनुसार, किसी भी कार्य में मालिकाना या ग्राहक की गोपनीय जानकारी शामिल नहीं है: विशेषज्ञों द्वारा तैयार किए गए परिवेश नए सिरे से लिखे गए थे, जबकि सह-निर्मित फ़ाइलों में सार्वजनिक डोमेन की, उदार लाइसेंस वाली या नई बनाई गई सामग्री का इस्तेमाल हुआ।

मूल्यांकन में भी इसी तरह पूरे किए गए काम पर ज़ोर दिया गया है। विशेषज्ञों द्वारा तैयार किए गए कार्यों का मूल्यांकन भारित मानदंडों के आधार पर होता है, जिनका संबंध जमा की गई फ़ाइलों में मौजूद साक्ष्यों से होता है। सह-निर्मित डिज़ाइन कार्यों में बाधाओं का पालन और आर्थिक या प्रदर्शन संबंधी उद्देश्य—दोनों शामिल हैं। सुरक्षा या व्यवहार्यता की कोई अनिवार्य कसौटी पूरी न होने पर संबंधित डिज़ाइन को उद्देश्य के लिए कोई अंक नहीं मिलता। उद्देश्य-आधारित यह घटक केवल मूल्यांकन मानदंडों पर निर्भर अंक-प्रणाली की एक कमी दूर करता है: तारों की दो सूचियाँ समान कोड जाँच में खरी उतर सकती हैं, फिर भी उनकी स्थापना लागत अलग-अलग हो सकती है।

आधार-रेखा के नतीजे अनुपालन में कमी दिखाते हैं

Google ने सार्वजनिक रूप से उपलब्ध सात एजेंट ढाँचों के साथ 14 मॉडलों का मूल्यांकन किया और हर विन्यास में प्रत्येक कार्य को तीन बार चलाया। समस्या हल करने वाले कंटेनरों को इंटरनेट की सुविधा नहीं थी और हर बार एजेंट को छह घंटे तक काम करने की अनुमति थी। मानदंड-आधारित मूल्यांकन और निष्पादन योग्य जाँच समस्या हल करने वाले कंटेनर के बाहर हुईं, ताकि मूल्यांकनकर्ता और संदर्भ परिणाम एजेंट से अलग रहें।

56 कार्यों वाले निजी परीक्षण-समुच्चय पर Google के अनुसार, हर मॉडल ने अपने मूल एजेंट ढाँचे में 50% से कम अंक पाए। सबसे आगे Claude Code में Claude Opus 5.5 रहा, जिसने 48.3% अंक हासिल किए। प्रतियोगिता की रैंकिंग सूची में मॉडलों को इन्हीं छिपे हुए कार्यों के नतीजों के आधार पर क्रम दिया गया है।

सभी 85 कार्यों पर लेख में दिए गए अलग मूल्यांकन में, Claude Code में Claude Opus 5.5 ने सर्वाधिक 50.6% अंक हासिल किए। हर कार्य के लिए इसने औसतन 27 मिलियन टोकन और 63 मिनट लिए तथा सूची-मूल्य के हिसाब से इसकी लागत $17.18 प्रति कार्य रही। इसलिए ये दोनों शीर्ष आँकड़े अलग-अलग मूल्यांकनों को दर्शाते हैं: एक में मूल एजेंट ढाँचों के साथ छिपे हुए परीक्षण-समुच्चय को शामिल किया गया, जबकि दूसरे में पूरे बेंचमार्क और मॉडल-एजेंट ढाँचे के सबसे मज़बूत विन्यास को।

ज़्यादा अर्थपूर्ण नतीजा सह-निर्मित कार्यों में सामने आता है। Google के अनुसार, सबसे मज़बूत विन्यास ने अलग-अलग बाधाओं में से 91% को पूरा किया, फिर भी उसके परिणामों में केवल 41.3% ही उद्देश्य के लिए अंक पाने की ज़रूरी सभी अनिवार्य सुरक्षा और व्यवहार्यता जाँचों पर खरे उतरे। व्यावहारिक रूप से, एजेंट अक्सर ज़्यादातर आवश्यकताएँ सही ढंग से पूरी कर लेते थे, लेकिन पूरी तरह नियमों का पालन करने वाला डिज़ाइन तैयार नहीं कर पाते थे—यही वह कमी है जिसे उजागर करने के लिए PLE की अनिवार्य-बाधा कसौटी बनाई गई है।

Google के अनुसार, मॉडलों के बीच लगभग 50 अंकों का अंतर था, जबकि एक ही मॉडल के अलग-अलग एजेंट ढाँचों के बीच अंतर का मध्यक तीन अंक था। फिर भी, एजेंट ढाँचे के चुनाव से अंक और लागत बदलते थे। अलग-अलग कार्यों के नतीजों में भी काफ़ी उतार-चढ़ाव था: किसी कार्य और एजेंट-ढाँचे के संयोजन के लिए तीन बार चलाने पर अंकों का औसत अंतर 15.4 अंक था। यह उतार-चढ़ाव एकल प्रयासों के बजाय कई प्रयासों के औसत का इस्तेमाल करने के लेखकों के निर्णय को उचित ठहराता है।

प्रतियोगिता में एजेंट की पूरी व्यवस्था की परीक्षा

आधिकारिक रिपॉज़िटरी में PLE को 29 सार्वजनिक विकास कार्यों और 56 छिपे हुए परीक्षण कार्यों में बाँटा गया है। प्रतिभागी अपने एजेंट का ढाँचा—यानी हर कार्य में चुने गए मॉडल को संचालित करने वाला सॉफ़्टवेयर—मॉडल के चयन और सार्वजनिक कार्यों पर तैयार की गई फ़ाइलों के साथ जमा करते हैं। आयोजक उन फ़ाइलों का मूल्यांकन करते हैं, पुनरुत्पादन की जाँच के लिए चुने गए सार्वजनिक कार्यों पर एजेंट ढाँचे को फिर से चलाते हैं, और फिर रैंकिंग का अंक तय करने के लिए उसे छिपे हुए कार्यों पर तीन बार चलाते हैं।

प्रतिभागी मूल्यांकन सर्वर पर Google द्वारा प्रायोजित 13 मॉडल मुफ़्त में इस्तेमाल कर सकते हैं, किसी वाणिज्यिक मॉडल की API कुंजी दे सकते हैं या स्वयं होस्ट किया गया मॉडल सर्वर जोड़ सकते हैं। Apache-2.0 लाइसेंस वाले रिपॉज़िटरी में कस्टम हार्नेस के लिए शुरुआती प्रविष्टियाँ और मौजूदा एजेंटों के लिए अडैप्टर शामिल हैं, जिससे प्रतिभागियों को पूरा सबमिशन तैयार करने के लिए कई शुरुआती विकल्प मिलते हैं।

इसलिए यह प्रतियोगिता किसी मॉडल के अंतिम उत्तर से कहीं अधिक का मूल्यांकन करती है। सबमिट की गई प्रणाली को वास्तविक परियोजना फ़ाइलों में रास्ता ढूँढ़ना होगा, सार्वजनिक कार्यों के अपने परिणामों को दोबारा तैयार करना होगा और ऐसे पूर्ण डिलिवरेबल देने होंगे जो छिपी हुई सुरक्षा, व्यवहार्यता और गुणवत्ता जाँचों पर खरे उतरें। आधारभूत परिणामों से स्पष्ट है कि पूरे पैकेज की सभी शर्तें पूरी करना सबसे बड़ी चुनौती है: अधिकांश व्यक्तिगत आवश्यकताएँ पूरी करना भी पर्याप्त नहीं, क्योंकि किसी एक कठोर बाध्यता में विफलता अन्यथा लागत-कुशल डिज़ाइन को वस्तुनिष्ठ मूल्यांकन के अंक से वंचित कर सकती है।