Scale AI ने IMDA के साथ सिंगापुर के कानूनी तर्क-विचार का बेंचमार्क शुरू किया

Scale AI और सिंगापुर की सूचना-संचार मीडिया विकास प्राधिकरण (IMDA) ने 12 नवंबर, 2026 को SG-LegalClarify की शुरुआत की। इसमें सिंगापुर के कानून के 10 क्षेत्रों के 1,860 परिदृश्यों के आधार पर 19 भाषा मॉडलों का परीक्षण किया गया। यह बेंचमार्क कानूनी सटीकता के साथ-साथ यह भी परखता है कि जवाब देने से पहले मॉडल छूटी हुई जानकारी माँगते हैं या नहीं।

Scale के अनुसार, SG-LegalClarify अप्रैल 2026 में औपचारिक रूप दिए गए और 7 जुलाई, 2026 को सार्वजनिक रूप से वर्णित सहयोग के तहत पहली शोध पहल है। इस परियोजना का उद्देश्य सरकारों को अपने कानूनों और संस्थानों के आधार पर एआई प्रणालियों का आकलन करने में मदद करना है, न कि यह मान लेना कि अंतरराष्ट्रीय बेंचमार्क के नतीजे हर देश के संदर्भ में भी लागू होते हैं।

शोधपत्र में सिंगापुर को एक कठिन कसौटी बताया गया है, क्योंकि वहाँ विरासत में मिले अंग्रेज़ी कॉमन लॉ के साथ स्थानीय संशोधन और सिंगापुर-विशिष्ट कानून भी लागू होते हैं। इसलिए सामान्य कॉमन लॉ तर्क पर निर्भर मॉडल लागू होने वाले स्थानीय नियम को नज़रअंदाज़ कर सकता है। SG-LegalClarify एक अलग कौशल भी परखता है: यह तय करना कि किसी प्रश्न में जवाब देने के लिए पर्याप्त कानूनी रूप से प्रासंगिक जानकारी है या नहीं।

रोज़मर्रा के सवालों में यह अंतर मायने रखता है। तेज़ रफ़्तार से वाहन चलाने पर लगने वाले दंड के बारे में पूछने वाले चालक को वाहन का प्रकार, वास्तविक गति और पहले से मिले डिमेरिट अंक बताने पड़ सकते हैं। इन जानकारियों के बिना दंड बताने वाला सहायक ऐसा जवाब दे सकता है जो सुनने में अधिकारपूर्ण लगे, लेकिन कानूनी रूप से गलत हो।

युग्मित प्रश्नों से परखें कि मॉडल कब जानकारी माँगते हैं

डेटासेट की शुरुआत अंग्रेज़ी में लिखे 1,100 मूल प्रश्नों से होती है: 340 में पूरी जानकारी दी गई है और 760 में जानकारी अधूरी है। हर अधूरे प्रश्न का एक ऐसा समकक्ष प्रश्न है जिसमें छिपे हुए तथ्य भी शामिल हैं। प्रश्न 23 सत्यापित वकीलों ने तैयार किए, जिनमें से सात ने समीक्षक के रूप में भी काम किया। उनका कानूनी अनुभव दो से 37 वर्ष तक था और इसका मध्यक छह वर्ष था।

हर प्रश्न के लिए वकील द्वारा तैयार की गई मूल्यांकन-रूब्रिक में मुद्दे की पहचान, नियमों का स्मरण, उनका अनुप्रयोग और निष्कर्ष शामिल हैं। पूरे डेटासेट में कुल 12,546 मानदंड हैं। इनमें से 89.0% किसी उत्तर को सारगत रूप से सही मानने के लिए अनिवार्य हैं; मुख्य नतीजों में केवल अनिवार्य मानदंडों की गणना की गई है।

पहले, पर्याप्तता-जाँच के चरण में, हर मॉडल को सीधे जवाब देने और जानकारी जुटाने में से एक विकल्प चुनना होता है। जानकारी जुटाने वाले रास्ते पर, एक अनुकरणित उपयोगकर्ता छिपे हुए तथ्य तभी बताता है जब मॉडल स्पष्ट रूप से उनके बारे में पूछता है। मानव वकीलों के आकलनों से तुलना के आधार पर चुने गए तीन मॉडलों के एआई निर्णायक पैनल में हर मानदंड को बहुमत के मत से अंक दिए जाते हैं।

खोज से अंक बेहतर हुए, लेकिन स्पष्टीकरण माँगने में कमी बनी रही

शोधपत्र के अनुसार, बिना बाहरी जानकारी के किए गए परीक्षण में Claude Fable 5 सबसे आगे रहा और उसने 69.8% अनिवार्य मानदंड पूरे किए, जबकि औसत 53.8% था। वेब खोज के साथ Kimi K3 77.8% के साथ आगे रहा और औसत बढ़कर 63.0% हो गया; हर मॉडल के प्रदर्शन में सुधार हुआ, हालाँकि सुधार की मात्रा अलग-अलग थी। नियमों का स्मरण मूल्यांकन का सबसे कमजोर घटक रहा: खोज के बिना उत्तीर्णता दर 43.2% और खोज के साथ 56.5% थी।

Scale के सारांश के अनुसार, बिना बाहरी जानकारी वाले परीक्षण में छूटी हुई जानकारी वाले लगभग 39% परिदृश्यों में मॉडल ने स्पष्टीकरण के लिए कोई सवाल नहीं पूछा। वहीं, जिन लगभग 28% परिदृश्यों में पहले से पर्याप्त जानकारी थी, उनमें मॉडलों ने अनावश्यक सवाल पूछे। जानकारी अधूरी होने पर, कानूनी विशेषज्ञों द्वारा पहचाने गए प्रासंगिक तथ्यों में से मॉडलों ने औसतन केवल 39% के बारे में पूछा।

वेब-सक्षम परीक्षणों की एक वर्णनात्मक तुलना में, जहाँ मॉडलों ने हर प्रासंगिक छूटे हुए तथ्य के बारे में पूछा, शोधपत्र के अनुसार 55.6% मामलों में सही कानूनी निष्कर्ष निकला, 32.1% में गलत निष्कर्ष निकला और 12.3% में कोई निष्कर्ष नहीं दिया गया। इसलिए, पूरी जानकारी जुटाने से भी कानून का सही अनुप्रयोग सुनिश्चित नहीं हुआ।

मूल्यांकन की सीमाएँ और जारी करने की योजनाएँ

लेखकों ने नतीजों की कई सीमाएँ बताई हैं: एआई सहायकों का मानव सत्यापन सीमित था, प्रदाताओं के बीच अंतर के कारण सभी को खोज टूल तक एक जैसी पहुँच नहीं मिल सकी, और पहले से की जाने वाली रूटिंग ने स्पष्टीकरण माँगने के व्यवहार को प्रभावित किया हो सकता है। चिह्नित किए गए हर छूटे हुए चर की ज़रूरत किसी मामले को सुलझाने के लिए नहीं होती, इसलिए तथ्यों के बारे में अधूरी पूछताछ अपने-आप में यह साबित नहीं करती कि स्पष्टीकरण माँगना अपर्याप्त था।

शोधकर्ताओं की योजना है कि हर श्रेणी के मूल प्रश्नों में से 50% जारी किए जाएँ और बाकी निजी मूल्यांकन के लिए रखे जाएँ। अधूरे और पूरी जानकारी वाले प्रत्येक प्रश्न-युग्म को एक ही विभाजन में रखा जाएगा। सार्वजनिक विभाजन पर मॉडलों के आउटपुट और मूल्यांकन प्रक्रिया को भी जारी करने की योजना है।

शोधपत्र के नैतिकता संबंधी वक्तव्य में कहा गया है कि अंकों को इस बात का प्रमाण नहीं मानना चाहिए कि कोई मॉडल बिना निगरानी के कानूनी सलाह देने के लिए सुरक्षित है। कानूनी एआई का मूल्यांकन करने वाली सरकारों के लिए, इन निष्कर्षों के अनुसार स्पष्टीकरण माँगना सटीकता के प्रश्न का हिस्सा है: प्रणाली को पहचानना होगा कि स्थानीय कानून किन तथ्यों को प्रासंगिक मानता है, और फिर वे तथ्य हासिल करने के बाद उस कानून को सही ढंग से लागू करना होगा।