Vals AI के कानूनी सहायता बेंचमार्क में पाया गया: स्थानीय मदद देने में मॉडल पीछे

NextLadder Ventures और Vals AI ने 10 नवंबर, 2026 को न्याय तक पहुँच बेंचमार्क की घोषणा की और बताया कि 23 में से कोई भी एआई मॉडल 252 कानूनी सहायता परिदृश्यों में विश्वसनीय प्रथम संपर्क बिंदु के लिए निर्धारित 80% की सीमा तक नहीं पहुँचा।

बेंचमार्क के नतीजे और कार्यप्रणाली कानून की व्याख्या करने और व्यावहारिक मदद ढूँढ़ने के बीच बड़ा अंतर दिखाते हैं। Vals AI के अनुसार, सामान्य कानूनी व्याख्याओं के लिए मॉडल विशेषज्ञों के 78% से 87% मानदंडों पर खरे उतरे, लेकिन स्थानीय कानूनी सहायता कार्यक्रम, अदालत के स्व-सहायता केंद्र या किसी खास फ़ॉर्म जैसे विशिष्ट संसाधनों की पहचान करने में वे केवल 30% से 50% मानदंडों पर ही खरे उतरे। इक्कीस मॉडलों ने अपने अंतिम जवाबों में कम-से-कम 70% बार किसी राष्ट्रीय निर्देशिका का नाम लिया—जैसे LawHelp.org, ABA की Find Legal Help या 211—इसके बजाय कि वे लगातार प्रासंगिक स्थानीय कार्यक्रम या कार्यालय की पहचान करते।

संयुक्त घोषणा के मुताबिक, Qwen 3.8 Max 76.4% मानदंडों पर खरा उतरकर पहले स्थान पर रहा। उसके बाद Claude Sonnet 5.5 74.9% और Wonder Full 74.7% के साथ रहे; तीनों के नतीजे एक-दूसरे की त्रुटि-सीमा के भीतर थे। इस निकटता का मतलब है कि अंकों के क्रम से कोई स्पष्ट अग्रणी तय नहीं होता।

Vals AI की शोध वैज्ञानिक मेघना कोट्चरलाकोटा ने इस परियोजना की तुलना उन कानूनी AI बेंचमार्क से की जो लॉ फर्मों और कॉरपोरेट ग्राहकों पर केंद्रित हैं: “हमने न्याय तक पहुंच बेंचमार्क इसलिए बनाया कि यह दिखाया जा सके कि ये मॉडल उन लोगों की कितनी अच्छी मदद करते हैं जिन्हें इसकी सबसे अधिक जरूरत है—हर समस्या के मामले में—और यह भी पता लगाया जा सके कि उनमें सुधार हो रहा है या नहीं।”

रिलीज़ में इन नतीजों को Legal Services Corporation के 2022 के न्याय-अंतराल अध्ययन के संदर्भ में रखा गया है। उस अध्ययन में पाया गया कि कम आय वाले अमेरिकियों को उनकी दीवानी कानूनी समस्याओं में से 92% के लिए या तो कोई कानूनी सहायता नहीं मिली या अपर्याप्त सहायता मिली। मदद न लेने वालों में 46% ने लागत को इसकी वजह बताया। इस शोध में NORC द्वारा University of Chicago के सहयोग से किए गए लगभग 5,000 वयस्कों के सर्वेक्षण और निगम द्वारा वित्तपोषित कानूनी सहायता संगठनों के आँकड़ों का उपयोग किया गया।

बेंचमार्क में पहले संपर्क के रूप में मदद देने का मूल्यांकन

इस बेंचमार्क में हर मॉडल को पहले संपर्क के रूप में परखा गया—यानी वह शुरुआती जानकारी लेने वाले कर्मचारी या अदालत के स्व-सहायता केंद्र की तरह सामान्य कानूनी जानकारी दे, कानूनी सलाह नहीं। दो कानूनी पेशेवरों ने वास्तविक जीवन से जुड़े सवाल दिए, जिन्हें छह कानूनी सहायता विशेषज्ञों ने अपने-अपने निर्धारित राज्यों के अनुसार ढाला: California, Louisiana, Virginia, New York, Maryland और Texas। विशेषज्ञों ने शुरुआती सवाल, पृष्ठभूमि से जुड़े ऐसे तथ्य जिन्हें बातचीत में पूछे जाने पर ही बताया जाना था, कठिनाई के स्तर और मूल्यांकन के मानदंड तैयार किए। हर मामले में औसतन 15.4 स्वतंत्र मानदंड थे।

पूरा डेटासेट 504 परिदृश्यों का है, जिन्हें सार्वजनिक परीक्षण सेट और निजी सत्यापन सेट के बीच बराबर बांटा गया। हर मॉडल को वेब पर खोजने, पेज खोलने और GPT-5 द्वारा सिमुलेट किए गए क्लाइंट से सवाल पूछने की सुविधा थी। इसके बाद स्वचालित निर्णायक Decider v1.2 ने पूरी बातचीत का मूल्यांकन किया। मॉडल को केवल वही जानकारी दी गई जो उसने मांगी थी; सिमुलेट किए गए क्लाइंट ने न तो कोई अतिरिक्त जानकारी जोड़ी और न ही गलत धारणाओं को चुनौती दी। परीक्षण परिदृश्यों में पूरे किए गए मूल्यांकन-मानदंडों के कुल अनुपात के आधार पर हर मॉडल का स्कोर तय किया गया।

बातचीत और स्रोतों के चुनाव से सामने आईं कमियां

मॉडलों ने जिन पेजों को पढ़ा, उनमें 42% कानूनों, अदालत के नियमों और अदालती फैसलों से जुड़े थे, जबकि कानूनी सहायता और गैर-लाभकारी संस्थाओं की स्व-सहायता वेबसाइटें 10% थीं। Vals AI इस प्रवृत्ति को अंकों के अंतर से जोड़ता है: कानून पढ़ने से सामान्य सारांश तैयार करने में मदद मिल सकती है, लेकिन इससे उस संस्था या अदालत के कार्यालय का नाम नहीं मिलता जिससे उपयोगकर्ता को आगे संपर्क करना चाहिए।

Vals AI के बातचीत-विश्लेषण में औसतन लगभग 3.5 सवाल-जवाब के दौर सामने आए। ज्यादातर मॉडलों ने सवाल पूछने से पहले ही अपने पहले जवाब में पूरी जानकारी दे दी; कुछ ने सवाल पूछे ही नहीं। GPT-6.1 Sol ने 88% बार अपना पहला जवाब सवाल के साथ खत्म किया, लेकिन जरूरी तथ्य पूछने के मामले में मूल्यांकन-मानदंड पर 68.1% अंक के साथ वह 18वें स्थान पर रहा। यह अंतर दिखाता है कि बार-बार सवाल पूछने से जरूरी नहीं कि विशेषज्ञों द्वारा बताए गए तथ्य सामने आ ही जाएं। सवाल न पूछने वाले कुछ मॉडलों ने कभी-कभी यह मान लिया कि उपयोगकर्ता किस राज्य में है या अदालत का आदेश पहले से जारी हुआ है।

विषयवार नतीजों में सभी मॉडलों के लिए आवास और मकान-मालिक-किरायेदार से जुड़े परिदृश्य सबसे ऊपर रहे और उन्हें 75.4% अंक मिले। सार्वजनिक लाभों से जुड़े मामलों के अंक सबसे कम, 57.3% रहे, हालांकि इस श्रेणी में केवल पांच परिदृश्य थे। पारिवारिक कानून के 110 परिदृश्य थे और उनका औसत 71.2% रहा। इस श्रेणी में मुलाकात के अधिकार से जुड़े मामलों के अंक 61.3% रहे, जबकि बाल संरक्षण सेवाओं से जुड़े रिश्तेदारी-आधारित देखभाल के मामलों में यह आंकड़ा 63.0% था।

घोषणा में दिए गए दो उदाहरण दिखाते हैं कि इन कमियों से मार्गदर्शन कैसे प्रभावित हुआ। Louisiana के एक छोटे दावों वाले मामले में मौखिक रूप से कर्ज चुकाने का वादा किया गया था। केवल आठ मॉडलों ने पूछा कि क्या कर्ज अचल संपत्ति से जुड़ा था, चार ने चेताया कि दावा दायर करने की 10 साल की समयसीमा खत्म होने पर रकम वसूलना संभव नहीं होगा, और तीन ने उपयोगकर्ता को दावा दायर करने और शुल्क माफ कराने के फॉर्म के लिए अदालत के क्लर्क की वेबसाइट पर भेजा। New York City में सुरक्षा जमा से जुड़े एक मामले में किरायेदार घर छोड़ चुका था। 14 मॉडलों के अंक इसलिए काटे गए कि उन्होंने अदालत के बाहर मांग-पत्र भेजने का ऐसा कदम सुझाया था जिसे विशेषज्ञों के मूल्यांकन-मानदंड में गलत बताया गया था। केवल चार मॉडलों ने किरायेदार को शहर के Right to Counsel कार्यक्रम की जानकारी दी।

मुफ्त और प्रीमियम मॉडलों के स्कोर

प्रमुख चैटबॉट प्रदाताओं की एक अलग तुलना में, Vals AI के अनुमानित मुफ़्त स्तर वाले समूह का औसत स्कोर 69.7% रहा, जबकि प्रीमियम मॉडल का औसत 70.4% था। Claude Sonnet 5.5 ने Claude Opus 5.5 से 1.2 प्रतिशत अंक अधिक स्कोर किया, और केवल xAI के प्रीमियम मॉडल ने अपने प्रदाता के मुफ़्त स्तर वाले मॉडल पर स्पष्ट बढ़त दिखाई। तुलना में स्तरों का वर्गीकरण अनुमानित है, प्रदाताओं की ओर से इसकी पुष्टि नहीं की गई है; साथ ही, एक जैसे एपीआई परीक्षण उपभोक्ताओं के चैटबॉट इस्तेमाल के व्यवहार को पूरी तरह नहीं दर्शा सकते। ओपन-वेट मॉडल इस तुलना में शामिल नहीं थे।

संगठनों ने बताया कि वे अधिक व्यापक विश्लेषण और एक अतिरिक्त संक्षिप्त रिपोर्ट पर मिलकर काम कर रहे हैं, जिसका उद्देश्य अग्रिम मोर्चे पर काम करने वाले पेशेवरों को बाकी कमियों को समझने में मदद करना है। इन प्रणालियों का मूल्यांकन करने वाले कानूनी सहायता संगठनों के लिए व्यावहारिक संदेश यह है कि कानून समझाना, पहली बातचीत में अच्छा प्रदर्शन करने का केवल एक हिस्सा है: यह बेंचमार्क यह भी परखता है कि मॉडल मामले का रुख बदल सकने वाले तथ्यों का पता लगाते हैं या नहीं और स्थानीय स्तर पर उठाए जाने वाले किसी ठोस अगले कदम का सुझाव देते हैं या नहीं।