Vals AI:s riktmärke för rättshjälp visar att modellerna brister när det gäller lokal hjälp

NextLadder Ventures och Vals AI presenterade riktmärket för tillgång till rättvisa den 10 november 2026 och rapporterade att ingen av 23 AI-modeller nådde gränsen på 80 procent för att fungera som en tillförlitlig första kontaktpunkt i 252 scenarier om rättshjälp.

Resultaten från riktmärket och metoden visar en tydlig skillnad mellan att förklara juridik och att hitta praktisk hjälp. Vals AI uppger att modellerna uppfyllde 78–87 procent av experternas kriterier för allmänna juridiska förklaringar, men bara 30–50 procent av kriterierna för att identifiera specifika resurser, till exempel ett lokalt rättshjälpsprogram, en domstols självservicecenter eller ett visst formulär. Minst 70 procent av sina slutliga svar angav 21 modeller en nationell katalog, däribland LawHelp.org, ABA:s Find Legal Help eller 211, i stället för att konsekvent identifiera det relevanta lokala programmet eller kontoret.

I det gemensamma tillkännagivandet hamnar Qwen 3.8 Max på första plats med 76,4 procent uppfyllda kriterier, följt av Claude Sonnet 5.5 med 74,9 procent och Wonder Full med 74,7 procent. Alla tre ligger inom varandras felmarginal. Denna samling innebär att den numeriska rangordningen inte utser någon tydlig ledare.

Meghana Kotcherlakota, forskare vid Vals AI, jämförde projektet med riktmärken för juridisk AI som fokuserar på advokatbyråer och företagskunder: ”Vi tog fram riktmärket för tillgång till rättvisa för att visa hur väl dessa modeller hjälper dem som behöver det mest, problem för problem, och för att följa upp om modellerna blir bättre.”

I rapporten sätts resultaten i relation till Legal Services Corporations studie från 2022 om bristen på rättshjälp, som visade att låginkomsttagare i USA inte fick någon eller tillräcklig juridisk hjälp i 92 procent av sina civilrättsliga ärenden. Av dem som inte sökte hjälp uppgav 46 procent att kostnaden var skälet. Undersökningen byggde på en enkät bland cirka 5 000 vuxna, genomförd av NORC vid University of Chicago, samt uppgifter från rättshjälpsorganisationer som finansierades av bolaget.

Så bedömde riktmärket hjälpen vid första kontakten

I riktmärket fick varje modell rollen som en första kontaktpunkt, ungefär som en handläggare vid ett intag eller en domstols självservicecenter, som ger allmän juridisk information snarare än juridisk rådgivning. Två jurister bidrog med frågor från verkliga situationer. Därefter anpassade sex experter på rättshjälp frågorna till de delstater de tilldelats: Kalifornien, Louisiana, Virginia, New York, Maryland och Texas. Experterna utformade inledande frågor, bakgrundsfakta som inte skulle lämnas ut om inte samtalet ledde till att de efterfrågades, svårighetsgraderingar och bedömningsmallar med i genomsnitt 15,4 självständiga kriterier.

Den fullständiga datamängden innehåller 504 scenarier, jämnt fördelade mellan den offentliga testmängden och en privat valideringsmängd. Varje modell som utvärderades kunde söka på webben, öppna sidor och ställa frågor till en simulerad klient som styrdes av GPT-5. Därefter bedömde Decider v1.2, en automatiserad utvärderare, hela samtalet. Modellen fick endast den information den efterfrågade, och den simulerade klienten lade varken till andra uppgifter eller ifrågasatte felaktiga antaganden. Modellens poäng var den sammanlagda andelen bedömningskriterier som uppfylldes i testscenarierna.

Samtalen och valen av källor blottlade brister

Lagar, domstolsregler och rättspraxis stod för 42 procent av sidorna som modellerna läste, medan webbplatser med själv­hjälpsmaterial från rättshjälpsorganisationer och ideella organisationer stod för 10 procent. Vals AI kopplar det mönstret till skillnaden i poäng: att läsa lagar kan bidra till en allmän sammanfattning, men ger inte namnet på den organisation eller det domstolskontor som användaren bör kontakta härnäst.

Vals AI:s analys av samtalen visade att de i genomsnitt omfattade cirka 3,5 utbyten. De flesta modeller gav ett fullständigt svar redan i sitt första svar, innan de ställde frågor – om de över huvud taget ställde några. GPT-6.1 Sol avslutade sitt första svar med en fråga i 88 procent av fallen, men hamnade på 18:e plats med 68,1 procent för att ta fram uppgifter, det vill säga bedömningsmallens mått på om modellen frågade efter nödvändiga fakta. Skillnaden visar att många frågor inte nödvändigtvis fick fram de uppgifter som experterna hade angett. Modeller som inte ställde frågor antog ibland sådant som användarens delstat eller om det redan fanns ett domstolsbeslut.

Vals AI:s resultat per ämnesområde visar att scenarier om bostäder och hyresförhållanden fick högst poäng bland alla modeller, med 75,4 procent, medan offentliga bidrag fick lägst poäng, 57,3 procent, även om den kategorin bara omfattade fem scenarier. Familjerätten omfattade 110 scenarier och fick i genomsnitt 71,2 procent. Inom området fick umgängesfrågor 61,3 procent, och omsorg inom släkten i ärenden som rör barnskyddsmyndigheter fick 63,0 procent.

Två exempel i tillkännagivandet visar hur dessa brister påverkade vägledningen. I ett småmål i Louisiana som gällde ett muntligt löfte om återbetalning frågade bara åtta modeller om skulden rörde fast egendom, fyra varnade för att en utgången tidsfrist på 10 år för att väcka talan skulle hindra återbetalning, och tre hänvisade användaren till domstolskansliets webbplats för formulär för anspråk och avgiftsbefrielse. I ett scenario om en deposition i New York City, där hyresgästen hade flyttat ut, fick 14 modeller avdrag för att de rekommenderade ett steg med ett kravbrev utanför domstol, något som experternas bedömningsmall avrådde från. Bara fyra hänvisade hyresgästen till stadens Right to Counsel-program.

Poäng för kostnadsfria modeller och premiummodeller

I en separat jämförelse mellan stora chatbotleverantörer låg genomsnittet för Vals AI:s uppskattade grupp av modeller på gratisnivån på 69,7 %, jämfört med 70,4 % för premiummodeller. Claude Sonnet 5.5 fick 1,2 procentenheter högre resultat än Claude Opus 5.5, och endast xAI:s premiummodell hade ett tydligt övertag jämfört med leverantörens modell på gratisnivån. Jämförelsens nivåindelningar är uppskattningar, inte bekräftade kopplingar till leverantörerna, och identiska API-tester kan inte fullt ut fånga hur konsumentchatbotar beter sig; modeller med öppna vikter uteslöts.

Organisationerna uppgav att de samarbetar kring en mer omfattande analys och en kompletterande rapport som ska hjälpa yrkesverksamma i första linjen att förstå vilka brister som kvarstår. För organisationer som erbjuder rättshjälp och utvärderar dessa system är den praktiska slutsatsen att det bara är en del av prestationen vid den första kontakten att förklara lagen: riktmärket bedömer också om modellerna upptäcker fakta som kan förändra ett ärende och anger ett konkret nästa steg som är anpassat till den lokala kontexten.