Vals AI’s benchmark for retshjælp viser, at modellerne kommer til kort, når det gælder lokal hjælp

NextLadder Ventures og Vals AI annoncerede benchmarken for adgang til retshjælp den 10. november 2026 og oplyste, at ingen af 23 AI-modeller nåede dens tærskel på 80 % for at kunne fungere som et pålideligt første kontaktpunkt på tværs af 252 retshjælpsscenarier.

Resultaterne fra benchmarken og metoden viser en markant forskel på at forklare jura og at finde praktisk hjælp. Vals AI oplyser, at modellerne opfyldte 78 % til 87 % af eksperternes kriterier for generelle juridiske forklaringer, men kun 30 % til 50 % af kriterierne for at finde konkrete ressourcer som et lokalt retshjælpstilbud, et selvhjælpscenter ved en domstol eller en bestemt formular. 21 modeller nævnte i mindst 70 % af deres endelige svar en national oversigt såsom LawHelp.org, ABA’s Find Legal Help eller 211 i stedet for konsekvent at finde det relevante lokale tilbud eller kontor.

I den fælles meddelelse indtager Qwen 3.8 Max førstepladsen med 76,4 % opfyldte kriterier, efterfulgt af Claude Sonnet 5.5 med 74,9 % og Wonder Full med 74,7 %. Alle tre ligger inden for hinandens fejlmargin. Den tætte placering betyder, at den numeriske rækkefølge ikke udpeger en klar vinder.

Meghana Kotcherlakota, forsker hos Vals AI, satte projektet i kontrast til juridiske AI-benchmarks, der fokuserer på advokatfirmaer og erhvervskunder: „Vi udviklede benchmarken for adgang til retshjælp for at vise, hvor godt disse modeller hjælper de mennesker, der har størst behov for hjælp, problem for problem, og for at følge med i, om de bliver bedre.“

Meddelelsen sætter resultaterne i perspektiv med Legal Services Corporations undersøgelse af retshjælpskløften fra 2022, som viste, at amerikanere med lave indkomster ikke fik nogen eller tilstrækkelig juridisk hjælp i forbindelse med 92 % af deres civilretlige problemer. Blandt dem, der ikke søgte hjælp, angav 46 % omkostningerne som årsag. Undersøgelsen byggede på en spørgeskemaundersøgelse blandt cirka 5.000 voksne udført af NORC ved University of Chicago samt data fra retshjælpsorganisationer, der modtog støtte fra selskabet.

Sådan vurderede benchmarken hjælp ved første kontakt

Benchmarken behandler hver model som et første kontaktpunkt, der minder om en visitationsmedarbejder eller et selvhjælpscenter ved en domstol, og som giver generel juridisk information frem for juridisk rådgivning. To juridiske praktikere leverede forespørgsler fra den virkelige verden, hvorefter seks retshjælpseksperter tilpassede dem til de tildelte delstater: Californien, Louisiana, Virginia, New York, Maryland og Texas. Eksperterne udarbejdede indledende spørgsmål, baggrundsoplysninger, som først blev givet, hvis samtalen afdækkede behovet for dem, sværhedsgrader og vurderingsskemaer med gennemsnitligt 15,4 uafhængige kriterier.

Det fulde datasæt indeholder 504 scenarier, fordelt ligeligt mellem det offentlige testsæt og et privat valideringssæt. Hver model, der blev evalueret, kunne søge på nettet, åbne sider og stille spørgsmål til en simuleret klient baseret på GPT-5, før Decider v1.2, en automatiseret dommer, bedømte hele samtalen. Modellen fik kun de oplysninger, den selv bad om, og den simulerede klient tilføjede hverken andre oplysninger eller anfægtede fejlagtige antagelser. En models score var den samlede andel af vurderingskriterierne, som den opfyldte på tværs af testscenarierne.

Samtaler og valg af kilder afdækkede mangler

Love, domstolsregler og retspraksis udgjorde 42 % af de sider, modellerne læste, mens retshjælpsorganisationers og nonprofitorganisationers selvhjælpssider udgjorde 10 %. Vals AI forbinder dette mønster med forskellen i scorerne: Læsning af lovtekster kan understøtte en generel opsummering, men giver ikke navnet på den organisation eller det domstolskontor, som brugeren bør kontakte som det næste.

Vals AI’s analyse af samtalerne viste et gennemsnit på cirka 3,5 udvekslinger, og de fleste modeller gav et fuldt svar i deres første besked, før de stillede spørgsmål, hvis de overhovedet stillede nogen. GPT-6.1 Sol afsluttede sit første svar med et spørgsmål 88 % af gangene, men kom ind på 18.-pladsen med 68,1 % for evnen til at indhente oplysninger – vurderingsskemaets mål for, om en model bad om de nødvendige oplysninger. Forskellen viser, at hyppige spørgsmål ikke nødvendigvis afdækkede de oplysninger, eksperterne havde angivet. Modeller, der ikke stillede spørgsmål, antog undertiden detaljer som brugerens delstat, eller om der allerede forelå en retskendelse.

Vals AI’s resultater fordelt på emner placerer bolig- og lejeretsscenarier øverst med 75,4 % på tværs af alle modeller, mens offentlige ydelser scorer lavest med 57,3 %, selv om denne kategori kun omfattede fem scenarier. Familieret omfattede 110 scenarier og havde et gennemsnit på 71,2 %; inden for området scorede samvær 61,3 %, og slægtspleje, hvor børnebeskyttelsesmyndigheder var involveret, scorede 63,0 %.

To eksempler i meddelelsen viser, hvordan disse svagheder påvirkede vejledningen. I en sag om småkrav i Louisiana, der handlede om et mundtligt løfte om tilbagebetaling, spurgte kun otte modeller, om gælden vedrørte fast ejendom, fire advarede om, at udløbet af den 10-årige frist for at anlægge sag ville forhindre inddrivelse, og tre henviste brugeren til domstolssekretariatets hjemmeside for formularer til krav og fritagelse for gebyrer. I et scenarie om et depositum i New York City, hvor lejeren var flyttet ud, fik 14 modeller fradrag for at anbefale et skridt uden for retten, hvor man sender et påkravsbrev, som eksperternes vurderingsskema advarede imod, og kun fire henviste lejeren til byens program Right to Counsel.

Scorer for gratisversioner og premium-modeller

I en separat sammenligning af større chatbotudbydere var gennemsnittet for Vals AIs anslåede gruppe af gratis modeller 69,7 % mod 70,4 % for premiummodeller. Claude Sonnet 5.5 scorede 1,2 procentpoint højere end Claude Opus 5.5, og kun xAIs premiummodel viste en tydelig fordel i forhold til udbyderens gratis model. Sammenligningens indplacering af modellerne i forskellige niveauer er baseret på skøn og ikke bekræftet af udbyderne, og de identiske API-tests kan ikke fuldt ud afspejle forbrugerchatbotters adfærd; modeller med åbne vægte var udelukket.

Organisationerne oplyste, at de samarbejder om en mere omfattende analyse og et supplerende notat, der skal hjælpe rådgivere i frontlinjen med at forstå de resterende mangler. For retshjælpsorganisationer, der evaluerer disse systemer, er den praktiske lære, at juridisk rådgivning kun er én del af præstationen ved den første kontakt: Benchmarken vurderer også, om modellerne afdækker oplysninger, der kan ændre sagen, og angiver et konkret næste skridt, der er relevant lokalt.