Vals AI-benchmark voor rechtsbijstand: modellen schieten tekort bij lokale hulp

NextLadder Ventures en Vals AI kondigden de benchmark voor toegang tot het recht aan op 10 november 2026. Daaruit bleek dat geen van de 23 AI-modellen de drempel van 80% haalde om in 252 scenario’s rond rechtsbijstand een betrouwbaar eerste aanspreekpunt te zijn.

De resultaten en methodologie van de benchmark laten een groot verschil zien tussen uitleg over het recht geven en praktische hulp vinden. Volgens Vals AI voldeed 78% tot 87% van de modellen aan de criteria van experts voor algemene juridische uitleg, maar slechts 30% tot 50% voor het vinden van specifieke hulpbronnen, zoals een lokaal programma voor rechtsbijstand, een juridisch zelfhulpcentrum van de rechtbank of een bepaald formulier. Eenentwintig modellen noemden in minstens 70% van hun uiteindelijke antwoorden een landelijke wegwijzer, zoals LawHelp.org, Find Legal Help van de ABA of 211, in plaats van consequent het relevante lokale programma of kantoor te vinden.

De gezamenlijke aankondiging zet Qwen 3.8 Max op de eerste plaats, met 76,4% van de criteria behaald, gevolgd door Claude Sonnet 5.5 met 74,9% en Wonder Full met 74,7%. De scores van alle drie vallen binnen elkaars foutmarge. Door deze clustering wijst de numerieke volgorde geen duidelijke koploper aan.

Meghana Kotcherlakota, onderzoeker bij Vals AI, zette het project af tegen benchmarks voor juridische AI die zich richten op advocatenkantoren en zakelijke cliënten: “We hebben de Access to Justice Benchmark ontwikkeld om te laten zien hoe goed deze modellen de mensen helpen die dat het hardst nodig hebben, probleem voor probleem, en om bij te houden of ze beter worden.”

In de bekendmaking worden de resultaten afgezet tegen het onderzoek uit 2022 naar de Justice Gap van de Legal Services Corporation. Daaruit bleek dat Amerikanen met een laag inkomen bij 92% van hun civielrechtelijke problemen geen of onvoldoende juridische hulp kregen. Van degenen die geen hulp zochten, noemde 46% de kosten als reden. Het onderzoek was gebaseerd op een enquête onder ongeveer 5.000 volwassenen door NORC van de University of Chicago en op gegevens van rechtsbijstandsorganisaties die door de Corporation werden gefinancierd.

Hoe de benchmark hulp bij het eerste contact beoordeelde

De benchmark stelt elk model voor als een eerste aanspreekpunt, vergelijkbaar met een intakemedewerker of een juridisch zelfhulpcentrum van de rechtbank, dat algemene juridische informatie geeft in plaats van juridisch advies. Twee juridische professionals leverden praktijkvragen aan. Vervolgens pasten zes deskundigen op het gebied van rechtsbijstand die aan voor de aan hen toegewezen staten: California, Louisiana, Virginia, New York, Maryland en Texas. De deskundigen stelden openingsvragen op, bepaalden welke achtergrondfeiten pas zouden worden verstrekt als het gesprek die aan het licht bracht, gaven moeilijkheidsgraden aan en maakten beoordelingsschema’s met gemiddeld 15,4 onafhankelijke criteria.

De volledige dataset bevat 504 scenario’s, gelijk verdeeld over de openbare testset en een besloten validatieset. Elk getest model kon op internet zoeken, webpagina’s openen en vragen stellen aan een door GPT-5 gesimuleerde cliënt, voordat Decider v1.2, een geautomatiseerde beoordelaar, het volledige gesprek beoordeelde. Het model kreeg alleen de informatie waar het om vroeg; de gesimuleerde cliënt voegde geen andere details toe en zette onjuiste aannames niet ter discussie. De score van een model was het gezamenlijke aandeel van de beoordelingscriteria waaraan het in de testscenario’s voldeed.

Gesprekken en bronkeuzes brachten tekortkomingen aan het licht

Wetten, rechtbankregels en jurisprudentie waren goed voor 42% van de pagina’s die de modellen lazen, terwijl websites voor rechtsbijstand en zelfhulp van non-profitorganisaties 10% voor hun rekening namen. Vals AI brengt dat patroon in verband met het verschil in scores: het lezen van wetten kan helpen bij het maken van een algemene samenvatting, maar levert niet de naam op van de organisatie of rechtbankafdeling waarmee een gebruiker vervolgens contact moet opnemen.

Uit de gespreksanalyse van Vals AI bleek dat gesprekken gemiddeld ongeveer 3,5 uitwisselingen omvatten. De meeste modellen gaven in hun eerste antwoord meteen een volledig antwoord, voordat ze vragen stelden — als ze al vragen stelden. GPT-6.1 Sol sloot zijn eerste antwoord in 88% van de gevallen af met een vraag, maar stond met 68,1% op de 18e plaats voor het uitvragen van informatie, de maatstaf in het beoordelingsschema voor de vraag of een model de vereiste feiten opvroeg. Dit contrast laat zien dat veel vragen stellen niet noodzakelijkerwijs de feiten aan het licht bracht die de deskundigen hadden aangegeven. Modellen die geen vragen stelden, namen soms details aan, zoals de staat waar de gebruiker woonde of de vraag of er al een rechterlijk bevel was.

In de resultaten per onderwerp van Vals AI scoorden scenario’s over huisvesting en huurders-verhuurderskwesties het hoogst, met 75,4% over alle modellen. Overheidsuitkeringen scoorden het laagst, met 57,3%, al omvatte die categorie slechts vijf scenario’s. Het familierecht omvatte 110 scenario’s en kwam gemiddeld uit op 71,2%. Binnen die categorie scoorden omgangsregelingen 61,3% en zorg door familieleden waarbij jeugdbescherming betrokken was 63,0%.

Twee voorbeelden in de bekendmaking laten zien hoe die tekortkomingen de geboden begeleiding beïnvloedden. In een zaak voor de Louisiana-rechtbank voor geringe vorderingen over een mondelinge toezegging om een lening terug te betalen, vroegen slechts acht modellen of de schuld verband hield met onroerend goed. Vier waarschuwden dat verhaal niet meer mogelijk zou zijn zodra de termijn van 10 jaar om een vordering in te stellen was verstreken, en drie verwezen de gebruiker naar de website van de griffie voor formulieren voor een vordering en kwijtschelding van griffierechten. In een scenario in New York City over een waarborgsom en een huurder die was verhuisd, kregen 14 modellen een lagere score omdat ze een stap aanraadden die buitengerechtelijk een aanmaningsbrief inhield, terwijl het beoordelingsschema van de deskundigen daar juist voor waarschuwde. Slechts vier verwezen de huurder naar het gemeentelijke Right to Counsel-programma.

Scores van gratis en premium modellen

In een afzonderlijke vergelijking van grote chatbotaanbieders kwam de geschatte groep modellen met een gratis versie van Vals AI gemiddeld uit op 69,7%, tegenover 70,4% voor premiummodellen. Claude Sonnet 5.5 scoorde 1,2 procentpunt hoger dan Claude Opus 5.5, en alleen het premiummodel van xAI liet een duidelijk voordeel zien ten opzichte van het gratis model van dezelfde aanbieder. De indeling van modellen naar abonnementsniveau in de vergelijking is een schatting en geen bevestigde indeling door de aanbieders; bovendien kunnen de identieke API-tests het gedrag van consumentenchatbots niet volledig weergeven. Modellen met open gewichten zijn buiten beschouwing gelaten.

De organisaties zeiden dat ze samenwerken aan een uitgebreidere analyse en een aanvullende briefing, bedoeld om professionals in de frontlinie inzicht te geven in de resterende lacunes. Voor juridische hulporganisaties die deze systemen beoordelen, betekent dit in de praktijk dat uitleg geven over de wet slechts één onderdeel is van de prestaties bij het eerste contact: de benchmark beoordeelt ook of modellen feiten boven tafel krijgen die de zaak kunnen veranderen en een concrete, lokale vervolgstap aandragen.