Vals AIs referanseindeks for rettshjelp viser at modellene kommer til kort når det gjelder lokal hjelp

NextLadder Ventures og Vals AI kunngjorde referanseindeksen for tilgang til rettshjelp 10. november 2026. De rapporterte at ingen av 23 KI-modeller nådde terskelen på 80 prosent for å kunne fungere som et pålitelig første kontaktpunkt på tvers av 252 rettshjelpsscenarioer.

Resultatene fra referanseindeksen og metodikken viser et tydelig skille mellom å forklare jussen og å finne praktisk hjelp. Vals AI opplyser at modellene oppfylte 78 til 87 prosent av ekspertenes kriterier for generelle juridiske forklaringer, men bare 30 til 50 prosent av kriteriene for å finne konkrete ressurser, som et lokalt rettshjelpsprogram, et selvhjelpssenter ved en domstol eller et bestemt skjema. I minst 70 prosent av de endelige svarene viste 21 modeller til en nasjonal katalog, for eksempel LawHelp.org, ABA-tjenesten Find Legal Help eller 211, i stedet for konsekvent å finne det relevante lokale programmet eller kontoret.

I den felles kunngjøringen kommer Qwen 3.8 Max på førsteplass med 76,4 prosent av kriteriene oppfylt, fulgt av Claude Sonnet 5.5 med 74,9 prosent og Wonder Full med 74,7 prosent. Alle tre ligger innenfor hverandres feilmargin. Den tette grupperingen innebærer at den numeriske rangeringen ikke utpeker noen klar leder.

Meghana Kotcherlakota, forsker ved Vals AI, skilte prosjektet fra referanseindekser for juridisk KI som er rettet mot advokatfirmaer og bedriftskunder: «Vi utviklet referanseindeksen for tilgang til rettshjelp for å vise hvor godt disse modellene hjelper dem som trenger det mest, ett problem om gangen, og for å følge med på om de blir bedre.»

I kunngjøringen settes resultatene opp mot Legal Services Corporations studie fra 2022 om rettshjelpsgapet, som viste at amerikanere med lav inntekt ikke fikk juridisk hjelp, eller fikk utilstrekkelig hjelp, i 92 prosent av sine sivile rettssaker. Blant dem som ikke søkte hjelp, oppga 46 prosent kostnadene som årsak. Forskningen bygget på en spørreundersøkelse blant omtrent 5 000 voksne utført av NORC ved University of Chicago, samt data fra rettshjelpsorganisasjoner som fikk støtte fra selskapet.

Slik vurderte referanseindeksen hjelp ved første kontakt

Referanseindeksen vurderer hver modell som et første kontaktpunkt, på linje med en saksinntaksmedarbeider eller et selvhjelpssenter ved en domstol, som gir generell juridisk informasjon snarere enn juridiske råd. To juridiske praktikere leverte spørsmål fra virkeligheten, som seks rettshjelpseksperter deretter tilpasset til de delstatene de var tildelt: California, Louisiana, Virginia, New York, Maryland og Texas. Ekspertene utarbeidet innledende spørsmål, bakgrunnsopplysninger som ble holdt tilbake med mindre samtalen avdekket at de var relevante, vanskelighetsgraderinger og vurderingskriterier med et gjennomsnitt på 15,4 uavhengige kriterier.

Det fullstendige datasettet inneholder 504 scenarioer, fordelt likt mellom det offentlige testsettet og et privat valideringssett. Hver modell som ble evaluert, kunne søke på nettet, åpne sider og stille spørsmål til en simulert klient basert på GPT-5 før Decider v1.2, en automatisert dommer, vurderte hele samtalen. Modellen fikk bare opplysninger den selv etterspurte, og den simulerte klienten la verken til andre detaljer eller utfordret feilaktige antakelser. Modellens poengsum var den samlede andelen av vurderingskriteriene som var oppfylt på tvers av testscenarioene.

Samtaler og kildevalg avdekket svakheter

Lover, domstolsregler og rettspraksis utgjorde 42 prosent av sidene modellene leste, mens nettsteder for rettshjelp og ideelle organisasjoners selvhjelpssider utgjorde 10 prosent. Vals AI knytter dette mønsteret til forskjellen i poengsummer: Lesing av lover kan støtte en generell oppsummering, men gir ikke navnet på organisasjonen eller domstolskontoret brukeren bør kontakte videre.

Vals AIs analyse av samtalene viste et gjennomsnitt på rundt 3,5 utvekslinger. De fleste modellene ga et fullstendig svar i sitt første svar før de stilte spørsmål, hvis de i det hele tatt stilte noen. GPT-6.1 Sol avsluttet sitt første svar med et spørsmål 88 prosent av gangene, men kom på 18. plass med 68,1 prosent på innhenting, vurderingskriteriet for om en modell ba om nødvendige opplysninger. Kontrasten viser at hyppige spørsmål ikke nødvendigvis avdekket opplysningene ekspertene hadde spesifisert. Modeller som ikke stilte spørsmål, antok noen ganger detaljer, for eksempel hvilken delstat brukeren befant seg i, eller om det allerede forelå en rettskjennelse.

Vals AIs resultater etter tema viser at scenarioer om bolig og forholdet mellom utleier og leietaker fikk høyest poengsum, med 75,4 prosent på tvers av alle modellene, mens offentlige ytelser fikk lavest poengsum, med 57,3 prosent, selv om denne kategorien bare omfattet fem scenarioer. Familierett omfattet 110 scenarioer og fikk et gjennomsnitt på 71,2 prosent. Innenfor dette temaet fikk samvær 61,3 prosent, mens omsorg hos slektninger i saker som involverte barnevern, fikk 63,0 prosent.

To eksempler i kunngjøringen viser hvordan disse svakhetene påvirket veiledningen. I en sak fra Louisiana for en domstol for mindre krav, som gjaldt et muntlig løfte om tilbakebetaling, spurte bare åtte modeller om gjelden var knyttet til fast eiendom, fire advarte om at utløpet av 10-årsfristen for å reise sak ville gjøre det umulig å få tilbake pengene, og tre viste brukeren til domstolssekretariatets nettsted for skjemaer for krav og fritak fra gebyrer. I et scenario fra New York City om et depositum etter at en leietaker hadde flyttet ut, fikk 14 modeller trekk for å anbefale et trinn med et kravbrev utenfor retten, noe ekspertenes vurderingskriterier advarte mot, og bare fire viste leietakeren til byens Right to Counsel-program.

Poengsummer for gratisversjoner og premiummodeller

I en separat sammenligning av store chatbottilbydere var gjennomsnittet for Vals AIs estimerte gruppe av gratisversjonsmodeller 69,7 %, mot 70,4 % for premiummodellene. Claude Sonnet 5.5 fikk 1,2 prosentpoeng høyere poengsum enn Claude Opus 5.5, og bare xAIs premiummodell viste en tydelig fordel sammenlignet med gratisversjonsmodellen fra samme tilbyder. Plasseringen av modellene på ulike nivåer i sammenligningen er anslag, ikke bekreftede koblinger til tilbyderne, og de identiske API-testene kan ikke fullt ut fange opp hvordan forbrukerrettede chatboter fungerer; modeller med åpne vekter var utelatt.

Organisasjonene opplyste at de samarbeider om en mer omfattende analyse og et supplerende notat som skal hjelpe førstelinjepraktikere med å forstå de gjenværende manglene. For rettshjelpsorganisasjoner som vurderer disse systemene, er den praktiske konsekvensen at det å forklare loven bare er én del av ytelsen ved første kontakt: Referansetesten vurderer også om modellene avdekker fakta som kan endre saken, og foreslår et konkret, lokalt neste steg.