Vals AI:n oikeusapuvertailu osoittaa, etteivät mallit pärjää paikallisen avun löytämisessä

NextLadder Ventures ja Vals AI julkistivat oikeussuojan saatavuutta koskevan vertailututkimuksen 10. marraskuuta 2026. Sen mukaan yksikään 23 tekoälymallista ei saavuttanut 80 prosentin kynnysarvoa, jota pidettiin luotettavan ensisijaisen yhteyspisteen tasona 252 oikeusaputilanteessa.

Vertailututkimuksen tulokset ja menetelmät paljastavat selvän eron lainsäädännön selittämisen ja käytännön avun löytämisen välillä. Vals AI:n mukaan mallit täyttivät yleisiä oikeudellisia selityksiä koskevista asiantuntijakriteereistä 78–87 prosenttia, mutta tiettyjen resurssien, kuten paikallisen oikeusapupalvelun, tuomioistuimen itsepalvelukeskuksen tai tietyn lomakkeen, tunnistamisessa vain 30–50 prosenttia. Yksitoista mallia mainitsi vähintään 70 prosentissa lopullisista vastauksistaan valtakunnallisen hakemiston, kuten LawHelp.orgin, ABAn Find Legal Help -palvelun tai numeron 211, sen sijaan että ne olisivat johdonmukaisesti tunnistaneet asiaankuuluvan paikallisen palvelun tai toimiston.

Yhteisessä julkistuksessa Qwen 3.8 Max sijoittui ensimmäiseksi täytettyään 76,4 prosenttia kriteereistä. Seuraavina tulivat Claude Sonnet 5.5 74,9 prosentin tuloksella ja Wonder Full 74,7 prosentin tuloksella. Kaikkien kolmen tulokset mahtuivat toistensa virhemarginaaliin, joten numerojärjestys ei osoita selvää voittajaa.

Vals AI:n tutkija Meghana Kotcherlakota vertasi hanketta lakifirmoihin ja yritysasiakkaisiin keskittyviin oikeudellisen tekoälyn vertailututkimuksiin: ”Kehitimme oikeussuojan saatavuutta koskevan vertailututkimuksen osoittaaksemme ongelma kerrallaan, miten hyvin nämä mallit palvelevat eniten apua tarvitsevia ihmisiä, ja seurataaksemme, kehittyvätkö ne.”

Julkistuksessa tuloksia verrataan Legal Services Corporationin vuoden 2022 Justice Gap -tutkimukseen, jonka mukaan pienituloiset yhdysvaltalaiset eivät saaneet lainkaan tai saivat riittämättömästi oikeudellista apua 92 prosenttiin siviilioikeudellisista ongelmistaan. Apua hakematta jättäneistä 46 prosenttia mainitsi syyksi kustannukset. Tutkimus perustui noin 5 000 aikuisen kyselyyn, jonka toteutti NORC Chicagon yliopistossa, sekä yhtiön rahoittamien oikeusapujärjestöjen tietoihin.

Näin vertailututkimuksessa arvioitiin ensikontaktissa annettavaa apua

Vertailututkimuksessa kutakin mallia käsiteltiin ensisijaisena yhteyspisteenä, joka muistuttaa asiakaspalvelun vastaanottotyöntekijää tai tuomioistuimen itsepalvelukeskusta ja antaa yleistä oikeudellista tietoa oikeudellisen neuvonnan sijaan. Kaksi oikeusalan ammattilaista laati tosielämän kyselyitä, minkä jälkeen kuusi oikeusavun asiantuntijaa muokkasi ne määrättyihin osavaltioihin sopiviksi: Kaliforniaan, Louisianaan, Virginiaan, New Yorkiin, Marylandiin ja Texasiin. Asiantuntijat laativat aloituskysymykset, taustatiedot, jotka pidettiin salassa, ellei keskustelu tuonut niitä esiin, vaikeusastearviot sekä arviointiperusteet, joissa oli keskimäärin 15,4 erillistä kriteeriä.

Koko aineisto sisältää 504 tilannetta, jotka jaettiin tasan julkiseen testijoukkoon ja yksityiseen validointijoukkoon. Kukin arvioitava malli saattoi etsiä verkosta, avata sivuja ja esittää kysymyksiä GPT-5:n simuloimalle asiakkaalle, ennen kuin automaattinen arvioija Decider v1.2 pisteytti koko keskustelun. Mallille annettiin vain sen pyytämät tiedot, eikä simuloitu asiakas lisännyt muita tietoja tai kyseenalaistanut virheellisiä oletuksia. Mallin pistemäärä oli testitilanteissa täyttyneiden arviointikriteerien yhteenlaskettu osuus.

Keskusteluissa ja lähdevalinnoissa paljastui puutteita

Lait, tuomioistuinten säännöt ja oikeuskäytäntö muodostivat 42 prosenttia mallien lukemista verkkosivuista, kun taas oikeusapupalvelujen ja voittoa tavoittelemattomien järjestöjen itseapuun keskittyvien sivustojen osuus oli 10 prosenttia. Vals AI yhdistää tämän tulosten eroon: lakien lukeminen voi tukea yleistä yhteenvetoa, mutta sen perusteella ei selviä sen järjestön tai tuomioistuimen toimiston nimi, johon käyttäjän pitäisi seuraavaksi ottaa yhteyttä.

Vals AI:n keskusteluanalyysin mukaan keskusteluissa käytiin keskimäärin noin 3,5 vuoropuhelukierrosta. Useimmat mallit antoivat kattavan vastauksen heti ensimmäisessä viestissään ennen kysymysten esittämistä, jos esittivät niitä lainkaan. GPT-6.1 Sol päätti ensimmäisen vastauksensa kysymykseen 88 prosentissa tapauksista, mutta sijoittui vaadittujen tietojen esiin tuomista mittaavassa arviointiperusteessa 18:nneksi tuloksella 68,1 prosenttia. Vertailu osoittaa, etteivät usein esitetyt kysymykset välttämättä tuoneet esiin asiantuntijoiden määrittelemiä tietoja. Joskus kysymättä jättäneet mallit olettivat esimerkiksi käyttäjän asuin osavaltion tai sen, oliko tuomioistuin jo antanut määräyksen.

Vals AI:n aihekohtaisissa tuloksissa asumiseen ja vuokranantajan ja vuokralaisen välisiin tilanteisiin liittyvät tapaukset sijoittuivat korkeimmalle: kaikkien mallien tulos oli 75,4 prosenttia. Julkisten etuuksien kohdalla tulos oli matalin, 57,3 prosenttia, vaikka tähän luokkaan kuului vain viisi tilannetta. Perheoikeuden tilanteita oli 110, ja niiden keskiarvo oli 71,2 prosenttia. Näistä tapaamis- ja tapaamisoikeuteen liittyvien tilanteiden tulos oli 61,3 prosenttia ja lastensuojeluun liittyvän sukulaishoivan 63,0 prosenttia.

Julkistuksen kaksi esimerkkiä havainnollistavat, miten nämä heikkoudet vaikuttivat ohjeistukseen. Louisianassa käsitellyssä vähäisiä vaatimuksia koskevassa asiassa oli kyse suullisesta lupauksesta maksaa velka takaisin. Vain kahdeksan mallia kysyi, liittyikö velka kiinteistöön, neljä varoitti, että 10 vuoden kanneajan umpeutuminen estäisi saatavan perimisen, ja kolme ohjasi käyttäjän tuomioistuimen kirjaamon verkkosivuille, joilta löytyivät kanne- ja oikeudenkäyntimaksusta vapauttamista koskevat lomakkeet. New Yorkissa käsitellyssä vuokravakuustilanteessa vuokralainen oli muuttanut pois asunnosta. Neljätoista mallia sai alemman pistemäärän suositeltuaan tuomioistuimen ulkopuolista vaatimuskirjevaihetta, jota asiantuntijoiden arviointiperusteissa varoitettiin suosittelemasta. Vain neljä mallia ohjasi vuokralaisen kaupungin Right to Counsel -ohjelmaan.

Ilmaistason ja maksullisten mallien tulokset

Suurten chatbot-palveluntarjoajien erillisessä vertailussa Vals AI:n arvioidun maksuttoman tason ryhmän keskiarvo oli 69,7 %, kun taas premium-mallien keskiarvo oli 70,4 %. Claude Sonnet 5.5 sai 1,2 prosenttiyksikköä paremman tuloksen kuin Claude Opus 5.5, ja vain xAI:n premium-malli suoriutui selvästi paremmin kuin saman palveluntarjoajan maksuttoman tason malli. Vertailun tasoluokitukset ovat arvioita, eivät vahvistettuja palveluntarjoajakohtaisia vastaavuuksia, eivätkä samat API-testit pysty täysin kuvaamaan kuluttajille suunnattujen chatbotien toimintaa; avoimen painon mallit jätettiin vertailun ulkopuolelle.

Organisaatiot kertoivat tekevänsä yhteistyötä kattavamman analyysin ja lisäkatsauksen laatimiseksi, jotta etulinjan ammattilaiset ymmärtäisivät jäljellä olevat puutteet. Näitä järjestelmiä arvioiville oikeusapua tarjoaville organisaatioille käytännön johtopäätös on, että lain selittäminen on vain yksi ensikontaktin onnistumisen osatekijä: vertailussa arvioidaan myös sitä, saavatko mallit selville tapauksen kannalta ratkaisevat tosiseikat ja tarjoavatko ne täsmällisen, paikallisen seuraavan askeleen.