Benchmarkul Vals AI privind asistența juridică constată că modelele nu se descurcă suficient de bine în identificarea ajutorului local

Pe 10 noiembrie 2026, NextLadder Ventures și Vals AI au anunțat Benchmarkul privind accesul la justiție, raportând că niciunul dintre cele 23 de modele de inteligență artificială nu a atins pragul de 80% necesar pentru a fi un prim punct de contact de încredere în cele 252 de scenarii de asistență juridică.

Rezultatele benchmarkului și metodologia evidențiază o diferență considerabilă între explicarea legii și identificarea ajutorului practic. Potrivit Vals AI, modelele au îndeplinit între 78% și 87% dintre criteriile experților pentru explicații juridice generale, dar numai între 30% și 50% dintre cele privind identificarea unor resurse specifice, precum un program local de asistență juridică, un centru de informare juridică al instanței sau un anumit formular. Douăzeci și unu de modele au indicat un director național — inclusiv LawHelp.org, Find Legal Help al ABA sau 211 — în cel puțin 70% dintre răspunsurile finale, în loc să identifice în mod consecvent programul sau biroul local relevant.

Anunțul comun îl plasează pe Qwen 3.8 Max pe primul loc, cu 76,4% dintre criterii îndeplinite, urmat de Claude Sonnet 5.5, cu 74,9%, și de Wonder Full, cu 74,7%; toate cele trei modele se încadrează în marja de eroare a celorlalte. Această grupare înseamnă că ordinea numerică nu stabilește un lider clar.

Meghana Kotcherlakota, cercetătoare în domeniul științei la Vals AI, a făcut o distincție între acest proiect și benchmarkurile de inteligență artificială juridică axate pe firme de avocatură și clienți corporativi: „Am creat Benchmarkul privind accesul la justiție pentru a arăta cât de bine îi ajută aceste modele pe cei care au cea mai mare nevoie, problemă cu problemă, și pentru a urmări dacă se îmbunătățesc.”

Comunicatul pune rezultatele în contextul studiului din 2022 privind deficitul de acces la justiție realizat de Legal Services Corporation, care a constatat că americanii cu venituri mici nu au primit deloc sau au primit asistență juridică insuficientă în 92% dintre problemele lor de drept civil. Dintre cei care nu au solicitat ajutor, 46% au invocat costul. Cercetarea s-a bazat pe un sondaj realizat de NORC la University of Chicago în rândul a aproximativ 5.000 de adulți, precum și pe date de la organizațiile de asistență juridică finanțate de corporație.

Cum a evaluat benchmarkul ajutorul oferit la primul punct de contact

Benchmarkul tratează fiecare model ca pe un prim punct de contact, similar unui lucrător care preia solicitările sau unui centru de informare juridică al instanței, care oferă informații juridice generale, nu consultanță juridică. Doi practicieni din domeniul juridic au furnizat întrebări din situații reale, pe care șase experți în asistență juridică le-au adaptat apoi statelor care le-au fost repartizate: California, Louisiana, Virginia, New York, Maryland și Texas. Experții au redactat întrebările inițiale, informațiile de context care nu erau dezvăluite decât dacă erau obținute pe parcursul conversației, evaluări ale gradului de dificultate și grile de evaluare cu o medie de 15,4 criterii independente.

Setul complet de date conține 504 scenarii, împărțite în mod egal între setul public de testare și un set privat de validare. Fiecare model evaluat putea să caute pe internet, să deschidă pagini și să adreseze întrebări unui client simulat de GPT-5, înainte ca Decider v1.2, un evaluator automat, să noteze întreaga conversație. Au fost furnizate numai informațiile solicitate de modelul evaluat, iar clientul simulat nu a adăugat alte detalii și nici nu a contestat presupunerile eronate. Scorul unui model reprezenta proporția cumulată a criteriilor din grila de evaluare îndeplinite în scenariile de testare.

Conversațiile și sursele alese au scos la iveală lacune

Legislația, regulile instanțelor și jurisprudența au reprezentat 42% din paginile citite de modele, în timp ce site-urile de asistență juridică și de informare pentru autoajutorare ale organizațiilor nonprofit au reprezentat 10%. Vals AI leagă acest tipar de diferența dintre scoruri: lectura legislației poate susține un rezumat general, dar nu oferă numele organizației sau al biroului instanței pe care ar trebui să îl contacteze utilizatorul.

Analiza conversațiilor realizată de Vals AI a constatat o medie de aproximativ 3,5 schimburi de replici; majoritatea modelelor ofereau un răspuns complet încă din primul mesaj, înainte de a pune întrebări, dacă puneau vreuna. GPT-6.1 Sol și-a încheiat primul răspuns cu o întrebare în 88% dintre cazuri, dar s-a clasat pe locul 18, cu 68,1%, la criteriul de obținere a informațiilor, care măsura dacă modelul solicita datele necesare. Contrastul arată că întrebările frecvente nu scoteau neapărat la iveală informațiile indicate de experți. Uneori, modelele care nu puneau întrebări presupuneau detalii precum statul în care se afla utilizatorul sau dacă exista deja un ordin judecătoresc.

Rezultatele Vals AI pe subiecte plasează scenariile privind locuințele și relația dintre proprietari și chiriași pe primul loc, cu 75,4% pentru toate modelele, în timp ce prestațiile sociale au obținut cel mai mic scor, de 57,3%, deși această categorie cuprindea doar cinci scenarii. Dreptul familiei a inclus 110 scenarii și a avut o medie de 71,2%; în cadrul acestei categorii, scenariile privind dreptul de vizită au obținut 61,3%, iar cele privind îngrijirea de către rude, în situații în care erau implicate serviciile de protecție a copilului, au obținut 63,0%.

Două exemple din anunț arată cum au influențat aceste puncte slabe îndrumările oferite. Într-un caz din Louisiana privind o cerere cu valoare redusă și o promisiune verbală de rambursare, doar opt modele au întrebat dacă datoria avea legătură cu un bun imobiliar, patru au avertizat că expirarea termenului de 10 ani pentru depunerea cererii împiedica recuperarea datoriei, iar trei au îndrumat utilizatorul către site-ul grefei instanței, unde putea găsi formularele pentru cerere și pentru scutirea de taxe. Într-un scenariu din New York, în care un chiriaș se mutase și solicita restituirea garanției, 14 modele au fost depunctate pentru că au recomandat o etapă de trimitere a unei scrisori de solicitare în afara instanței, împotriva recomandării din grila de evaluare a experților, iar doar patru l-au îndrumat pe chiriaș către programul Right to Counsel al orașului.

Scorurile modelelor din planurile gratuite și premium

Într-o comparație separată între principalii furnizori de chatboturi, grupul estimat de modele din categoria gratuită de la Vals AI a avut o medie de 69,7%, față de 70,4% în cazul modelelor premium. Claude Sonnet 5.5 a obținut un scor cu 1,2 puncte procentuale mai mare decât Claude Opus 5.5, iar numai modelul premium al xAI a înregistrat un avantaj clar față de modelul gratuit al aceluiași furnizor. Încadrarea modelelor pe niveluri din comparație reprezintă estimări, nu corespondențe confirmate cu ofertele furnizorilor, iar testele API identice nu pot surprinde pe deplin comportamentul chatboturilor pentru consumatori; modelele cu ponderi deschise au fost excluse.

Organizațiile au declarat că lucrează împreună la o analiză mai amplă și la un material suplimentar menit să-i ajute pe practicienii din prima linie să înțeleagă lacunele care persistă. Pentru organizațiile care oferă asistență juridică și evaluează aceste sisteme, concluzia practică este că explicarea legii reprezintă doar o parte a performanței la primul contact: benchmarkul evaluează și dacă modelele identifică fapte care pot schimba cursul unui caz și indică un pas următor concret, adaptat contextului local.