Il benchmark di Vals AI sull’assistenza legale rileva che i modelli non sono all’altezza nell’aiuto a livello locale

Il 10 novembre 2026, NextLadder Ventures e Vals AI hanno annunciato il benchmark sull’accesso alla giustizia, riferendo che nessuno dei 23 modelli di IA ha raggiunto la soglia dell’80% necessaria per essere un primo punto di contatto affidabile nei 252 scenari di assistenza legale.

I risultati e la metodologia del benchmark mostrano una netta differenza tra spiegare la legge e individuare un aiuto concreto. Secondo Vals AI, i modelli hanno soddisfatto dal 78% all’87% dei criteri degli esperti per le spiegazioni giuridiche generali, ma solo dal 30% al 50% per individuare risorse specifiche, come un programma locale di assistenza legale, un centro di assistenza legale autonoma presso un tribunale o un modulo particolare. In almeno il 70% delle risposte finali, 21 modelli hanno indicato una directory nazionale, tra cui LawHelp.org, Find Legal Help dell’ABA o 211, invece di individuare con costanza il programma o l’ufficio locale pertinente.

L’annuncio congiunto colloca Qwen 3.8 Max al primo posto, con il 76,4% dei criteri soddisfatti, seguito da Claude Sonnet 5.5 al 74,9% e da Wonder Full al 74,7%; tutti e tre rientrano nei rispettivi margini di errore. Questa concentrazione dei risultati significa che l’ordine numerico non individua un leader netto.

Meghana Kotcherlakota, ricercatrice presso Vals AI, ha messo a confronto il progetto con i benchmark di IA giuridica incentrati sugli studi legali e sui clienti aziendali: «Abbiamo creato il benchmark sull’accesso alla giustizia per mostrare quanto bene questi modelli aiutino le persone che ne hanno più bisogno, problema per problema, e per monitorare se migliorano».

Il comunicato inquadra i risultati alla luce dello studio del 2022 sul divario nell’accesso alla giustizia della Legal Services Corporation, secondo il quale gli americani a basso reddito non avevano ricevuto alcuna assistenza legale o ne avevano ricevuta una insufficiente per il 92% dei loro problemi di diritto civile. Tra coloro che non avevano cercato aiuto, il 46% ha indicato i costi come motivo. La ricerca si è basata su un sondaggio condotto su circa 5.000 adulti da NORC presso la University of Chicago e sui dati delle organizzazioni di assistenza legale finanziate dalla Corporation.

Come il benchmark ha valutato l’assistenza al primo contatto

Il benchmark considera ogni modello un primo punto di contatto, simile a un addetto all’accoglienza o a un centro di assistenza legale autonoma presso un tribunale, che fornisce informazioni giuridiche generali anziché consulenza legale. Due professionisti del diritto hanno fornito domande basate su casi reali; in seguito, sei esperti di assistenza legale le hanno adattate agli stati assegnati: California, Louisiana, Virginia, New York, Maryland e Texas. Gli esperti hanno redatto le domande iniziali, i fatti di contesto da non rivelare a meno che non emergessero nel corso della conversazione, le valutazioni di difficoltà e rubriche con una media di 15,4 criteri indipendenti.

Il set di dati completo comprende 504 scenari, suddivisi equamente tra il set di test pubblico e il set di convalida privato. Ogni modello valutato poteva cercare sul Web, aprire pagine e porre domande a un cliente simulato da GPT-5; poi Decider v1.2, un valutatore automatizzato, assegnava un punteggio all’intera conversazione. Venivano fornite solo le informazioni richieste dal modello valutato e il cliente simulato non aggiungeva altri dettagli né contestava le supposizioni errate. Il punteggio di un modello era la quota aggregata dei criteri della rubrica soddisfatti negli scenari di test.

Le conversazioni e le fonti scelte hanno messo in luce le lacune

Leggi, regolamenti dei tribunali e giurisprudenza rappresentavano il 42% delle pagine lette dai modelli, mentre i siti di assistenza legale e di organizzazioni non profit dedicati all’autoassistenza ne rappresentavano il 10%. Vals AI collega questo schema alla differenza tra i punteggi: consultare le leggi può aiutare a elaborare una sintesi generale, ma non fornisce il nome dell’organizzazione o dell’ufficio giudiziario che l’utente dovrebbe contattare successivamente.

Dall’analisi delle conversazioni di Vals AI è emersa una media di circa 3,5 scambi; la maggior parte dei modelli forniva una risposta completa già al primo turno, prima di porre domande, se ne poneva. GPT-6.1 Sol ha concluso la prima risposta con una domanda nell’88% dei casi, ma si è classificato al 18° posto, con il 68,1%, nella capacità di ottenere le informazioni richieste, misurata dalla rubrica. Il confronto mostra che porre spesso domande non significava necessariamente far emergere i fatti indicati dagli esperti. A volte, i modelli che non ponevano domande davano per scontati dettagli come lo stato in cui si trovava l’utente o l’esistenza di un’ordinanza del tribunale.

Nei risultati per argomento di Vals AI, gli scenari relativi alla casa e ai rapporti tra proprietari e inquilini hanno ottenuto il punteggio più alto tra tutti i modelli, pari al 75,4%; le prestazioni pubbliche hanno registrato il più basso, pari al 57,3%, anche se questa categoria comprendeva solo cinque scenari. Il diritto di famiglia comprendeva 110 scenari e ha ottenuto una media del 71,2%; al suo interno, le questioni relative alle visite hanno raggiunto il 61,3% e quelle sull’assistenza ai minori da parte di familiari, con il coinvolgimento dei servizi di protezione dell’infanzia, il 63,0%.

Due esempi citati nell’annuncio mostrano come queste carenze abbiano influito sulle indicazioni fornite. In una causa di modesta entità in Louisiana relativa a una promessa verbale di restituzione di un prestito, solo otto modelli hanno chiesto se il debito riguardasse un immobile, quattro hanno avvertito che la scadenza del termine di 10 anni per presentare la richiesta avrebbe impedito di recuperare il denaro e tre hanno indirizzato l’utente al sito web della cancelleria del tribunale per trovare i moduli per presentare una richiesta e ottenere l’esenzione dalle spese. In uno scenario di New York City relativo al deposito cauzionale e a un inquilino che aveva lasciato l’alloggio, 14 modelli sono stati penalizzati per aver consigliato di inviare una lettera di richiesta stragiudiziale, una misura sconsigliata dalla rubrica degli esperti; solo quattro hanno indirizzato l’inquilino al programma Right to Counsel della città.

Punteggi dei modelli gratuiti e premium

In un confronto separato tra i principali fornitori di chatbot, il gruppo della fascia gratuita stimato da Vals AI ha registrato una media del 69,7%, contro il 70,4% dei modelli premium. Claude Sonnet 5.5 ha ottenuto un punteggio superiore di 1,2 punti percentuali a Claude Opus 5.5, e solo il modello premium di xAI ha mostrato un chiaro vantaggio rispetto al modello gratuito dello stesso fornitore. Le assegnazioni alle diverse fasce nel confronto sono stime, non corrispondenze confermate dai fornitori, e i test API identici non possono rappresentare pienamente il comportamento dei chatbot destinati ai consumatori; i modelli open-weight sono stati esclusi.

Le organizzazioni hanno dichiarato di collaborare a un’analisi più approfondita e a un ulteriore documento informativo, pensato per aiutare i professionisti in prima linea a comprendere le lacune ancora esistenti. Per le organizzazioni di assistenza legale che valutano questi sistemi, la conseguenza pratica è che spiegare la legge è solo una parte delle prestazioni al primo contatto: il benchmark valuta anche se i modelli riescono a individuare fatti che possono cambiare il caso e a indicare un passo successivo concreto e specifico per il territorio.