Benchmark Vals AI dotyczący pomocy prawnej pokazuje, że modele nie radzą sobie z lokalnym wsparciem

NextLadder Ventures i Vals AI ogłosiły benchmark Access to Justice 10 listopada 2026 r. Poinformowały, że żaden z 23 modeli AI nie osiągnął progu 80% wymaganego, by mógł być wiarygodnym pierwszym punktem kontaktu w 252 scenariuszach dotyczących pomocy prawnej.

Wyniki benchmarku i jego metodologia pokazują wyraźny rozdźwięk między objaśnianiem prawa a wskazywaniem praktycznej pomocy. Według Vals AI modele spełniły od 78% do 87% kryteriów ekspertów dotyczących ogólnych wyjaśnień prawnych, ale tylko od 30% do 50% kryteriów związanych ze wskazywaniem konkretnych zasobów, takich jak lokalny program pomocy prawnej, sądowy punkt samopomocy lub określony formularz. W co najmniej 70% końcowych odpowiedzi 21 modeli wskazało ogólnokrajowy katalog, na przykład LawHelp.org, Find Legal Help organizacji ABA lub numer 211, zamiast konsekwentnie wymieniać właściwy lokalny program lub biuro.

We wspólnym komunikacie pierwsze miejsce przyznano modelowi Qwen 3.8 Max, który spełnił 76,4% kryteriów. Na kolejnych miejscach znalazły się Claude Sonnet 5.5 z wynikiem 74,9% oraz Wonder Full z wynikiem 74,7%; wyniki wszystkich trzech modeli mieszczą się w granicach błędu pomiaru pozostałych. Tak niewielkie różnice oznaczają, że kolejność w rankingu nie wskazuje wyraźnego lidera.

Meghana Kotcherlakota, badaczka w Vals AI, zestawiła ten projekt z benchmarkami prawniczej sztucznej inteligencji, które koncentrują się na kancelariach i klientach korporacyjnych: „Stworzyliśmy benchmark Access to Justice, aby pokazać, jak dobrze te modele służą osobom najbardziej potrzebującym pomocy — problem po problemie — i śledzić, czy robią postępy”.

W komunikacie wyniki zestawiono z badaniem Justice Gap z 2022 r. przeprowadzonym przez Legal Services Corporation, które wykazało, że Amerykanie o niskich dochodach nie otrzymali żadnej pomocy prawnej lub otrzymali jej niewystarczająco w przypadku 92% swoich cywilnych problemów prawnych. Wśród osób, które nie szukały pomocy, 46% jako powód wskazało koszty. Badanie oparto na ankiecie przeprowadzonej przez NORC z University of Chicago wśród około 5000 dorosłych oraz na danych od organizacji pomocy prawnej finansowanych przez tę korporację.

Jak benchmark ocenia pomoc udzielaną przy pierwszym kontakcie

W benchmarku każdy model pełni rolę pierwszego punktu kontaktu, podobnego do pracownika przyjmującego zgłoszenia lub sądowego punktu samopomocy, i udziela ogólnych informacji prawnych, a nie porad prawnych. Dwóch prawników dostarczyło zapytania oparte na rzeczywistych sytuacjach, a następnie sześciu ekspertów ds. pomocy prawnej dostosowało je do wskazanych stanów: Kalifornii, Luizjany, Wirginii, Nowego Jorku, Marylandu i Teksasu. Eksperci opracowali pytania rozpoczynające rozmowę, informacje ogólne, które pozostawały nieujawnione, dopóki rozmowa nie pozwoliła ich wydobyć, oceny trudności oraz rubryki obejmujące średnio 15,4 niezależnego kryterium.

Pełny zbiór danych obejmuje 504 scenariusze, podzielone po równo między publiczny zestaw testowy a prywatny zestaw walidacyjny. Każdy oceniany model mógł przeszukiwać internet, otwierać strony i zadawać pytania symulowanemu klientowi GPT-5. Następnie Decider v1.2, zautomatyzowany sędzia, oceniał całą rozmowę. Model otrzymywał wyłącznie informacje, o które poprosił, a symulowany klient nie dodawał żadnych innych szczegółów ani nie kwestionował błędnych założeń. Wynik modelu stanowił łączny odsetek kryteriów z rubryki spełnionych w scenariuszach testowych.

Rozmowy i wybór źródeł ujawniły braki

Ustawy, przepisy sądowe i orzecznictwo stanowiły 42% stron przeczytanych przez modele, a strony organizacji pomocy prawnej i organizacji non profit oferujących samopomoc — 10%. Vals AI wiąże ten wzorzec z różnicą w wynikach: lektura ustaw może pomóc w przygotowaniu ogólnego podsumowania, ale nie wskaże nazwy organizacji ani biura sądowego, z którym użytkownik powinien skontaktować się w następnej kolejności.

Analiza rozmów przeprowadzona przez Vals AI wykazała średnio około 3,5 wymiany zdań. Większość modeli udzielała pełnej odpowiedzi już w pierwszej wiadomości, zanim zadała pytania — jeśli w ogóle je zadawała. GPT-6.1 Sol kończył pierwszą odpowiedź pytaniem w 88% przypadków, ale z wynikiem 68,1% zajął 18. miejsce w kategorii wydobywania informacji, która w rubryce mierzyła, czy model pytał o wymagane fakty. Ten kontrast pokazuje, że częste zadawanie pytań niekoniecznie pozwalało uzyskać informacje wskazane przez ekspertów. Modele, które nie zadawały pytań, czasami zakładały pewne szczegóły, na przykład w jakim stanie mieszka użytkownik lub czy wydano już nakaz sądowy.

Wyniki Vals AI według tematyki pokazują, że scenariusze dotyczące mieszkalnictwa oraz relacji między najemcami a wynajmującymi uzyskały najwyższy wynik wśród wszystkich modeli — 75,4%. Najniżej oceniono kwestie świadczeń publicznych: 57,3%, choć ta kategoria obejmowała tylko pięć scenariuszy. Prawo rodzinne obejmowało 110 scenariuszy i uzyskało średnio 71,2%; w tej kategorii sprawy dotyczące kontaktów z dzieckiem otrzymały 61,3%, a opieka krewniacza z udziałem służb ochrony dzieci — 63,0%.

Dwa przykłady z komunikatu pokazują, jak te słabości wpływały na udzielane wskazówki. W sprawie przed sądem ds. drobnych roszczeń w Luizjanie, dotyczącej ustnej obietnicy spłaty, tylko osiem modeli zapytało, czy dług wiązał się z nieruchomością; cztery ostrzegły, że upływ 10-letniego terminu na wniesienie sprawy uniemożliwiłby odzyskanie należności; a trzy skierowały użytkownika na stronę sekretariatu sądu, gdzie można znaleźć formularze pozwu i wniosku o zwolnienie z opłat. W scenariuszu dotyczącym kaucji za wynajem w Nowym Jorku, w którym najemca wyprowadził się już z lokalu, obniżono ocenę 14 modeli za zalecenie pozasądowego wysłania wezwania, przed czym przestrzegała rubryka ekspertów. Tylko cztery modele skierowały najemcę do miejskiego programu Right to Counsel.

Wyniki modeli w bezpłatnych i płatnych planach

W odrębnym porównaniu czołowych dostawców chatbotów średni wynik oszacowanej grupy modeli w bezpłatnych planach Vals AI wyniósł 69,7%, w porównaniu z 70,4% w przypadku modeli premium. Claude Sonnet 5.5 uzyskał wynik o 1,2 punktu procentowego wyższy niż Claude Opus 5.5, a wyraźną przewagę nad modelem bezpłatnym swojego dostawcy wykazał jedynie model premium xAI. Przypisanie modeli do poszczególnych poziomów w tym porównaniu jest szacunkowe i nie zostało potwierdzone przez dostawców, a identyczne testy API nie są w stanie w pełni odzwierciedlić zachowania chatbotów używanych przez konsumentów; modele z otwartymi wagami wykluczono.

Organizacje poinformowały, że wspólnie pracują nad pełniejszą analizą i dodatkowym opracowaniem, które ma pomóc osobom udzielającym bezpośredniego wsparcia zrozumieć, jakie luki wciąż pozostają. Dla organizacji świadczących pomoc prawną, które oceniają te systemy, praktyczny wniosek jest taki, że wyjaśnianie prawa to tylko jeden z aspektów skuteczności przy pierwszym kontakcie: benchmark ocenia również, czy modele potrafią wydobyć fakty mogące zmienić bieg sprawy i wskazać konkretny kolejny krok dostosowany do lokalnych warunków.