Benchmark právní pomoci Vals AI ukazuje, že modely nedokážou dostatečně pomoci s místními službami

Společnosti NextLadder Ventures a Vals AI oznámily benchmark Access to Justice dne 10. listopadu 2026. Uvedly, že žádný z 23 modelů umělé inteligence nedosáhl hranice 80 % potřebné k tomu, aby spolehlivě sloužil jako první kontaktní místo ve 252 scénářích právní pomoci.

Výsledky benchmarku a metodika ukazují výrazný rozdíl mezi vysvětlováním práva a hledáním praktické pomoci. Podle Vals AI modely splnily 78 až 87 % expertních kritérií pro obecné vysvětlení práva, ale jen 30 až 50 % kritérií pro určení konkrétních zdrojů, jako je místní program právní pomoci, centrum soudní svépomoci nebo konkrétní formulář. Dvacet jedna modelů uvedlo v alespoň 70 % svých závěrečných odpovědí celostátní adresář, například LawHelp.org, Find Legal Help od ABA nebo číslo 211, místo aby důsledně určily příslušný místní program či úřad.

Společné oznámení řadí na první místo Qwen 3.8 Max se splněnými 76,4 % kritérií, za ním následují Claude Sonnet 5.5 se 74,9 % a Wonder Full se 74,7 %. Všechny tři modely se přitom vejdou do rozmezí chyby ostatních. Takto těsné výsledky znamenají, že číselné pořadí neurčuje jednoznačného vítěze.

Meghana Kotcherlakota, výzkumná pracovnice ve společnosti Vals AI, srovnala projekt s benchmarky právní umělé inteligence zaměřenými na advokátní kanceláře a firemní klienty: „Benchmark Access to Justice jsme vytvořili proto, abychom ukázali, jak dobře tyto modely pomáhají lidem, kteří potřebují pomoc nejvíce, a to problém po problému, a abychom sledovali, zda se zlepšují.“

Oznámení zasazuje výsledky do kontextu studie Justice Gap z roku 2022 organizace Legal Services Corporation, podle níž se lidem s nízkými příjmy nedostalo žádné nebo dostatečné právní pomoci v 92 % jejich občanskoprávních problémů. Z těch, kteří pomoc nevyhledali, uvedlo 46 % jako důvod její cenu. Výzkum vycházel z průzkumu přibližně 5 000 dospělých, který provedla organizace NORC při University of Chicago, a z údajů organizací poskytujících právní pomoc, které financuje tato korporace.

Jak benchmark hodnotil pomoc při prvním kontaktu

Benchmark posuzuje každý model jako první kontaktní místo podobné pracovníkovi přijímajícímu klienty nebo centru soudní svépomoci, které poskytuje obecné právní informace, nikoli právní poradenství. Dva právní odborníci připravili dotazy vycházející ze skutečných situací; šest expertů na právní pomoc je poté přizpůsobilo přiděleným státům: Kalifornii, Louisianě, Virginii, New Yorku, Marylandu a Texasu. Experti vytvořili úvodní otázky, doplňující fakta, která zůstávala skrytá, dokud si je konverzace nevyžádala, hodnocení obtížnosti a hodnoticí kritéria, jichž bylo v průměru 15,4 a každé se posuzovalo samostatně.

Úplný soubor dat obsahuje 504 scénářů, rozdělených rovným dílem mezi veřejnou testovací sadu a neveřejnou validační sadu. Každý hodnocený model mohl vyhledávat na webu, otevírat stránky a klást otázky simulovanému klientovi GPT-5; poté automatizovaný hodnotitel Decider v1.2 ohodnotil celou konverzaci. Model dostal pouze informace, o které požádal, a simulovaný klient nepřidával žádné další podrobnosti ani nezpochybňoval chybné předpoklady. Skóre modelu představovalo společný podíl splněných hodnoticích kritérií napříč testovacími scénáři.

Konverzace a výběr zdrojů odhalily nedostatky

Na zákony, soudní pravidla a judikaturu připadalo 42 % stránek, které modely četly, zatímco na weby organizací poskytujících právní pomoc a neziskových organizací zaměřené na svépomoc připadalo 10 %. Vals AI tento vzorec spojuje s rozdílem ve skóre: četba zákonů může podpořit obecné shrnutí, ale neřekne uživateli, na kterou organizaci nebo soudní úřad se má dále obrátit.

Analýza konverzací od Vals AI zjistila, že proběhlo v průměru přibližně 3,5 výměny zpráv; většina modelů poskytla úplnou odpověď už v první reakci a teprve potom se začala ptát, pokud se vůbec ptala. GPT-6.1 Sol zakončil první odpověď otázkou v 88 % případů, ale v hodnocení získávání informací skončil na 18. místě se skóre 68,1 %. Toto kritérium měřilo, zda se model zeptal na potřebné skutečnosti. Rozdíl ukazuje, že časté otázky nemusely nutně odhalit informace, které experti označili za důležité. Modely, které se neptaly, někdy předpokládaly například, v jakém státě se uživatel nachází nebo zda již existuje soudní příkaz.

Podle tematických výsledků Vals AI dosáhly nejvyššího skóre scénáře týkající se bydlení a vztahů mezi pronajímateli a nájemníky: 75,4 % napříč všemi modely. Nejnižší skóre měly veřejné dávky, a to 57,3 %, tato kategorie však zahrnovala pouze pět scénářů. Rodinné právo představovalo 110 scénářů s průměrným skóre 71,2 %; v této oblasti dosáhly případy týkající se práva na styk s dítětem 61,3 % a případy péče o dítě v rámci širší rodiny zahrnující orgány ochrany dětí 63,0 %.

Dva příklady v oznámení ukazují, jak tyto nedostatky ovlivnily poskytované pokyny. V případě drobného sporu v Louisianě, který se týkal ústního příslibu splatit dluh, se pouze osm modelů zeptalo, zda dluh souvisel s nemovitostí, čtyři upozornily, že po uplynutí desetileté lhůty pro podání žaloby již nebude možné pohledávku vymoci, a tři odkázaly uživatele na webové stránky soudního úředníka s formuláři pro uplatnění nároku a žádost o prominutí soudního poplatku. Ve scénáři z New Yorku týkajícím se kauce a nájemníka, který se již odstěhoval, dostalo 14 modelů horší hodnocení za doporučení zaslat před soudním řízením výzvu k zaplacení, což hodnoticí kritéria expertů nedoporučovala. Pouze čtyři modely odkázaly nájemníka na městský program Right to Counsel.

Skóre bezplatných a prémiových modelů

V samostatném srovnání hlavních poskytovatelů chatbotů dosáhla odhadovaná skupina bezplatných modelů podle Vals AI průměru 69,7 %, zatímco prémiové modely dosáhly 70,4 %. Claude Sonnet 5.5 získal o 1,2 procentního bodu více než Claude Opus 5.5 a pouze prémiový model xAI vykázal jasnou výhodu oproti bezplatnému modelu téhož poskytovatele. Zařazení modelů do jednotlivých úrovní je odhadované, nikoli potvrzené poskytovateli, a totožné testy API nemohou plně vystihnout chování spotřebitelských chatbotů; modely s otevřenými vahami byly vyloučeny.

Organizace uvedly, že spolupracují na podrobnější analýze a dalším stručném přehledu, který má pracovníkům v první linii pomoci porozumět přetrvávajícím nedostatkům. Pro organizace poskytující právní pomoc, které tyto systémy vyhodnocují, z toho plyne, že vysvětlování práva je jen jednou ze součástí výkonu při prvním kontaktu: benchmark hodnotí také to, zda modely odhalí skutečnosti, které mohou změnit případ, a nabídnou konkrétní další krok v daném místě.