Бенчмарк Vals AI з правової допомоги показав, що моделі недостатньо добре орієнтуються в місцевих ресурсах

10 листопада 2026 року NextLadder Ventures і Vals AI оголосили про бенчмарк доступу до правосуддя, повідомивши, що жодна з 23 моделей ШІ не досягла встановленого порога у 80% для надійної першої точки звернення в 252 сценаріях отримання правової допомоги.

Результати бенчмарку та методологія виявляють значну різницю між поясненням законодавства та пошуком практичної допомоги. За даними Vals AI, моделі відповідали 78–87% критеріїв експертів щодо загальних юридичних пояснень, але лише 30–50% критеріїв щодо визначення конкретних ресурсів, як-от місцевої програми правової допомоги, центру судової самодопомоги чи певної форми. У щонайменше 70% своїх остаточних відповідей 21 модель назвала національний довідник, зокрема LawHelp.org, Find Legal Help від ABA або 211, замість того щоб послідовно визначати відповідну місцеву програму чи установу.

У спільному оголошенні перше місце посіла Qwen 3.8 Max, яка відповідала 76,4% критеріїв; за нею йдуть Claude Sonnet 5.5 із результатом 74,9% і Wonder Full із 74,7%. Усі три показники перебувають у межах похибки один одного. Така близькість результатів означає, що числовий порядок не визначає явного лідера.

Мегана Котчерлакота, наукова співробітниця Vals AI, протиставила цей проєкт бенчмаркам юридичного ШІ, орієнтованим на юридичні фірми та корпоративних клієнтів: «Ми створили бенчмарк доступу до правосуддя, щоб показати, наскільки добре ці моделі допомагають людям, які найбільше цього потребують, розв’язуючи кожну проблему окремо, а також відстежувати, чи стають вони кращими».

У пресрелізі ці результати зіставлено з дослідженням Legal Services Corporation «Розрив у доступі до правосуддя» 2022 року, згідно з яким американці з низькими доходами не отримали жодної або отримали недостатню правову допомогу у 92% своїх цивільних юридичних справ. Серед тих, хто не звертався по допомогу, 46% назвали причиною її вартість. Дослідження спиралося на опитування приблизно 5 000 дорослих, проведене NORC при University of Chicago, а також на дані організацій правової допомоги, що фінансуються корпорацією.

Як у бенчмарку оцінювали допомогу на першому етапі звернення

У бенчмарку кожну модель розглядали як першу точку звернення, подібну до працівника, який приймає первинні звернення, або центру судової самодопомоги, де надають загальну юридичну інформацію, а не правові консультації. Двоє фахівців із права надали запити з реальних ситуацій, після чого шестеро експертів із правової допомоги адаптували їх до визначених штатів: Каліфорнії, Луїзіани, Вірджинії, Нью-Йорка, Меріленду й Техасу. Експерти підготували початкові запитання, довідкові факти, які не розкривалися, якщо їх не з’ясовували під час розмови, оцінки складності та рубрики, що в середньому містили 15,4 незалежного критерію.

Повний набір даних містить 504 сценарії, порівну розподілені між відкритою тестовою та закритою валідаційною вибірками. Кожна цільова модель могла шукати інформацію в інтернеті, відкривати сторінки та ставити запитання клієнтові, якого симулювала GPT-5, перш ніж Decider v1.2 — автоматизований оцінювач — оцінював усю розмову. Моделі надавали лише ту інформацію, про яку вона запитувала; симульований клієнт не додавав інших подробиць і не заперечував хибних припущень. Бал моделі визначали як сукупну частку критеріїв рубрики, яким вона відповідала в тестових сценаріях.

Розмови та вибір джерел виявили прогалини

На закони, правила судочинства та судову практику припадало 42% сторінок, які переглядали моделі, тоді як на сайти організацій правової допомоги й неприбуткових центрів самодопомоги — 10%. Vals AI пов’язує цю закономірність із різницею в результатах: вивчення законів може допомогти скласти загальний огляд, але не дає назви організації чи судового відділу, до яких користувачеві слід звернутися далі.

Аналіз розмов, проведений Vals AI, показав, що в середньому вони складалися приблизно з 3,5 обміну репліками; більшість моделей надавала повну відповідь уже в першому повідомленні, перш ніж ставити запитання, якщо взагалі їх ставила. GPT-6.1 Sol завершувала першу відповідь запитанням у 88% випадків, але посіла 18-те місце з результатом 68,1% за показником з’ясування інформації — критерієм рубрики, що оцінював, чи запитувала модель необхідні факти. Ця різниця показує, що часті запитання не обов’язково допомагали виявити факти, визначені експертами. Моделі, які не ставили запитань, іноді припускали, наприклад, у якому штаті перебуває користувач або чи вже існує судове рішення.

За результатами Vals AI, найкраще моделі впоралися зі сценаріями щодо житла та відносин між орендодавцями й орендарями: їхній середній результат становив 75,4% для всіх моделей. Найнижчий показник — 57,3% — отримала категорія державних пільг, хоча в ній було лише п’ять сценаріїв. На сімейне право припадало 110 сценаріїв із середнім результатом 71,2%; у цій категорії результат щодо права на відвідування дитини становив 61,3%, а щодо догляду за дитиною родичами за участю служб захисту дітей — 63,0%.

У двох прикладах з оголошення видно, як ці слабкі місця впливали на рекомендації. У справі про позов щодо невеликої суми в Луїзіані, пов’язаній із усною обіцянкою повернути борг, лише вісім моделей запитали, чи стосувався борг нерухомості; чотири попередили, що після спливу 10-річного строку подання позову стягнути борг буде неможливо; а три скерували користувача на сайт судового секретаря, де можна знайти форми для позову та звільнення від судового збору. У сценарії з поверненням застави за оренду житла в Нью-Йорку, де орендар уже виїхав, 14 моделей отримали нижчі оцінки за рекомендацію спершу надіслати позасудову письмову вимогу — крок, від якого застерігала експертна рубрика; лише чотири моделі скерували орендаря до міської програми «Право на адвоката».

Результати моделей безкоштовного та преміального рівнів

В окремому порівнянні провідних постачальників чатботів середній результат групи моделей, які Vals AI віднесла до безкоштовного рівня, становив 69,7%, тоді як преміальні моделі набрали 70,4%. Claude Sonnet 5.5 випередила Claude Opus 5.5 на 1,2 відсоткового пункта, і лише преміальна модель xAI продемонструвала очевидну перевагу над безкоштовною моделлю того самого постачальника. Розподіл моделей за рівнями в цьому порівнянні є приблизним і не підтверджений відповідними постачальниками, а однакові тести API не можуть повною мірою відтворити поведінку споживчих чатботів; моделі з відкритими вагами не включалися.

Організації повідомили, що спільно працюють над повнішим аналізом і додатковою довідкою, яка має допомогти фахівцям, що безпосередньо працюють із людьми, зрозуміти, які прогалини залишаються. Для організацій із надання правової допомоги, які оцінюють ці системи, практичний висновок полягає в тому, що пояснення законодавства — лише одна зі складових роботи під час першого звернення: бенчмарк також оцінює, чи виявляють моделі факти, здатні змінити перебіг справи, і чи пропонують конкретний наступний крок з урахуванням місцевого контексту.