Исследование Vals AI о доступе к юридической помощи показало, что модели плохо справляются с поиском местных ресурсов

10 ноября 2026 года NextLadder Ventures и Vals AI объявили о запуске бенчмарка «Доступ к правосудию» и сообщили, что ни одна из 23 моделей ИИ не достигла установленного порога в 80%, необходимого для надежной первичной консультации по 252 сценариям обращения за юридической помощью.

Результаты бенчмарка и описание методики выявляют резкий разрыв между умением разъяснять законы и помогать людям находить практическую поддержку. По данным Vals AI, модели соответствовали 78–87% экспертных критериев при подготовке общих юридических разъяснений, но лишь 30–50% критериев при поиске конкретных ресурсов — например, местной программы юридической помощи, центра самостоятельной правовой помощи при суде или нужной формы. В не менее чем 70% итоговых ответов 21 модель называла национальный справочник, например LawHelp.org, Find Legal Help от ABA или 211, вместо того чтобы последовательно указывать соответствующую местную программу или учреждение.

В совместном объявлении на первое место поставлена Qwen 3.8 Max: она выполнила 76,4% критериев. За ней следуют Claude Sonnet 5.5 с результатом 74,9% и Wonder Full с 74,7%; результаты всех трех моделей укладываются в пределы погрешности друг друга. Такая близость показателей не позволяет считать кого-либо из них явным лидером.

Мегана Котчерлакота, научный сотрудник Vals AI, противопоставила этот проект бенчмаркам юридического ИИ, ориентированным на юридические фирмы и корпоративных клиентов: «Мы создали бенчмарк “Доступ к правосудию”, чтобы показать, насколько хорошо эти модели помогают тем, кто больше всего нуждается в поддержке, в решении конкретных проблем, а также отслеживать, становятся ли они лучше».

В опубликованном материале результаты сопоставляются с исследованием «Пробел в доступе к правосудию» за 2022 год, проведенным Legal Services Corporation. Согласно исследованию, американцы с низкими доходами не получили юридической помощи или получили ее в недостаточном объеме в 92% случаев, связанных с гражданско-правовыми вопросами. Среди тех, кто не стал обращаться за помощью, 46% назвали причиной ее стоимость. Исследование опиралось на опрос примерно 5 000 взрослых, проведенный NORC при University of Chicago, и данные организаций юридической помощи, финансируемых этой корпорацией.

Как бенчмарк оценивал качество первичной помощи

В рамках бенчмарка каждая модель выступала в роли первой точки обращения — подобно сотруднику, принимающему обращения, или центру самостоятельной правовой помощи при суде, — и предоставляла общую юридическую информацию, а не юридическую консультацию. Два юриста подготовили реальные запросы, после чего шесть экспертов по юридической помощи адаптировали их для назначенных им штатов: Калифорнии, Луизианы, Вирджинии, Нью-Йорка, Мэриленда и Техаса. Эксперты составили начальные вопросы, определили исходные факты, которые не раскрывались, пока разговор не позволял их выяснить, оценили сложность сценариев и разработали критерии проверки. В среднем в каждой системе оценки было 15,4 независимого критерия.

Полный набор данных включает 504 сценария, поровну распределенных между открытым тестовым набором и закрытым набором для проверки. Каждая тестируемая модель могла искать информацию в интернете, открывать страницы и задавать вопросы клиенту, смоделированному с помощью GPT-5. Затем Decider v1.2, автоматизированный оценщик, оценивал весь разговор. Модели предоставляли только те сведения, о которых она спрашивала; смоделированный клиент не добавлял других подробностей и не оспаривал ошибочные предположения. Результат модели рассчитывался как совокупная доля выполненных критериев оценки во всех тестовых сценариях.

Разговоры и выбор источников выявили слабые места

На законодательные акты, судебные правила и судебную практику пришлось 42% страниц, прочитанных моделями, тогда как на сайты организаций юридической помощи и некоммерческих проектов самостоятельной правовой поддержки — 10%. Vals AI связывает эту закономерность с разрывом в результатах: чтение законов помогает подготовить общий обзор, но не подсказывает, в какую организацию или судебное учреждение пользователю следует обратиться дальше.

Анализ разговоров Vals AI показал, что в среднем они состояли примерно из 3,5 обмена репликами. Большинство моделей давали развернутый ответ уже в первом сообщении, прежде чем задать вопросы, если вообще их задавали. GPT-6.1 Sol завершала первый ответ вопросом в 88% случаев, но заняла 18-е место: ее результат по выявлению необходимых сведений — критерию, который измерял, задавала ли модель вопросы для их получения, — составил 68,1%. Это показывает, что частые вопросы не обязательно помогали выяснить факты, указанные экспертами как необходимые. Модели, которые не задавали вопросов, иногда делали предположения, например о том, в каком штате находится пользователь и существует ли уже судебное постановление.

Среди тематических категорий Vals AI самый высокий результат у сценариев, связанных с жильем и отношениями между арендодателями и арендаторами: 75,4% по всем моделям. Самый низкий показатель — у вопросов о государственных пособиях: 57,3%, хотя в эту категорию вошло всего пять сценариев. На семейное право пришлось 110 сценариев, средний результат по ним составил 71,2%. Внутри этой категории результат по вопросам о праве на посещение ребенка составил 61,3%, а по сценариям об уходе за детьми родственниками при участии служб защиты детей — 63,0%.

Два примера из объявления показывают, как эти слабые места повлияли на рекомендации. В деле из Луизианы для суда мелких тяжб, связанном с устным обещанием вернуть долг, только восемь моделей спросили, касался ли долг недвижимости; четыре предупредили, что по истечении 10-летнего срока подачи иска взыскать долг будет невозможно; три направили пользователя на сайт секретаря суда, где можно было найти формы искового заявления и ходатайства об освобождении от судебных сборов. В сценарии из Нью-Йорка, связанном с залогом за аренду жилья и выехавшим из квартиры арендатором, 14 моделей получили сниженные оценки за рекомендацию сначала направить требование об уплате долга, не обращаясь в суд: экспертные критерии предостерегали от такого шага. И только четыре модели направили арендатора в городскую программу «Право на адвоката».

Результаты моделей бесплатного и премиального уровней

В отдельном сравнении ведущих поставщиков чат-ботов средний результат группы моделей Vals AI, предположительно доступных бесплатно, составил 69,7%, тогда как премиальные модели в среднем набрали 70,4%. Claude Sonnet 5.5 показала результат на 1,2 процентного пункта выше, чем Claude Opus 5.5, и только премиальная модель xAI продемонстрировала явное преимущество перед бесплатной моделью того же поставщика. Распределение моделей по тарифным уровням в сравнении является предположительным, а не подтвержденным соответствием моделям поставщиков; одинаковые тесты API не позволяют в полной мере оценить поведение потребительских чат-ботов. Модели с открытыми весами в сравнение не включали.

Организации сообщили, что совместно работают над более подробным анализом и дополнительным кратким отчетом, призванным помочь специалистам, непосредственно работающим с клиентами, понять, какие пробелы еще остаются. Для организаций, оказывающих юридическую помощь и оценивающих эти системы, практический вывод таков: разъяснение закона — лишь одна составляющая качества работы при первом обращении. Бенчмарк также оценивает, выявляют ли модели факты, способные повлиять на ход дела, и предлагают ли конкретный следующий шаг с учетом местных условий.