Scale AI запускает совместно с IMDA бенчмарк для оценки юридических рассуждений в Сингапуре

Scale AI и Управление по развитию инфокоммуникационных технологий и медиа Сингапура (IMDA) представили SG-LegalClarify 12 ноября 2026 года. Бенчмарк проверяет 19 языковых моделей на 1 860 сценариях в 10 областях права Сингапура. Он оценивает как точность в юридических вопросах, так и способность моделей запрашивать недостающие сведения, прежде чем ответить.

Scale описывает SG-LegalClarify как первую исследовательскую инициативу в рамках сотрудничества, официально оформленного в апреле 2026 года и публично представленного 7 июля 2026 года. Проект призван помочь правительствам оценивать системы ИИ с учетом собственного законодательства и институтов, а не исходить из того, что результаты международных бенчмарков применимы к любой стране.

В исследовательской работе Сингапур представлен как сложный полигон для проверки: унаследованное английское общее право действует наряду с местными поправками и специфичными для Сингапура законами. Поэтому модель, опирающаяся на общие принципы общего права, может упустить применимую местную норму. SG-LegalClarify также проверяет отдельный навык: может ли модель определить, достаточно ли в запросе юридически значимой информации, чтобы вообще на него ответить.

Это различие важно и для обычных запросов. Водителю, который спрашивает о штрафе за превышение скорости, может потребоваться указать тип транспортного средства, фактическую скорость и имеющиеся штрафные баллы. Если помощник назовет размер штрафа без этих сведений, ответ может звучать убедительно, но при этом быть юридически неверным.

Парные вопросы проверяют, когда модели задают уточнения

В набор данных вошли 1 100 исходных вопросов на английском языке: 340 с полными условиями и 760 с недостающими сведениями. Для каждого вопроса с неполными условиями предусмотрен парный вопрос с полными условиями, содержащий скрытые факты. Вопросы составили 23 практикующих юриста, семеро из них также выступили рецензентами. Их стаж работы в юридической сфере составлял от двух до 37 лет, медианный стаж — шесть лет.

К каждому вопросу прилагается составленная юристом система критериев, охватывающая выявление юридической проблемы, воспроизведение нормы, ее применение и вывод. Всего в наборе данных 12 546 критериев. Из них 89,0% являются обязательными для содержательно правильного ответа; при подсчете основных результатов учитываются только обязательные критерии.

Сначала каждый модели предлагается пройти проверку достаточности информации и выбрать, ответить ли сразу или запросить дополнительные сведения. Если модель выбирает сбор фактов, имитируемый пользователь раскрывает скрытые сведения только в ответ на прямой запрос модели. Коллегия из трех моделей-судей ИИ, отобранных на основе сопоставления их оценок с оценками юристов, выставляет баллы по каждому критерию большинством голосов.

Поиск повысил результаты, но уточнения по-прежнему даются моделям с трудом

Согласно исследовательской работе, в тестировании без поиска лидировала Claude Fable 5: модель выполнила 69,8% обязательных критериев при среднем результате 53,8%. При использовании веб-поиска лидировала Kimi K3 с результатом 77,8%, а средний показатель вырос до 63,0%; результаты улучшились у всех моделей, хотя прирост различался. Слабее всего модели справились с воспроизведением норм: доля успешно пройденных критериев составила 43,2% без поиска и 56,5% с ним.

В сводке Scale сообщается, что примерно в 39% сценариев без поиска, где не хватало фактов, модели не задали уточняющих вопросов. При этом примерно в 28% сценариев, в которых информации уже было достаточно, они задавали ненужные вопросы. Когда фактов не хватало, модели запрашивали в среднем лишь 39% сведений, которые юристы сочли необходимыми.

В описательном сравнении испытаний с доступом к веб-поиску, в которых модели запросили все необходимые недостающие сведения, исследовательская работа сообщает о следующих результатах: в 55,6% случаев модели пришли к правильному юридическому выводу, в 32,1% — к неправильному, а в 12,3% не сделали никакого вывода. Таким образом, сбор всей необходимой информации сам по себе не гарантировал правильного применения закона.

Ограничения оценки и планы по публикации материалов

Авторы указывают на несколько ограничений результатов: проверка ИИ-помощников людьми была ограниченной, различия между поставщиками не позволили предоставить всем моделям одинаковый доступ к инструментам поиска, а предварительная маршрутизация могла повлиять на то, как модели запрашивали уточнения. Не каждая отмеченная переменная, которой не хватает, необходима для решения конкретного примера, поэтому неполный охват запросов фактов не всегда свидетельствует о недостаточном уточнении.

Исследователи планируют опубликовать 50% исходных вопросов в каждой категории, а остальные оставить для закрытой оценки. При этом каждый вопрос с неполными условиями и соответствующий ему вопрос с полными условиями останутся в одной и той же части набора данных. Также планируется опубликовать ответы моделей на открытой части набора и конвейер оценки.

В заявлении об этических аспектах исследовательской работы говорится, что результаты нельзя считать доказательством безопасности модели для предоставления юридических консультаций без надзора. Для правительств, оценивающих ИИ в юридической сфере, выводы означают, что уточнение недостающих сведений — часть оценки точности: система должна распознавать, какие факты имеют значение согласно местному законодательству, а затем правильно применять закон, получив эти сведения.