Scale AI запускає бенчмарк для оцінювання юридичних міркувань у Сінгапурі спільно з IMDA

Scale AI та Управління інфокомунікаційного розвитку Сінгапуру (IMDA) представили SG-LegalClarify 12 листопада 2026 року. Бенчмарк перевіряє 19 мовних моделей на 1 860 сценаріях у 10 галузях сінгапурського права. Він оцінює як юридичну точність, так і здатність моделей запитувати відсутні факти, перш ніж відповідати.

Scale описує SG-LegalClarify як першу дослідницьку ініціативу в межах співпраці, офіційно оформленої у квітні 2026 року й публічно представленої 7 липня 2026 року. Проєкт покликаний допомогти урядам оцінювати системи штучного інтелекту відповідно до власних законів та інституцій, а не припускати, що результати міжнародних бенчмарків можна поширити на будь-яку національну систему.

У дослідницькій статті Сінгапур представлено як складне випробування, оскільки успадковане англійське загальне право діє поряд із місцевими змінами та специфічними для Сінгапуру законами. Тому модель, що спирається на загальні принципи загального права, може не врахувати відповідну місцеву норму. SG-LegalClarify також перевіряє окрему навичку: чи здатна модель визначити, чи містить запит достатньо юридично значущої інформації для відповіді.

Ця відмінність важлива й для звичайних запитів. Водієві, який запитує про покарання за перевищення швидкості, може знадобитися вказати тип транспортного засобу, фактичну швидкість і наявні штрафні бали. Асистент, який назве покарання без цих відомостей, може надати відповідь, що звучить авторитетно, але є юридично неправильною.

Парні запитання перевіряють, коли моделі ставлять уточнення

Набір даних починається з 1 100 англомовних запитань: 340 із повними умовами та 760 із недостатніми. До кожного запитання з недостатніми умовами додається відповідник із повними умовами, що містить приховані факти. Запитання уклали 23 юристи з підтвердженою кваліфікацією, семеро з них також були рецензентами. Їхній досвід роботи у правничій сфері становив від двох до 37 років, медіанне значення — шість років.

Для кожного запитання юрист уклав критерії оцінювання, що охоплюють визначення правового питання, відтворення норм, їх застосування та формулювання висновку; загалом у наборі даних міститься 12 546 критеріїв. Із них 89,0% є обов’язковими для змістовно правильної відповіді; у підсумкових результатах враховано лише обов’язкові критерії.

Спершу перевірка достатності інформації змушує кожну модель обрати: відповісти одразу чи зібрати факти. Якщо модель обирає збір фактів, змодельований користувач розкриває приховані факти лише тоді, коли модель прямо про них запитує. Колегія з трьох моделей-суддів ШІ, відібраних шляхом зіставлення їхніх оцінок з оцінками юристів, виставляє оцінку за кожним критерієм більшістю голосів.

Пошук підвищив оцінки, але уточнювальні запитання залишалися слабким місцем

Згідно зі статтею, під час тестування без вебпошуку Claude Fable 5 посіла перше місце, виконавши 69,8% обов’язкових критеріїв, тоді як середній показник становив 53,8%. Із вебпошуком лідирувала Kimi K3 із результатом 77,8%, а середній показник зріс до 63,0%; результати всіх моделей поліпшилися, хоча й різною мірою. Найслабшим компонентом оцінювання було відтворення правових норм: частка успішного виконання становила 43,2% без пошуку та 56,5% із ним.

У зведенні Scale зазначено, що приблизно у 39% сценаріїв без вебпошуку, де бракувало фактів, моделі не поставили жодного уточнювального запитання. Водночас приблизно у 28% сценаріїв, у яких інформації вже було достатньо, моделі ставили зайві запитання. Коли фактів бракувало, моделі запитували в середньому лише про 39% відповідних фактів, визначених фахівцями з права.

В описовому порівнянні випробувань із вебпошуком, у яких моделі запитували про всі відповідні відсутні факти, у статті наведено такі результати: у 55,6% випадків було зроблено правильний юридичний висновок, у 32,1% — неправильний, а у 12,3% висновку не було. Отже, навіть повний збір інформації не гарантував правильного застосування закону.

Обмеження оцінювання та плани щодо оприлюднення

Автори зазначають кілька обмежень результатів: людська перевірка допоміжних інструментів на основі ШІ була обмеженою, відмінності між постачальниками не дали змоги забезпечити однаковий доступ до інструментів пошуку, а попередня маршрутизація могла вплинути на поведінку моделей під час уточнення. Не кожна анотована відсутня змінна потрібна для розв’язання конкретного завдання, тому неповне охоплення фактів у запитах не обов’язково свідчить про недостатнє уточнення.

Дослідники планують оприлюднити 50% початкових запитань у кожній категорії, а решту залишити для закритого оцінювання, зберігши кожну пару запитань із недостатніми й повними умовами в одній і тій самій частині розподілу даних. Також планується оприлюднити виходи моделей на відкритій частині набору та конвеєр оцінювання.

У заяві про етичні аспекти статті наголошується, що оцінки не слід тлумачити як доказ безпечності моделі для надання юридичних консультацій без нагляду. Для урядів, які оцінюють юридичні системи ШІ, результати засвідчують, що уточнення є невіддільною складовою оцінювання точності: система має розпізнати, які факти є значущими відповідно до місцевого законодавства, а потім правильно застосувати це законодавство, отримавши потрібні відомості.