Scale AI uruchamia wraz z IMDA benchmark rozumowania prawnego w Singapurze

Scale AI i singapurski Urząd ds. Infokomunikacji i Mediów (IMDA) przedstawiły SG-LegalClarify 12 listopada 2026 r. Benchmark obejmuje 19 modeli językowych i 1 860 scenariuszy z 10 dziedzin prawa Singapuru. Ocenia zarówno poprawność prawną, jak i to, czy modele proszą o brakujące informacje, zanim udzielą odpowiedzi.

Scale przedstawia SG-LegalClarify jako pierwszą inicjatywę badawczą w ramach współpracy sformalizowanej w kwietniu 2026 r. i publicznie opisanej 7 lipca 2026 r. Projekt ma pomóc rządom oceniać systemy AI w kontekście własnych przepisów i instytucji, zamiast zakładać, że wyniki uzyskane w międzynarodowych benchmarkach można odnieść do każdego kraju.

Artykuł naukowy przedstawia Singapur jako wymagające środowisko testowe, ponieważ odziedziczone po Anglii prawo common law współistnieje tam z lokalnymi modyfikacjami i ustawami specyficznymi dla Singapuru. Model opierający się na ogólnych zasadach common law może więc przeoczyć właściwą lokalną regulację. SG-LegalClarify sprawdza także odrębną umiejętność: ocenę, czy zapytanie zawiera wystarczająco dużo istotnych prawnie informacji, by w ogóle można było na nie odpowiedzieć.

To rozróżnienie ma znaczenie w przypadku zwykłych zapytań. Kierowca pytający o karę za przekroczenie prędkości może być zobowiązany do podania rodzaju pojazdu, rzeczywistej prędkości oraz liczby posiadanych punktów karnych. Asystent, który poda karę bez tych informacji, może udzielić odpowiedzi brzmiącej wiarygodnie, lecz niezgodnej z prawem.

Pary pytań sprawdzają, kiedy modele proszą o dodatkowe informacje

Zbiór danych rozpoczyna się od 1 100 anglojęzycznych pytań źródłowych: 340 w pełni określonych i 760 niedookreślonych. Każde niedookreślone pytanie ma odpowiadający mu w pełni określony wariant zawierający ukryte informacje. Pytania opracowało 23 zweryfikowanych prawników, z których siedmioro pełniło również funkcję recenzentów. Ich doświadczenie prawnicze wynosiło od dwóch do 37 lat, a mediana stażu to sześć lat.

Każde pytanie ma opracowaną przez prawnika rubrykę oceny obejmującą identyfikację problemu, przypomnienie właściwej reguły, jej zastosowanie i wniosek; w całym zbiorze znajduje się 12 546 kryteriów. Spośród nich 89,0% jest niezbędnych do uznania odpowiedzi za merytorycznie poprawną; wyniki główne uwzględniają wyłącznie kryteria obowiązkowe.

Najpierw mechanizm oceny wystarczalności informacji wymaga od każdego modelu wyboru między bezpośrednią odpowiedzią a zebraniem dodatkowych danych. Na ścieżce zbierania informacji symulowany użytkownik ujawnia ukryte fakty wyłącznie wtedy, gdy model wyraźnie o nie poprosi. Panel sędziowski złożony z trzech modeli AI, wybranych na podstawie porównań z ocenami prawników, ocenia każde kryterium większością głosów.

Wyszukiwanie poprawiło wyniki, ale umiejętność doprecyzowania pytań nadal była słaba

W artykule podano, że Claude Fable 5 uzyskał najlepszy wynik w testach bez dostępu do zewnętrznych źródeł: spełnił 69,8% obowiązkowych kryteriów, wobec średniej wynoszącej 53,8%. Przy wyszukiwaniu w internecie najlepszy wynik osiągnął Kimi K3, uzyskując 77,8%, a średnia wzrosła do 63,0%; wyniki poprawiły się w przypadku każdego modelu, choć skala poprawy była różna. Najsłabszym elementem oceny było przypominanie sobie reguł: wskaźnik zaliczenia wyniósł 43,2% bez wyszukiwania i 56,5% z wyszukiwaniem.

Z podsumowania Scale wynika, że w około 39% scenariuszy bez dostępu do zewnętrznych źródeł, w których brakowało informacji, model nie zadał żadnego pytania doprecyzowującego. Z kolei w około 28% scenariuszy, w których dostępne informacje były już wystarczające, modele zadawały niepotrzebne pytania. Gdy brakowało faktów, modele pytały średnio tylko o 39% istotnych informacji wskazanych przez ekspertów prawnych.

W opisowym porównaniu prób z dostępem do wyszukiwania w internecie, w których modele poprosiły o wszystkie istotne brakujące informacje, w artykule podano, że 55,6% modeli doszło do prawidłowego wniosku prawnego, 32,1% do błędnego wniosku, a 12,3% nie sformułowało żadnego wniosku. Zebranie kompletu informacji nie gwarantowało więc prawidłowego zastosowania prawa.

Ograniczenia ewaluacji i plany udostępnienia

Autorzy wskazują kilka ograniczeń wyników: walidacja narzędzi wspomagających opartych na AI przez ludzi była ograniczona, różnice między dostawcami uniemożliwiły zapewnienie wszystkim identycznego dostępu do narzędzi wyszukiwania, a wstępne kierowanie zapytań mogło wpłynąć na sposób zadawania pytań doprecyzowujących. Nie każda odnotowana brakująca zmienna jest niezbędna do rozstrzygnięcia danego przypadku, dlatego niepełne uwzględnienie faktów, o które należy poprosić, nie musi oznaczać, że doprecyzowanie było niewystarczające.

Naukowcy planują udostępnić 50% pytań źródłowych z każdej kategorii, a pozostałe zachować na potrzeby niepublicznej ewaluacji. Każda para pytań — niedookreślonego i w pełni określonego — pozostanie w tym samym podzbiorze. Planowane jest również udostępnienie wyników modeli dla publicznego podzbioru oraz całego procesu ewaluacji.

W oświadczeniu etycznym w artykule zaznaczono, że wyników nie należy interpretować jako dowodu, że model może bezpiecznie udzielać porad prawnych bez nadzoru. W przypadku rządów oceniających systemy AI do zastosowań prawnych ustalenia wskazują, że umiejętność doprecyzowania pytań jest częścią oceny poprawności: system musi rozpoznać, które fakty są istotne w świetle lokalnego prawa, a następnie prawidłowo zastosować to prawo po ich uzyskaniu.