Scale AI lanceert met IMDA een benchmark voor juridisch redeneren in Singapore

Scale AI en de Infocomm Media Development Authority (IMDA) van Singapore introduceerden SG-LegalClarify op 12 november 2026. De benchmark test 19 taalmodellen aan de hand van 1.860 scenario’s binnen 10 rechtsgebieden van Singapore. Er wordt zowel gekeken naar juridische nauwkeurigheid als naar de vraag of modellen om ontbrekende feiten vragen voordat ze antwoord geven.

Scale omschrijft SG-LegalClarify als het eerste onderzoeksinitiatief binnen een samenwerking die in april 2026 werd geformaliseerd en op 7 juli 2026 publiekelijk werd beschreven. Het project moet overheden helpen AI-systemen te beoordelen aan de hand van hun eigen wetten en instellingen, in plaats van ervan uit te gaan dat resultaten op internationale benchmarks ook gelden voor elke nationale context.

Het onderzoeksartikel schetst Singapore als een veeleisende test, omdat het geërfde Engelse common law er naast lokale aanpassingen en specifieke Singaporese wetgeving bestaat. Een model dat uitgaat van algemene redeneringen op basis van common law kan daardoor de toepasselijke lokale regel missen. SG-LegalClarify toetst ook een afzonderlijke vaardigheid: bepalen of een vraag voldoende juridisch relevante informatie bevat om überhaupt te kunnen beantwoorden.

Dat onderscheid is van belang bij alledaagse vragen. Een automobilist die vraagt naar een boete voor te hard rijden, moet mogelijk het type voertuig, de werkelijke snelheid en eventuele bestaande strafpunten vermelden. Een assistent die zonder die gegevens een boete noemt, kan een antwoord geven dat gezaghebbend klinkt, maar juridisch onjuist is.

Gekoppelde vragen toetsen wanneer modellen om verduidelijking vragen

De dataset begint met 1.100 oorspronkelijke vragen in het Engels: 340 volledig gespecificeerd en 760 onvoldoende gespecificeerd. Bij elke onvoldoende gespecificeerde vraag hoort een volledig gespecificeerde tegenhanger met de verborgen feiten. De vragen zijn opgesteld door 23 bevoegde advocaten, van wie er zeven ook als beoordelaar optraden. Hun juridische ervaring varieerde van twee tot 37 jaar, met een mediaan van zes jaar.

Elke vraag heeft een door een advocaat opgestelde beoordelingsrubriek met criteria voor het herkennen van juridische kwesties, het weergeven van rechtsregels, de toepassing daarvan en de conclusie. Over de hele dataset zijn er 12.546 criteria. Daarvan is 89,0% verplicht voor een inhoudelijk correct antwoord; in de belangrijkste resultaten tellen alleen de verplichte criteria mee.

Eerst bepaalt een toereikendheidstoets of elk model rechtstreeks antwoordt of eerst feiten verzamelt. Bij het verzamelen van feiten onthult een gesimuleerde gebruiker verborgen informatie uitsluitend wanneer het model daar expliciet om vraagt. Een panel van drie AI-beoordelingsmodellen, geselecteerd door hun beoordelingen te vergelijken met die van menselijke advocaten, beoordeelt elk criterium bij meerderheid van stemmen.

Zoeken verbeterde de scores, maar om verduidelijking vragen bleef een zwak punt

Volgens het artikel behaalde Claude Fable 5 bij tests zonder externe bronnen de hoogste score: het voldeed aan 69,8% van de verplichte criteria, tegenover een gemiddelde van 53,8%. Met zoeken op internet stond Kimi K3 bovenaan met 77,8% en steeg het gemiddelde naar 63,0%. Alle modellen verbeterden, al verschilden de resultaten. Het weergeven van rechtsregels was het zwakste beoordelingsonderdeel, met slagingspercentages van 43,2% zonder zoeken en 56,5% met zoeken.

In de samenvatting van Scale staat dat bij ongeveer 39% van de scenario’s zonder externe bronnen waarin feiten ontbraken, geen verduidelijkende vraag werd gesteld. In ongeveer 28% van de scenario’s die al voldoende informatie bevatten, stelden de modellen juist onnodige vragen. Wanneer feiten ontbraken, vroegen de modellen gemiddeld naar slechts 39% van de relevante feiten die juridische experts hadden vastgesteld.

In een beschrijvende vergelijking van tests met internettoegang waarin modellen om alle relevante ontbrekende feiten vroegen, vermeldt het artikel dat 55,6% tot de juiste juridische conclusie kwam, 32,1% tot een onjuiste conclusie en 12,3% geen conclusie gaf. Alle informatie verzamelen garandeerde dus niet dat de wet correct werd toegepast.

Beperkingen van de evaluatie en plannen voor publicatie

De auteurs wijzen op verschillende beperkingen van de resultaten: de AI-hulpmiddelen zijn beperkt door mensen gevalideerd, verschillen tussen aanbieders verhinderden identieke toegang tot zoekfuncties en routering vooraf kan het gedrag rond verduidelijkingsvragen hebben beïnvloed. Niet elke geannoteerde ontbrekende variabele is nodig om een casus op te lossen. Een onvolledige dekking van opgevraagde feiten wijst daarom niet automatisch op ontoereikende verduidelijking.

De onderzoekers zijn van plan 50% van de oorspronkelijke vragen in elke categorie vrij te geven en de rest achter te houden voor een besloten evaluatie. Elk paar van een onvoldoende gespecificeerde en een volledig gespecificeerde vraag blijft daarbij in dezelfde datasetverdeling. Ook de modeluitvoer op de openbare verdeling en de evaluatieprocedure zullen naar verwachting worden vrijgegeven.

In de ethische verklaring bij het artikel staat dat de scores niet mogen worden opgevat als bewijs dat een model veilig is voor juridisch advies zonder toezicht. Voor overheden die juridische AI evalueren, maken de bevindingen duidelijk dat om verduidelijking vragen onderdeel is van de beoordeling van de nauwkeurigheid: een systeem moet herkennen welke feiten volgens de lokale wet relevant zijn en die wet vervolgens correct toepassen zodra het die feiten heeft verkregen.