Scale AI lancerer benchmark for juridisk ræsonnering i Singapore sammen med IMDA

Scale AI og Singapores Infocomm Media Development Authority (IMDA) præsenterede SG-LegalClarify den 12. november 2026. Benchmarken tester 19 sprogmodeller på 1.860 scenarier inden for 10 områder af singaporiansk ret. Den undersøger både den juridiske nøjagtighed og, om modellerne spørger efter manglende oplysninger, før de svarer.

Scale beskriver SG-LegalClarify som det første forskningsinitiativ under et samarbejde, der blev formaliseret i april 2026 og offentligt beskrevet den 7. juli 2026. Projektet skal hjælpe regeringer med at vurdere AI-systemer i forhold til deres egne love og institutioner i stedet for at antage, at resultater fra internationale benchmarktests kan overføres til alle nationale sammenhænge.

Forskningsartiklen beskriver Singapore som en krævende test, fordi den nedarvede engelske common law gælder side om side med lokale tilpasninger og særlige singaporianske love. En model, der baserer sig på generisk ræsonnering ud fra common law, kan derfor overse den gældende lokale regel. SG-LegalClarify tester også en særskilt færdighed: at afgøre, om en forespørgsel indeholder tilstrækkeligt med juridisk relevante oplysninger til overhovedet at kunne besvares.

Denne forskel er vigtig i almindelige forespørgsler. En bilist, der spørger om en fartbøde, skal muligvis oplyse køretøjstypen, den faktiske hastighed og sine eksisterende klip i kørekortet. En assistent, der angiver en bøde uden disse oplysninger, kan give et svar, der lyder autoritativt, men er juridisk forkert.

Spørgsmålspar tester, hvornår modeller stiller spørgsmål

Datasættet begynder med 1.100 engelsksprogede kildespørgsmål: 340 med alle nødvendige oplysninger og 760 med utilstrækkelige oplysninger. Hvert spørgsmål med utilstrækkelige oplysninger har et tilsvarende spørgsmål med alle nødvendige oplysninger, som indeholder de skjulte fakta. 23 verificerede advokater udarbejdede spørgsmålene, og syv af dem fungerede også som bedømmere. Deres juridiske erfaring spændte fra to til 37 år, med en median på seks år.

Hvert spørgsmål har en vurderingsvejledning udarbejdet af en advokat, der dækker identifikation af juridiske problemstillinger, genkaldelse af regler, anvendelse og konklusion, med i alt 12.546 kriterier i datasættet. Af disse kriterier er 89,0 % obligatoriske for et indholdsmæssigt korrekt svar; hovedresultaterne tæller kun obligatoriske kriterier med.

Et tilstrækkelighedstjek får først hver model til at vælge mellem at svare direkte og at indhente oplysninger. Hvis modellen vælger at indhente oplysninger, afslører en simuleret bruger kun de skjulte fakta, når modellen udtrykkeligt spørger efter dem. Et panel af tre AI-dommermodeller, der er udvalgt på grundlag af sammenligninger med menneskelige advokaters vurderinger, bedømmer hvert kriterium efter flertalsafgørelse.

Søgning forbedrede resultaterne, men afklaringen haltede stadig

Ifølge artiklen førte Claude Fable 5 an i test uden adgang til eksterne kilder ved at opfylde 69,8 % af de obligatoriske kriterier mod et gennemsnit på 53,8 %. Med websøgning førte Kimi K3 med 77,8 %, og gennemsnittet steg til 63,0 %; alle modeller blev bedre, men fremgangen varierede. Genkaldelse af regler var det svageste bedømmelseselement med beståelsesprocenter på 43,2 % uden søgning og 56,5 % med søgning.

Scales sammenfatning viser, at der i cirka 39 % af scenarierne uden adgang til eksterne kilder, hvor der manglede oplysninger, ikke blev stillet noget opklarende spørgsmål, mens modellerne stillede unødvendige spørgsmål i cirka 28 % af scenarierne, hvor der allerede var tilstrækkelige oplysninger. Når der manglede oplysninger, spurgte modellerne kun i gennemsnit ind til 39 % af de relevante oplysninger, som juridiske eksperter havde identificeret.

I en beskrivende sammenligning af forsøg med websøgning, hvor modellerne bad om alle relevante manglende oplysninger, rapporterer artiklen, at 55,6 % nåede frem til den korrekte juridiske konklusion, 32,1 % nåede frem til en forkert konklusion, og 12,3 % ikke drog nogen konklusion. Fuldstændig indhentning af oplysninger sikrede altså ikke, at loven blev anvendt korrekt.

Begrænsninger ved evalueringen og planer for offentliggørelse

Forfatterne peger på flere begrænsninger ved resultaterne: Menneskelig validering af AI-hjælpeværktøjerne var begrænset, forskelle mellem udbyderne forhindrede ens adgang til søgeværktøjer, og forudgående routing kan have påvirket modellernes adfærd, når de skulle afklare spørgsmål. Ikke alle annoterede manglende variabler er nødvendige for at løse et konkret eksempel, så ufuldstændig dækning af de oplysninger, der efterspørges, er ikke automatisk tegn på utilstrækkelig afklaring.

Forskerne planlægger at offentliggøre 50 % af kildespørgsmålene i hver kategori og beholde resten til privat evaluering, samtidig med at hvert par af spørgsmål med utilstrækkelige og tilstrækkelige oplysninger holdes i samme opdeling. Det er også planen at offentliggøre modellernes output på den offentlige delmængde og evalueringsforløbet.

Artiklens etiske erklæring siger, at scorerne ikke bør fortolkes som dokumentation for, at en model er sikker at bruge til juridisk rådgivning uden tilsyn. For regeringer, der evaluerer juridiske AI-systemer, gør resultaterne afklaring til en del af spørgsmålet om nøjagtighed: Et system skal kunne genkende, hvilke oplysninger lokal lovgivning anser for relevante, og derefter anvende loven korrekt, når oplysningerne er indhentet.