Scale AI lanserer referansebenchmark for juridisk resonnering i Singapore med IMDA

Scale AI og Singapores Infocomm Media Development Authority (IMDA) lanserte SG-LegalClarify 12. november 2026. Benchmarken tester 19 språkmodeller på 1 860 scenarioer innen 10 rettsområder i Singapore. Den undersøker både juridisk presisjon og om modellene ber om manglende fakta før de svarer.

Scale beskriver SG-LegalClarify som det første forskningsinitiativet under et samarbeid som ble formalisert i april 2026 og offentlig omtalt 7. juli 2026. Prosjektet skal hjelpe myndigheter med å vurdere KI-systemer opp mot egne lover og institusjoner, i stedet for å anta at resultater fra internasjonale referansebenchmarker kan overføres til alle nasjonale forhold.

Forskningsartikkelen beskriver Singapore som en krevende test fordi den nedarvede engelske common law-tradisjonen virker side om side med lokale tilpasninger og særskilte singaporske lover. En modell som bygger på generell common law-resonnering, kan derfor overse hvilken lokal regel som gjelder. SG-LegalClarify tester også en egen ferdighet: å avgjøre om en forespørsel inneholder nok juridisk relevant informasjon til at den i det hele tatt kan besvares.

Dette skillet er viktig også i vanlige forespørsler. En bilist som spør om straffen for å kjøre for fort, må kanskje oppgi kjøretøytype, faktisk hastighet og eventuelle prikker fra før. En assistent som oppgir en straff uten disse opplysningene, kan gi et svar som høres autoritativt ut, men som er juridisk feil.

Sammenstilte spørsmål tester når modeller ber om mer informasjon

Datasettet begynner med 1 100 engelskspråklige kildespørsmål: 340 med alle nødvendige opplysninger og 760 med mangelfulle opplysninger. Hvert spørsmål med mangelfulle opplysninger har en tilsvarende versjon med alle opplysninger, inkludert de skjulte faktaene. Spørsmålene ble utarbeidet av 23 verifiserte jurister, hvorav sju også var fagfeller. Den juridiske erfaringen deres varierte fra 2 til 37 år, med en median på 6 år.

Hvert spørsmål har et vurderingsskjema skrevet av en jurist, som dekker identifisering av rettsspørsmål, gjengivelse av regler, anvendelse og konklusjon. Til sammen omfatter datasettet 12 546 vurderingskriterier. Av disse er 89,0 % obligatoriske for at et svar skal være materielt korrekt; hovedresultatene teller bare obligatoriske kriterier.

Først lar en port for tilstrekkelig informasjon hver modell velge mellom å svare direkte og å innhente fakta. Når modellen velger å innhente fakta, avslører en simulert bruker skjulte fakta bare hvis modellen uttrykkelig ber om dem. Et panel med tre KI-dommermodeller, valgt ut gjennom sammenligninger med vurderinger fra menneskelige jurister, vurderer hvert kriterium etter flertallsprinsippet.

Søk forbedret resultatene, men modellene var fortsatt svake til å be om avklaringer

Artikkelen rapporterer at Claude Fable 5 ledet testingen uten tilgang til eksterne kilder ved å oppfylle 69,8 % av de obligatoriske kriteriene, mot et gjennomsnitt på 53,8 %. Med nettsøk ledet Kimi K3 med 77,8 %, og gjennomsnittet steg til 63,0 %; alle modellene forbedret resultatene sine, men i varierende grad. Gjengivelse av regler var den svakeste vurderingskomponenten, med beståttandeler på 43,2 % uten søk og 56,5 % med søk.

Ifølge Scale sin oppsummering fikk omtrent 39 % av scenarioene uten tilgang til eksterne kilder, der fakta manglet, ingen oppklarende spørsmål. Samtidig stilte modellene unødvendige spørsmål i omtrent 28 % av scenarioene der det allerede forelå nok informasjon. Når fakta manglet, spurte modellene i gjennomsnitt bare om 39 % av de relevante opplysningene som juridiske eksperter hadde identifisert.

I en beskrivende sammenligning av forsøk med nettsøk, der modellene ba om alle relevante manglende opplysninger, rapporterer artikkelen at 55,6 % kom fram til riktig juridisk konklusjon, 32,1 % kom fram til en feil konklusjon, og 12,3 % ikke trakk noen konklusjon. Det å innhente alle opplysningene sikret altså ikke at loven ble anvendt riktig.

Begrensninger ved evalueringen og planer for publisering

Forfatterne peker på flere begrensninger ved resultatene: Menneskelig validering av KI-hjelpeverktøyene var begrenset, forskjeller mellom leverandørene gjorde at modellene ikke kunne få identisk tilgang til søkeverktøy, og forhåndsruting kan ha påvirket hvordan modellene ba om avklaringer. Ikke alle annoterte manglende variabler er nødvendige for å løse et enkelt spørsmål, så manglende dekning i forespørslene om fakta betyr ikke automatisk at avklaringene var utilstrekkelige.

Forskerne planlegger å publisere 50 % av kildespørsmålene i hver kategori og holde resten tilbake til privat evaluering. Hvert par av spørsmål med mangelfulle opplysninger og tilhørende spørsmål med fullstendige opplysninger skal ligge i samme delsett. Det er også planlagt å publisere modellutdataene for det offentlige delsettet og evalueringsløypen.

I artikkelens etiske erklæring står det at resultatene ikke bør tolkes som bevis på at en modell er trygg å bruke til juridisk rådgivning uten tilsyn. For myndigheter som evaluerer juridiske KI-systemer, viser funnene at avklaringer er en del av spørsmålet om presisjon: Et system må forstå hvilke fakta lokal lovgivning anser som relevante, og deretter anvende loven riktig når opplysningene er innhentet.