Scale AI lanserar riktmärke för juridiskt resonemang i Singapore tillsammans med IMDA

Scale AI och Singapores myndighet för informations- och medieutveckling (Infocomm Media Development Authority, IMDA) lanserade SG-LegalClarify den 12 november 2026. Utvärderingen omfattar 19 språkmodeller och 1 860 scenarier inom 10 rättsområden i Singapore. Den undersöker både den juridiska träffsäkerheten och om modellerna efterfrågar saknade uppgifter innan de svarar.

Scale beskriver SG-LegalClarify som det första forskningsinitiativet inom ett samarbete som formaliserades i april 2026 och beskrevs offentligt den 7 juli 2026. Projektet ska hjälpa regeringar att utvärdera AI-system utifrån sina egna lagar och institutioner, i stället för att utgå från att resultat på internationella riktmärken gäller i alla nationella sammanhang.

Forskningsartikeln beskriver Singapore som ett krävande test eftersom engelsk common law, som landet ärvt, tillämpas parallellt med lokala anpassningar och lagar som är specifika för Singapore. En modell som förlitar sig på generella resonemang utifrån common law kan därför missa vilken lokal regel som är tillämplig. SG-LegalClarify prövar också en separat förmåga: att avgöra om en fråga innehåller tillräckligt med juridiskt relevanta uppgifter för att över huvud taget kunna besvaras.

Den skillnaden spelar roll även i vardagliga frågor. En förare som frågar om påföljden för fortkörning kan behöva uppge fordonstyp, faktisk hastighet och befintliga prickar i körkortssystemet. En assistent som anger en påföljd utan dessa uppgifter kan ge ett svar som låter auktoritativt men är juridiskt felaktigt.

Parvisa frågor prövar när modeller ställer följdfrågor

Datasetet utgår från 1 100 engelskspråkiga ursprungsfrågor: 340 fullständigt specificerade och 760 otillräckligt specificerade. Varje otillräckligt specificerad fråga har en fullständigt specificerad motsvarighet som innehåller de dolda uppgifterna. Tjugotre verifierade jurister skrev frågorna, och sju av dem medverkade även som granskare. Deras juridiska erfarenhet sträckte sig från två till 37 år, med en median på sex år.

Till varje fråga hör en bedömningsmall utarbetad av en jurist, som omfattar identifiering av juridiska frågor, återgivning av rättsregler, tillämpning och slutsats. Datasetet innehåller sammanlagt 12 546 bedömningskriterier. Av dessa är 89,0 % obligatoriska för att ett svar ska vara materiellt korrekt; i huvudresultaten räknas endast obligatoriska kriterier.

Först får varje modell genom en tillräcklighetskontroll välja mellan att svara direkt och att samla in fler uppgifter. Om modellen väljer att samla in uppgifter avslöjar en simulerad användare de dolda uppgifterna endast när modellen uttryckligen ber om dem. En panel med tre AI-domarmodeller, som valts ut genom jämförelser med bedömningar från mänskliga jurister, betygsätter varje kriterium genom majoritetsbeslut.

Sökning höjde resultaten, men förmågan att be om förtydliganden var fortsatt svag

Enligt artikeln var Claude Fable 5 bäst i tester utan externa källor och uppfyllde 69,8 % av de obligatoriska kriterierna, jämfört med ett genomsnitt på 53,8 %. Med webbsökning var Kimi K3 bäst med 77,8 %, och genomsnittet steg till 63,0 %. Alla modeller förbättrades, men i olika grad. Återgivning av rättsregler var den svagaste bedömningsdelen, med godkända resultat på 43,2 % utan sökning och 56,5 % med sökning.

I Scales sammanfattning anges att modellerna i cirka 39 % av scenarierna utan externa källor där uppgifter saknades inte ställde någon följdfråga, medan de i cirka 28 % av scenarierna där informationen redan var tillräcklig ställde onödiga frågor. När uppgifter saknades frågade modellerna i genomsnitt bara efter 39 % av de relevanta uppgifter som juridiska experter hade identifierat.

I en beskrivande jämförelse av försök med webbsökning, där modellerna efterfrågade alla relevanta saknade uppgifter, rapporterar artikeln att 55,6 % nådde rätt juridisk slutsats, 32,1 % nådde en felaktig slutsats och 12,3 % inte drog någon slutsats. Att samla in fullständiga uppgifter garanterade alltså inte att lagen tillämpades korrekt.

Begränsningar i utvärderingen och planer för publicering

Författarna pekar på flera begränsningar i resultaten: den mänskliga valideringen av AI-hjälpmedlen var begränsad, skillnader mellan leverantörerna gjorde att alla inte kunde få tillgång till identiska sökverktyg och förhandsstyrning kan ha påverkat modellernas beteende när de bad om förtydliganden. Alla annoterade variabler som saknas är inte nödvändiga för att lösa ett enskilt fall, så ofullständig täckning av efterfrågade uppgifter innebär inte automatiskt att förtydligandena var otillräckliga.

Forskarna planerar att publicera 50 % av ursprungsfrågorna i varje kategori och behålla resten för privat utvärdering. Varje par med en otillräckligt specificerad fråga och dess fullständigt specificerade motsvarighet ska ligga i samma delmängd. Det är också planerat att publicera modellernas utdata för den offentliga delmängden och utvärderingsprocessen.

I artikelns etikavsnitt står det att resultaten inte bör tolkas som belägg för att en modell är säker att använda för juridisk rådgivning utan tillsyn. För regeringar som utvärderar juridisk AI visar resultaten att förmågan att be om förtydliganden är en del av frågan om träffsäkerhet: ett system måste identifiera vilka uppgifter som är juridiskt relevanta enligt lokal lagstiftning och därefter tillämpa lagen korrekt när uppgifterna har inhämtats.