Scale AI julkaisee Singaporen oikeudellisen päättelyn vertailutestin yhdessä IMDA:n kanssa

Scale AI ja Singaporen Infocomm Media Development Authority (IMDA) esittelivät SG-LegalClarify-vertailutestin 12. marraskuuta 2026. Testissä arvioidaan 19 kielimallia 1 860 skenaariossa, jotka kattavat Singaporen oikeuden 10 osa-aluetta. Vertailutestissä selvitetään sekä oikeudellista täsmällisyyttä että sitä, kysyvätkö mallit puuttuvia tietoja ennen vastaamista.

Scale kuvailee SG-LegalClarifya ensimmäiseksi tutkimushankkeeksi huhtikuussa 2026 virallistettuun yhteistyöhön liittyen. Yhteistyöstä kerrottiin julkisesti 7. heinäkuuta 2026. Hankkeen tarkoituksena on auttaa hallituksia arvioimaan tekoälyjärjestelmiä niiden omien lakien ja instituutioiden perusteella sen sijaan, että oletettaisiin kansainvälisten vertailutestien tulosten pätevän kaikissa kansallisissa olosuhteissa.

Tutkimusartikkelissa Singapore esitetään vaativana testitapauksena, sillä Englannin oikeusperinteestä periytynyt common law toimii rinnakkain paikallisten muutosten ja Singaporen omien säädösten kanssa. Yleiseen common law -päättelyyn nojaava malli voi siksi sivuuttaa sovellettavan paikallisen oikeussäännön. SG-LegalClarify testaa myös erillistä taitoa: osaako malli arvioida, sisältääkö kysymys ylipäätään riittävästi oikeudellisesti olennaisia tietoja vastaamista varten.

Tällä erolla on merkitystä tavallisissa kysymyksissä. Ylinopeussakon suuruudesta kysyvän kuljettajan on ehkä ilmoitettava ajoneuvon tyyppi, todellinen ajonopeus ja hänelle jo kertyneet virhepisteet. Jos avustaja ilmoittaa sakon suuruuden ilman näitä tietoja, vastaus voi kuulostaa vakuuttavalta mutta olla oikeudellisesti virheellinen.

Parikysymykset testaavat, milloin mallit kysyvät lisätietoja

Aineisto alkaa 1 100 englanninkielisellä lähdekysymyksellä: 340 kysymystä sisältää kaikki tarvittavat tiedot ja 760:stä niitä puuttuu. Jokaiselle puutteellisesti määritellylle kysymykselle on vastinparina kysymys, joka sisältää kaikki tiedot, myös piiloon jätetyt seikat. Kysymykset laati 23 pätevyydeltään varmennettua juristia, joista seitsemän toimi myös arvioijina. Heidän oikeudellinen työkokemuksensa vaihteli kahdesta 37 vuoteen, ja kokemuksen mediaani oli kuusi vuotta.

Jokaiseen kysymykseen liittyy juristin laatima arviointikriteeristö, joka kattaa oikeudellisen kysymyksen tunnistamisen, sääntöjen muistamisen, niiden soveltamisen ja johtopäätöksen. Aineistossa on kaikkiaan 12 546 arviointikriteeriä. Niistä 89,0 % on välttämättömiä, jotta vastaus on sisällöllisesti oikea; tulosten pääluvut lasketaan vain näiden välttämättömien kriteerien perusteella.

Ensin riittävyysportti pyytää kutakin mallia valitsemaan, vastaako se suoraan vai kerääkö se lisätietoja. Lisätietojen keräämiseen perustuvassa vaihtoehdossa simuloitu käyttäjä paljastaa piilossa olevat tiedot vain, jos malli pyytää niitä nimenomaisesti. Kolmen tekoälymallin muodostama arvioijapaneeli, joka valittiin vertaamalla arvioita juristien arvioihin, pisteyttää kunkin kriteerin enemmistöpäätöksellä.

Haku paransi tuloksia, mutta tarkentavien kysymysten esittäminen jäi heikoksi

Artikkelin mukaan Claude Fable 5 menestyi parhaiten ilman hakutoimintoa tehdyissä testeissä täyttämällä 69,8 % välttämättömistä kriteereistä. Keskiarvo oli 53,8 %. Verkkohakua käytettäessä Kimi K3 saavutti parhaan tuloksen, 77,8 %, ja keskiarvo nousi 63,0 prosenttiin. Kaikki mallit paranivat, mutta parannusten suuruus vaihteli. Sääntöjen muistaminen oli arvioinnin heikoin osa-alue: läpäisyaste oli 43,2 % ilman hakua ja 56,5 % haun kanssa.

Scalen yhteenvedon mukaan noin 39 prosentissa suljetun kirjan skenaarioista, joissa tietoja puuttui, mallit eivät esittäneet lainkaan tarkentavia kysymyksiä. Noin 28 prosentissa skenaarioista mallit puolestaan esittivät tarpeettomia kysymyksiä, vaikka tiedot olivat jo riittävät. Kun tietoja puuttui, mallit kysyivät keskimäärin vain 39 prosenttia niistä olennaisista tiedoista, jotka oikeusasiantuntijat olivat tunnistaneet.

Artikkelissa esitetyn kuvailevan vertailun mukaan verkkohakua käyttäneissä kokeissa, joissa mallit pyysivät kaikkia olennaisia puuttuvia tietoja, 55,6 % johti oikeaan oikeudelliseen johtopäätökseen, 32,1 % virheelliseen johtopäätökseen ja 12,3 %:ssa ei esitetty johtopäätöstä. Kaikkien tarvittavien tietojen kerääminen ei siis taannut lain oikeaa soveltamista.

Arvioinnin rajoitukset ja julkaisusuunnitelmat

Kirjoittajat tuovat esiin useita tulosten rajoituksia: tekoälyapuvälineiden validointi ihmisten avulla oli rajallista, palveluntarjoajien väliset erot estivät samanlaisen pääsyn hakutyökaluihin, ja ennakkoreititys saattoi vaikuttaa tarkentavien kysymysten esittämiseen. Kaikkia merkittyjä puuttuvia muuttujia ei tarvita yksittäisen tapauksen ratkaisemiseen, joten se, ettei kaikkia tietoja pyydetä, ei automaattisesti tarkoita, että tarkentaminen olisi riittämätöntä.

Tutkijat aikovat julkaista 50 % kunkin luokan lähdekysymyksistä ja pitää loput yksityisessä arvioinnissa. Jokainen puutteellisesti määritelty kysymys ja sitä vastaava kaikki tiedot sisältävä kysymys pidetään samassa aineiston jaossa. Suunnitelmissa on julkaista myös julkisen jaon mallien tulosteet ja arviointiputki.

Artikkelin eettisessä lausumassa todetaan, ettei tuloksia pidä tulkita näytöksi siitä, että malli soveltuisi oikeudelliseen neuvontaan ilman valvontaa. Oikeudellista tekoälyä arvioiville hallituksille havainnot osoittavat, että tarkentavien kysymysten esittäminen on osa täsmällisyyden arviointia: järjestelmän on tunnistettava, mitkä tiedot ovat paikallisen lain mukaan olennaisia, ja sovellettava lakia oikein saatuaan ne.