Missä kielimallin pitäisi pysähtyä: tekoälyn suunnittelu palkanlaskentaan, opiskelijavalintoihin ja muille aloille, joilla virheet kostautuvat

Olen viime vuosina rakentanut tekoälyä tuotteisiin, joissa väärällä vastauksella on hintansa: Australian markkinoille tarkoitettuun tekoälypohjaiseen palkanlaskennan vaatimustenmukaisuusalustaan, jossa virhe näkyy jonkun pankkitilillä, sekä korkeakoulujen opiskelijavalintoihin liittyvään tuotteeseen, jossa huono yhteensopivuus voi vaikuttaa opiskelijan seuraaviin neljään vuoteen. Molemmissa arkkitehtuurin ratkaissut kysymys oli sama: kuinka pitkälle kielimallin pitäisi antaa toimia ennen kuin jokin deterministinen ottaa ohjat?

Yhdessä viidestä Yhdysvaltain palkanlaskennasta on virhe, ja virheen keskimääräinen kustannus on 291 dollaria ennen oikeusriitojen alkamista. EU:n tekoälysäädös luokittelee opiskelijavalintapäätöksissä ja työsuhteiden hallinnassa käytettävän tekoälyn suuririskiseksi.

Anna sääntöjen määrätä numeroista

Deterministiset säännöt määräävät kaikesta, johon liittyy rahamäärä tai oikeudellinen seuraus. Malli tulkitsee ja selittää sääntöjen pohjalta, eikä tee mitään muuta.

Palkanlaskenta-alustalla tavoitteenamme oli vetää selkeä raja palkanlaskennan sääntöjen ja tekoälyn välille. Palkanlaskennan asiantuntijat määrittelevät ensin palkkasäännöt jäsennellyssä muodossa. Järjestelmä käsittelee säännöt ja luo niiden perusteella kaikki mahdolliset skenaariot. Näiden skenaarioiden muodostamasta kokonaisuudesta tulee mallin totuuden lähde. Malli ei voi luoda uusia sääntöjä, muuttaa olemassa olevia sääntöjä eikä päättää, mitä lähteitä käytetään. Se voi ainoastaan hakea sovellettavan sääntökokonaisuuden, tarkistaa palkkataulukot ja viitata käyttämäänsä skenaarioon. Sääntöjen luominen, skenaarioiden muodostaminen ja lähteiden valinta jäävät kokonaan tekoälykerroksen ulkopuolelle.

Opiskelijavalintoihin liittyvässä tuotteessa noudatetaan samaa periaatetta: sijaintivaatimukset, budjettirajat, oppilaitoksen asema ja kelpoisuuskynnykset käsitellään sääntöinä ennen kuin malli voi vaikuttaa järjestykseen. Jos opiskelija sanoo, että hänen on opiskeltava Kaliforniassa, osavaltion ulkopuolinen oppilaitos ei voi syrjäyttää tätä vaatimusta vain siksi, että malli piti sitä muuten hyvänä vaihtoehtona. Malli käsittelee joustavampia toiveita ja niiden perusteluja, ja deterministinen logiikka toimii suojakaiteena aina, kun likimääräinen oikeellisuus ei riitä.

Tiedonhaku ankkuroi mallin – tiettyyn rajaan asti

Tiedonhakuun perustuva generointi pitää vastaukset sidoksissa organisaation omiin käytäntöihin sen sijaan, että ne perustuisivat siihen, mitä malli on omaksunut koulutuksessa. Menetelmän teho on kuitenkin yliarvioitu. Kun Stanfordin RegLab testasi tiedonhakuun perustuvia kaupallisia juridisen tutkimuksen työkaluja, ne tuottivat silti hallusinoituja vastauksia 17–33 prosentissa tapauksista. Tiedonhaku rajaa sitä, mitä malli voi sanoa, mutta malli voi silti erehtyä.

Opin tämän omakohtaisesti. Palkanlaskenta-alustalla järjestelmä löysi kerran tapaukseen sovellettavan oikean työehtomääräyksen, mutta malli tulkitsi ylityösäännöt silti väärin. Oikea lähde oli haettu, mutta vastaus oli väärä. Tämän jälkeen rajasimme entistä tiukemmin sitä, mistä malli sai päättää itsenäisesti. Tärkeät palkanlaskennan säännöt siirrettiin eksplisiittiseen liiketoimintalogiikkaan, jokainen vastaus oli perusteltava lähdeaineistolla, ja lisäsimme testejä, jotka perustuivat epäonnistuneeseen tapaukseen. Oikean tiedon saatavuudesta on hyötyä vain, jos myös mallin tapaa käyttää sitä hallitaan.

Tee jokaisesta vastauksesta jäljitettävä

Ennen vastauksen luomista järjestelmä tallentaa tarkasti, mitä sääntökirjaa ja sen versiota käytettiin, sekä mallin ja muut pyyntöön liittyvät tiedot. Väite siitä, että tekoälyn vastaus perustui yrityksen käytäntöihin, on vaikea todentaa. Paljon vahvempaa näyttöä on se, että vastaus luotiin tietyn sopimuksen versiota 7 käyttäen ja että kyseinen versio on tallessa ja sitä voidaan verrata muihin versioihin. Jäljennämme myös jokaisen mallin ja työkalun kutsun: mitä käyttäjä kysyi, mitä haettiin, mitä työkaluja käytettiin, mitä malli vastasi ja mitä virheitä matkan varrella ilmeni. Kun tukipyyntö saapuu, näemme tarkasti, mistä virheellinen vastaus johtui. Vuoden 2024 Air Canadaa koskeva ratkaisu, jossa tuomioistuin velvoitti lentoyhtiön myöntämään alennuksen, jonka sen chatbot oli keksinyt, osoittaa, mitä vaihtoehto voi maksaa.

Sijoita ihmiset sinne, missä seuraukset tuntuvat

NISTin generatiivisen tekoälyn profiili käsittelee järjestelmän itsenäisesti tekemien asioiden ja ihmisen osallistumista vaativien asioiden välistä rajaa hallintapäätöksenä. Ohjaamme tapauksen ihmiselle, jos järjestelmä on epävarma, tiedot ovat ristiriidassa keskenään tai päätös voi vaikuttaa käyttäjään merkittävästi. Opiskelijavalinnoissa ohjaajan arvioitavaksi merkitään poikkeuksellinen opiskelijaprofiili tai suositus, joka ei selvästi täytä opiskelijan ehdottomia vaatimuksia. Näin on saatu kiinni suosituksia, jotka vaikuttivat ensi silmäyksellä järkeviltä mutta eivät huomioineet opiskelijan profiilissa olevaa rajoitetta; jokainen tällainen tapaus on myös palautunut järjestelmään. Kumpikaan tuote ei viimeistele mitään itsenäisesti. Suositukseen ei saa luottaa ennen kuin ohjaaja on antanut siihen panoksensa, ja jokainen palkanlaskentajärjestelmän luoma palkkalaskelma merkitään hyväksyttäväksi ennen sen lähettämistä. Ihmisen tekemä tarkistus ei ole tarpeen jokaisessa pyynnössä. Tavoitteena on automatisoida tavanomaiset tapaukset luotettavasti ja ottaa ihminen mukaan, kun järjestelmällä on hyvä syy olla epävarma.

Mistä malli voi tällä hetkellä vastata

Sovellan kaikkiin työnkulkuihin käytännöllistä testiä. Jos väärä tulos voidaan havaita ja korjata ennen kuin se tavoittaa ihmisen, malli voi hoitaa kyseisen vaiheen itsenäisesti. Jos vastauksen voi tarkistaa sääntöä vasten, sääntö määrää ja malli selittää. Jos väärä tulos ehtisi palkkaan tai opiskelijavalintapäätökseen ennen kuin kukaan huomaa sitä, kyseinen vaihe ei ole vielä valmis.

Kielimallit ovat parhaita sääntökirjan tulkitsijoita, joita olemme koskaan käyttäneet. Aloilla, joilla virheistä rangaistaan, niiden pitäisi kuitenkin pysähtyä tulkintaan.