Hvor språkmodellen bør stoppe: Utforming av KI for lønn, opptak og andre områder der feil får konsekvenser

De siste årene har jeg bygget KI inn i produkter der et feil svar har en pris: en KI-drevet plattform for etterlevelse av lønnsregler i det australske markedet, der en feil får direkte følger for noens bankkonto, og et produkt for opptak til høyere utdanning, der et dårlig samsvar kan prege de neste fire årene i en students liv. Spørsmålet som avgjorde arkitekturen, var det samme i begge tilfellene. Hvor langt bør språkmodellen få gå før noe regelstyrt tar over?

Én av fem lønnskjøringer i USA inneholder en feil, med en gjennomsnittlig kostnad på 291 dollar hver, før søksmål kommer inn i bildet. EUs KI-forordning plasserer KI som brukes i opptaksbeslutninger og arbeidsledelse, i kategoriene med høy risiko.

La reglene styre tallene

Regelstyrte systemer håndterer alt som innebærer et pengebeløp eller juridiske konsekvenser, mens modellen tolker og forklarer innenfor rammene av disse reglene – og ikke gjør noe mer.

På lønnsplattformen var målet vårt å trekke et tydelig skille mellom lønnsreglene og KI-en. Lønnsfaglige eksperter definerer først lønnsreglene i et strukturert format. Deretter behandler systemet reglene og genererer alle mulige scenarier som kan følge av dem. Dette komplette settet med scenarier blir modellens fasit. Modellen kan ikke opprette nye regler, endre eksisterende regler eller avgjøre hvilke kilder den skal bruke. Den kan bare hente det relevante regelsettet, slå opp i satstabeller og vise til scenariet den brukte. Opprettelse av regler, generering av scenarier og valg av kilder holdes helt utenfor KI-laget.

Opptaksproduktet følger samme logikk: Krav til geografisk plassering, budsjettgrenser, institusjonens status og terskler for kvalifisering brukes som regler før modellen får påvirke rangeringen. Hvis en student sier at hen må studere i California, kan ikke en skole utenfor delstaten overstyre dette fordi modellen mener at skolen ellers passer godt. Modellen håndterer mindre absolutte preferanser og forklaringer, mens regelstyrt logikk fungerer som et vern der det ikke er godt nok å være omtrent riktig.

Henting forankrer modellen – til en viss grad

Generering med utvidet informasjonsinnhenting (RAG) knytter svarene til organisasjonens egne retningslinjer, i stedet for til hva modellen har tilegnet seg under treningen. Metoden blir også tillagt for stor betydning. Da Stanford RegLab testet kommersielle verktøy for juridisk research basert på RAG, hallusinerte de fortsatt i mellom 17 % og 33 % av tilfellene. Informasjonsinnhenting begrenser hva modellen kan si, men modellen kan likevel ta feil.

Det lærte jeg på nært hold. På lønnsplattformen fant systemet en gang riktig bestemmelse om lønns- og arbeidsvilkår for en sak, men modellen tolket likevel reglene for overtidsbetaling feil. Den riktige kilden var hentet inn, men svaret var feil. Etter dette ble vi derfor langt strengere med hensyn til hva modellen kunne avgjøre på egen hånd. Viktige lønnsregler ble lagt inn i eksplisitt forretningslogikk, alle svar måtte underbygges med kildemateriale, og vi la til tester basert på saken som hadde feilet. Tilgang til riktig informasjon er bare nyttig hvis du også kontrollerer hvordan modellen bruker den.

Sørg for at hvert svar kan spores

Før et svar genereres, registrerer systemet nøyaktig hvilken regelbok og versjon som ble brukt, sammen med modellen og andre opplysninger om forespørselen. Det er vanskelig å etterprøve en påstand om at et KI-svar bygget på selskapets retningslinjer. Det er langt sterkere dokumentasjon å si at svaret ble generert med versjon 7 av en bestemt avtale, som er arkivert og kan sammenlignes med andre versjoner. Vi sporer også hvert kall til modeller og verktøy: hva brukeren spurte om, hva som ble hentet inn, hvilke verktøy som ble kjørt, hva modellen svarte, og eventuelle feil underveis. Når det kommer inn en henvendelse til kundestøtte, kan vi se nøyaktig hvor et feilaktig svar oppsto. Air Canada-avgjørelsen fra 2024, der en nemnd påla flyselskapet å innfri en rabatt som chatboten hadde funnet på, viser hva alternativet kan koste.

Plasser mennesker der konsekvensene oppstår

NISTs profil for generativ KI behandler skillet mellom det et system gjør på egen hånd, og det som krever menneskelig medvirkning, som et styringsvalg. Vi sender en sak til et menneske når systemet er usikkert, når opplysningene er motstridende, eller når beslutningen kan få vesentlig betydning for brukeren. I opptaksprosessen flagges en uvanlig studentprofil, eller en anbefaling som ikke tydelig oppfyller studentens absolutte krav, for gjennomgang av en studieveileder. Dette trinnet har fanget opp anbefalinger som ved første øyekast virket rimelige, men som overså en begrensning i studentens profil, og hver slik sak ble brukt til å forbedre systemet. Ingen av produktene ferdigstiller noe på egen hånd. En studieveileders innspill kreves før en anbefaling legges til grunn, og hver lønnsslipp som lønnssystemet genererer, flagges for godkjenning før den sendes ut. Menneskelig gjennomgang er ikke nødvendig for hver eneste forespørsel. Målet er å automatisere rutinesaker på en trygg måte og involvere et menneske når systemet har god grunn til å være usikkert.

Avgjør hva modellen kan håndtere på egen hånd i dag

Jeg bruker en praktisk test på alle arbeidsflyter. Hvis et feilaktig resultat kan oppdages og rettes før det når en person, kan modellen håndtere det trinnet på egen hånd. Hvis svaret kan kontrolleres mot en regel, er det regelen som styrer, og modellen forklarer. Hvis et feilaktig resultat ville nå en lønnsslipp eller en opptaksbeslutning før noen oppdaget det, er arbeidsflyten ikke klar.

Språkmodeller er de beste fortolkerne vi noen gang har satt foran en regelbok. På områder der feil får konsekvenser, bør de stoppe ved tolkningen.