Hvor sprogmodellen bør stoppe: Sådan designer man AI til lønadministration, optagelse og andre områder, hvor fejl har konsekvenser

I de seneste år har jeg arbejdet med at integrere AI i produkter, hvor et forkert svar har en pris: en AI-drevet platform til overholdelse af lønregler på det australske marked, hvor en fejl ender på nogens bankkonto, og et produkt til optagelse på videregående uddannelser, hvor et dårligt match kan få betydning for en studerendes næste fire år. Det samme spørgsmål var afgørende for arkitekturen i begge produkter: Hvor langt bør sprogmodellen have lov til at gå, før noget deterministisk tager over?

Hver femte lønkørsel i USA indeholder en fejl, som i gennemsnit koster 291 dollars, før retssager kommer ind i billedet. EU’s AI-forordning placerer AI, der bruges til optagelsesbeslutninger og personaleledelse, i kategorierne for højrisikoanvendelser.

Lad reglerne bestemme tallene

Deterministiske regler har det sidste ord om alt, der indebærer et pengebeløb eller juridiske konsekvenser. Modellen fortolker og forklarer inden for rammerne af reglerne – og gør ikke mere end det.

På lønplatformen var målet at skabe en klar grænse mellem lønreglerne og AI’en. Først definerer løneksperter lønreglerne i et struktureret format. Derefter behandler systemet reglerne og genererer alle de scenarier, der kan følge af dem. Det fulde sæt scenarier bliver modellens eneste sandhedskilde. Modellen kan ikke oprette nye regler, ændre eksisterende regler eller beslutte, hvilke kilder der skal bruges. Den kan kun hente det relevante regelsæt, slå op i taksttabeller og henvise til det scenarie, den har brugt. Oprettelse af regler, generering af scenarier og valg af kilder foregår udelukkende uden for AI-laget.

Produktet til optagelse følger samme princip: Krav til geografisk placering, budgetgrænser, institutionens status og tærskler for adgangskrav anvendes som regler, før modellen kan påvirke en rangering. Hvis en studerende siger, at vedkommende skal gå på college i Californien, kan en skole uden for staten ikke tilsidesætte det, fordi modellen mener, at den ellers passer godt. Modellen håndterer blødere præferencer og forklaringer, mens deterministisk logik sætter grænsen dér, hvor et svar, der kun er omtrentligt rigtigt, ikke er acceptabelt.

Informationssøgning forankrer modellen – til en vis grad

Generering med informationssøgning holder svarene knyttet til organisationens egne politikker i stedet for alt det, modellen har tilegnet sig under træningen. Metoden bliver også overvurderet. Da Stanford RegLab testede kommercielle juridiske researchværktøjer baseret på RAG, hallucinerede de stadig i mellem 17 % og 33 % af tilfældene. Informationssøgning begrænser, hvad modellen kan sige, men modellen kan stadig tage fejl.

Det lærte jeg på egen hånd. På lønplatformen fandt systemet engang den korrekte ansættelsesretlige kendelse i en sag, men modellen fortolkede stadig reglerne for overarbejde forkert. Den rigtige kilde var blevet fundet, men svaret var alligevel forkert. Derfor blev vi efterfølgende langt mere tilbageholdende med, hvad modellen selv måtte afgøre. Vigtige lønregler blev flyttet over i eksplicit forretningslogik, alle svar skulle underbygges af kildemateriale, og vi tilføjede tests, der tog udgangspunkt i den sag, hvor systemet havde fejlet. Adgang til de rigtige oplysninger hjælper kun, hvis man også kontrollerer, hvordan modellen bruger dem.

Gør hvert svar sporbart

Før et svar genereres, registrerer systemet præcis, hvilken regelbog og version der blev brugt, sammen med modellen og andre oplysninger om forespørgslen. Det er vanskeligt at efterprøve en påstand om, at et AI-svar var baseret på virksomhedens politik. Det er langt stærkere dokumentation at kunne sige, at svaret blev genereret ved hjælp af version 7 af en bestemt aftale, som er blevet gemt og kan sammenlignes med andre versioner. Vi sporer også hvert model- og værktøjskald: hvad brugeren spurgte om, hvad der blev hentet, hvilke værktøjer der blev kørt, hvad modellen svarede, og hvilke fejl der opstod undervejs. Når der kommer en supporthenvendelse, kan vi se præcis, hvor et forkert svar stammer fra. Air Canada-afgørelsen fra 2024, hvor et nævn pålagde flyselskabet at honorere en rabat, som dets chatbot havde fundet på, viser, hvad alternativet koster.

Placér mennesker dér, hvor konsekvenserne mærkes

NIST’s profil for generativ AI behandler grænsen mellem det, et system gør på egen hånd, og det, der kræver et menneske, som et spørgsmål om styring. Vi sender en sag videre til et menneske, når systemet er usikkert, når oplysninger er indbyrdes modstridende, eller når beslutningen kan få væsentlig betydning for brugeren. Ved optagelse bliver en usædvanlig studenterprofil eller en anbefaling, der ikke tydeligt opfylder den studerendes ufravigelige krav, markeret til gennemgang af en studievejleder. Det har fanget anbefalinger, der umiddelbart så rimelige ud, men overså en begrænsning i den studerendes profil, og hver enkelt sag blev brugt til at forbedre systemet. Ingen af produkterne færdiggør noget på egen hånd. En studievejleder skal bidrage, før en anbefaling følges, og hver lønseddel, som lønsystemet genererer, markeres til godkendelse, før den sendes ud. Menneskelig kontrol er ikke tænkt til hver eneste forespørgsel. Målet er at automatisere rutinesager med sikkerhed og inddrage et menneske, når der er god grund til, at systemet er usikkert.

Sådan afgør du, hvad modellen selv kan stå for i dag

Jeg bruger en praktisk test på enhver arbejdsgang. Hvis et forkert resultat kan opdages og omgøres, før det når frem til et menneske, kan modellen stå for det trin. Hvis svaret kan kontrolleres op imod en regel, er det reglen, der gælder, og modellen forklarer den. Hvis et forkert resultat ville nå frem til en lønseddel eller en afgørelse om en ansøgning, før nogen ser det, er det trin ikke klar.

Sprogmodeller er de bedste fortolkere, vi nogensinde har sat til at arbejde med et regelsæt. På områder, hvor fejl straffes, bør de stoppe ved fortolkningen.