Var språkmodellen bör stanna: att utforma AI för lönehantering, antagning och andra områden där misstag får konsekvenser

De senaste åren har jag arbetat med att bygga in AI i produkter där ett felaktigt svar får ett pris: en AI-driven plattform för regelefterlevnad inom lönehantering på den australiska marknaden, där ett misstag hamnar på någons bankkonto, och en produkt för antagning till högskolor, där en dålig matchning kan påverka en students fyra kommande år. Frågan som avgjorde arkitekturen var densamma i båda fallen. Hur långt bör språkmodellen få gå innan något deterministiskt tar över?

En av fem löneutbetalningar i USA innehåller ett fel, med en genomsnittlig kostnad på 291 dollar per fel innan rättsprocesser tillkommer. EU:s AI-förordning placerar AI som används för antagningsbeslut och personaladministration i kategorierna för högrisk.

Låt reglerna styra siffrorna

Deterministiska regler styr allt som innebär ett dollarbelopp eller får rättsliga konsekvenser. Modellen tolkar och förklarar utifrån reglerna, men gör inget mer.

På plattformen för lönehantering var målet att skapa en tydlig gräns mellan lönebestämmelserna och AI:n. Löneexperter definierar först lönebestämmelser i ett strukturerat format. Systemet bearbetar sedan reglerna och genererar alla tänkbara scenarier som kan följa av dem. Den fullständiga uppsättningen scenarier blir modellens enda källa till sanning. Modellen kan inte skapa nya regler, ändra befintliga regler eller avgöra vilka källor som ska användas. Den kan bara hämta den relevanta regeluppsättningen, slå upp tabeller med lönesatser och hänvisa till det scenario den använde. Att skapa regler, generera scenarier och välja källor sker helt utanför AI-lagret.

Antagningsprodukten följer samma princip: krav på studieort, budgetgränser, lärosätets status och behörighetskrav tillämpas som regler innan modellen kan påverka en rangordning. Om en student säger att hen måste gå på högskola i Kalifornien kan en skola i en annan delstat inte väljas framför den bara för att modellen bedömer att den annars passar bra. Modellen hanterar mer flexibla önskemål och förklaringar, medan deterministisk logik fungerar som skyddsräcke där ett svar som bara är ungefär rätt inte är acceptabelt.

Informationshämtning förankrar modellen – till en viss gräns

Generering med informationshämtning förankrar svaren i organisationens egna riktlinjer i stället för i sådant modellen har tagit till sig under träningen. Metoden framställs också som mer tillförlitlig än den är. När Stanford RegLab testade kommersiella verktyg för juridisk research som bygger på RAG hittade de ändå på uppgifter i mellan 17 % och 33 % av fallen. Informationshämtning begränsar vad modellen kan säga, men modellen kan fortfarande ha fel.

Jag lärde mig det den hårda vägen. På plattformen för lönehantering hittade systemet en gång rätt kollektivavtal för ett ärende, men modellen tolkade ändå reglerna för övertidsarbete fel. Rätt källa hade hämtats, men svaret var fel. Efter det blev vi mycket striktare med vad modellen fick avgöra på egen hand. Viktiga lönebestämmelser flyttades till uttrycklig affärslogik, varje svar måste styrkas med källmaterial och vi lade till tester utformade kring det ärende som hade fallerat. Tillgång till rätt information hjälper bara om man också kontrollerar hur modellen använder den.

Gör varje svar spårbart

Innan ett svar genereras registrerar systemet exakt vilken regelbok och version som användes, tillsammans med modellen och andra uppgifter om förfrågan. Det är svårt att verifiera ett påstående om att ett AI-svar byggde på företagets riktlinjer. Betydligt starkare bevis är att säga att svaret genererades med version 7 av ett visst avtal, som har sparats och kan jämföras med andra versioner. Vi spårar också varje anrop till en modell eller ett verktyg: vad användaren frågade, vad som hämtades, vilka verktyg som kördes, vad modellen svarade och eventuella fel som uppstod längs vägen. När ett supportärende kommer in kan vi se exakt varifrån ett felaktigt svar kom. Beslutet om Air Canada 2024, där en nämnd tvingade flygbolaget att stå fast vid en rabatt som deras chattbot hade hittat på, visar vad alternativet kostar.

Låt människor hantera det som får konsekvenser

NIST:s profil för generativ AI behandlar gränsen mellan vad ett system gör på egen hand och vad som kräver en människa som ett styrningsbeslut. Vi skickar ett ärende vidare till en människa när systemet är osäkert, när informationen är motstridig eller när beslutet kan påverka användaren påtagligt. Inom antagningen flaggas en ovanlig studentprofil, eller en rekommendation som inte tydligt uppfyller studentens absoluta krav, för granskning av en studievägledare. Det steget har fångat rekommendationer som såg rimliga ut vid första anblicken men missade en begränsning i studentens profil, och varje sådant fall har återförts till systemet. Ingen av produkterna slutför något på egen hand. En studievägledare måste bidra innan en rekommendation används, och varje lönespecifikation som systemet genererar flaggas för godkännande innan den skickas ut. Mänsklig granskning är inte avsedd för varje förfrågan. Målet är att automatisera rutinärenden med tillförsikt och involvera en människa när systemet har goda skäl att vara osäkert.

Avgöra vad modellen kan hantera på egen hand i dag

Jag använder ett praktiskt test för alla arbetsflöden. Om ett felaktigt resultat kan upptäckas och åtgärdas innan det når någon, kan modellen hantera det steget. Om svaret kan kontrolleras mot en regel är det regeln som styr, och modellen förklarar den. Om ett felaktigt resultat skulle nå en löneutbetalning eller ett antagningsbeslut innan någon hinner se det, är det steget inte redo.

Språkmodeller är de bästa uttolkarna vi någonsin har ställt framför en regelbok. Inom områden där misstag straffar sig bör de stanna vid tolkningen.