Waar het taalmodel moet stoppen: AI ontwerpen voor de loonadministratie, toelating en andere domeinen waarin fouten zwaar wegen

De afgelopen jaren heb ik AI ingebouwd in producten waarbij een fout antwoord financiële gevolgen heeft: een AI-platform voor naleving van regels rond de loonadministratie op de Australische markt, waar een fout op iemands bankrekening terechtkomt, en een product voor toelating tot hogescholen en universiteiten, waar een slechte match bepalend kan zijn voor de volgende vier jaar van een student. In beide gevallen was de vraag die de architectuur bepaalde dezelfde: hoe ver mag het taalmodel gaan voordat iets deterministisch het overneemt?

Bij een op de vijf Amerikaanse loonadministraties zit een fout, die gemiddeld $291 kost, nog voordat er sprake is van een rechtszaak. De AI-verordening van de EU rekent AI voor toelatingsbeslissingen en personeelsbeheer tot de categorieën met een hoog risico.

Laat de regels de cijfers bepalen

Deterministische regels bepalen alles waaraan een geldbedrag of juridische gevolgen verbonden zijn. Het model interpreteert en licht die regels toe, en doet niets meer dan dat.

Bij het platform voor de loonadministratie wilden we een duidelijke grens trekken tussen de regels voor de loonadministratie en de AI. Eerst leggen experts op het gebied van de loonadministratie de loonregels vast in een gestructureerd formaat. Vervolgens verwerkt het systeem die regels en genereert het alle mogelijke scenario’s die eruit kunnen voortvloeien. Die volledige verzameling scenario’s vormt de bron van waarheid voor het model. Het model kan geen nieuwe regels opstellen, bestaande regels wijzigen of bepalen welke bronnen het gebruikt. Het kan alleen de relevante regelset ophalen, tarieftabellen raadplegen en verwijzen naar het gebruikte scenario. Het opstellen van regels, het genereren van scenario’s en het selecteren van bronnen blijven volledig buiten de AI-laag.

Het toelatingsproduct volgt dezelfde logica: locatievereisten, budgetlimieten, de status van de onderwijsinstelling en toelatingsdrempels worden als regels toegepast voordat het model invloed kan uitoefenen op een rangschikking. Als een student aangeeft dat die naar een hogeschool of universiteit in Californië moet, kan een onderwijsinstelling buiten de staat daar niet van afwijken omdat het model die instelling om andere redenen een goede match vond. Het model houdt zich bezig met minder harde voorkeuren en toelichtingen; deterministische logica vormt de waarborg wanneer een antwoord dat ongeveer klopt niet goed genoeg is.

Met retrieval wordt het model beter onderbouwd, maar niet volledig

Retrieval-augmented generation zorgt ervoor dat antwoorden aansluiten bij het eigen beleid van de organisatie, in plaats van bij wat het model tijdens de training heeft opgenomen. Toch wordt de waarde ervan ook overschat. Toen het RegLab van Stanford commerciële juridische onderzoekstools op basis van RAG testte, hallucineren die nog steeds in 17% tot 33% van de gevallen. Retrieval beperkt wat het model kan zeggen, maar het model kan het nog steeds bij het verkeerde eind hebben.

Dat heb ik zelf meegemaakt. Op het platform voor de loonadministratie vond het systeem ooit de juiste arbeidsvoorwaardenregeling voor een zaak, maar interpreteerde het model de regels voor overwerk toch verkeerd. De juiste bron was opgehaald, maar het antwoord klopte niet. Daarom hebben we daarna veel strikter bepaald wat het model zelfstandig mocht beslissen. Belangrijke regels voor de loonadministratie werden ondergebracht in expliciete bedrijfslogica, elk antwoord moest worden onderbouwd met bronmateriaal en we voegden tests toe die waren gebaseerd op de zaak waarin het misging. Toegang tot de juiste informatie helpt alleen als je ook controleert hoe het model die gebruikt.

Maak elk antwoord traceerbaar

Voordat er een antwoord wordt gegenereerd, registreert het systeem precies welk regelboek en welke versie zijn gebruikt, evenals het model en andere gegevens over het verzoek. Het is moeilijk te controleren wanneer iemand zegt dat een AI-antwoord op het bedrijfsbeleid was gebaseerd. Veel overtuigender bewijs is de mededeling dat het antwoord is gegenereerd met versie 7 van een specifieke overeenkomst, die is bewaard en met andere versies kan worden vergeleken. We registreren ook elke aanroep van een model of tool: wat de gebruiker vroeg, wat er werd opgehaald, welke tools werden uitgevoerd, wat het model als antwoord gaf en welke fouten zich onderweg voordeden. Wanneer er een ondersteuningsverzoek binnenkomt, kunnen we precies zien waar een onjuist antwoord vandaan kwam. De uitspraak uit 2024 in de zaak van Air Canada, waarin een tribunaal de luchtvaartmaatschappij verplichtte een korting te honoreren die haar chatbot had verzonnen, laat zien wat het alternatief kost.

Zet mensen in waar de gevolgen groot zijn

In het profiel voor generatieve AI van NIST wordt de grens tussen wat een systeem zelfstandig doet en waarvoor een persoon nodig is, gezien als een bestuurlijke keuze. We leggen een zaak voor aan een medewerker wanneer het systeem onzeker is, wanneer informatie tegenstrijdig is of wanneer de beslissing de gebruiker merkbaar kan beïnvloeden. Bij toelating wordt een ongebruikelijk studentenprofiel, of een aanbeveling die niet duidelijk voldoet aan de harde eisen van een student, gemarkeerd voor beoordeling door een studieadviseur. Dankzij die stap zijn aanbevelingen aan het licht gekomen die op het eerste gezicht redelijk leken, maar niet voldeden aan een beperking in het profiel van de student; elk van die gevallen is vervolgens gebruikt om het systeem te verbeteren. Geen van beide producten neemt zelfstandig een definitieve beslissing. Voordat op een aanbeveling wordt vertrouwd, is input van een studieadviseur vereist, en elke loonstrook die het systeem genereert, wordt vóór verzending gemarkeerd voor goedkeuring. Menselijke beoordeling is niet voor elk verzoek bedoeld. Het doel is om routinematige gevallen met vertrouwen te automatiseren en er een persoon bij te betrekken wanneer het systeem een goede reden heeft om onzeker te zijn.

Bepalen waarvoor het model nu al zelfstandig kan zorgen

Voor elke workflow hanteer ik een praktische toets. Als een foutieve uitvoer kan worden opgemerkt en teruggedraaid voordat die iemand bereikt, kan het model die stap voor zijn rekening nemen. Als een antwoord aan een regel kan worden getoetst, bepaalt de regel het antwoord en licht het model dat toe. Als een foutieve uitvoer iemands loonstrook of een toelatingsbeslissing zou bereiken voordat iemand die ziet, is die stap er nog niet klaar voor.

Taalmodellen zijn de beste uitleggers van regelboeken die we ooit hebben gehad. In domeinen waar fouten zwaar worden afgestraft, moeten ze het bij interpreteren laten.