AI Worstelt om het Medewerkershandboek te Respecteren

Een nieuwe benchmark laat zien dat AI-agents op de werkplek bedrijfsregels negeren, verboden acties uitvoeren, zoals ongeautoriseerde ontslagen, en vervolgens vals rapporteren dat ze zijn nagekomen.

Een interessante nieuwe onderzoeksstudie heeft de toonaangevende LLM-modellen in de positie geplaatst om instructies te volgen in een gesimuleerd bedrijf, waarbij alle beginselen van een door mensen gemaakt medewerkershandboek worden gerespecteerd, evenals het onderhandelen van tegenstrijdige of verwarrende richtlijnen en updates van ondergeschikten en superieuren, en het uitvoeren van taken op basis van PDF’s, Jira-berichten en andere vertrouwde platforms en tools uit een typische menselijke kantooromgeving.

Als je ooit in een kantoor hebt gewerkt (of tenminste Office Space hebt gezien), zul je de tegenstrijdige signalen en het verwarrende signaal-ruisverhouding herkennen die de auteurs van het nieuwe werk aan de taalmodellen hebben gegeven:

De storm van variabelen die veel kantoorwerkers dagelijks moeten trotseren, gedistilleerd in een virtuele omgeving om agente frontiermodellen te testen. Bron

Het belangrijkste uitdaging dat zelfs de meest geavanceerde AI-systemen hier tegenkomen, is de noodzaak om het verstrekte Employee Relations-handboek als filter voor alle volgende opdrachten te behouden. Als je ooit hebt gestreden om ChatGPT of Claude te laten onthouden wat je aan het begin van een sessie hebt ingesteld, weet je dat de contextwindow van de AI vaak ervaart dat hij de eerdere prompts vergeet en terugkeert naar zijn standaardgedrag.

Dit is waarom, in tests, Claude Fable 5, GPT-5.5 en andere toonaangevende modellen werknemers hebben ontslagen nadat ze orders hadden gekregen van een directeur die geen autoriteit had; facturen hebben goedgekeurd zonder de vereiste managergoedkeuring; verlopen laboratoriumresultaten hebben geaccepteerd die het bedrijfsbeleid uitdrukkelijk had afgewezen; en vervolgens hebben gerapporteerd dat ze het handboek trouw hadden gevolgd – onder vele andere overtredingen van het bedrijfsbeleid.

De auteurs van het nieuwe werk verklaren:

‘Mislukkingen volgen consistente patronen: agenten laten een plausibele in-omgevingsaanvraag de staande beleid overschrijven, voeren een vereiste controle uit en handelen dan tegen het resultaat, verliezen regeldetails over lange horizon, en rapporteren overeenstemming die ze niet hebben bereikt.’

De mislukkingsanalyse bevat enkele amusante voorbeelden: in een financiële taak ontdekte Claude Opus 4.8 correct dat een uitgave van $7.500 was goedgekeurd door dezelfde junioranalist die het had ingediend, in strijd met het bedrijfsbeleid.

Het redeneerde zichzelf vervolgens tot de overtuiging dat de analist daadwerkelijk de Financieel Directeur was en keurde de betaling goed:

‘Nadat hij hem tot Directeur had gepromoveerd in zijn eigen denkproces, keurde het model het item goed, en stuurde vervolgens een bericht naar de echte Directeur om te bevestigen dat elk item boven de $5.000 een gedocumenteerde goedkeuring had.

‘De mislukking is geen ontbrekende capaciteit; elk feit dat nodig was voor de juiste beslissing was door het model zelf opgehaald.’

Hoe Claude Opus 4.8 faalde om $7.500 te verzoenen.

Elders diende Gemini 3.5 Flash verzekeringsdocumenten in met verlopen laboratoriumresultaten zonder zelfs maar de laboratoriumrapporten te openen, ondanks het feit dat de verzameldatum in de bestandsnaam zelf verscheen:

‘Gemini 3.5 Flash diende de voorafgaande autorisatie in bij de verzekeraar zonder een enkele leesactie tegen de lab-PDF, en rapporteerde vervolgens dat het de zaak “strikt volgens de Standaard Werkprocedure” had verwerkt.’

Over de gehele benchmark heen vonden de auteurs ook dat veel modellen met vertrouwen claimden dat ze elke bedrijfsregel hadden gevolgd, terwijl ze de specifieke handboeksecties citeerden die ze zojuist hadden overtreden.

Extra redenering faalde vaak om te helpen; bijvoorbeeld liet GPT-5.5 geen verbetering zien met verhoogde redeneringsinspanning, terwijl sommige modellen zelfs slechter presteerden, ogenschijnlijk redenerend zichzelf weg van de juiste beslissing.

In de definitieve resultaten behaalde Claude Fable 5 het hoogste strikte slagingspercentage van 36,2%; GPT-5.6 Sol eindigde als tweede met 23,5%; en GPT-5.5 en Claude Opus 4.8 scoorden elk 21,5-21,9%.

De meeste overige geëvalueerde modellen scoorden onder de 16%, en de meeste frontierconfiguraties scoorden onder de 25% onder de strikte beoordelingscriteria van de benchmark:

De best presterende AI-agent voltooide slechts één derde van de benchmarktaken die door het bedrijfsbeleid werden bepaald, terwijl de meeste toonaangevende modellen meer dan driekwart faalden onder strikte evaluatie. Bron

Als middel tot herstel betogen de auteurs dat kritieke bedrijfsbeleid buiten de AI moet worden afgedwongen met behulp van deterministische tool-call-guards (d.w.z. harde, ingebouwde controles die verboden acties blokkeren), in plaats van alleen te vertrouwen op lang-context-geheugen alleen.

Zij stellen ook voor om HANDBOOK.md zelf te gebruiken als een gestandaardiseerde benchmark om verbeteringen in lang-contextbeleidsconformiteit te meten en te volgen, aangezien toekomstige agente-modellen worden ontwikkeld.

Het nieuwe artikel heeft als titel HANDBOOK.md: Een Benchmark voor Lang-Context Agente Instructievolging en komt van zeven auteurs bij surge.ai. Het artikel wordt vergezeld van een GitHub-repository met docker-bestanden en andere vereisten om de tests te reproduceren.

Methode

Voor de HANDBOOK.md-benchmark werden vijfenzestig gesimuleerde kantoorscenario’s gemaakt, die financiën, HR, verzekeringen, logistiek en medische facturering omvatten, en elk model in een gecontaineriseerde bedrijfsomgeving plaatst met bestanden, e-mails, Slack-conversaties, kalenders, Jira-borden en andere vertrouwde kantoorhulpmiddelen.

Elke taak werd beheerst door een handboek van twintig tot honderdvierentwintig pagina’s, verstrekt als PDF-, Word- of HTML-documenten, in plaats van in de prompt ingebed, waardoor modellen werden gedwongen om de relevante regels te lokaliseren, te lezen en toe te passen gedurende de taak.

Tien door experts geschreven basis-handboeken werden aangepast van echte industriebeleid, waarna elke taak zijn eigen aangepaste versie kreeg met verschillende goedkeuringsautoriteiten, drempels en procedures, om memoriseren te voorkomen:

‘Domeinexperts schreven de tien basis-handboeken door echte beleid van hun industrie aan te passen. Elk is een lang, meerdelig operationeel document in plaats van een regellijst.

‘Een representatief HR-handboek bevat negentien genummerde secties: een overzicht, definities, het HR-team en contacten, de Slack-kaart, referentiebestanden en systemen, aanvraagtaxonomieën, triage- en routeringsregels, een prioriteitsmatrix met SLA’s, procedures voor inwerkingtreding, uitwerking, verlof, prestaties en werving, escalatiepaden, e-mailhuishoudregels en een bibliotheek van vereiste sjablonen en standaardformaten’

Succes werd gemeten met 824 deterministische Python-gebaseerde verificatiecontroles, die zowel vereiste acties als verboden acties dekten – waardoor de benchmark niet alleen kon detecteren of een taak was voltooid, maar ook of het bedrijfsbeleid tijdens het proces was geschonden.

Dertig modelconfiguraties van elf aanbieders werden geëvalueerd; en tijdens tests, herhaalde elke taak vier keer onder identieke omstandigheden.

In tegenstelling tot conventionele benchmarks, evalueerde HANDBOOK.md zowel of vereiste acties waren voltooid als of verboden acties werden vermeden, waardoor agenten konden falen, ondanks het voltooien van de gevraagde taak

Omgevingen en Tooling

Elk gesimuleerd kantoor is ontworpen om te draaien in een gestandaardiseerde Docker-omgeving, waardoor elk model toegang heeft tot dezelfde set tools, terwijl verschillen in softwarebeschikbaarheid de resultaten niet beïnvloeden. De benchmark presenteert agenten met een realistische kantoorwerkruimte, bestaande uit bestands-toegang, naast de eerder genoemde enterprise-diensten (d.w.z. Gmail, Slack, enz.):

Een ruwe weergave van de kantooromgeving waarin de modellen moeten opereren.

De omgevingen bewaren ook elke actie die door de agent wordt uitgevoerd, waardoor het deterministische evaluatiesysteem van de benchmark de complete reeks acties kan beoordelen die leiden tot het eindresultaat.

Metrieken

De prestaties werden voornamelijk gemeten met behulp van stricte slagingspercentage@1, waarbij een taak alleen als geslaagd werd beschouwd als elke evaluatiecriterium werd vervuld. Elk gemist vereiste of beleidsschending zou resulteren in falen, waardoor de benchmark een weergave gaf van bedrijfsomgevingen, waarin één onjuiste actie een anderszins competent werkproces kan ongeldig maken.

Een meer vergevingsgezinde metriek, slagingspercentage@1 (N−1), werd ook gebruikt, waarbij één gefaald criterium per taak werd toegestaan, zodat near-misses konden worden onderscheiden van complete falen.

Voor aanvullende analyse werd het gemiddelde per-criteriumscore van elk model opgenomen, hoewel dit niet werd gebruikt in de benchmarkhoofdranglijst.

Algemene Aanpak

Tien door experts geschreven handboeken werden aangepast van echte bedrijfsbeleid, waarna elk werd aangepast tot meerdere taakspecifieke versies met verschillende goedkeuringsketens, drempels en procedures. Realistische kantooromgevingen werden vervolgens rond elk handboek gebouwd, bestaande uit e-mails, kalenders, Slack-conversaties, spreadsheets en andere kantoorartefacten.

Elke taak werd verfijnd door herhaalde tests totdat de evaluatiecriteria echt modelmislukkingen van fouten in de benchmark zelf onderscheidden. Criteria die correct gedrag afwezen of onjuiste oplossingen toelieten, werden herzien voordat ze werden vrijgegeven.

Tests en Resultaten

Zelfs de sterkste modellen faalden de meeste taken onder het strikte beoordelingssysteem van de benchmark, met prestaties die zich over een breed bereik verspreidden, in plaats van te clusteren bovenaan:

De initiële resultatenlijst die alle dertig geëvalueerde modelconfiguraties rangschikt op basis van hun strikte slagingspercentage@1 op de HANDBOOK.md-benchmark. Scores vertegenwoordigen het percentage van de benchmarktaken die zonder één gefaald evaluatiecriterium zijn voltooid over vier trials per taak. Gelijke scores delen dezelfde rang.

Verschillen tussen redeneerinstellingen werden ook gevonden, die aanzienlijk varieerden per model, met aanvullende redenering die soms de prestaties verbeterde; soms weinig verschil maakte; en soms verminderde:

‘[Redenering] inspanning helpt ongelijk. Verhoogde inspanning verbetert Opus 4.8 (+3,0), Sonnet 4.6 (+2,7) en Fable 5 (+2,0), laat GPT-5.5 onveranderd (21,5% bij beide instellingen) en schaadt GLM 5.2 (−2,7).

‘Aanvullende overweging lijkt te worden omgezet in regelconformiteit alleen wanneer de onderliggende mislukking een gemiste inferentie is in plaats van een gemiste [lees].’

Claude Fable 5 behaalde het hoogste score van 36,2%, gevolgd door Claude Fable 5 met 34,2%, en GPT-5.6 Sol (max) met 23,5%. GPT-5.5 en Claude Opus 4.8 vormden de volgende laag, met ongeveer 20%, terwijl de meeste overige frontiermodellen onder de 16% scoorden. De laagst gerangschikte modellen voltooiden minder dan 2% van de taken.

Het gedetailleerde falenanalyse van het artikel suggereert dat het probleem vaak niet een gebrek aan informatie was, aangezien relevante handboekregels en ondersteunend bewijs vaak al waren opgehaald – maar aanvullende redenering zou soms modellen ertoe brengen de juiste conclusie te verlaten ten gunste van een plausibele maar beleidsschendende.

Het artikel merkt ook op hoezeer zelfbedrog kenmerkend is voor zoveel van de LLM’s:

‘Bijna elke gefaalde traject eindigt met een vertrouwenwekkende verklaring dat het handboek is gevolgd, vaak met verwijzing naar de specifieke secties die zijn geschonden. De rapporten zijn gedetailleerd, goed gestructureerd en onjuist […]

‘[…] Over de gehele benchmark heen is het zelfrapport van de agent het minst betrouwbare artifact in de traject, wat ertoe doet dat agentensamenvattingen aan mensen worden gepresenteerd als bewijs van wat is gedaan.’

Ten slotte concluderen de auteurs dat lang-contextredenering alleen waarschijnlijk geen bedrijfs-AI zal maken die betrouwbaar het bedrijfsbeleid volgt. In plaats daarvan moet beleidsconformiteit steeds vaker worden afgedwongen door middel van deterministische externe controles, naast workflow guardrails.

Conclusie

Meningsuiting Een interessante overweging is de uiteindelijke mate waarin omgevingen zoals die voor de experimenten zijn gemaakt, zullen worden herschapen om AI te faciliteren, in plaats van LLM’s te dwingen dezelfde formulieren en formaten te interpreteren die de menselijke kantooromgeving definiëren. Bijvoorbeeld, gisteren, voor het eerst, stuurde een zakencontact me een .md-overzicht dat bedoeld was om door een LLM te worden onderzocht, in plaats van lineair te worden gelezen.

En ik pas me ook steeds meer aan en pas me aan de visuele en tekstuele beperkingen aan tijdens LLM-conversaties, evenals het selecteren en accepteren van bestandsformaten die ik normaal niet zou kiezen, omdat ze het LLM-werkproces beter accommoderen.

Daarom is het, terwijl het vermakelijk is om frontiermodellen te zien worstelen in de wereld van David Brent, de vraag of dit het meest waarschijnlijke scenario is voor de ‘agente kantoorwerker’.

Eerst gepubliceerd op woensdag 29 juli 2026. Bijgewerkt 18:41 EET, gefixt kapotte link.