AI-kampen for å respektere ansattehåndboken

En ny benchmark viser at arbeidsplassens AI-agenter ignorerer selskapsregler, utfører forbudte handlinger som uautoriserte oppsigelser – og så rapporterer feilaktig at de har fulgt reglene.

En interessant ny forskningsstudie har plassert ledende LLM-modeller i en simulert bedrift, hvor de må følge instruksjoner og respektere alle deler av en gitt ansattehåndbok (utviklet av menneskelige domene-eksperter), samt forhandle med strømmen av motstridende eller forvirrende direktiver og oppdateringer fra underordnede og overordnede, og utføre oppgaver basert på PDF-er, Jira-innlegg og andre kjente plattformer og verktøy fra en typisk menneskelig kontorsituasjon.

Hvis du noensinne har arbeidet i en kontor (eller i det minste sett Kontorrommet), vil du gjenkjenne de motsigelser og forvirrende signaler som forfatterne av den nye studien kastet mot språkmodellene:

Stormen av variabler mange kontorarbeidere må håndtere daglig, destillert til en virtuell miljø for å teste agente frontier-modeller. Kilde

Hovedutfordringen som selv de ledende AI-systemene møter her, er behovet for å beholde den gitt ansattehåndboken som en filter for alle påfølgende kommandoer. Hvis du noensinne har kjempet for å få ChatGPT eller Claude til å huske instruksjonene du ga på begynnelsen av en sesjon, vil du vite at AIens kontekstvindu ofte gjør at den glemmer tidligere promter og returnerer, konstant, til sin standardatferd.

Dette er hvorfor, i tester, Claude Fable 5, GPT-5.5 og andre ledende modeller sparket ansatte etter å ha tatt ordrer fra en eksekutiv som manglet autoritet; godkjente fakturaer uten den nødvendige ledergodkjenning; aksepterte utløpte laboratorieresultater som selskapspolitikken uttrykkelig avviste; og så rapporterte at de hadde fulgt håndboken – blant mange andre overtredelser av selskapsregler.

Forfatterne av den nye studien sier:

‘Feilene følger konsistente mønster: agenter lar en plausibel forespørsel i miljøet overstyre den fastsatte politikken, utfører en nødvendig sjekk og så handler mot dens resultat, mister regel detaljer over lange horisonter, og rapporterer overholdelse de ikke oppnådde.’

Feilanalysen inneholder noen morsomme eksempler: i en finansiell oppgave oppdaget Claude Opus 4.8 korrekt at en utgift på 7 500 dollar var godkjent av samme junioranalytiker som sendte den inn, i strid med selskapspolitikken.

Den resonerte seg selv til å tro at analytiker var faktisk finanskontroller og godkjente betalingen likevel:

‘Etter å ha forfremmet ham til kontroller i sin egen tenketrekke, godkjente modellen posten, og sendte så en melding til den virkelige kontrolleren for å bekrefte at hver post over 5 000 dollar hadde dokumentert godkjenning.

‘Feilen er ikke en manglende evne; hver faktum som var nødvendig for den riktige beslutningen, var allerede hentet av modellen selv.’

Hvordan Claude Opus 4.8 feilet å forlikke 7 500 dollar.

Et annet sted sendte Gemini 3.5 Flash inn forsikringspapirer som brukte laboratorieresultater som allerede var utløpt, uten å åpne laboratorierapporten, til tross for at samlingdatoen var synlig i filnavnet:

‘Gemini 3.5 Flash sendte inn forhåndsgodkjenningen til forsikringsgiveren uten en enkelt lesesamtale mot laboratorie-PDF-en, og rapporterte så at den hadde prosessert saken “strengt i henhold til standardoperasjonsprosedyren”.’

Over hele benchmarken fant forfatterne også at mange modeller hevdet med sikkerhet at de hadde fulgt hver eneste selskapsregel, mens de siterte de samme håndboksdeler de nettopp hadde brutt.

Ekstra resonnering hjalp ofte ikke; for eksempel viste GPT-5.5 ingen forbedring med økt resonnering, mens noen modeller faktisk fungerte dårligere, åpenbart resonerte seg bort fra den riktige beslutningen.

I de endelige resultater oppnådde Claude Fable 5 den høyeste strikte bestått-prosenten på 36,2%; GPT-5.6 Sol rangerte som nummer to med 23,5%; og GPT-5.5 og Claude Opus 4.8 hver scoret 21,5–21,9%.

De fleste av de gjenværende evaluerte modellene scoret under 16%, og de fleste frontier-konfigurasjonene scoret under 25% under benchmarkens strenge vurderingskriterier:

Den best utførende AI-agenten fullførte bare over en tredjedel av benchmarkens policy-styrte arbeidsplassoppgaver, mens de fleste ledende modellene feilet mer enn tre fjerdedeler under streng evaluering. Kilde

Som en måte å rette opp i dette, argumenterer forfatterne for at kritiske selskapsregler bør påtvinges utenfor AI ved hjelp av deterministiske verktøygarder (dvs. hardkodede sjekker som blokkerer forbudte handlinger), i stedet for å bare stole på langkontekstminne alene.

De foreslår også å bruke HANDBOOK.md selv som en standardisert benchmark for å måle og spore forbedringer i langkontekstpolitikken, når fremtidige agente-modeller utvikles.

Den nye artikkelen heter HANDBOOK.md: En benchmark for langkontekst agente instruksjoner, og kommer fra syv forfattere på surge.ai. Artikkelen følges av en GitHub-repository som inneholder docker-filene og andre nødvendige filer for å gjenskape testene.

Metode

Sekstifem simuleringskontor-scenarier ble laget for HANDBOOK.md-benchmarken, som omfatter finans; HR; forsikring; logistikk; og medisinsk fakturering; og hver plasserer en modell inn i en containerisert bedriftsmiljø som inneholder filer, e-poster, Slack-samtaler, kalendere, Jira-boards og andre kjente kontorverktøy.

Hver oppgave ble styrt av en håndbok på mellom 20 og 124 sider, levert som PDF-, Word- eller HTML-dokumenter, i stedet for å være innbygget i prompten, og tvang modellene til å finne, lese og anvende de relevante reglene gjennom hele oppgaven.

Ti ekspert-skrevne grunnhåndbøker ble tilpasset fra virkelige bransjepolitikker, etterfulgt av at hver oppgave mottok sin egen modifiserte versjon med forskjellige godkjenningsmyndigheter, terskler og prosedyrer, for å forhindre memorering:

‘Domene-eksperter skrev de ti grunnhåndbøkene ved å tilpasse virkelige politikker fra deres bransjer. Hver er et langt, multi-seksjons operasjonsdokument i stedet for en regelliste.

‘En representativ HR-håndbok inneholder 19 nummererte seksjoner: en oversikt, definisjoner, HR-teamet og kontakter, Slack-kanalkart, referansefiler og systemer, anmodningstaksonomier, triage- og ruteringsregler, en prioriteringsmatrise med SLA-er, prosedyrer for påmelding, avmelding, permisjon, ytelse og rekruttering, eskalasjonsveier, e-posthuskeregler og en samling av nødvendige maler og standardformater’

Suksess ble målt med 824 deterministiske Python-baserte verifiseringskontroller, som dekket både nødvendige handlinger og forbudte handlinger – og tillot benchmarken å oppdage ikke bare om en oppgave var fullført, men også om selskapsregler var blitt brutt underveis.

Tredve modellkonfigurasjoner fra elleve leverandører ble evaluert; og under testene, gjentok hver oppgave fire ganger under identiske forhold.

I motsetning til konvensjonelle benchmark, evaluerte HANDBOOK.md både om nødvendige handlinger var fullført, og om forbudte handlinger var unngått, og tillot agenter å feile, til tross for at de fullførte den ønskede oppgaven

Miljøer og verktøy

Hver simuleringskontor er designet for å kjøre innenfor en standardisert Docker-miljø, som gir hver modell tilgang til samme sett med verktøy, mens den forhindrer forskjeller i programvaretilgjengelighet fra å påvirke resultater. Benchmarken presenterer agenter med en realistisk kontormiljø, bestående av filtilgang, samt ovennevnte bedriftstjenester (dvs. Gmail, Slack osv.):

En grov representasjon av kontormiljøet modellene må operere i.

Miljøene beholder også hver handling utført av agenten, og tillater benchmarkens deterministiske vurderingssystem å vurdere hele sekvensen av handlinger som ledet til den endelige utfallet.

Mål

Ytelse ble målt primært ved hjelp av strengt bestått@1, under hvilken en oppgave bare ble regnet som suksessfull hvis hver vurderingskriterium var oppfylt. Enhver manglende krav eller regelbrudd ville føre til feil, og reflekterte bedriftsmiljøer, hvor en enkelt feil handling kan gjøre en ellers kompetent arbeidsflyt ugyldig.

En mer tilgivende målestokk, bestått@1 (N−1), ble også brukt, hvor en feilet kriterium var tillatt per oppgave, så nær-misser kunne skilles fra fullstendige feil.

For ytterligere analyse ble hver modells gjennomsnittlige poengscore per kriterium registrert, selv om dette ikke ble brukt i benchmarkens overskriftsrangering.

Generell tilnærming

Ti ekspert-skrevne håndbøker ble tilpasset fra virkelige selskapsregler, etterfulgt av at hver ble modifisert til flere oppgave-spesifikke versjoner med forskjellige godkjenningskjeder, terskler og prosedyrer. Realistiske kontormiljøer ble bygget rundt hver håndbok, bestående av e-poster, kalendere, Slack-samtaler, regneark og andre kontorartefakter.

Hver oppgave ble finjustert gjennom gjentakende testing til vurderingskriteriene pålitelig skilte mellom ekte modellfeil og feil i benchmarken selv. Kriterier som avviste riktig atferd, eller tillot feil løsninger, ble revidert før utgivelse.

Tester og resultater

Selv de sterkeste modellene feilet de fleste oppgavene under benchmarkens strenge vurderingssystem, med ytelse spredt over et bredt spekter, i stedet for å klumpet sammen:

Den innledende resultattabellen som rangerer alle 30 evaluerte modellkonfigurasjoner etter deres strenge bestått@1-poeng på HANDBOOK.md-benchmarken. Poengene representerer prosentandelen av benchmarkens 65 arbeidsplassoppgaver som ble fullført uten et enkelt feilet vurderingskriterium over fire forsøk per oppgave. Tiede poeng deler samme rang.

Forskjellene mellom resoneringinnstillinger varierte også betydelig mellom modellene, med ekstra resonering som noen ganger forbedret ytelsen; noen ganger gjorde liten forskjell; og noen ganger reduserte den:

‘[Resonering] innsats hjelper ujevn. Økt innsats forbedrer Opus 4.8 (+3,0), Sonnet 4,6 (+2,7) og Fable 5 (+2,0), lar GPT-5,5 uendret (21,5% på begge innstillinger), og skader GLM 5,2 (-2,7). ‘

‘Ekstra overveielse ser ut til å konvertere til regeloverholdelse bare når den underliggende feilen er en missed inferens i stedet for en missed [les].’

Claude Fable 5 oppnådde den høyeste poengsummen på 36,2%; etterfulgt av Claude Fable 5 på 34,2%; og GPT-5,6 Sol (maks) på 23,5%. GPT-5,5 og Claude Opus 4,8 dannet den neste tier, på rundt 20%; mens de fleste gjenværende frontier-modellene scoret under 16%. De lavest rangerte modellene fullførte færre enn 2% av oppgavene.

Artikkelen detaljerte feilanalyse antyder at problemet ofte ikke var en mangel på informasjon, ettersom relevante håndboksregler og støttende bevis allerede var hentet – men ekstra resonering ville noen ganger føre til at modellene forlot den riktige konklusjonen til fordel for en plausibel, men regelbruddende en.

Arbeidet noterer også omfanget av selvbedrag som kjennetegner så mange av LLM-ene:

‘Nærmest hver feilet trajektori ender med en sikker uttalelse om at håndboken ble fulgt, ofte sitert de samme seksjonene som ble brutt. Rapportene er detaljerte, godt strukturerte og feil […]

‘ […] Over hele benchmarken er agentens selvrapport den minst pålitelige artefakten i trajektorien, som betyr for enhver utrulling som overfører agentsummer til mennesker som bevis for hva som ble gjort.’

Til slutt konkluderer forfatterne med at langkontekstresonering alene er usannsynlig å gjøre bedrifts-AI pålitelig følge selskapsregler. I stedet bør regeloverholdelse økende påtvinges gjennom deterministiske eksterne kontroller, i tillegg til arbeidsflyts ræling.

Konklusjon

Mening En interessant overveielse er den eventuelle utstrekningen til hvilken grad miljøer som de som ble laget for eksperimentene, vil bli omskapt for å lette AI, i stedet for å tvinge LLM-er til å tolke de samme formene og formatene som definerer menneskelige kontormiljøer. For eksempel, i går, for første gang, sendte en forretningskontakt meg en .md-oversikt som var designet for å bli utforsket av en LLM, i stedet for å bli lest i en lineær måte.

Og jeg også er i økende grad i ferd med å tilpasse og adaptiere meg til de visuelle og tekstlige begrensningene under LLM-samtaler, samt velge og akseptere filformater som jeg normalt ikke ville velge, fordi de tilpasser LLM-arbeidsflyten bedre.

Derfor, mens det er morsomt å se frontier-modeller snuble rundt i David Brents verden, spør en seg om dette er den mest sannsynlige scenariet for ‘agente kontorarbeideren’.

Først publisert onsdag, 29. juli 2026. Oppdatert 18:41 EET, fikset brutt lenke.