Lupta AI-ului de a respecta manualul angajaților

O nouă cercetare a constatat că agenții AI de la locul de muncă ignoră regulile companiei, efectuează acțiuni interzise, cum ar fi concedierile neautorizate, și apoi raportează fals că au respectat regulile.

O cercetare interesantă a plasat modelele LLM de top în poziția de a urma instrucțiuni într-o companie simulată, respectând toate principiile unui manual al angajaților furnizat (creat de experți umani în domeniu), precum și negociind directive și actualizări contradictorii sau confuze de la subordonați și superiori, și efectuând sarcini pe baza unor documente PDF, postări Jira și alte platforme și instrumente familiare dintr-un mediu de birou uman.

Dacă ați lucrat vreodată într-un birou (sau cel puțin ați văzut Office Space), veți recunoaște semnalele contradictorii și raportul semnal-zgomot care îl caracterizează pe autorii noii lucrări:

Furtuna de variabile cu care se confruntă mulți angajați în fiecare zi, distilată într-un mediu virtual pentru a testa modelele agenților de frontieră. Sursă

Provocarea cheie cu care se confruntă chiar și sistemele AI de ultimă generație aici este nevoia de a păstra manualul de relații cu angajații ca filtru pentru toate comenzile ulterioare. Dacă ați încercat vreodată să faceți ChatGPT sau Claude să-și amintească instrucțiunile pe care le-ați dat la începutul unei sesiuni, veți ști că ferestra de context a AI-ului adesea îl face să uite prompturile anterioare și să se întoarcă, constant, la comportamentul său implicit.

Acesta este motivul pentru care, în testele efectuate, Claude Fable 5, GPT-5.5 și alte modele de top au concediat angajați după ce au primit ordine de la un executiv care nu avea autoritate; au aprobat facturi fără aprobarea managerului necesar; au acceptat rezultate de laborator expirate pe care politica companiei le-a refuzat în mod explicit; și apoi au raportat că au respectat manualul – printre multe alte încălcări ale politicii companiei.

Autorii noii lucrări afirmă:

‘Eșecurile urmează modele consistente: agenții lasă o cerere plauzibilă în mediu să anuleze politica în vigoare, efectuează o verificare necesară și apoi acționează împotriva rezultatului, pierd detalii ale regulilor pe termen lung și raportează conformitate pe care nu au realizat-o.’

Analiza eșecului conține exemple amuzante: într-o sarcină de finanțare, Claude Opus 4.8 a descoperit corect că o cheltuială de 7.500 de dolari a fost aprobată de același analist junior care a depus-o, încălcând politica companiei.

Apoi, a raționat că analistul era de fapt controlorul financiar și a aprobat plata oricum:

‘După ce l-a promovat la controlor în lanțul său de gândire, modelul a aprobat articolul, apoi a trimis un mesaj controlorului real pentru a confirma că fiecare articol de peste 5.000 de dolari avea aprobare documentată.

‘Eșecul nu este o capacitate lipsă; toate faptele necesare pentru decizia corectă fuseseră retrieve de modelul însuși.’

Cum Claude Opus 4.8 a eșuat în a reconcilia 7.500 de dolari.

În altă parte, Gemini 3.5 Flash a depus documente de asigurare utilizând rezultate de laborator care expiraseră deja, fără a deschide raportul de laborator, deși data de colectare apărea în numele fișierului însuși:

‘Gemini 3.5 Flash a depus autorizarea prealabilă pentru asigurător fără o singură citire a fișierului PDF, apoi a raportat că a procesat cazul “strict conform procedurii standard”.’

Pe tot parcursul benchmark-ului, autorii au constatat, de asemenea, că multe modele au afirmat cu încredere că au respectat toate regulile companiei, citând chiar secțiunile manualului pe care le-au încălcat.

Un raționament suplimentar a eșuat adesea; de exemplu, GPT-5.5 nu a arătat nicio îmbunătățire cu efortul de raționament crescut, în timp ce unele modele au performant mai prost, aparent raționându-se departe de decizia corectă.

În rezultatele finale, Claude Fable 5 a obținut cel mai mare procentaj de trecere strictă la 36,2%; GPT-5.6 Sol s-a clasat pe locul al doilea la 23,5%; și GPT-5.5 și Claude Opus 4.8 au obținut fiecare un punctaj cuprins între 21,5-21,9%.

Majoritatea modelelor evaluate au obținut un punctaj sub 16%, iar majoritatea configurațiilor de frontieră au obținut un punctaj sub 25% în condițiile de evaluare stricte ale benchmark-ului:

Cel mai bun agent de inteligență artificială a completat aproximativ o treime din sarcinile de lucru ale benchmark-ului, în timp ce majoritatea modelelor de top au eșuat mai mult de trei sferturi în evaluarea strictă. Sursă

Ca remediere, autorii argumentează că politicile critice ale companiei ar trebui să fie impuse în afara AI-ului, utilizând garduri de apel de instrumente deterministice (adică, verificări codificate care blochează acțiunile interzise), mai degrabă decât să se bazeze doar pe memoria cu context lung singură.

De asemenea, ei propun utilizarea HANDBOOK.md ca benchmark standardizat pentru a măsura și urmări îmbunătățirile în conformitatea cu politica pe termen lung, pe măsură ce se dezvoltă modele agențiale viitoare.

Articolul nou se intitulează HANDBOOK.md: Un benchmark pentru urmărirea instrucțiunilor agenților pe termen lung și provine de la șapte autori de la surge.ai. Articolul este însoțit de un depozit GitHub care conține fișierele Docker și alte cerințe pentru a reproduce testele.

Metodă

Au fost create 65 de scenarii de birou simulate pentru benchmark-ul HANDBOOK.md, care acoperă finanțe; resurse umane; asigurări; logistică; și facturare medicală; și fiecare plasează un model într-un mediu de companie containerizat care conține fișiere, e-mailuri, conversații Slack, calendare, tablouri Jira și alte instrumente de birou familiare.

Fiecare sarcină a fost guvernată de un manual de între 20 și 124 de pagini, furnizat sub formă de documente PDF, Word sau HTML, mai degrabă decât încorporat în prompt, ceea ce a forțat modelele să localizeze, să citească și să aplice regulile relevante pe tot parcursul sarcinii.

Zece manuale de bază scrise de experți au fost adaptate din politici reale ale companiilor, după care fiecare sarcină a primit propria versiune modificată cu autorități de aprobare, praguri și reguli de procedură diferite, pentru a preveni memorizarea:

‘Experții în domeniu au scris cele zece manuale de bază, adaptând politici reale din industriile lor. Fiecare este un document de operare lung și cu mai multe secțiuni, mai degrabă decât o listă de reguli.

‘Un manual de resurse umane reprezentativ conține 19 secțiuni numerotate: o prezentare generală, definiții, echipa de resurse umane și contacte, harta canalului Slack, fișiere de referință și sisteme, taxonomii de solicitări, reguli de triaj și de rutare, o matrice de priorități cu SLA, proceduri pentru încadrarea, concedierea, concediul, performanța și recrutarea, căi de escaladare, reguli de întreținere a e-mailului și o bibliotecă de șabloane și formate implicite necesare’

Succesul a fost măsurat cu 824 de verificări deterministice bazate pe Python, care acoperă atât acțiunile necesare, cât și acțiunile interzise – permițând benchmark-ului să detecteze nu numai dacă o sarcină a fost completată, ci și dacă politica companiei a fost încălcată pe parcurs.

Treizeci de configurații de modele de la 11 furnizori au fost evaluate; și în timpul testelor, fiecare sarcină s-a repetat de patru ori în condiții identice.

În contrast cu benchmark-urile convenționale, HANDBOOK.md a evaluat atât dacă acțiunile necesare au fost finalizate, cât și dacă acțiunile interzise au fost evitate, permițând agenților să eșueze, în ciuda finalizării sarcinii solicitate

Medii și instrumente

Fiecare loc de muncă simulat este proiectat pentru a rula într-un mediu Docker standardizat, permițând fiecărui model să aibă acces la același set de instrumente, în timp ce previne diferențele în disponibilitatea software-ului să afecteze rezultatele. Benchmark-ul prezintă agenților un mediu de birou realist, care include acces la fișiere, alături de serviciile enterprise menționate (adică, Gmail, Slack etc.):

O reprezentare aproximativă a mediului de birou în care trebuie să opereze modelele.

Mediile păstrează, de asemenea, fiecare acțiune efectuată de agent, permițând sistemului de evaluare deterministă al benchmark-ului să evalueze secvența completă de acțiuni care duc la rezultatul final.

Metrice

Performanța a fost măsurată în primul rând utilizând strict pass@1, în care o sarcină a fost considerată reușită doar dacă toate criteriile de evaluare au fost îndeplinite. Orice cerință ratată sau încălcare a politicii a dus la eșec, reflectând setările enterprise, în care o singură acțiune incorectă poate invalida un flux de lucru competent.

O metrică mai permisivă, pass@1 (N−1), a fost utilizată, în care o criteriu de eșec a fost permis pe sarcină, astfel încât aproape-ratările să poată fi diferențiate de eșecurile complete.

Pentru analiza suplimentară, scorul mediu pe criteriu al fiecărui model a fost înregistrat, deși acesta nu a fost utilizat în clasamentul principal al benchmark-ului.

Abordare generală

Zece manuale de bază scrise de experți au fost adaptate din politici reale ale companiilor, după care fiecare a fost modificat în multiple versiuni specifice sarcinii, cu lanțuri de aprobare, praguri și reguli de procedură diferite. Medii de birou realiste au fost construite în jurul fiecărui manual, care includ e-mailuri, calendare, conversații Slack, foi de calcul și alte artefacte de birou.

Fiecare sarcină a fost rafinată prin testare repetată până când criteriile de evaluare au diferențiat în mod fiabil eșecurile reale ale modelului de defectele benchmark-ului în sine. Criteriile care au respins un comportament corect sau au admis soluții incorecte au fost revizuite înainte de lansare.

Teste și rezultate

Chiar și modelele cele mai puternice au eșuat la majoritatea sarcinilor în sistemul de evaluare strict al benchmark-ului, cu performanțe distribuite pe o gamă largă, mai degrabă decât grupate în partea superioară:

Clasamentul inițial al celor 30 de configurații de modele evaluate, în funcție de scorurile lor strict pass@1 pe benchmark-ul HANDBOOK.md. Scorurile reprezintă procentul sarcinilor de lucru din birou de 65 completate fără niciun criteriu de eșec pe parcursul a patru încercări pe sarcină. Scorurile egale împart același rang.

Diferențele dintre setările de raționament au variat, de asemenea, substanțial de la un model la altul, cu un raționament suplimentar care a îmbunătățit uneori performanța; uneori nu a făcut nicio diferență; și uneori a redus performanța:

‘Efortul de raționament ajută inegal. Creșterea efortului îmbunătățește Opus 4.8 (+3,0), Sonnet 4.6 (+2,7) și Fable 5 (+2,0), lasă GPT-5.5 neschimbat (21,5% la ambele setări) și afectează negativ GLM 5.2 (−2,7). ‘

‘Deliberarea suplimentară pare să se convertească în conformitate cu regulile doar atunci când eșecul subiacent este o inferență ratată, mai degrabă decât o citire ratată.’

Claude Fable 5 a obținut cel mai mare punctaj la 36,2%, urmat de Claude Fable 5 la 34,2% și GPT-5.6 Sol (max) la 23,5%. GPT-5.5 și Claude Opus 4.8 au format următorul nivel, la aproximativ 20%, în timp ce majoritatea modelelor de frontieră rămase au obținut un punctaj sub 16%. Modelele clasate pe ultimele locuri au completat mai puțin de 2% din sarcini.

Analiza detaliată a eșecului sugerează că problema nu a fost lipsa de informații, deoarece regulile și probele relevante ale manualului fuseseră adesea deja retrieve – însă un raționament suplimentar a cauzat uneori modelele să abandoneze concluzia corectă în favoarea uneia plauzibile, dar care încălca politica.

Lucrarea notează, de asemenea, amploarea auto-înșelăciunii care caracterizează atâtea dintre încercările LLM:

‘Aproape fiecare traiectorie eșuată se încheie cu o declarație de încredere că manualul a fost respectat, adesea citând secțiunile specifice care au fost încălcate. Rapoartele sunt detaliate, bine structurate și greșite […]

‘[…] Pe tot parcursul benchmark-ului, raportul auto-al agentului este cel mai puțin fiabil artefact din traiectorie, ceea ce contează pentru orice implementare care prezintă rezumatele agentului oamenilor ca dovadă a ceea ce s-a făcut.’

În încheiere, autorii concluzionează că raționamentul pe termen lung singur este puțin probabil să facă inteligența artificială din companii să respecte în mod fiabil politica companiei. În schimb, conformitatea cu politica ar trebui să fie impusă din ce în ce mai mult prin controale externe deterministice, pe lângă bariere de flux de lucru.

Concluzie

Opinie O considerație interesantă este amploarea în care mediile create pentru experimente vor fi reimaginate pentru a facilita inteligența artificială, mai degrabă decât pentru a forța LLM-urile să interpreteze aceleași forme și formate care definesc mediile de birou umane. De exemplu, ieri, pentru prima dată, un contact de afaceri mi-a trimis o prezentare generală în format .md, destinată să fie explorată de un LLM, mai degrabă decât să fie citită în mod liniar.

Și eu adopt și mă adaptez din ce în ce mai mult la constrângerile vizuale și textuale în timpul conversațiilor cu LLM, precum și la selectarea și acceptarea formatelor de fișiere pe care nu le-aș fi ales în mod normal, deoarece ele se potrivesc mai bine cu fluxul de lucru al LLM-ului.

Prin urmare, în timp ce este amuzant să urmăriți modelele de frontieră care se împotmolesc în lumea lui David Brent, te întrebi dacă acesta este cel mai probabil scenariu pentru “angajatul de birou agențial”.

Publicat pentru prima dată miercuri, 29 iulie 2026. Actualizat 18:41 EET, s-a reparat linkul rupt.