Le difficoltà dell’AI nel rispettare il manuale del dipendente

Un nuovo benchmark ha scoperto che gli agenti di intelligenza artificiale sul posto di lavoro ignorano le regole aziendali, eseguono azioni proibite come licenziamenti non autorizzati e poi falsamente riferiscono di aver rispettato le norme.

Uno studio di ricerca interessante ha collocato i principali modelli LLM in una posizione in cui devono seguire le istruzioni in un azienda simulata, rispettando tutti i principi di un manuale del dipendente fornito (creato da esperti di dominio umani), nonché negoziare torrenti di direttive contraddittorie o confuse da subordinati e superiori e eseguire compiti in base a PDF, post di Jira e altri strumenti e piattaforme familiari di un tipico scenario di ufficio umano.

Se hai mai lavorato in un ufficio (o almeno visto Office Space), riconoscerai i segnali contraddittori e il rapporto segnale/rumore confondente che gli autori del nuovo lavoro hanno gettato sui modelli di linguaggio:

La tempesta di variabili che molti lavoratori di ufficio devono affrontare quotidianamente, distillata in un ambiente virtuale per testare i modelli agentic di frontiera. Fonte

La sfida chiave che anche i sistemi di intelligenza artificiale all’avanguardia affrontano qui è la necessità di conservare il manuale delle relazioni dipendenti come filtro per tutti i comandi successivi. Se hai mai lottato per far ricordare a ChatGPT o Claude le istruzioni che hai dato all’inizio di una sessione, saprai che la finestra di contesto dell’AI spesso la fa dimenticare le promesse precedenti e tornare costantemente al suo comportamento predefinito.

Questo è il motivo per cui, nei test, Claude Fable 5, GPT-5.5 e altri modelli leader hanno licenziato dipendenti dopo aver preso ordini da un dirigente che non aveva l’autorità; hanno approvato fatture senza il visto del manager richiesto; hanno accettato risultati di laboratorio scaduti che la politica aziendale rifiutava esplicitamente; e poi hanno riferito di aver seguito fedelmente il manuale – tra molte altre infrazioni della politica aziendale.

Gli autori del nuovo lavoro affermano:

‘I fallimenti seguono modelli coerenti: gli agenti lasciano che una richiesta plausibile nell’ambiente superi la politica vigente, eseguono un controllo richiesto e poi agiscono contro il suo risultato, perdono i dettagli delle regole su orizzonti lunghi e riferiscono la conformità che non hanno raggiunto.’

L’analisi dei fallimenti contiene alcuni esempi divertenti: in un compito di finanza, Claude Opus 4.8 ha scoperto correttamente che una spesa di 7.500 dollari era stata approvata dallo stesso analista junior che l’aveva presentata, violando la politica aziendale.

Poi ha ragionato fino a credere che l’analista fosse in realtà il controllore finanziario e ha approvato il pagamento comunque:

‘Dopo averlo promosso a controllore all’interno della sua catena di pensieri, il modello ha sbloccato l’elemento, poi ha inviato un messaggio al vero controllore per confermare che ogni elemento oltre i 5.000 dollari aveva un visto documentato.

‘Il fallimento non è una capacità mancante; ogni fatto richiesto per la decisione corretta era stato recuperato dal modello stesso.’

Come Claude Opus 4.8 non è riuscito a riconciliare 7.500 dollari.

Altrove, Gemini 3.5 Flash ha presentato la documentazione assicurativa utilizzando risultati di laboratorio già scaduti senza nemmeno aprire il rapporto di laboratorio, nonostante la data di raccolta apparisse nel nome del file stesso:

‘Gemini 3.5 Flash ha presentato l’autorizzazione preventiva all’assicuratore senza una sola chiamata di lettura contro il PDF di laboratorio, poi ha riferito di aver elaborato il caso “strettamente secondo la procedura operativa standard”.’

In tutta la benchmark, gli autori hanno anche scoperto che molti modelli affermavano con fiducia di aver seguito ogni regola aziendale, mentre citavano le stesse sezioni del manuale che avevano appena violato.

Un ragionamento aggiuntivo spesso non ha aiutato; ad esempio, GPT-5.5 non ha mostrato alcun miglioramento con uno sforzo di ragionamento aumentato, mentre alcuni modelli hanno addirittura peggiorato, apparentemente ragionandosi via dalla decisione corretta.

Nei risultati finali, Claude Fable 5 ha raggiunto il punteggio più alto con il 36,2%; GPT-5.6 Sol si è classificato al secondo posto con il 23,5%; e GPT-5.5 e Claude Opus 4.8 hanno segnato entrambi il 21,5-21,9%.

La maggior parte degli altri modelli valutati ha segnato meno del 16%, e la maggior parte delle configurazioni di frontiera ha segnato meno del 25% secondo i criteri di valutazione severi della benchmark:

L’agente di intelligenza artificiale che si è classificato al primo posto ha completato poco più di un terzo dei compiti di lavoro della benchmark, mentre la maggior parte dei modelli leader ha fallito più di tre quarti sotto la valutazione severa. Fonte

Per quanto riguarda il rimedio, gli autori sostengono che le politiche aziendali critiche dovrebbero essere applicate all’esterno dell’AI utilizzando controlli di chiamata di strumenti deterministici (ad esempio, controlli hard-coded che bloccano azioni proibite), piuttosto che affidarsi solo alla memoria a lungo contesto.

Propongono inoltre l’uso di HANDBOOK.md stesso come benchmark standardizzato per misurare e monitorare i miglioramenti nell’adesione alle politiche a lungo contesto, man mano che vengono sviluppati futuri modelli agentic.

Il nuovo documento si intitola HANDBOOK.md: un benchmark per l’adesione alle istruzioni agentiche a lungo contesto e proviene da sette autori di surge.ai. Il documento è accompagnato da un repository GitHub che contiene i file Docker e altri requisiti per riprodurre i test.

Metodo

Sono stati creati sessantacinque scenari di ufficio simulati per il benchmark HANDBOOK.md, che coprono finanza; risorse umane; assicurazioni; logistica; e fatturazione medica; e ogni scenario colloca un modello all’interno di un ambiente aziendale contenente file, email, conversazioni Slack, calendari, board Jira e altri strumenti di lavoro familiari.

Ogni compito era governato da un manuale di relazioni dipendenti di lunghezza compresa tra 20 e 124 pagine, fornito come documento PDF, Word o HTML, piuttosto che incorporato nel prompt, costringendo i modelli a localizzare, leggere e applicare le regole rilevanti in tutto il compito.

Dieci manuali base scritti da esperti sono stati adattati da politiche aziendali reali, dopo di che ogni compito ha ricevuto la sua versione modificata con catene di approvazione, soglie e regole procedurali diverse, per prevenire la memorizzazione:

‘Gli esperti di dominio hanno scritto i dieci manuali base adattando le politiche reali dalle loro industrie. Ognuno è un documento operativo lungo e multisezione, piuttosto che un elenco di regole.

‘Un manuale delle risorse umane rappresentativo contiene 19 sezioni numerate: una panoramica, definizioni, il team delle risorse umane e i contatti, la mappa del canale Slack, file di riferimento e sistemi, tassonomie delle richieste, regole di smistamento e routing, una matrice di priorità con SLA, procedure per l’aggiunta, la rimozione, il congedo, le prestazioni e il reclutamento, percorsi di escalation, regole di manutenzione della posta elettronica e una libreria di modelli e formati predefiniti richiesti’

Il successo è stato misurato con 824 verifiche di verifica Python-based deterministiche, che coprono sia azioni richieste che azioni proibite – permettendo al benchmark di rilevare non solo se un compito era stato completato, ma anche se la politica aziendale era stata violata lungo la strada.

Trenta configurazioni di modello da 11 fornitori sono state valutate; e durante i test, ogni compito è stato ripetuto quattro volte in condizioni identiche.

A differenza dei benchmark convenzionali, HANDBOOK.md ha valutato sia se le azioni richieste sono state completate, sia se le azioni proibite sono state evitate, permettendo agli agenti di fallire, nonostante abbiano completato il compito richiesto

Ambienti e strumenti

Ogni posto di lavoro simulato è progettato per eseguirsi all’interno di un ambiente Docker standardizzato, che consente a ogni modello di accedere allo stesso set di strumenti, mentre impedisce che le differenze nella disponibilità del software influenzino i risultati. Il benchmark presenta agli agenti un ambiente di lavoro di ufficio realistico, che comprende l’accesso ai file, oltre ai servizi aziendali sopra menzionati (ad esempio Gmail, Slack, ecc.):

Una rappresentazione approssimativa dell’ambiente di ufficio in cui i modelli devono operare.

Gli ambienti conservano anche ogni azione eseguita dall’agente, permettendo al sistema di valutazione deterministico del benchmark di valutare la sequenza completa di azioni che portano al risultato finale.

Metriche

Le prestazioni sono state misurate principalmente utilizzando pass@1 rigoroso, in base al quale un compito è stato considerato riuscito solo se ogni criterio di valutazione è stato soddisfatto. Qualsiasi requisito mancato o violazione della politica avrebbe comportato un fallimento, riflettendo le impostazioni aziendali, in cui un’azione errata può invalidare un flusso di lavoro altrimenti competente.

Una metrica più permissiva, pass@1 (N−1), è stata utilizzata anche, in cui un criterio fallito è stato consentito per compito, in modo che i quasi-fallimenti potessero essere distinti dai fallimenti completi.

Per ulteriore analisi, è stato registrato il punteggio medio per criterio di ogni modello, sebbene ciò non sia stato utilizzato nei ranking principali del benchmark.

Approccio generale

Dieci manuali scritti da esperti sono stati adattati da politiche aziendali reali, dopo di che ogni manuale è stato modificato in più versioni specifiche del compito con catene di approvazione, soglie e procedure diverse. Sono stati costruiti ambienti di ufficio realistici intorno a ogni manuale, che comprendono email, calendari, conversazioni Slack, fogli di calcolo e altri artefatti di lavoro.

Ogni compito è stato raffinato attraverso test ripetuti fino a quando i criteri di valutazione non hanno distinto in modo affidabile i fallimenti reali del modello dai difetti del benchmark stesso. I criteri che hanno rifiutato un comportamento corretto o ammesso soluzioni errate sono stati rivisti prima della pubblicazione.

Test e risultati

Anche i modelli più forti hanno fallito la maggior parte dei compiti sotto il sistema di valutazione rigoroso del benchmark, con le prestazioni distribuite su un’ampia gamma, piuttosto che raggruppate in alto:

La classifica iniziale dei risultati che classifica tutte le 30 configurazioni di modello valutate in base ai loro punteggi pass@1 rigorosi nel benchmark HANDBOOK.md. I punteggi rappresentano la percentuale dei 65 compiti di lavoro della benchmark completati senza un singolo criterio di valutazione fallito in quattro prove per compito. I punteggi legati condividono lo stesso rango.

Sono state trovate anche differenze sostanziali tra le impostazioni di ragionamento, con ragionamento aggiuntivo che a volte migliorava le prestazioni; a volte non faceva alcuna differenza; e a volte riduceva le prestazioni:

‘Lo sforzo di ragionamento aiuta in modo disomogeneo. Aumentare lo sforzo migliora Opus 4.8 (+3,0), Sonnet 4.6 (+2,7) e Fable 5 (+2,0), lascia GPT-5.5 invariato (21,5% in entrambe le impostazioni) e danneggia GLM 5.2 (-2,7).

‘L’ulteriore deliberazione sembra convertirsi in conformità alle regole solo quando il fallimento sottostante è un’inferenza mancata piuttosto che una lettura mancata.’

Claude Fable 5 ha raggiunto il punteggio più alto al 36,2%; seguito da Claude Fable 5 al 34,2%; e GPT-5.6 Sol (max) al 23,5%. GPT-5.5 e Claude Opus 4.8 hanno formato il prossimo livello, intorno al 20%, mentre la maggior parte dei modelli di frontiera rimanenti ha segnato meno del 16%. I modelli con il punteggio più basso hanno completato meno del 2% dei compiti.

L’analisi dettagliata dei fallimenti suggerisce che il problema spesso non era una mancanza di informazioni, poiché le regole del manuale rilevanti e le prove a supporto erano state recuperate frequentemente – e tuttavia, un ragionamento aggiuntivo a volte ha fatto sì che i modelli abbandonassero la conclusione corretta in favore di una plausibile ma in violazione della politica.

Il lavoro nota anche l’estensione dell’autoinganno che caratterizza così tante delle incursioni dell’LLM:

‘Quasi ogni traiettoria fallita si conclude con una dichiarazione fiduciosa che il manuale è stato seguito, spesso citando le sezioni specifiche che sono state violate. I rapporti sono dettagliati, ben strutturati e sbagliati […]

‘[…] In tutta la benchmark, il rapporto dell’agente è l’artefatto meno affidabile della traiettoria, il che conta per ogni distribuzione che presenta riassunti dell’agente agli esseri umani come prova di ciò che è stato fatto.’

In chiusura, gli autori concludono che il ragionamento a lungo contesto da solo è improbabile che renda l’AI aziendale in modo affidabile in conformità con la politica aziendale. Invece, la conformità alle politiche dovrebbe essere applicata in modo crescente attraverso controlli esterni deterministici, in aggiunta ai guardrail del flusso di lavoro.

Conclusione

Opinione Una considerazione interessante è la portata finale in cui ambienti come quelli creati per gli esperimenti saranno ripensati per facilitare l’AI, invece di costringere gli LLM a interpretare le stesse forme e formati che definiscono gli ambienti di ufficio umani. Ad esempio, ieri, per la prima volta, un contatto aziendale mi ha inviato un riassunto in formato .md progettato per essere esplorato da un LLM, piuttosto che essere letto in modo lineare.

E anch’io sto adottando e adattando sempre più le limitazioni visive e testuali durante le conversazioni con l’LLM, nonché selezionando e accettando formati di file che non avrei normalmente scelto, perché si adattano meglio al flusso di lavoro dell’LLM.

Pertanto, mentre è divertente guardare i modelli di frontiera inciampare nel mondo di David Brent, ci si chiede se questo sia lo scenario più probabile per il ‘lavoratore di ufficio agente’.

Pubblicato per la prima volta mercoledì 29 luglio 2026. Aggiornato 18:41 EET, link rotto fisso.