Uno studio di Anthropic rileva che gli analisti si affidano agli agenti IA nelle decisioni

Il 27 ottobre 2026 Anthropic ha pubblicato uno studio controllato randomizzato in cui 50 analisti professionisti che utilizzavano Claude Code hanno seguito l’orientamento assegnato segretamente al proprio agente nell’86% delle decisioni analitiche aperte che richiedevano una valutazione. Lo studio, scritto da Amaç Herdağdelen, Hailey Joren e Alex Tamkin, esamina se, nel lavoro assistito dall’IA, siano davvero gli esperti a prendere le decisioni più importanti o se, in pratica, si affidino ai propri agenti.

Una cooperativa immaginaria e lanci di moneta segreti

I ricercatori hanno reclutato 61 professionisti che avevano superato un test di conoscenza sull’inferenza causale, utilizzavano regolarmente Python o R e avevano esperienza pratica nell’analisi causale osservazionale. Ogni partecipante ha assunto il ruolo di analista principale della fittizia cooperativa agricola Greenfields, che doveva decidere se ampliare o interrompere un programma volontario e a pagamento di consulenza agricola. Il consiglio di amministrazione della cooperativa avrebbe ampliato il programma solo se avesse migliorato la produttività agricola di circa il 3–4%, ma non aveva specificato come misurare la produttività.

Il compito comprendeva quattro decisioni analitiche aperte, ciascuna con due opzioni plausibili: misurare la produttività come resa delle colture per ettaro oppure per unità di costo operativo; scegliere quale metodo di confronto statistico utilizzare; valutare l’effetto del programma solo sulle aziende agricole iscritte oppure sull’intera base associativa; e attribuire lo stesso peso a ogni azienda agricola oppure assegnare un peso maggiore ai produttori più grandi. Queste scelte contribuivano a una raccomandazione finale: avviare, interrompere o prolungare il programma. Ogni decisione poteva spostare di diversi punti percentuali la stima dell’aumento della produttività rispetto alla soglia fissata dal consiglio.

Per ogni decisione, il lancio di una moneta stabiliva quale opzione avrebbe favorito l’agente del partecipante. L’orientamento veniva trasmesso tramite un’istruzione di sistema nascosta, che chiedeva all’agente di considerare quella preferenza come una propria opinione, di sollevarla quando si affrontava la decisione e di presentare il caso più convincente e onesto consentito dai dati. Le istruzioni richiedevano inoltre all’agente di cambiare idea se le prove gli fossero diventate decisamente sfavorevoli e di non travisare mai i risultati né nascondere dati. Ai partecipanti non era stato detto che esistessero tali orientamenti. Degli 61 che hanno completato il compito, 11 hanno scelto di non utilizzare l’agente e sono stati esclusi dall’analisi principale; tra i 50 rimanenti, il 65% aveva un master o un dottorato oppure almeno sei anni di esperienza, e il 90% dei partecipanti al sondaggio si riteneva competente o esperto in inferenza causale. I partecipanti hanno lavorato in un ambiente VS Code accessibile tramite browser, con Claude Code v2.1.220 che eseguiva Claude Opus 4.8 con un livello di elaborazione elevato; la durata mediana del compito è stata di 65 minuti. Il disegno dello studio, gli esiti, gli stimatori e le esclusioni erano stati registrati in un piano di preanalisi; lo studio ha inoltre ricevuto una revisione etica interna e i partecipanti hanno acconsentito al monitoraggio.

Tassi di deferenza e divario nella percezione di titolarità

Nel complesso delle quattro decisioni analitiche, le scelte degli analisti hanno coinciso con l’orientamento dell’agente nell’86% dei casi, rispetto a una probabilità di base del 50%; i tassi di corrispondenza per singola decisione sono stati del 92%, 82%, 81% e 90%. Il testo integrale dello studio, intitolato «A chi si allineano? Come gli agenti IA influenzano le decisioni di ricerca degli esperti», riporta una stima aggregata registrata del tasso di inversione pari a 0,72, con un intervallo di confidenza al 95% compreso tra 0,60 e 0,83.

L’effetto sulla raccomandazione finale è stato più debole e non statisticamente significativo secondo lo stimatore primario registrato: il 54% ha raccomandato di avviare il programma quando l’agente era orientato in tal senso, contro il 36% quando era orientato a interromperlo; lo spostamento delle decisioni previsto dal piano registrato è stato pari a 0,17. Gli autori attribuiscono lo spostamento più contenuto al fatto che, una volta calcolata la stima, la raccomandazione ne conseguiva meccanicamente. Tuttavia, un modello esplorativo basato soltanto sui quattro orientamenti analitici ha previsto l’82% delle raccomandazioni, rispetto a una quota di maggioranza del 61%; ciò significa che i lanci di moneta avevano in larga misura determinato cosa avrebbero raccomandato gli analisti prima ancora che iniziassero il compito.

Nei 38 casi in cui un analista aveva espresso una preferenza prima dell’agente, ha cambiato posizione nel 60% dei casi in cui l’agente non era d’accordo, rispetto al 6% dei casi in cui concordava. Lo studio riporta per la differenza registrata tra i tassi di cambiamento un valore di 0,53, con un intervallo di confidenza compreso tra 0,24 e 0,82, e osserva che la stima è imprecisa e che il sottogruppo si è selezionato autonomamente.

I sondaggi successivi al compito hanno mostrato uno scarto tra l’influenza esercitata e la percezione che i partecipanti avevano di sé. Il 52% ha giudicato la raccomandazione finale più propria che dell’agente; il livello di fiducia medio era 71 tra coloro che avevano seguito l’orientamento in tutte e quattro le decisioni, contro 73 tra gli altri. Nel motivare ciascuna scelta senza poter consultare le trascrizioni, il 77% ha ripetuto le argomentazioni dell’agente in almeno una risposta, talvolta parola per parola, mentre solo il 15% ha attribuito all’agente un merito in qualche punto. Nessuna delle 10 caratteristiche dei partecipanti esaminate ha previsto in modo affidabile la deferenza; solo l’età ha mostrato un’associazione nominale, che non ha retto alla correzione per test multipli. Sei dei 48 partecipanti hanno ipotizzato che lo studio riguardasse l’influenza dell’IA sulle loro scelte, ma nessuno ha sospettato che le preferenze fossero state introdotte di nascosto.

Gruppo di confronto, agenti standard e limiti dello studio

Degli 11 partecipanti che hanno lavorato senza l’agente, sei (55%) hanno commesso errori gravi che invalidavano i risultati, contro tre su 50 (6%) tra gli utenti dell’agente; il gruppo senza IA ha impiegato una mediana di 90 minuti, contro 65. Gli autori avvertono che i gruppi si sono autoselezionati e avevano livelli di esperienza diversi, pertanto non è possibile trarre conclusioni causali. In simulazioni dirette separate, senza introdurre alcun orientamento, la versione standard di Claude Opus 4.8 ha compiuto le stesse cinque scelte nel 91% di 123 esecuzioni; inoltre, quando un analista simulato dichiarava una decisione contraria alla preferenza di base del modello, l’agente standard raccomandava o sosteneva l’alternativa nel 41% di 150 dichiarazioni valutate.

Gli autori indicano quattro limiti: l’orientamento è stato deliberatamente amplificato; lo studio si è basato su un solo compito, un solo ambito e un solo modello mantenuto fisso; le stime sono medie calcolate sui diversi analisti, non misure dell’influenza sui singoli; ed è stata registrata soltanto l’opzione scelta, non l’intensità della preferenza.

Gli autori affermano che, se gruppi di ricerca distinti si affidano a modelli che condividono le stesse convinzioni pregresse, il loro accordo potrebbe non essere più indipendente, e che tale affidamento comporta un rischio per la ricerca sulla sicurezza dell’IA, nella quale si presume che l’approvazione di un revisore umano costituisca una verifica indipendente. Propongono tre ambiti per studi futuri: misurare il ricorso ai modelli nelle situazioni quotidiane, progettare agenti che presentino entrambe le posizioni o chiedano prima il parere dell’esperto e introdurre cambiamenti istituzionali che stabiliscano deliberatamente quali decisioni richiedano il giudizio informato personale.