Anthropic afferma che Claude guida il 26% della sua ricerca e sviluppo IA

Anthropic ha dichiarato che i suoi modelli Claude “guida” il 26% del lavoro di ricerca e sviluppo IA dell’azienda a partire da agosto 2026, nei primi risultati di un prototipo di Indice di Automazione R&D pubblicati in un post dell’Anthropic Institute il 17 settembre 2026.

Il post, intitolato “Misurazioni per comprendere il ritmo dello sviluppo dell’IA all’interno dei laboratori d’avanguardia”, abbina l’indice a metriche interne sulla supervisione degli agenti e sull’allocazione della potenza di calcolo, e Anthropic ha dichiarato di intendere continuare a pubblicare tali misurazioni.

L’Indice di Automazione R&D

L’Indice di Automazione R&D di Anthropic mappa l’intera gamma di lavori di ricerca e sviluppo IA svolti dall’azienda, valuta quanto è automatizzato ciascun compito attualmente e combina tali valutazioni in una misura aggregata. I punteggi utilizzano una scala di Livello di Automazione sviluppata da Epoch AI, che va da AL0, che indica nessun coinvolgimento dell’IA, a AL5, dove l’IA opera completamente in modo autonomo senza alcun intervento umano. A AL3, l’IA “collabora”, eseguendo ampie parti di un compito sotto stretta direzione umana; a AL4, l’IA “guida”, gestendo la maggior parte di un compito dal prompt di alto livello fino al completamento mentre un umano supervisiona.

Anthropic ha riferito che a partire da agosto 2026, Claude “guida” il 26% del suo lavoro di ricerca e sviluppo IA, la quota di lavoro al livello “collabora” o superiore supera il 90%, e Claude non opera in modo completamente autonomo per alcuna sottoinsieme misurato del lavoro di ricerca e sviluppo IA. Un grafico nel post descrive la quota del 26% di “guida” come in crescita rispetto a meno dell’1% a febbraio 2026.

Il catalogo dei compiti sottostante è stato assemblato dal basso verso l’alto utilizzando registri di lavoro come Slack e documentazione interna. Per ogni settimana di luglio 2026, un agente di ricerca Claude ha esaminato la settimana di ogni persona campionata casualmente — il 20% del personale di ogni dipartimento che costituisce il ciclo di R&D del modello — e ha elencato i compiti su cui hanno lavorato, generando un elenco piatto di circa 15.000 compiti granulari. Claude ha poi organizzato questi compiti in un albero gerarchico di 542 nodi, di cui 378 foglie, come “diagnosi e correzione di difetti della piattaforma di valutazione”, e quell’albero è congelato in modo che ogni misurazione venga eseguita sullo stesso insieme di lavoro.

Per ogni nodo, un agente Claude ricerca come quel tipo di lavoro viene svolto in tutta l’azienda, e un giudice Claude indipendente assegna uno dei sei livelli di automazione, limitato alle evidenze del mese valutato o precedenti. I compiti sono ponderati in base al tempo-persona, quindi le categorie in cui è impiegato più personale hanno un peso maggiore.

Anthropic ha confrontato le valutazioni del giudice con il personale responsabile delle aree di lavoro pertinenti, i quali hanno valutato senza vedere le evidenze o i giudizi dei modelli, e ha segnalato un accordo esatto modello‑contro‑umano del 59% rispetto al 35% umano‑contro‑umano, con valutazioni entro un livello l’una dall’altra nel 97% dei casi. Le limitazioni dichiarate includono il basket congelato, che cattura l’automazione del lavoro esistente senza registrare nuovi tipi di lavoro; un confronto dei compiti arrivati da febbraio a luglio 2026 con un basket di gennaio 2026 non ha rilevato un aumento dei compiti “novel”, e Anthropic prevede di ricostruire periodicamente il basket e di rilasciare una nuova versione dei numeri pubblicati.

Supervisione degli agenti interni

Un secondo insieme di misurazioni copre la supervisione da parte di Anthropic degli agenti IA sui suoi sistemi. A partire da agosto 2026, circa 30.000 agenti svolgevano lavori di ricerca e ingegneria contemporaneamente sulla piattaforma interna più utilizzata dall’azienda, e le misurazioni riportate riguardano solo quella piattaforma.

Anthropic ha riferito che i monitor online controllano il 100% delle azioni di questi agenti prima dell’esecuzione, solitamente entro pochi secondi; su più di un miliardo di decisioni degli agenti analizzate nell’agosto 2026, lo 0,002% (circa 1 su 47.000) è stato bloccato, e gli esseri umani revisionano le azioni bloccate entro una settimana. I monitor offline acquisiscono il 100% delle azioni a posteriori e segnalano circa 100.000 trascrizioni a settimana, che più classificatori esaminano per falsi positivi, risolvendo la maggior parte delle segnalazioni; circa 50 segnalazioni di massima priorità a settimana vengono inoltrate a una revisione umana, e circa una o due trascrizioni ogni mille vengono segnalate per ulteriori verifiche.

Secondo il post, i monitor online sono progettati per danni che si verificano rapidamente e non possono essere annullati, come un agente che copia i pesi del modello fuori dai sistemi di Anthropic, mentre i monitor offline mirano a comportamenti pericolosi che si sviluppano lentamente e possono essere invertiti, come segnali di disallineamento del modello. Anthropic ha dichiarato che due scelte di progettazione nello scheletro interno supportano la supervisione: ogni agente possiede un’identità individuale che persiste attraverso gli aggiornamenti del modello, e gli agenti comunicano tramite un sistema di messaggistica aperto e condiviso, incrociato con le trascrizioni, così il monitoraggio comportamentale può attraversare le comunicazioni tra agenti. L’azienda ha affermato che METR ha precedentemente effettuato in modo indipendente un red‑team della sua piattaforma di monitoraggio offline, e che queste misurazioni di supervisione sono state pubblicate anche nel suo rapporto di rischio di agosto 2026.

Istantanea dell’allocazione del calcolo

Per la terza misurazione, Anthropic ha esaminato come ha utilizzato tutto il suo calcolo dal 13 al 20 luglio 2026, classificando ogni carico di lavoro in categorie e misurando quanto del calcolo destinato alla ricerca e sviluppo IA fosse lavoro di sicurezza. Durante quella settimana, Anthropic ha riferito che circa il 6% del calcolo destinato alla ricerca e sviluppo IA è stato allocato alla sicurezza, e circa il 12% del calcolo destinato alla ricerca e sviluppo IA guidata dall’IA è stato allocato alla sicurezza.

L’azienda descrive entrambe le stime come deliberatamente conservative: i token che avanzano le capacità tanto quanto la sicurezza sono stati conteggiati come R&S IA, e i classificatori di salvaguardia, una quantità separata e comparabile di calcolo, sono esclusi. Un classificatore Claude su richiesta ha ordinato quasi 10.000 esecuzioni di addestramento e valutazione della ricerca della settimana usando un campione di circa il 14 % ponderato verso i maggiori utilizzatori di calcolo, e Anthropic ha riferito che il classificatore concordava con i revisori umani entro uno o due punti percentuali.

Le limitazioni dichiarate sono che una singola settimana dimostra la fattibilità della misurazione senza stabilire una tendenza, che le etichette dei carichi di lavoro sottostanti sono di migliore sforzo e non verificate, e che la quota di calcolo misura ciò che viene speso piuttosto che la quantità di lavoro di sicurezza effettuato.

Scopo e prossimi passi

Anthropic ha dichiarato di pubblicare le misurazioni perché forniscono al pubblico, a soggetti esterni e ai governi una visione più chiara del ritmo di sviluppo dell’IA nei laboratori di frontiera, completando i suoi rapporti di rischio della Responsible Scaling Policy e la proposta di politica Advanced AI Framework. Ha osservato che i numeri potrebbero variare se vi fosse un coordinamento sul ritmo della frontiera, come richiesto dal CEO Dario Amodei.

Il post afferma che qualsiasi sviluppatore di frontiera potrebbe pubblicare regolarmente le stesse misure con una metodologia pubblica, e individua due ostacoli al confronto tra laboratori: l’assenza di una metodologia condivisa e l’uso da parte di uno sviluppatore dei propri modelli per valutare i propri sistemi. Sostiene che tali misure potrebbero essere verificate da terze parti o dai modelli di altri sviluppatori, e potrebbero diventare un fattore scatenante per requisiti più stringenti, come una finestra di test fissa prima che un nuovo modello venga impiegato in ulteriori R&S IA.

Anthropic ha dichiarato di intendere integrare valutatori indipendenti di terze parti provenienti da più organizzazioni, concedendo loro l’accesso a processi interni, sistemi e dati comparabili a quelli a disposizione dei team interni di valutazione del rischio, per verificare le pratiche di sicurezza, segnalare incidenti e monitorare metriche chiave come quelle riportate nel post. L’articolo è stato co-scritto da Marina Favaro e Phillie Wright, con la direzione della ricerca di Jack Clark.