METR stima che la crescita delle capacità dei modelli di Anthropic sia quasi raddoppiata

Il 5 novembre 2026, METR ha pubblicato una valutazione indipendente, concludendo che è probabile che Anthropic stia migliorando le capacità dei modelli nelle attività ben definite a un ritmo circa doppio rispetto a quello precedente e che l’uso dell’IA spieghi probabilmente la maggior parte dell’attuale accelerazione. Le conclusioni sono soggette a notevole incertezza e le omissioni redazionali nascondono gran parte delle prove a loro sostegno.

Le prove dei benchmark mostrano una tendenza più marcata

Utilizzando AECI, l’indice di capacità di Anthropic basato sui benchmark, METR ha stimato che da ottobre 2025 i punteggi dei benchmark sono cresciuti 1,9 volte più rapidamente, con un intervallo di confidenza del 95% compreso tra 1,5 e 2,8 volte. Questo ritmo equivale a circa due anni di progressi al ritmo precedente nell’arco di un solo anno. La valutazione più ampia confronta ottobre 2026 con il ritmo osservato da marzo 2024 a ottobre 2025.

Il calcolo include modelli riservati all’uso interno e data ogni versione in base al momento in cui la maggior parte dei dipendenti di Anthropic ha potuto utilizzarla, creando una base di confronto comune per i sistemi rilasciati e quelli non rilasciati. Le verifiche di robustezza di METR hanno prodotto stime dell’accelerazione comprese tra 1,1 e 2,9 volte in base a scelte di modellizzazione alternative, dimostrando quanto i risultati siano sensibili al modo in cui vengono rappresentate la difficoltà dei benchmark e altre ipotesi analitiche.

Le prove del ruolo dell’IA nell’accelerazione

Le prove hanno convinto METR che l’accelerazione non sia stata causata dalla più rapida crescita della potenza di calcolo impiegata per l’addestramento, sebbene i dettagli a sostegno di questa conclusione siano stati oscurati. È probabile che i fattori non legati all’IA abbiano avuto un ruolo importante alla fine del 2025, ma l’ipotesi più accreditata al momento è che non spieghino l’accelerazione protratta nel tempo.

Le prove raccolte tra il personale indicavano la stessa direzione, ma erano disomogenee. Le interviste ai ricercatori hanno restituito stime molto variabili, attorno a un’accelerazione di circa due volte. Sondaggi informali hanno rilevato che, nell’ottobre 2026, l’incremento medio di produttività autodichiarato grazie al modello interno più capace era di circa 12 volte; METR ha avvertito che rispondere richiedeva poco impegno, che i partecipanti potevano non essere rappresentativi del personale nel suo complesso e che i guadagni di produttività individuali non corrispondono direttamente alla crescita delle capacità dell’organizzazione nel suo insieme.

Attualmente, l’effetto deriva soprattutto dall’assistenza che l’IA fornisce ai ricercatori. L’IA non è ancora in grado di dare contributi altamente significativi e completamente autonomi al lavoro di addestramento più importante, anche se i ricercatori hanno descritto segnali che indicano la possibilità che contributi di questo tipo emergano presto, con livelli di maturità diversi a seconda dell’ambito.

Colli di bottiglia e misurazioni restano incerti

Non sono emerse prove convincenti che i progressi algoritmici, la potenza di calcolo impiegata per l’addestramento, quella usata negli esperimenti o la disponibilità di dati possano costituire colli di bottiglia significativi nell’arco di 12 mesi. L’interpretazione dei revisori è cambiata più volte con l’arrivo di nuove informazioni, lasciandoli incerti su questa valutazione. Ciononostante, METR ha giudicato che l’assenza di vincoli chiari o di rendimenti marginali fortemente decrescenti comporti un rischio significativo: ulteriori miglioramenti delle capacità potrebbero sommarsi, dando luogo a un’accelerazione ancora più rapida. Si tratta di una valutazione del rischio futuro, non di un risultato osservato.

AECI si concentra su attività ben definite e facili da valutare, quindi i più rapidi miglioramenti nei benchmark potrebbero non tradursi in effetti equivalenti nel mondo reale. METR ha affermato che l’adattamento eccessivo ai benchmark, i contributi di fattori non legati all’IA o una base storica insolitamente debole potrebbero aver portato a una stima troppo alta; al contrario, il mancato rilevamento di una recente accelerazione, la rimozione dei colli di bottiglia umani più rapida del previsto o punteggi dei benchmark che sottostimano l’impatto nel mondo reale potrebbero averla portata a una stima troppo bassa. I punteggi del Modello 4, superiori al 50% in tutti e 15 i benchmark utilizzati per valutarlo, hanno sollevato un’ulteriore preoccupazione: la saturazione potrebbe ostacolare le misurazioni future.

Accesso esteso, ma prove pubbliche limitate

METR ha dedicato alla valutazione, durata undici settimane e svolta dal 12 agosto 2026 al 29 ottobre 2026, risorse pari a 2,5 equivalenti a tempo pieno. Ha esaminato i risultati interni dei benchmark, le metriche del preaddestramento e dell’apprendimento per rinforzo, le misurazioni della potenza di calcolo impiegata per l’addestramento, le analisi sull’accelerazione resa possibile dall’IA e i documenti interni; si è inoltre basata su circa 15 interviste con membri chiave del personale. Il gruppo non ha ottenuto un accesso diretto, paragonabile a quello dei dipendenti, né ha potuto esaminare modelli non pubblici.

Anthropic poteva approvare o respingere le richieste di informazioni e oscurare unilateralmente il materiale non pubblico. Le omissioni redazionali hanno eliminato dal rapporto pubblico la maggior parte delle prove che METR riteneva più informative, comprese le analisi dettagliate dell’attribuzione all’IA, le stime dei progressi algoritmici, le analisi specifiche dei colli di bottiglia e le previsioni sui modelli futuri. Anthropic ha descritto le omissioni come una misura volta a proteggere le informazioni riservate che potrebbero accelerare il lavoro di altri sviluppatori di IA. METR ha mantenuto il controllo sulla metodologia e sulle conclusioni e non ha accettato pagamenti, pur avendo lavorato sui dispositivi di Anthropic e utilizzato token gratuiti.

La valutazione offre un’analisi esterna approfondita dell’accelerazione della ricerca dovuta all’IA, ma non garantisce trasparenza sulle prove sottostanti. I risultati pubblici dei benchmark e le testimonianze del personale avvalorano l’ipotesi di progressi più rapidi, ma le omissioni impediscono ai lettori di valutare autonomamente buona parte delle basi su cui METR fonda le proprie conclusioni sull’attribuzione e sui colli di bottiglia. Questi risultati centrali dipendono quindi in larga misura dalla sintesi che il valutatore ha elaborato sulla base di prove che i lettori non possono esaminare appieno.