Modelli e piattaforme di IA

METR rileva che gli orizzonti temporali dell’IA raddoppiano mentre il giudizio nella ricerca resta indietro

Jonas Reeve
Aggiungi Unite.AI alle tue fonti preferite su Google
Punti chiaveGli orizzonti temporali dei modelli frontier raddoppiano all'incirca ogni 110 giorni…
Vedi di più
  • Gli orizzonti temporali dei modelli frontier raddoppiano all'incirca ogni 110 giorni, ma il giudizio di ricerca resta indietro rispetto ai guadagni verificabili.
  • I modelli si sono collocati tra il 96° e il 98° percentile nei concorsi di ottimizzazione, ma sono rimasti indietro rispetto ai migliori umani nelle accelerazioni autonome.
  • I giudici modello hanno sopravvalutato i compiti di ricerca dei modelli forti di circa 0,2 punti su una scala di un punto.

Il 20 novembre 2026, METR ha riferito che gli orizzonti temporali al 50% dei modelli pubblici di frontiera — la durata stimata da esseri umani dei compiti per i quali si prevede che un modello riesca nel 50% dei casi, non il tempo impiegato dal modello stesso — raddoppiano all’incirca ogni 110 giorni nelle valutazioni TH1.1 e TH2 considerate congiuntamente. I test ampliati mostrano notevoli progressi nei compiti verificabili, ma capacità di giudizio più deboli nella ricerca aperta e nella progettazione delle valutazioni.

L’aggiornamento prende in esame i modelli pubblici fino a Opus 5.5 e GPT-6 Astra e analizza le capacità rilevanti per automatizzare la ricerca e lo sviluppo (R&D) nell’ambito dell’IA. Di norma, METR ha valutato 15 modelli su TH1.1 e TH2. La nuova suite TH2 comprende 36 compiti suddivisi in 12 famiglie: otto famiglie verificabili, con obiettivi ben definiti e valutati automaticamente, che spaziano dall’ottimizzazione all’apprendimento automatico, dagli enigmi ai giochi; e quattro famiglie dedicate al ragionamento concettuale, al giudizio e alla ricerca aperta, per le quali non esiste un metodo poco costoso per verificare il successo.

Una suite più difficile, con una tendenza di crescita simile

METR stima che l’intervallo di confidenza al 95% per il tempo di raddoppio complessivo sia compreso tra 2,08 e 4,94 mesi, un valore vicino alla tendenza precedente di 105 giorni registrata per la sola TH1.1. A parità di durata umana del compito, TH2 è più difficile; di conseguenza, l’orizzonte temporale al 50% di un modello sulla suite combinata è inferiore a quello sulla sola TH1.1.

Nel sottoinsieme verificabile di TH2, il tempo di raddoppio stimato scende a 1,65 mesi, con un intervallo di confidenza al 95% compreso tra 0,79 e 3,99 mesi. METR avverte che questo risultato, soggetto a notevole incertezza, potrebbe dipendere dalla composizione dei compiti, da un intervallo temporale limitato o dai criteri di selezione adottati durante lo sviluppo dei compiti, anziché indicare un’accelerazione generalizzata. Anche insiemi di compiti meno diversificati possono portare a tempi di raddoppio più brevi, perché i compiti più lunghi richiedono un maggior numero delle stesse competenze.

La calibrazione umana è meno diretta rispetto ai lavori precedenti di METR. I ricercatori hanno definito soglie di punteggio e di tempo per 34 dei nuovi compiti, utilizzando risultati di riferimento ottenuti da esseri umani per tre compiti e stime dei ricercatori per 31; i riferimenti diretti hanno contribuito a determinare solo il 9% delle stime della durata umana. Gli specialisti hanno ricevuto un compenso compreso tra 200 e 350 dollari all’ora e potevano usare Sonnet 5 per l’implementazione. METR riferisce che i risultati sui tempi di raddoppio restano simili anche dopo aver introdotto rumore nelle stime della durata dei compiti e aver sostituito tali stime con tempi di completamento umano stimati dai modelli; permane tuttavia l’incertezza sulla comparabilità delle persone utilizzate come riferimento con i ricercatori dei laboratori all’avanguardia.

Risultati solidi, ma capacità di giudizio nella ricerca più deboli

Per i compiti verificabili di TH2, METR stima che gli attuali orizzonti temporali dei modelli pubblici di frontiera arrivino fino a 27 ore. In ciascuno dei tre compiti per cui sono stati definiti formalmente valori di riferimento umani, il modello migliore ha superato tutti i partecipanti umani reclutati come riferimento.

I dati raccolti su gruppi più ampi di persone mostrano che i migliori esperti possono ancora ottenere risultati superiori. Nei 15 concorsi di ottimizzazione di Al Zimmermann, METR riferisce che, nel concorso mediano, i modelli più forti si sono collocati tra il 96º e il 98º percentile dei partecipanti umani, mentre circa quattro persone li hanno battuti. Gli agenti disponevano di 48 ore su una macchina con 28 core; i partecipanti umani avevano circa tre mesi e hardware proprio, perciò le classifiche dipendono da queste diverse condizioni.

Nel compito Budget NanoGPT, METR riferisce che il miglior agente autonomo ha ottenuto un aumento della velocità del 15,7% in 48 ore, a fronte di un miglioramento del 41% rispetto al record precedente, raggiunto di recente da una persona che si era avvalsa dell’IA e aveva stimato di aver dedicato al lavoro circa 60 ore. Il confronto è approssimativo, perché i record umani si costruiscono in successione a partire dai risultati precedenti; mostra però che gli agenti autonomi restano indietro rispetto al miglior risultato umano, pur superando molti altri concorrenti esperti nell’ottimizzazione della velocità.

I compiti difficili da verificare mettono in luce un limite diverso. In Making METR Tasks, gli agenti dovevano progettare un nuovo compito informativo per la suite di METR. METR ha giudicato alcuni risultati recenti utili al limite, ma nessuno era abbastanza valido da essere incluso nella suite utilizzata nel rapporto. In generale, i modelli hanno creato compiti di ottimizzazione valutati automaticamente, anche quando erano stati istruiti a dare priorità a decisioni con scarso riscontro nel breve periodo. Pur avendo accesso a Internet, non hanno cercato autonomamente di capire che cosa METR avrebbe ritenuto utile, non hanno prodotto nuove analisi delle minacce e non hanno basato i compiti su ipotesi particolarmente perspicaci sulle capacità dei modelli. Queste valutazioni si fondano sul giudizio di METR in materia di ricerca e modellazione delle minacce.

Un esperimento correlato ha esaminato se i modelli fossero in grado di valutare con affidabilità quei risultati. METR ha rilevato che i modelli giudici concordavano maggiormente con le valutazioni umane quando esaminavano i risultati dei modelli più deboli, ma assegnavano punteggi inappropriatamente alti ai risultati di modelli altrettanto forti o più forti. Opus 5.5, il giudice che ha mostrato la maggiore concordanza con le valutazioni umane, ha assegnato ai compiti di GPT-6 Astra un punteggio di circa 0,2 punti superiore a quello attribuito dal valutatore umano, su una scala di un punto.

Questi risultati non dimostrano l’esistenza di un deficit di giudizio universale. METR afferma che le capacità dei modelli nei compiti di giudizio potrebbero non essere state sollecitate a sufficienza, perché i modelli hanno utilizzato meno del dovuto i limiti di token e le possibilità a loro disposizione. METR osserva inoltre che, in alcuni compiti di apprendimento automatico valutati tramite procedure programmatiche, i modelli di frontiera hanno mostrato una buona capacità di giudizio, anche se non è chiaro quanto sia generalizzabile.

Valutazioni più costose e questione dell’accelerazione

Il problema della misurazione non riguarda solo il giudizio. METR teme che le valutazioni in ambienti containerizzati possano somigliare agli ambienti di apprendimento per rinforzo utilizzati per addestrare i modelli, portando potenzialmente a sovrastimarne le capacità nel mondo reale man mano che ambienti simili diventano comuni nell’addestramento.

Il Costo del ciclo di vita è una stima approssimativa, basata su modelli, del costo di sviluppo di un ambiente di attività containerizzato e della sua esecuzione e valutazione per 100 volte, non una stima diretta dei costi sostenuti da uno sviluppatore di IA per gli ambienti di addestramento. Tenendo conto della durata delle attività, METR ha rilevato che il sottoinsieme con costi più elevati era in media 2,9 volte più costoso di quello con costi inferiori, mentre i modelli ottenevano risultati 2,9 volte peggiori in termini di orizzonte temporale, una differenza equivalente a 1,5 raddoppi. I modelli hanno tuttavia registrato miglioramenti a ritmi simili nei due sottoinsiemi: i dati associano quindi i costi alla difficoltà, ma non mostrano progressi più lenti nelle attività più costose.

Secondo METR, sull’indice di capacità METR, distinto dagli altri indicatori e che riassume le prestazioni dei modelli su una scala comune, non si osserva una forte accelerazione o decelerazione complessiva nell’insieme dei modelli di frontiera pubblici esaminati. Le variazioni delle pendenze specifiche dei singoli sviluppatori dipendevano dalle scelte metodologiche, perciò la loro validità resta incerta.

METR afferma tuttavia che le prove pubbliche attualmente disponibili non bastano a escludere una drastica accelerazione della ricerca e sviluppo nell’IA nei prossimi due anni, definita come un miglioramento delle capacità così rapido da impedire agli esseri umani di comprendere, valutare e affrontare in modo significativo i rischi catastrofici derivanti dai nuovi sistemi. Non è ancora noto quali capacità potrebbero determinare questo esito, e potrebbero bastare anche solo attività facili da verificare. I risultati rendono quindi plausibile che capacità di giudizio più deboli costituiscano un limite all’automazione della ricerca, ma non dimostrano che l’accelerazione debba attendere che i modelli ottengano buoni risultati in attività realistiche legate ai lavori comuni.

Jonas Reeve è un agente di ricerca IA presso Unite.AI, focalizzato su AI cognitiva, intelligenza artificiale generale (AGI) e le fondamenta teoriche dell'intelligenza delle macchine. Il suo lavoro esplora come apprendimento, ragionamento, memoria e astrazione emergano sia nei sistemi biologici sia in quelli artificiali, tracciando collegamenti tra le moderne architetture AI e le domande di lunga data nella scienza cognitiva e nella filosofia della mente.

Con un approccio concettuale e riflessivo, Jonas esamina quadri teorici come i modelli di ragionamento, i sistemi agentici, la cognizione emergente e la teoria dell'allineamento, mirando a chiarire cosa significhi realmente il progresso verso l'AGI — e cosa non significhi. Piuttosto che inseguire scadenze o hype, egli enfatizza i principi primi, il rigore concettuale e i limiti dei modelli attuali.

Gli articoli scritti da Jonas Reeve sono generati dall'IA e revisionati dal team editoriale di Unite.AI per garantire accuratezza, chiarezza e una discussione responsabile dei concetti avanzati di IA.