Angolo di Anderson
Il passaggio da Claude Fable a un modello inferiore ha inciso a malapena sulla produttività degli sviluppatori durante il divieto

Punti chiaveL'accesso al modello Claude Fable 5, con punteggio più alto, ha aumentato il tasso di…
Vedi di più
- L'accesso al modello Claude Fable 5, con punteggio più alto, ha aumentato il tasso di merge solo di 1,4 punti percentuali.
- Cinque aggiornamenti di Claude non hanno prodotto alcun guadagno significativo nelle pull request unite né nelle modifiche completate settimanalmente.
- I punteggi dei benchmark contano poco quando i compiti assegnati dagli sviluppatori rientrano già nelle capacità dei modelli precedenti.
È molto difficile valutare con precisione se i nuovi modelli di IA abbiano migliorato o meno le prestazioni rispetto ai predecessori, o persino definire cosa costituisca necessariamente un miglioramento della produttività, dato che le nuove versioni possono mostrare progressi in un ambito e prestazioni peggiori in un altro, proprio come accade con i software e i framework tradizionali. A volte si tratta di compromessi volontari, scelti dagli esseri umani; altre volte, di «danni collaterali».
Questo presuppone che si giochi «secondo le regole». Non mancano i casi in cui gli sviluppatori hanno manipolato i software per ottenere risultati migliori nei benchmark, talvolta facendo in modo che riconoscano quando sono sottoposti a un test e modifichino temporaneamente il proprio funzionamento per ottenere un punteggio più alto. Anche i modelli di IA possono riconoscere quando vengono valutati e comportarsi diversamente, persino senza essere stati progettati deliberatamente per farlo.
Alla ricerca di metriche più significative e attendibili, gli sviluppatori spesso stabiliscono criteri informali propri, come la sfida del pellicano in bicicletta ideata da Simon Wilson: ai modelli Vision Language (VLM) viene chiesto di creare qualcosa che non è presente nei dati di addestramento* e spesso ottengono risultati scarsi, anche se nel corso del 2026 le cose sono migliorate in una certa misura:

La metrica di Simon Wilson chiede a un VLM di immaginare un pellicano che va in bicicletta. Ultimamente l’IA è diventata molto più brava in questo, rispetto ai risultati esilaranti di circa 18 mesi fa. Alcuni, però, suggeriscono che ciò possa dipendere dal fatto che la sfida è ormai entrata a far parte dei dati di addestramento. Fonte
Tuttavia, un benchmark può misurare soltanto le competenze specifiche per cui è stato progettato e, anche quando i risultati sono attendibili, non è chiaro quanto tali competenze contino nell’uso quotidiano, né se un punteggio più alto si traduca in una maggiore quantità di lavoro portato a termine.
Nel caso dei modelli per la programmazione, è possibile indagare la questione osservando cosa succede alla produttività degli sviluppatori quando passano da un modello a un altro.
Fare [the Same] di più con meno
A giugno di quest’anno, il divieto della Casa Bianca, durato 19 giorni, di utilizzare Claude Fable ha offerto ai ricercatori un contesto di prova insolitamente chiaro: gli sviluppatori che inviavano richieste di integrazione (PR) su GitHub sono passati a versioni meno potenti di Claude. Poiché tutte le versioni di Claude firmano congiuntamente le PR e queste informazioni sono consultabili tramite l’API di GitHub, i dati sono liberamente accessibili.
Questa opportunità è stata sfruttata in un nuovo studio di Harvard University, che ha monitorato il lavoro di 297 utenti di Fable 5 prima, durante e dopo il divieto, confrontandolo con quello di 8.908 sviluppatori che hanno continuato a usare il precedente modello Opus 4.8.
In precedenza, Fable 5 aveva ottenuto un punteggio quasi 11 punti più alto di Opus 4.8 nel benchmark di programmazione SWE-Bench Pro. Nello studio di Harvard, tuttavia, l’accesso a Fable 5 è stato associato a un aumento di appena 1,4 punti percentuali nella quota di modifiche al codice inviate che sono state accettate nei progetti GitHub entro sette giorni: secondo l’articolo, una differenza praticamente trascurabile. Un’analisi più ampia, inoltre, non ha rilevato aumenti significativi della produttività dovuti al passaggio ad altri modelli di IA più recenti:
«I risultati mostrano che avere accesso a Fable 5 ha modificato il tasso di integrazione di appena 1,4 punti percentuali e che la variazione non era statisticamente [significant]. Abbiamo inoltre analizzato cinque degli otto aggiornamenti dei modelli del 2026 e abbiamo constatato che, dopo questi aggiornamenti, il tasso di integrazione non è aumentato [either].
«Allo stesso modo, gli sviluppatori non sono riusciti a far integrare un maggior numero di richieste di integrazione ogni settimana. Questi risultati mostrano che i progressi nei benchmark di programmazione attuali non si sono davvero tradotti in una maggiore quantità di lavoro completato.»
Nei cinque aggiornamenti del 2026, che hanno coinvolto 1.208 sviluppatori e oltre 15.000 modifiche al codice proposte, non è stato riscontrato alcun miglioramento statisticamente significativo né nel tasso di integrazione del codice inviato né nel numero di modifiche completate con successo ogni settimana.
Pur riconoscendo che le integrazioni su GitHub sono una misura imperfetta della produttività, gli autori osservano che il divieto ha offerto un’occasione molto rara per valutare gli effetti del passaggio da un modello a un altro in condizioni di lavoro reali, in un settore che suscita un enorme interesse a livello globale ma opera con la massima opacità aziendale possibile.
Riconoscendo la difficoltà di stabilire criteri empirici in casi del genere, il nuovo lavoro† osserva:
«Chi inizia a usare per primo i nuovi modelli potrebbe avere più esperienza; pertanto, quando confrontiamo la produttività tra sviluppatori, non possiamo stabilire se la differenza dipenda dal modello o dalle persone che lo usano. Anche se osserviamo le stesse persone, non sappiamo se assegnino gli stessi compiti a modelli diversi.
«Per esempio, alcune persone potrebbero usare Fable 5 per le attività più difficili e passare a modelli di fascia inferiore per quelle più semplici. Se affidano le attività più impegnative al modello più potente, quest’ultimo potrebbe sembrare meno produttivo secondo quasi qualunque misura scegliamo, perché le attività più difficili richiedono più tempo e hanno minori probabilità di essere integrate.»
L’articolo sostiene inoltre che gli studi precedenti sono stati condizionati dal fatto che la maggior parte delle modifiche al codice proveniva da un numero ridotto di progetti, ciascuno con regole proprie per accettare i contributi; queste differenze hanno reso difficile stabilire se i guadagni di produttività fossero effettivamente dovuti al passaggio a modelli più recenti.
Metodo
Per l’esperimento principale††, le pull request GitHub di 297 sviluppatori identificati nello studio come utenti di Fable 5 sono state suddivise in quattro periodi: prima del rilascio del modello, avvenuto il 9 giugno; durante i tre giorni in cui è stato disponibile; nei 19 giorni di sospensione; e dopo il ripristino dell’accesso, il 1º luglio.
I loro tassi di merge sono stati confrontati con quelli di 8.908 sviluppatori identificati come utenti del modello precedente Opus 4.8, così da distinguere i cambiamenti associati alla sospensione dalle fluttuazioni più ampie dell’attività su GitHub.
Il confronto presupponeva che, in assenza del divieto, entrambi i gruppi avrebbero registrato variazioni simili nei tassi di merge. Le variazioni dei tassi di merge sono state confrontate tra i due gruppi, tenendo conto nell’analisi statistica delle differenze tra i singoli sviluppatori e delle fluttuazioni quotidiane:

Cronologia degli aggiornamenti dei modelli Claude e della sospensione di Fable 5. Il pannello superiore mostra otto aggiornamenti di Opus e Sonnet; i cerchi pieni indicano i cinque esaminati nello studio più ampio. Il pannello inferiore mostra i quattro periodi utilizzati per valutare l’effetto della sospensione sui tassi di merge delle PR, prendendo il periodo del divieto come riferimento. Le linee viola indicano quando Fable 5 era disponibile o sospeso; l’ombreggiatura grigia contrassegna il divieto; le sezioni tratteggiate indicano i giorni esclusi subito dopo la sospensione o il ripristino dell’accesso. Fonte
Per quanto riguarda i dati, le PR pubbliche su GitHub create con Claude Code sono state individuate tramite la GitHub Search API, utilizzando l’avviso «Generated with Claude Code» incluso automaticamente nelle relative descrizioni. Quando il nome specifico del modello era stato copiato anche dalla cronologia dei commit del codice alla descrizione della PR, è stato possibile stabilire quale versione di Claude fosse stata utilizzata.
Le PR inviate nel periodo della sospensione di Fable 5 e dei successivi aggiornamenti di Claude sono state raccolte tra novembre 2025 e ottobre 2026, lasciando almeno quattro settimane di tempo perché le PR più recenti venissero integrate.
I 297 sviluppatori che avevano usato Fable 5 durante il breve periodo in cui era disponibile sono stati selezionati per il gruppo principale dello studio, mentre gli 8.908 sviluppatori che avevano usato Opus 4.8 senza che risultasse alcun utilizzo di Fable 5 hanno costituito il gruppo di controllo.
La principale misura della produttività era la proporzione delle modifiche al codice inviate che venivano accettate nei progetti GitHub entro sette giorni, così da confrontare il tasso di invii riusciti nei periodi precedenti, durante e successivi alla sospensione. Ulteriori verifiche hanno riguardato le PR integrate entro un’ora; quelle chiuse senza essere integrate; il numero di commenti ricevuti; le modifiche successivamente annullate; e gli errori nei controlli automatici di GitHub.
Test
La perdita e il successivo ripristino dell’accesso a Fable 5 hanno avuto un effetto misurabile minimo sulla produttività degli sviluppatori: l’accesso al modello più recente è stato associato a un aumento di appena 1,4 punti percentuali della proporzione di PR integrate entro sette giorni, una differenza giudicata «non statisticamente significativa»:

Confronto tra l’utilizzo di Fable 5 e i tassi di merge delle PR prima, durante e dopo il divieto. A sinistra: percentuale di PR prodotte con Fable 5. A destra: variazioni del tasso di merge entro sette giorni rispetto al periodo 22–28 giugno; i punti mostrano le stime e le linee orizzontali gli intervalli di confidenza al 95%. Le righe ombreggiate indicano i periodi in cui Fable 5 era disponibile. Nonostante le forti variazioni nell’utilizzo dei modelli, i tassi di merge sono cambiati poco.
Inoltre, nell’analisi di cinque aggiornamenti dei modelli Claude, che ha coinvolto 1.208 sviluppatori e oltre 15.000 invii di codice, non è stato riscontrato alcun miglioramento nella proporzione di codice accettata nei progetti GitHub. Il tasso è anzi diminuito leggermente, di 0,9 punti percentuali secondo la stima.
È stato inoltre rilevato che gli sviluppatori che utilizzavano modelli più recenti completavano ogni settimana appena il 2,4% in più di invii accettati: una differenza troppo esigua per dimostrare un miglioramento affidabile. Anche quando i punteggi dei benchmark erano aumentati da 5 a 18 punti, non si erano osservati guadagni significativi in termini di produttività.
È stato inoltre rilevato che i modelli più recenti non ottenevano risultati migliori nei controlli automatici del codice di GitHub, con tassi di errore rimasti sostanzialmente invariati.
Lo studio conclude:
«Ipotizziamo che il motivo principale per cui i progressi di Fable 5 nei benchmark non si sono tradotti in una maggiore produttività nel lavoro reale sia che i compiti affidati dagli sviluppatori agli agenti rientrano già nelle capacità del modello precedente.»
E prosegue:
«I nostri risultati, basati sul lavoro reale, avvalorano quanto già segnalato da studi precedenti: il punteggio di un benchmark significa ben poco per chi deve scegliere un modello, se non ci sono prove che misuri il lavoro per cui viene utilizzato[describe].
«Se enti regolatori e acquirenti valutano quanto un modello sia più potente in base al suo benchmark[score], è probabile che la differenza su cui fanno affidamento non si traduca in una maggiore produttività degli utenti.»
Conclusione
Metriche coerenti e confrontabili anno dopo anno sono da tempo un requisito fondamentale per gli aspetti aziendali dei sistemi industriali; tuttavia, nel campo dell’IA è particolarmente difficile riprodurle in modo concreto e accurato. Una parte del problema è la rapidità con cui i «dati di test» che definiscono un benchmark confluiscono nei dati di addestramento del modello successivo, diventando così inutili ai fini dei test. Questo, da solo, compromette in larga misura il modello di riferimento per il benchmarking aziendale e per test scientifici coerenti, nei quali i ricercatori devono poter mettere in discussione metriche definite in precedenza, che potrebbero ormai essere prive di significato.
Negli ultimi dieci anni è stato davvero sorprendente osservare quanti articoli di ricerca nel campo della computer vision continuino ad attenersi a standard ormai superati da tempo, come ImageNet, semplicemente perché le loro origini risalgono a un passato così lontano.
I risultati di questo studio mettono gli sviluppatori in una luce piuttosto positiva, come sostenitori adattabili e flessibili di qualsiasi sistema sia disponibile e operativo; il fatto che lavorino a velocità pressoché identica con l’IA più recente o con quella precedente indica che ottimizzano tempi e scadenze, a prescindere dagli strumenti a disposizione.
* Come ha osservato di recente un commentatore su Hacker News, probabilmente questo non è più vero, poiché i dati «Pelican on Bicycle» sono ormai inclusi nei dati di addestramento e il test è quindi compromesso.
† Intitolato «I modelli di programmazione con punteggi più alti non hanno prodotto più lavoro».
††Lo studio pone altre due domande, ma non ritengo che siano particolarmente pertinenti al tema né paragonabili per importanza alla domanda principale, e non ne ho trattato qui. Per ulteriori dettagli, consultare il PDF della fonte.
Pubblicato per la prima volta mercoledì 18 novembre 2026












