Codice Umano del 2020 Sconfigge Agenti con Codifica Vibe in Test Agentici

ChatGPT e altri strumenti di codifica vibe sono stati sottoposti a un test in quasi 40.000 partite – e hanno perso contro il codice scritto da uno studente universitario prima dell’invenzione dei Modelli di Linguaggio di Grande Scala.

In uno studio recente del Regno Unito, i ricercatori hanno confrontato agenti codificati dall’uomo con agenti codificati con la codifica vibe sviluppati con i più recenti Modelli di Linguaggio di Grande Scala (LLM), come ChatGPT-5 e Claude, e hanno scoperto che gli agenti creati senza l’aiuto dell’IA hanno facilmente sconfitto le versioni facilitate dall’IA.

Entrambi i set di agenti sono stati creati da diverse generazioni di studenti del Laboratorio di Intelligenza Artificiale dell’Istituto Tecnologico Federale Svizzero di Losanna. Gli agenti non-IA sono stati sviluppati come parte di un corso di studi nel 2020, due anni prima dell’inizio di ChatGPT e dell’inizio della rivoluzione LLM, mentre i nuovi agenti sono stati creati da studenti attuali, aiutati dai più recenti e migliori LLM disponibili.

Anche con un gioco truccato, le soluzioni con codifica vibe non sono riuscite a vincere, e i primi cinque posti sono stati costantemente occupati da agenti “grezzi”, con la maggior parte degli agenti LLM (33 su 40) sconfitti facilmente da agenti di base “molto semplici”, in 38.304 sfide in un torneo, su un ampio numero di variabili e circostanze.

Il paper afferma:

‘Il nostro lavoro dimostra che, mentre i LLM di stato dell’arte possono generare codice che funziona (cioè, senza errori di sintassi), la soluzione generata non è competitiva con le soluzioni progettate dall’uomo in dimensioni come la pianificazione strategica, l’ottimizzazione o la competizione multi-agente.

‘Pertanto, questo lavoro porta alla ribalta questa nuova frontiera nella generazione di codice, e mira a facilitare lo sviluppo di benchmark, set di dati e baseline open-source che enfatizzano la sintesi del codice guidata dalla ragione.’

La sfida ideata era quella di partecipare creativamente a aste, su una varietà di strategie, e di organizzare la logistica della consegna degli oggetti vinti ai vincitori.

Gli autori notano che sono stati concessi diversi vantaggi ai LLM, come l’intervento nel loro codice per migliorare le loro prestazioni – un vantaggio non concesso al codice del 2020; tuttavia, anche quando fornito con codice correttivo che avrebbe sicuramente migliorato i loro risultati, i LLM non sono stati in grado di utilizzarlo:

‘[Nel] nostro benchmark, anche quando esponiamo una buona soluzione in contesto, il LLM non è ancora in grado di utilizzarla.

‘Questo risultato solleva anche interessanti domande di ricerca future sui limiti dell’apprendimento in contesto e della risoluzione dei problemi aumentata in scenari complessi.’

I LLM utilizzati nel test sono stati GPT-5 Thinking, Gemini 2.5 Pro, Claude Opus 4.1, e DeepSeek R1*.

Il nuovo paper è intitolato Can Vibe Coding Beat Graduate CS Students? An LLM vs. Human Coding Tournament on Market-driven Strategic Planning, e proviene da un autore dell’Università di Southampton e da un altro dell’Università di Oxford e dell’Istituto Alan Turing. Il benchmark sarà, secondo gli autori, rilasciato presto.

Metodo

Gli autori notano che i test tradizionali in questo ambito si concentrano su sfide con soluzioni chiaramente definite (binarie, corrette o non corrette), verificate attraverso test unitari. Sostenendo che questo non è il modo ideale per esplorare i limiti del codice facilitato da LLM, gli autori hanno invece ideato una sfida più complessa, con molti benchmark interni e pietre miliari, in cui la vittoria è possibile, ma lontana dall’essere semplice:

Confronto tra approcci standard basati su test unitari (in alto) e la sfida più aperta ideata dagli autori (in blu, in basso). Fonte

Il Problema di Asta, Ritiro e Consegna (APDP) utilizzato per lo studio degli autori è stato in parte auto-selezionato, a causa della disponibilità di un corpus di lavori di studenti del 2020 dell’università svizzera; lavori che hanno cercato di creare agenti automatici per il compito APDP, prima della possibilità di rafforzare lo sviluppo attraverso l’IA. Pertanto, è stato relativamente facile assegnare agli studenti moderni lo stesso incarico, ma fornirli di strumenti attuali.

Gli autori hanno cercato di evitare framework di test popolari come HumanEval, BigCodeBench e WebDev Arena (tra molti altri), poiché questa classe di procedure di test tende a soffrire di contaminazione dei dati (ad esempio, istanze in cui il sistema può aver addestrato su dati di test invece di rispettare una divisione).

L’APDP è un problema di logistica a due fasi basato su aste inverse e pianificazione dei veicoli. Nella prima fase, gli agenti competono per vincere compiti di consegna presentando offerte per quanto dovrebbero essere pagati per completare ciascuno di essi. Offrire troppo significa perdere il compito; offrire troppo poco può significare perdere denaro.

Nella seconda fase, ogni agente deve creare un piano efficiente per adempiere solo ai compiti che ha vinto, assegnandoli a veicoli con diverse capacità e costi, sotto vincoli di tempo e risorse:

Nell’APDP, le aziende partecipano a aste inverse per compiti di consegna, poi ottimizzano le rotte dei veicoli per adempiere solo ai compiti che vincono, cercando di massimizzare il profitto.

L’obiettivo non è semplicemente completare i compiti, ma massimizzare il profitto complessivo anticipando quali bundle di compiti funzioneranno meglio insieme e prevedendo le strategie dei concorrenti che stanno cercando di fare lo stesso.

L’APDP solleva la difficoltà dei compiti di generazione di codice introducendo la pianificazione strategica attraverso una sequenza di aste interdipendenti, con ogni offerta che ridisegna il paesaggio delle scelte future; e quindi richiede agli agenti di ragionare non solo sui costi immediati, ma sulla posizione, sul timing e sulle conseguenze a lungo termine.

Il problema di consegna di base è NP-hard, cioè nessun algoritmo può trovare la soluzione migliore in tempo ragionevole man mano che il numero di compiti cresce. Ciò rende la forza bruta un approccio non praticabile e costringe gli agenti a scambiare la precisione con la velocità.

La Corsa è Iniziata

La valutazione degli autori ha confrontato 40 agenti codificati con LLM contro 17 agenti codificati dall’uomo in una serie di tornei testa a testa. Ogni uno dei 12 tornei ha utilizzato una combinazione diversa di quattro topologie di rete stradale, e consisteva in tutte le partite, con gli agenti che affrontavano ogni altro avversario due volte: una volta controllando ogni due società, con diverse specifiche di veicolo.

Questo setup ha prodotto 3.192 partite per torneo, per un totale di 38.304 partite. In ogni partita, 50 compiti di consegna sono stati messi all’asta, definiti dai loro punti di ritiro e consegna e peso, e tratti casualmente attraverso layout stradali modellati sulla Svizzera, Francia, Gran Bretagna e Paesi Bassi:

Reti stradali semplificate utilizzate nel torneo: Gran Bretagna (in alto a sinistra), Svizzera (in alto a destra), Paesi Bassi (in basso a sinistra) e Francia (in basso a destra). I quadrati blu e rossi segnano i compiti di ritiro e consegna. I triangoli colorati mostrano le posizioni attuali dei veicoli degli agenti.

Gli agenti degli studenti sono stati tratti da un torneo di corsi del 2020. Otto provenivano dai migliori performer in una finale a eliminazione singola, e quattro altri sono stati scelti per le loro prestazioni forti contro gli agenti di base in partite testa a testa.

Gli agenti di base seguivano euristici fissi. Naive calcolava la distanza totale e offriva di conseguenza, utilizzando solo un veicolo e ignorando il batching; ExpCostFixedBid simulava 10 compiti casuali e offriva il costo marginale medio; Honest calcolava il costo marginale effettivo di inserimento del compito nel piano; ModelOpponent fece lo stesso, ma aggiunse una stima del costo dell’avversario, offrendo il massimo; e RiskSeeking combinava un prior con decadimento temporale con la stima del costo e la modellazione dell’avversario – offrendo il più alto dei due.

La valutazione includeva 40 agenti codificati con LLM costruiti utilizzando i già menzionati GPT-5 Thinking, Claude Opus 4.1, Gemini 2.5 Pro e DeepSeek R1. Ogni modello è stato promosso con cinque strategie diverse, applicate due volte per modello.

Due strategie utilizzavano prompt statici scritti da autori diversi, mentre una terza chiedeva al modello di riflettere e rivedere la sua stessa output; un’altra strategia coinvolgeva la critica e la revisione da parte di un LLM separato. L’ultima strategia utilizzava GPT-4 per sintetizzare un nuovo prompt esaminando tutti e quattro gli approcci precedenti.

Il prompt di base rifletteva l’incarico originale dello studente, descrivendo l’ambiente di consegna e istruendo il modello a offrire e pianificare per massimizzare il profitto, senza affidarsi a metodi ad alta complessità.

Tutti gli agenti LLM sono stati testati in entrambi i contesti di auto-gioco e torneo fino a quando non sono stati risolti tutti gli errori osservabili. La correzione degli errori è stata gestita in modo autonomo dai LLM stessi, promossi con le informazioni di errore.

I fallimenti comuni dei LLM, nota il paper, includevano violazioni dei limiti di timeout, fallimenti nel ritiro o nella consegna di compiti assegnati e violazioni dei vincoli di capacità dei veicoli – errori che spesso derivavano dal disprezzo di istruzioni esplicite o da una logica di ripianificazione difettosa^†:

‘Un altro problema comune che abbiamo riscontrato (soprattutto con Gemini, Claude e DeepSeek, e non così tanto con GPT) è che spesso il LLM non riusciva a risolvere un bug.

‘Ad esempio, un agente si bloccava costantemente, nonostante molteplici (ad esempio, 5-15) cicli di prompt del LLM con l’errore e ricezione della versione aggiornata del codice.

‘L’unica soluzione che abbiamo trovato per tali situazioni (in cui il LLM ripetutamente non riesce a risolvere lo stesso bug) è di ripartire da zero. In generale, abbiamo osservato la necessità di sforzo manuale significativo per raggiungere un codice senza bug. Abbiamo dovuto generare sostanzialmente più agenti per ottenere i 40 senza bug che abbiamo valutato.’

I risultati mostrati di seguito riassumono gli esiti di 12 tornei a doppia eliminazione, che coprono quattro topologie di rete e tre tornei per topologia, per un totale di quasi 40.000 partite:

Per contesto, ogni agente ha giocato 112 partite per torneo, quindi la media massima possibile per vittorie o sconfitte per agente è 112. La deviazione standard (SD) riflette la variabilità tra i tornei. Gli agenti codificati dall’uomo appaiono in grassetto. Gli agenti codificati con LLM sono etichettati con il modello (O = GPT-5 Thinking, G = Gemini 2.5 Pro, A = Claude Opus 4.1, D = DeepSeek R1), seguito da un codice di strategia a due lettere e da un numero che indica se l’agente è il primo o il secondo generato con quel prompt. Fonte

Riguardo ai risultati mostrati sopra, gli autori affermano^†:

‘I LLM non generano codice atteso/competitivo anche in varianti più semplici del problema APDP (nonostante il codice sia largamente privo di bug di sintassi). Ciò sottolinea l’importanza di benchmark di valutazione del codice guidati dalla ragione che vanno oltre l’autocompletamento e identificano nuove debolezze dei LLM.’

‘I nostri risultati dimostrano una chiara superiorità degli agenti codificati dall’uomo: (i) i primi 5 posti sono costantemente occupati da agenti degli studenti, e (ii) la maggior parte degli agenti LLM (33 su 40) sono sconfitti da agenti di base molto semplici (come l’offerta fissa del costo atteso).

‘Inoltre, non abbiamo debuggato il codice degli studenti (mentre abbiamo testato e debuggato accuratamente il codice LLM, sia in auto-gioco che in torneo). Ogni volta che un agente degli studenti si bloccava, gli abbiamo automaticamente assegnato la vittoria al LLM. Un gran numero di questi blocchi sarebbe stato facile da risolvere (ad esempio, gli agenti si bloccavano), quindi gli agenti degli studenti potrebbero classificarsi ancora più in alto.’

Come ulteriore esperimento, GPT-5 Thinking è stato promosso per migliorare il codice dell’agente umano di alto rendimento, Studente 1; ma l’agente LLM modificato è poi sceso al decimo posto, ora il peggiore di tutti i punteggi umani. Invece di migliorare la soluzione, i cambiamenti dei LLM l’hanno degradata di quasi il 20%.

Gli autori concludono:

‘[I nostri] risultati mettono in luce importanti limitazioni della generazione di codice LLM, più notevolmente le loro limitate capacità di ragionamento e pianificazione mentre generano [codice]. I LLM moderni possono fornire codice privo di bug di sintassi che funziona, ma questo non è il benchmark che dovremmo utilizzare per misurare i progressi verso un’IA generale avanzata.’

Conclusione

Gli autori stessi osservano verso la fine del paper che la codifica vibe ha dato potere alle persone di tutti i background tecnici e la caratterizzano in una luce positiva, come una forza livellatrice. Tuttavia, implicano anche che poiché la codifica vibe è appena arrivata, i suoi limiti non sono noti e potrebbero essere considerati piuttosto più alti di quanto ci si possa realisticamente aspettare.

Chiudono la loro offerta chiedendo un cambio di obiettivo ‘da codice che compila a codice che compete‘.

Una domanda che il lettore casuale di questo nuovo paper interessante potrebbe avere è se gli autori stanno colpendo in alto o in basso, poiché il compito agente in questione è considerevolmente più complesso e coinvolto rispetto a quello di generare script PowerShell e altre forme di funzionalità e correzioni minori per le quali la codifica vibe è ben adatta.

* Si prega di notare che il paper si riferisce costantemente a ‘DeepThink R1′, che sembra essere inesistente, comparso solo in un pugno di riferimenti su Internet (presumibilmente da altri autori che hanno scritto male ‘DeepSeek R1)’. Se questo è il mio errore, si prega di contattarmi tramite i miei dettagli di profilo e lo correggerò.

^† Enfasi degli autori, non mia.

Pubblicato per la prima volta mercoledì, 26 novembre 2025. Modificato alle 17:35 est per la formattazione.