La codifica di Vibe soffre quando il ruolo dell’AI si espande

Uno studio recente scopre che la codifica di Vibe migliora quando gli esseri umani forniscono le istruzioni, ma declina quando l’AI lo fa, con il miglior setup ibrido che mantiene gli esseri umani in primo piano, con l’AI come arbitro o giudice.

Una nuova ricerca degli Stati Uniti, che esamina cosa succede quando i sistemi di intelligenza artificiale sono autorizzati a guidare la codifica di Vibe, piuttosto che semplicemente eseguire istruzioni umane, ha scoperto che quando i Modelli di Linguaggio di Grande Scala (LLM) assumono un ruolo direzionale più ampio, i risultati sono quasi sempre peggiori.

Sebbene i ricercatori abbiano utilizzato GPT-5 di OpenAI come quadro per i loro esperimenti di collaborazione umano-AI, hanno successivamente confermato che sia Claude Opus 4.5 di Anthropic che Gemini 3 Pro di Google erano soggetti alla stessa curva di deterioramento man mano che aumentavano le responsabilità, affermando che ‘anche un limitato coinvolgimento umano migliora costantemente le prestazioni’:

‘[Gli esseri umani] forniscono una guida ad alto livello unicamente efficace attraverso le iterazioni, [mentre] la guida dell’AI spesso porta al collasso delle prestazioni. Inoltre, scopriamo che un’attenta allocazione dei ruoli che mantiene gli esseri umani in carica della direzione mentre scarica la valutazione all’AI può migliorare le prestazioni ibride.’

Per fornire un test coerente che potesse essere valutato in modo uguale dagli esseri umani e dall’AI, è stato costruito un quadro sperimentale controllato intorno a un compito di codifica iterativo in cui un’immagine di riferimento – che presentava una foto di un gatto, un cane, una tigre, un uccello, un elefante, un pinguino, uno squalo, una zebra, una giraffa o un panda – doveva essere ricreata utilizzando grafica vettoriale scalabile (SVG), e che la sua ricostruzione doveva essere giudicata rispetto alla foto di origine da cui era stata derivata:

Sia i partecipanti umani che quelli dell’AI sono stati mostrati un’immagine di riferimento fotografica accanto a una ricostruzione SVG generata dall’AI, e sono stati invitati a valutare quanto le due fossero simili su una scala di sette punti. Fonte

In ogni turno, un agente ha fornito istruzioni ad alto livello in linguaggio naturale per guidare un generatore di codice, e un altro ha deciso se mantenere la nuova versione o tornare a quella precedente – un ciclo strutturato che rispecchia i flussi di lavoro collaborativi reali.

Attraverso 16 esperimenti che coinvolgevano 604 partecipanti e migliaia di chiamate API, i turni di test fully umani sono stati confrontati direttamente con i turni fully guidati dall’AI, in condizioni altrimenti identiche.

Alcune delle soluzioni variegate raggiunte da diverse combinazioni di collaborazione umano-AI e tipi di percentuali (prese da una illustrazione più grande nel paper di origine, al quale rimandiamo il lettore).

Sebbene gli esseri umani e l’AI abbiano eseguito allo stesso livello all’inizio dei test, nel tempo le loro traiettorie si sono diverse: quando gli esseri umani fornivano le istruzioni e prendevano le decisioni di selezione, i punteggi di similarità aumentavano attraverso le iterazioni, con un miglioramento cumulativo costante; ma quando i sistemi di intelligenza artificiale riempivano entrambi i ruoli, le prestazioni non mostravano guadagni consistenti e spesso declinavano nel corso dei turni – anche se lo stesso modello sottostante veniva utilizzato per la generazione del codice, e l’AI aveva accesso alle stesse informazioni dei partecipanti umani.

L’effetto di prolixità

I risultati hanno anche mostrato che le istruzioni umane erano tipicamente brevi e orientate all’azione, concentrandosi su cosa cambiare nel prossimo nell’immagine corrente; al contrario, le istruzioni dell’AI erano molto più lunghe e densamente descrittive (un fattore che era parametrizzato per GPT-5), descrivendo attributi visivi piuttosto che priorizzare la correzione incrementale.

Ma, come si vede nel grafico qui sotto, imporre limiti di parole stretti alle istruzioni dell’AI non ha invertito il modello; anche quando limitate a 10, 20 o 30 parole, le catene guidate dall’AI non hanno mostrato alcun miglioramento nel tempo:

Valutazioni di similarità attraverso le iterazioni per turni umani rispetto a turni fully guidati dall’AI e turni guidati dall’AI limitati a 10, 20 o 30 parole di istruzioni. Evidentemente, la riduzione dei prompt dell’AI non impedisce il declino delle prestazioni iterative osservato quando l’AI dirige sia l’istruzione che la selezione.

Gli esperimenti ibridi hanno reso il modello più chiaro, mostrando che l’aggiunta di anche un po’ di coinvolgimento umano migliorava i risultati, rispetto ai setup fully guidati dall’AI; tuttavia, le prestazioni declinavano generalmente man mano che aumentava la quota di guida dell’AI.

Quando i ruoli sono stati separati, la valutazione e la selezione potevano essere affidate all’AI con una perdita di qualità relativamente piccola; ma sostituire l’istruzione ad alto livello umana con la guida dell’AI ha portato a cali significativi delle prestazioni, suggerendo che ciò che conta di più non è chi genera il codice, ma chi stabilisce e mantiene la direzione attraverso le iterazioni.

Gli autori concludono:

‘Attraverso多 esperimenti, la codifica umana guidata ha migliorato costantemente nel corso delle iterazioni, mentre la codifica guidata dall’AI ha spesso collassato nonostante l’accesso alle stesse informazioni e capacità di esecuzione simili.

‘Ciò punta a lotte chiave dei sistemi di intelligenza artificiale odierni nel sostenere una direzione coerente ad alto livello attraverso interazioni ripetute, del tipo necessario per una codifica di Vibe di successo’

Il nuovo paper è intitolato Perché la guida umana conta nella codifica di Vibe collaborativa, e proviene da sette ricercatori di Cornell University, Princeton University, Massachusetts Institute of Technology e New York University.

Metodo

Per gli esperimenti, un istruttore umano ha guardato un’immagine di riferimento generata da GPT-5, insieme all’ultima tentativo di imitazione SVG associato. Quindi, ha scritto istruzioni in linguaggio naturale per guidare il generatore di codice verso una corrispondenza più stretta.

Così, il generatore avrebbe prodotto un nuovo SVG ogni turno, fornendo un ciclo iterativo per testare come l’effetto della guida si accumula nel tempo. Gli obiettivi erano dieci immagini di animali generate da GPT-5, che coprivano una gamma di forme e texture in modo che i miglioramenti o gli errori fossero facili da rilevare:

Schema del flusso di lavoro di codifica di Vibe utilizzato nello studio. In A), un istruttore umano visualizza un’immagine di riferimento fotografica insieme all’SVG migliore prodotto finora e scrive istruzioni in linguaggio naturale per il generatore di codice da seguire quando produce il prossimo SVG; in B), un selettore umano confronta il nuovo SVG con il precedente e sceglie quale versione corrisponda meglio all’immagine di riferimento, prima di passare l’SVG selezionato in avanti per il prossimo turno di istruzione; e in C), valutatori umani indipendenti valutano quanto ogni SVG generato sia simile alla sua immagine di riferimento, fornendo i punteggi utilizzati per valutare le prestazioni generali.

Un selettore umano ha confrontato ogni nuovo SVG generato con il precedente e ha accettato o rifiutato, mantenendo il processo allineato con l’immagine di riferimento attraverso i turni. In questo setup di base, la stessa persona ha svolto entrambi i ruoli.

Per misurare la qualità, valutatori umani indipendenti hanno valutato quanto ogni SVG generato fosse simile alla sua immagine di riferimento. Attraverso sedici esperimenti, 120 persone hanno prodotto 4.800 valutazioni. Tutti gli esperimenti sono stati eseguiti sul framework PsyNet, un portale progettato per ospitare interazioni strutturate tra esseri umani e sistemi di intelligenza artificiale.

Lo studio ha reclutato 604 parlanti nativi inglesi, in test che avrebbero utilizzato 4.800 chiamate API per la generazione del codice e 5.327 chiamate API per l’istruzione. Sebbene GPT-5 fosse il modello principale utilizzato, sono stati eseguiti lotti di confronto più piccoli con Claude Opus 4.5 e Gemini 3 Pro, che hanno gestito 280 query ciascuno.

Risultati

Trenta turni di codifica di Vibe sono stati eseguiti, ognuno composto da quindici edizioni delle dieci immagini di riferimento di base. Per questi, 45 partecipanti umani sono stati scelti, ognuno servendo come selettore e istruttore attraverso dieci iterazioni, nei turni “umani guidati”.

All’interno di ogni turno, lo stesso partecipante ha scelto tra l’SVG corrente e il precedente, e quindi ha scritto le istruzioni per il prossimo turno. Una seconda versione del test ha sostituito le decisioni umane con chiamate API a GPT 5, mantenendo il resto del setup invariato. In tutti i casi, l’istruttore e il selettore hanno fornito istruzioni in linguaggio naturale al generatore di codice.

Un esempio rappresentativo di codifica di Vibe multi-turno mostra come il processo diverga nel tempo; quando gli esseri umani agivano come selettore e istruttore, l’SVG di output migliorava costantemente attraverso le iterazioni, avvicinandosi all’immagine di riferimento con ogni turno:

Esempi di progressione per un’immagine di riferimento sotto codifica di Vibe guidata dall’umano (in alto) e guidata dall’AI (in basso), mostrando un miglioramento costante attraverso le iterazioni con gli esseri umani in entrambi i ruoli, e stagnazione o deriva quando entrambi i ruoli sono gestiti dall’AI.

Al contrario, nella versione guidata dall’AI, i primi turni hanno sometimes catturato caratteristiche visive chiave, ma i tentativi successivi non sono riusciti a costruire su quei guadagni, e in alcuni casi si sono allontanati dall’obiettivo:

Output finali dall’ultima iterazione, confrontando turni guidati dall’umano (riga superiore) con catene guidate dall’AI (riga inferiore), attraverso lo stesso set di immagini di riferimento. I risultati guidati dall’umano corrispondono più da vicino agli animali originali, mentre i risultati guidati dall’AI mostrano distorsioni visibili o perdita di caratteristiche chiave.

Per misurare le tendenze emergenti in modo quantitativo, le immagini finali sono state mostrate a valutatori umani indipendenti e valutate per similarità con le immagini di riferimento. Nei primi turni, i punteggi guidati dall’umano e dall’AI erano circa gli stessi; ma entro il quindicesimo turno, la differenza era chiara, con le immagini scelte dagli umani valutate molto più vicine agli obiettivi. Nel tempo, i punteggi umani sono aumentati costantemente, con il guadagno relativo più grande su AI che raggiunge il 27,1%.

Punteggi di similarità medi attraverso le iterazioni per codifica di Vibe guidata dall’umano e guidata dall’AI, mostrando guadagni costanti quando gli esseri umani agiscono come selettore e istruttore, e un declino graduale quando entrambi i ruoli sono gestiti da GPT 5.

Per assicurarsi che le tendenze emergenti non fossero dovute al potere collettivo di più partecipanti umani simultanei, i ricercatori hanno reclutato dieci persone aggiuntive per lavorare da sole, ognuna eseguendo tre turni da sola – e i risultati sono migliorati nello stesso modo costante, dimostrando che i guadagni non erano un risultato casuale dello sforzo collettivo.

La visione d’insieme

Tuttavia, se GPT-5 avesse giudicato gli output di persona, avrebbe ammesso che i risultati umani erano migliori? Le valutazioni umane e dell’AI si sono generalmente mosse nella stessa direzione, quindi il modello poteva distinguere il buono dal cattivo, eppure ha valutato costantemente le immagini generate dall’AI più in alto di quanto abbiano fatto gli umani.

‘In particolare, abbiamo chiesto se gli agenti dell’AI avrebbero riconosciuto che i loro output sono inferiori a quelli prodotti dagli esseri umani, o se invece avrebbero mostrato una preferenza per le loro creazioni, il che indicherebbe un potenziale problema di allineamento.’

Come è risultato, c’è effettivamente un problema di allineamento*:

‘Gli agenti di valutazione dell’AI hanno assegnato punteggi più alti agli output generati dall’AI. Questi risultati suggeriscono che le differenze di prestazione osservate possono derivare da una mancata allineazione nelle rappresentazioni tra esseri umani e AI.’

Nell’esaminare come gli esseri umani e l’AI formulano la loro guida, sono emerse discrepanze nei test. Come si vede nella figura qui sotto, sia il focalizzarsi che la lunghezza sono soggetti di divergenza tra AI e umani:

Un confronto di come gli esseri umani e l’AI hanno fornito istruzioni durante il compito di codifica. ‘A’ mostra che gli esseri umani scrivono istruzioni brevi e dirette, mentre l’AI scrive descrizioni lunghe e dettagliate. ‘B’ mappa le istruzioni, rivelando che i prompt umani si raggruppano insieme, mentre i prompt dell’AI si dividono per animale. ‘C’ traccia come limitare la lunghezza dell’istruzione dell’AI non risolve i suoi risultati scadenti nel tempo; e ‘D’ illustra come gli esseri umani forniscono una guida più varia e bilanciata dell’AI, anche quando vengono imposti limiti di parole.

Le istruzioni umane tendevano a essere brevi e dirette, offrendo modifiche chiare che potevano essere applicate in generale attraverso gli obiettivi. Le istruzioni dell’AI, d’altra parte, erano dense di dettagli descrittivi e spesso gonfie di specifiche su ombreggiature, texture, illuminazione o minuzie anatomiche – descrizioni che potrebbero avere senso in isolamento, ma falliscono nel fornire passi utili successivi per il modello (e che saranno familiari a coloro che conoscono i problemi dell’AI intorno alla lunghezza del contesto, cioè essere in grado di mantenere ‘il quadro generale’ mentre un progetto si sviluppa e cresce).

Per vedere se la riduzione della verbosità avrebbe migliorato le prestazioni, GPT-5 è stato limitato a 10, 20 o 30 parole per istruzione; ma anche queste istruzioni compresse non hanno mostrato alcun miglioramento (vedi parte inferiore destra del grafico sopra).

Imprese congiunte

Per testare cosa succede quando gli esseri umani e l’AI condividono il controllo, i ricercatori hanno eseguito compiti di codifica con diverse miscele di input umano e dell’AI, che vanno da principalmente umano a principalmente AI.

Ogni miscela ibrida ha superato il controllo completo dell’AI, in modo che anche una piccola quantità di guida umana migliorasse i risultati:

Setup di codifica ibrida con diverse miscele umano-AI. (A) Mostra come gli esseri umani e l’AI si sono alternati come istruttori e selettori per ogni passo di codifica; (B) mostra che un maggiore coinvolgimento umano ha portato a risultati di qualità più alta, mentre un maggiore input dell’AI ha abbassato i punteggi; e (C) rappresenta un calo costante della qualità dell’output finale man mano che diminuisce la partecipazione umana, confermando che una direzione umana più coerente produce risultati migliori.

Man mano che l’AI assumeva più del processo, le prestazioni calavano, con i migliori risultati osservati quando gli esseri umani guidavano la maggior parte dei turni, e i più deboli quando l’AI guidava la maggior parte dei turni. Nessuno di questi setup ibridi è riuscito a migliorare costantemente con ogni nuovo turno, suggerendo che la direzione umana funziona meglio quando è costante e coerente, piuttosto che occasionale.

Ribaltamento dei ruoli

Lo studio ha anche esplorato se conta chi fa cosa in questi tipi di compiti e ha testato per questo. L’esercizio rivisto ha coinvolto due compiti: un partecipante avrebbe dettato come cambiare l’immagine, e un altro avrebbe scelto una versione preferibile.

Quando entrambi i lavori sono stati eseguiti da persone, la qualità è stata mantenuta; ma quando un umano ha fornito le istruzioni e nessuno ha scelto tra le versioni, la qualità è peggiorata:

Test per la divisione dei ruoli nella codifica di Vibe: in (A), rimuovere il ruolo del selettore ha portato a prestazioni peggiori, anche quando un umano forniva le istruzioni; in (B), sostituire il selettore umano con un’AI ha ridotto leggermente la qualità, ma non così gravemente come saltare completamente la selezione.

Quando l’AI era in carica, saltare il passo di scelta non ha contato, poiché i suoi output sono rimasti coerenti in ogni caso; ma quando gli esseri umani fornivano le istruzioni e l’AI sceglieva i risultati, la qualità è rimasta vicina al setup completamente umano.

Il contrario non ha funzionato: avere l’AI che fornisce le istruzioni mentre gli esseri umani scelgono gli output ha portato a risultati più deboli, suggerendo che la guida creativa umana rimane essenziale, mentre il lavoro di scelta tra le opzioni può essere affidato all’AI senza una grande perdita.

Il paper conclude:

‘[La generazione di idee ad alto livello] e l’istruzione sono i contributi umani critici, mentre la valutazione e la selezione possono spesso essere delegate all’AI senza perdita di prestazioni.

‘Ciò suggerisce un principio di progettazione pratico per i sistemi ibridi: gli esseri umani dovrebbero stabilire la direzione, mentre l’AI può supportare la valutazione e l’esecuzione.’

Conclusione

Rimane da vedere fino a che punto miglioramenti e/o finestre di contesto aumentate influenzeranno le prestazioni dei LLM nei compiti di questo tipo. Il giorno in cui l'”amnesia dei LLM” cesserà di essere un fastidio quotidiano della collaborazione umano-AI potrebbe essere una causa sia di celebrazione che di allarme, poiché il problema che l’AI sta cercando di risolvere, a detta di alcuni, è le persone.

Tuttavia, il lavoro degli autori rende anche chiaro che ci sono disaccordi innati e critici tra l’AI e gli esseri umani riguardo alla qualità, che potrebbero essere determinati dai consumatori come un concetto umano insostituibile.

* La mia conversione delle citazioni in linea degli autori in collegamenti ipertestuali.

Pubblicato per la prima volta venerdì, 13 febbraio 2026