Un ‘Metodo Zen’ per Fermare i Modelli Linguistici dall’Allucinare

Chiedere a ChatGPT di verificare una risposta casuale prima di risolvere un problema reale lo fa pensare più a fondo e ottenere la risposta giusta più spesso – anche se la risposta ‘casuale’ precedente non ha nulla a che fare con la tua vera query.

Un interessante nuovo articolo della Cina ha sviluppato un metodo a basso costo per fermare i modelli linguistici come ChatGPT dall’allucinare, e per migliorare la qualità delle risposte: fare in modo che il modello verifichi la risposta a una domanda completamente non correlata per prima:

Un esempio di una domanda non correlata che può ‘liberare la mente’ di un LLM, e aiutarlo a concentrarsi su una (reale) richiesta successiva. Fonte

Questo colpo di zen è un modo incredibilmente economico per migliorare le prestazioni, rispetto ad altri metodi più complessi, come fine-tuning, prompt-crafting e parallel sampling, e funziona su modelli open e closed-source.

Gli autori delineano le economie di scala possibili migliorando l’output in questo modo spartano*:

‘Per implementare con minima conoscenza aggiuntiva, VF ha solo bisogno di fornire una risposta casuale/triviale nel prompt. Il processo di verifica si rivela avere molti meno token di output rispetto a un percorso CoT ordinario, [a volte] addirittura senza alcun processo di verifica esplicito, quindi [richiede] molto [poco] calcolo aggiuntivo al test-time.’

Nei test, questo approccio – chiamato Verification-First (VF) – è stato in grado di migliorare le risposte in una varietà di compiti, inclusi ragionamenti matematici, su piattaforme open source e commerciali.

Parte del motivo per cui questa tecnica funziona può essere radicata nel modo in cui i modelli linguistici assorbono e appropriano tendenze della psicologia umana, in modo che una domanda diretta possa rendere il modello ‘difensivo’ e ‘nervoso’, mentre una richiesta di verificare il lavoro di un altro non attiva questi ‘istinti di sopravvivenza’.

L’idea centrale è che verificare una risposta richiede meno sforzo che generarla da zero, e può attivare un percorso di ragionamento diverso che complementa il percorso di pensiero standard.

Promptare il modello a criticare una risposta data (cioè, una risposta che il modello non ha creato) può anche attivare un tipo di pensiero critico che aiuta a evitare la fiducia eccessiva nelle prime impressioni del modello.

I ricercatori hanno anche concretizzato il concetto centrale in Iter-VF, un metodo di scala sequenziale che raffina le risposte in modo iterativo, evitando il problema di accumulo di errori comune alle strategie di auto-correzione spesso trovate negli architetture LLM.

Il nuovo lavoro si intitola Chiedere agli LLM di Verificare per Primo è Quasi un Pasto Gratis, e proviene da due ricercatori del Dipartimento di Ingegneria Elettronica dell’Università Tsinghua di Pechino.

Metodo

L’idea centrale dietro il nuovo lavoro è quella di capovolgere il flusso di ragionamento abituale nei modelli linguistici. Invece di chiedere al modello di risolvere un problema da zero, gli viene data una risposta candidata (spesso errata o arbitraria) e gli viene chiesto di verificare se quella risposta ha senso.

Questo induce il modello a ragionare al contrario, lavorando a ritroso dalla risposta proposta verso la domanda. Una volta completata la verifica, il modello procede a risolvere il problema originale come al solito.

Questo capovolgimento, afferma l’articolo, riduce gli errori superficiali e incoraggia un modo di ragionamento più riflessivo, aiutando l’LLM a scoprire strutture nascoste e a evitare ipotesi fuorvianti.

Come si vede negli esempi sotto, anche solo chiedere al modello di verificare una stima ovviamente errata come ’10’ può aiutarlo a recuperare da una logica difettosa e a superare il prompting standard del percorso di pensiero:

Chiedere al modello di verificare una stima prima lo aiuta a individuare le incoerenze e a impegnarsi più a fondo con il problema. In questo esempio, l’approccio standard porta a una soluzione fluente ma errata, mentre il prompt di Verification-First attiva una struttura logica più chiara e il risultato corretto.

Riguardo a molti problemi del mondo reale, non è facile fornire una stima per il modello da verificare, soprattutto quando il compito è aperto, come scrivere codice o chiamare un’API. Pertanto, per adattarsi meglio, il metodo fornisce prima la sua migliore risposta come al solito e poi la riporta nel formato di Verification-First. In questo modo, il modello verifica e migliora la sua stessa output:

Quando il modello viene chiesto di verificare la sua stessa output precedente, individua il difetto nella sua logica e riscrive la soluzione correttamente. Il prompt di Verification-First lo aiuta a concentrarsi sull’errore specifico piuttosto che ripetere lo stesso errore.

Questo approccio costituisce il sopracitato Iter-VF. Il modello ripete questo ciclo, raffinando la sua risposta ogni volta, senza bisogno di riaddestramento o strumenti personalizzati. A differenza di altre strategie di auto-correzione, che possono accumulare contesto attraverso le iterazioni, Iter-VF considera solo l’ultima risposta ogni volta, il che aiuta a mantenere la sua ragione lucida.

Dati e Test

Gli autori valutano il metodo in quattro domini: compiti di ragionamento generale, dove VF è inizializzato con una stima banale; compiti sensibili al tempo, dove Iter-VF è confrontato con metodi di scala rivali; problemi aperti come la codifica e le chiamate API, dove VF utilizza la risposta precedente del modello; e modelli LLM commerciali a codice chiuso, dove i passaggi di ragionamento interni sono inaccessibili.

Per testare il metodo, i ricercatori hanno utilizzato tre benchmark di ragionamento: GSM8K e MATH500 per problemi matematici; e GPQA-Diamond per domande scientifiche di livello universitario.

In ogni caso, il modello è stato fornito con una stima banale, come ‘1’ per le risposte numeriche; o un’opzione a scelta multipla casualmente riordinata, come punto di partenza per la verifica. Non è stata aggiunta alcuna conoscenza o adattamento specifico, e il baseline per il confronto è stato il prompting standard del percorso di pensiero.

I test sono stati eseguiti su una gamma completa di modelli Qwen2.5 e Llama3, da 1B a 72B (parametri) in dimensione. I modelli Qwen utilizzati sono stati Qwen2.5-1.5B-Instruct, Qwen2.5-3B-Instruct, Qwen2.5-14B-Instruct, e Qwen2.5-72B-Instruct. Le varianti Llama3 sono state Llama3.2-1B-Instruct, Llama3.2-3B-Instruct, Llama3.1-8B-Instruct, e Llama3.3-70B-Instruct.

Come mostrato di seguito, il miglioramento dal prompting di Verification-First è rimasto costante attraverso le scale del modello, con guadagni chiari visibili anche a 1B parametri e continuando fino a 72B:

Attraverso tutte le dimensioni dei modelli Qwen2.5 e Llama3, il prompting di Verification-First ha costantemente superato il prompting standard del percorso di pensiero su GSM8K, MATH500 e GPQA-Diamond.

L’effetto si è rivelato più forte sui benchmark di calcolo matematico come GSM8K e MATH500, dove la verifica di una risposta errata ha attivato un ragionamento migliore rispetto al tentativo di risolvere da zero. Su GPQA-Diamond, che dipende più dalla conoscenza memorizzata che dalla struttura deduttiva, il vantaggio è stato più piccolo ma costante.

Il costo computazionale di Verification-First è stato modesto: nella tabella sotto, possiamo vedere che generare un passaggio di verifica ha aggiunto circa il 20-50% più token di output rispetto al prompting standard del percorso di pensiero:

Il numero medio di token di output generati con ogni metodo di prompting, attraverso i benchmark GSM8K, MATH500 e GPQA.

Nonostante ciò, il costo aggiuntivo è rimasto ben al di sotto di quello delle strategie che richiedono più completamenti campionati o pianificazione ricorsiva.

Nel grafico sotto, possiamo vedere quanto sia sensibile il metodo alla qualità della stima. Sorprendentemente, anche quando la stima è banale (‘1’), implausibile (‘2025’) o un’opzione a scelta multipla casuale, Verification-First supera comunque il prompting standard:

Guadagni di accuratezza dal prompting di Verification-First, quando il modello viene fornito con stime banali, implausibili o corrette da verificare su GSM8K, MATH500 e GPQA.

Iter-VF è stato anche confrontato con quattro strategie di scala al test-time che operano senza riaddestramento o adattamento specifico del compito. In Self-Correction, il modello è stato promptato a revisionare le sue risposte riflettendo sui passaggi di ragionamento precedenti; in PHP, le risposte precedenti sono state allegate all’input come suggerimenti contestuali, sebbene non siano state date istruzioni su come utilizzarle.

Inoltre, in Self-Consistency, sono stati campionati più percorsi di ragionamento e la risposta finale è stata scelta tramite voto di maggioranza; e infine, in Best-of-N, sono state generate più output indipendenti e classificate utilizzando un prompt di verifica, con la risposta più alta selezionata.

Due varianti di Iter-VF sono state implementate: una inizializzata con una stima banale (‘1’), e un’altra inizializzata con un output CoT standard:

Accuratezza e efficienza dei token su MATH500 con budget di output crescente, mostrando che entrambe le varianti di Iter-VF superano tutte le baseline attraverso le scale del modello.

Iter-VF ha dato risultati migliori di tutti gli altri metodi quando la computazione disponibile era bassa, il che gli autori hanno attribuito al modo in cui verifica le risposte, non alla qualità delle stime iniziali (poiché entrambe le varianti VF e CoT hanno raggiunto rapidamente la stessa accuratezza).

PHP ha eseguito peggio, anche se ha riutilizzato le risposte precedenti come suggerimenti, probabilmente perché gli LLM non hanno sfruttato bene quei suggerimenti.

In contrasto con PHP e Self-Correction, che accumulano il contesto attraverso le iterazioni, Iter-VF considera solo l’ultima risposta ogni volta. Questo approccio Markoviano evita la confusione cumulativa delle catene di ragionamento estese – una debolezza particolarmente dannosa per Self-Correction.

Metodi paralleli come Self-Consistency e Best-of-N hanno evitato questo problema, sebbene i loro miglioramenti siano stati più lenti e modesti.

(n.b. La sezione dei risultati, sebbene completa, è una lettura poco amichevole e prolissa, e a questo punto dobbiamo troncare la maggior parte della copertura rimanente, riferendo il lettore al paper di origine per ulteriori dettagli).

Quando testato su GPT-5 Nano e GPT-5 Mini, modelli commerciali chiusi che nascondono la traccia completa di ragionamento e restituiscono solo la risposta finale, Iter-VF ha migliorato le prestazioni senza fare affidamento sugli output intermedi. Nella tabella sotto possiamo vedere i guadagni su entrambi MATH500 e GPQA, confermando che l’approccio di verifica e generazione rimane valido anche quando solo l’input e la risposta finale sono accessibili:

Accuratezza su MATH500 e GPQA quando Iter-VF viene applicato ai modelli GPT-5 con tracce di ragionamento nascoste.

Conclusione

Sebbene il nuovo articolo si riveli opaco dalla sezione dei risultati in poi, la scoperta apparente di un tratto sovrastante in una classe di modelli di intelligenza artificiale è comunque uno sviluppo affascinante. Chiunque utilizzi regolarmente un LLM avrà istintivamente sviluppato una serie di trucchi per lavorare intorno ai limiti del modello, man mano che ciascuno diventa ovvio con il tempo, e il modello emerge; e tutti sperano di trovare un ‘trucco’ così applicabile e generalizzato come questo.

Uno dei più grandi problemi nell’implementare e aggiornare una finestra di contesto in un LLM sembra essere trovare un equilibrio tra la conservazione del progresso della sessione e la capacità di muoversi in direzioni nuove quando necessario, senza cadere in allucinazioni spurie o output fuori tema. Nel caso presentato dal nuovo articolo, vediamo un esempio di un ‘richiamo gentile ma insistente’ che sembra ri-focalizzare e re-impostare l’LLM senza perdita di contesto. Sarà interessante vedere se progetti successivi adatteranno ed evolveranno il metodo.

I ricercatori enfatizzano molto l’economia del loro nuovo metodo – una considerazione che avrebbe avuto molto meno peso anche solo 12 mesi fa. Oggi, le implicazioni dell’intelligenza artificiale iperscalabile rendono chiaro che i risparmi di risorse un tempo considerati pedanti, nell’era della ‘ricerca pura’, stanno diventando essenziali e cardinali.

* Si prega di notare che sono stato costretto a non includere il numero usuale di citazioni dal paper, poiché lo standard di inglese trovato in alcune parti di esso potrebbe confondere il lettore. Pertanto, ho preso la libertà di riassumere le intuizioni chiave invece, e rinvio il lettore al paper di origine per la verifica.

Pubblicato per la prima volta giovedì, 4 dicembre 2025