Angolo di Anderson
Il progresso scientifico guidato dall’IA minacciato da una strana ossessione

Punti chiaveI revisori basati su intelligenza artificiale più recenti si fissano sulle appendici…
Vedi di più
- I revisori basati su intelligenza artificiale più recenti si fissano sulle appendici, mentre i revisori umani si concentrano sui risultati principali di un articolo.
- I modelli linguistici trattano ogni passaggio come ugualmente importante, quindi non colgono quali sezioni contano davvero.
- Il bias verso le appendici persiste in tutti i metodi di accesso e produce un feedback superficiale che aiuta a malapena gli autori a migliorare.
Un nuovo studio statunitense suggerisce che i modelli di IA che esaminano articoli scientifici stiano sviluppando una strana ossessione per le appendici, a scapito del corpo principale del testo, prestando spesso più attenzione a dettagli secondari di supporto che ai risultati principali. Poiché i modelli linguistici vengono sempre più utilizzati per assistere o persino sostituire i revisori umani, questa tendenza, individuata di recente, sembra estendersi alla revisione scientifica tra pari, rischiando di ostacolare il progresso della ricerca sull’IA:

Dal nuovo studio: l’aumento delle critiche relative alle appendici nelle revisioni scientifiche tra pari condotte da esseri umani. Dopo essere rimasta sotto l’11% per anni, la percentuale ha raggiunto il 27,6% nelle revisioni più recenti, in seguito al rilascio di modelli di IA per i quali è emerso che più della metà delle critiche deriva dalle appendici. Le linee tratteggiate indicano i principali rilasci di modelli. Fonte
In una verifica condotta su 2000 articoli scientifici provenienti da quattro importanti conferenze, i ricercatori del nuovo studio hanno rilevato che i modelli più recenti formulano circa il 50-70% delle loro critiche sulla base delle appendici, contro meno del 30% nel caso del precedente GPT-5.
Due dei più importanti modelli di IA di nuova generazione, che a quanto pare stanno spingendo persino i revisori umani a concentrarsi sulle appendici invece che sui risultati principali, più rilevanti, sono GPT-6.1-Sol e GPT-6-Astra di OpenAI, entrambi rilasciati nel 2026.
Lo studio afferma*:
‘La differenza tra le generazioni è considerevole. Nel caso di GPT-5, solo una piccola parte delle debolezze individuate riguarda l’appendice. Entrambi i modelli più recenti, GPT-6.1-Sol e GPT-6-Astra, vi fanno molto più affidamento, e questo vale per tutte le conferenze.
‘Questo suggerisce che la propensione a concentrarsi sull’appendice è una caratteristica soprattutto dei modelli più recenti. Sebbene i nuovi modelli rappresentino un miglioramento, la loro propensione a concentrarsi sull’appendice è aumentata. La capacità di leggere un articolo in dettaglio non ha insegnato loro quali parti siano più importanti.’
Lo studio ha inoltre rilevato che questa fissazione per le appendici varia a seconda dei metodi con cui l’IA riceve l’articolo, poiché le interfacce API, Codex e web non esaminano i PDF allo stesso modo; inoltre, Codex non legge affatto la parte centrale di un PDF di lunghezza media e, se necessario, la analizza in seguito solo per «frammenti». Tuttavia, è emerso che tutti i metodi privilegiano il materiale contenuto nelle appendici.
Fino a poco tempo fa, le revisioni umane e quelle dell’IA non condividevano questa ossessione:
‘[Human] i revisori umani trattano il corpo principale e il materiale supplementare in modo molto diverso dagli LLM. Gli LLM attribuiscono alle appendici più del 50% delle debolezze individuate, mentre gli esseri umani ne attribuiscono meno del 10%.
‘La differenza emerge anche a livello delle singole revisioni. Dei 200 articoli campionati ogni anno dal 2021 al 2024, solo 159 in totale hanno ricevuto una revisione umana che segnalasse almeno una debolezza relativa alle appendici. Al contrario, tutte le 200 revisioni generate da LLM per ICLR 2027 includevano almeno una critica alle appendici.’

Confronto tra le critiche relative alle appendici nelle revisioni scientifiche tra pari condotte da esseri umani e quelle generate dall’IA. I revisori umani hanno attribuito al materiale contenuto nelle appendici appena l’8,4% delle debolezze individuate, contro il 62% dei modelli di IA. La seconda colonna mostra le critiche riguardanti esclusivamente le appendici, senza problemi corrispondenti nel corpo principale dell’articolo.
Come mostra la tabella di verifica qui sopra, i revisori dell’IA avevano una probabilità più che sette volte superiore a quella degli esseri umani di individuare debolezze nelle appendici e più che tripla di sollevare critiche riguardanti soltanto il materiale supplementare. Ciò indica che alcuni dei più recenti modelli di IA all’avanguardia stanno dando priorità a dettagli che i revisori umani considererebbero tradizionalmente secondari rispetto al contributo scientifico principale di un articolo.
Perché?
Per quanto è possibile stabilire (questo è il primo studio ad aver individuato il fenomeno), parte del problema è che le IA non riconoscono, o non hanno appreso dai loro vastissimi dati di addestramento, che normalmente l’appendice di un articolo non è il luogo in cui si trova il contenuto sostanziale; la loro tendenza generale a trattare tutto il testo come ugualmente importante fa sì che non colgano il contesto del materiale in appendice, spesso non curato e presentato in modo molto più sommario rispetto al corpo principale:
‘Gli LLM quasi mai criticano le pagine iniziali, in cui un articolo inquadra il problema e spiega perché è importante. Gli esseri umani spesso contestano proprio questa impostazione, mentre gli LLM sembrano accettarla e passare ai numeri.
‘[Humans and LLMs] hanno letto l’appendice in modo molto diverso. Le critiche umane diminuiscono rapidamente man mano che si procede nell’appendice e quasi scompaiono nelle ultime pagine. Le debolezze degli LLM, invece, non diminuiscono affatto. Anzi, raggiungono il picco ben oltre l’inizio dell’appendice e persistono anche dopo pagina 30, dove i revisori umani sollevano pochissime obiezioni.
«Per un LLM, un dettaglio a pagina 25 è un bersaglio altrettanto legittimo quanto la tabella dei risultati principali.»
Gli autori osservano che l’approccio egualitario degli LLM nei confronti del testo potrebbe averli portati naturalmente a concentrarsi maggiormente sui contenuti delle appendici, perché, come detto sopra, questi tendono a contenere più errori.
Pertanto, il quadro generale che traggo da questo nuovo studio è che, nel tempo, gli LLM si siano concentrati su una sezione dei nuovi articoli scientifici in cui tendono a verificarsi molti errori o confusioni, semplicemente perché quell’area viene spesso trattata dagli autori umani come un disordinato contenitore di materiali per prove e riscontri secondari.
Per questo motivo, l’IA trova sempre più interessanti le appendici rispetto al corpo principale, curato con grande attenzione, perché lì ha più materiale da analizzare e correggere; di conseguenza, osserva l’articolo, gli LLM tendono a trattare la parte iniziale del testo come un resoconto fattuale, accettandola senza riserve:
«Gli esseri umani si aspettano che il corpo principale si regga da solo, quindi obiettano quando sezioni essenziali vengono relegate nell’appendice. Gli LLM sollevano quasi mai questa obiezione.
«Questo mette in luce una differenza fondamentale: gli esseri umani riconoscono che il corpo principale ha più peso dell’appendice, mentre gli LLM non lo riconoscono.»
Conseguenze e rimedi
Questa inattesa attenzione ai dettagli secondari potrebbe avere gravi implicazioni per la ricerca scientifica assistita dall’IA, soprattutto se si trascurasse l’importanza dei risultati principali di un articolo. Poiché questa tendenza sembra essere emersa solo con i modelli più recenti, i suoi effetti a lungo termine non sono ancora noti.
L’articolo riconosce che i revisori basati sull’IA possono individuare errori utili, anche quando sono sepolti in profondità nell’appendice. Avverte tuttavia che si può dedicare troppa attenzione ai dettagli secondari a scapito dei risultati principali di un articolo, dando luogo a revisioni lunghe e di scarso valore pratico:
«I revisori LLM alzano l’asticella, perché non lasciano inesaminata alcuna parte dell’articolo. Tuttavia, una revisione efficace richiede anche di saper valutare ciò che conta di più. Quando la maggior parte delle debolezze segnalate in una revisione riguarda contenuti dell’appendice estranei al contributo principale, il riscontro resta superficiale. Non affronta il nucleo dell’articolo e aiuta poco gli autori a migliorarlo.»
Gli autori del nuovo studio, intitolato Le revisioni dell’IA sono orientate verso l’appendice, hanno deciso di approfondire la questione dopo aver notato alcuni schemi insoliti nel modo in cui le revisioni assistite o generate dagli LLM valutavano i loro stessi articoli inviati. Il codice dello studio è disponibile su GitHub.
Metodo e test
Per i test sono stati selezionati quattro modelli di IA di punta di OpenAI e Anthropic: GPT-6-Astra; GPT-6.1-Sol; Claude-Opus-5.5; e Claude-Sonnet-5.5. I modelli sono stati utilizzati tramite Codex e Claude Code e il loro comportamento in fase di revisione è stato confrontato con quello ottenuto tramite accesso alle API e all’interfaccia web.
Gli articoli di ricerca sono stati raccolti da quattro importanti conferenze sull’IA e sull’elaborazione del linguaggio naturale: ACL 2026; EMNLP 2026; COLM 2026; e ICLR 2027. Sono state scelte tutte perché adottano formati di invio e revisione simili, con limiti rigorosi al numero di pagine dell’articolo principale, ma in genere senza limiti per le appendici collocate dopo i riferimenti bibliografici.
Sono stati esaminati 2.000 articoli in totale: 1.200 provenienti da ICLR 2021–2026 e 800 da quattro conferenze recenti, con 200 articoli selezionati per ciascuna. Tutti gli 800 articoli recenti avevano appendici di almeno 15 pagine. Gli articoli inviati a ICLR 2027 erano già anonimi, mentre dagli articoli di ACL, EMNLP e COLM sono stati rimossi i nomi degli autori, le affiliazioni, gli indirizzi e-mail e i link identificativi, per evitare che i revisori basati sull’IA potessero risalire agli autori.
L’accesso a Internet è stato disattivato per i modelli, così da garantire che le revisioni si basassero interamente sui PDF forniti.
Per prima cosa, all’IA è stato chiesto di redigere una revisione nello stile della conferenza di riferimento, indicando i punti di forza e di debolezza dell’articolo e assegnando un punteggio complessivo. Le istruzioni sono state mantenute volutamente semplici, per rispecchiare il possibile impiego dell’IA da parte di un revisore reale. L’articolo e la revisione completata sono poi stati restituiti allo stesso modello di IA, a cui è stato chiesto di identificare a quale sezione dell’articolo si riferisse ciascuna critica. Per stabilirlo, le critiche sono state esaminate insieme all’articolo originale:

Il processo di revisione in tre fasi utilizzato nello studio. Sono stati selezionati articoli con appendici di almeno 15 pagine, provenienti da quattro conferenze, e li si è anonimizzati prima di sottoporli alla revisione dei modelli di IA. Ogni revisione è stata poi esaminata insieme all’articolo originale, assegnando le singole critiche alle sezioni a cui si riferivano.
Separando questi compiti, è stato possibile esaminare le parti degli articoli che avevano suscitato critiche senza che le revisioni originali fossero influenzate da istruzioni aggiuntive.
Tra i risultati di cui non abbiamo ancora parlato c’è l’analisi degli autori su da dove abbiano origine i punti deboli delle revisioni generate dagli LLM:

Confronto delle sezioni in cui le revisioni generate dall’IA hanno individuato punti deboli in quattro conferenze. Il verde indica le critiche rivolte all’articolo principale, il rosso quelle relative alle appendici e le aree tratteggiate quelle riguardanti esclusivamente le appendici. In quasi tutte le prove, più della metà delle critiche è stata attribuita al materiale delle appendici; il bias più marcato è stato registrato per GPT-6-Astra.
Come mostrato sopra, circa la metà o più delle critiche formulate da tutti e quattro i modelli di IA si basava sul materiale contenuto nelle appendici: un andamento riscontrato in tutte e quattro le conferenze. Alcune critiche erano rivolte esclusivamente alle appendici, senza alcun legame con l’articolo principale; rappresentavano il 17,33% dei punti deboli individuati dai modelli GPT, contro il 10,16% rilevato da Claude.
Secondo l’articolo, i risultati indicano che al materiale delle appendici veniva dedicata un’attenzione sproporzionata e che talvolta dettagli relativamente marginali erano considerati motivi per criticare l’articolo nel suo complesso.
È stato condotto un confronto tra diversi metodi per determinare se il bias a favore delle appendici dipendesse da come si accedeva all’IA. Con GPT-6-Astra sono stati esaminati cento articoli inviati a ICLR 2027 tramite Codex, l’interfaccia web di ChatGPT e un’API a cui è stato fornito il PDF originale oppure il testo estratto.
Con Codex, il testo veniva estratto ed esaminato tramite comandi; tramite l’API, veniva fornito direttamente il PDF completo oppure il testo estratto; mentre, attraverso l’interfaccia web, i documenti caricati venivano elaborati dal sistema interno, opaco, della piattaforma:

Confronto delle critiche relative alle appendici tra modelli di IA e modalità di accesso. A sinistra, GPT-5 ha citato il materiale delle appendici molto meno spesso rispetto ai modelli GPT più recenti nelle quattro conferenze. A destra, il bias persisteva con tutte e quattro le modalità di accesso a GPT-6-Astra: le critiche relative alle appendici rappresentavano dal 62,2% al 73,7% del totale. Le aree tratteggiate indicano le critiche rivolte esclusivamente alle appendici.
Come mostrato sopra, in tutte e quattro le modalità il materiale relativo alle appendici è stato citato nel 62,2%-73,7% delle critiche; la percentuale più alta si è registrata quando il testo estratto è stato fornito direttamente tramite API. È stato quindi riscontrato che il bias persisteva indipendentemente dalla modalità di accesso al modello.
La maggior parte delle altre prove era già stata illustrata in precedenza nell’articolo; per ulteriori informazioni rimandiamo il lettore alla fonte.
Stratagemmi nella presentazione degli articoli
Come l’argomento è personale per gli autori del nuovo lavoro, lo è anche per me: leggo molti articoli scientifici e ho imparato a mie spese quali regole non scritte, e quali espedienti per aggirarle, determinino il modo in cui gli articoli vengono composti e presentati.
In generale, non è colpa dell’IA se presta attenzione alle appendici, anche quando lo fa per le ragioni sbagliate: spesso gli autori vi nascondono le «insidie» dell’articolo, ossia fattori o risultati che possono quasi annullare, oppure ridimensionare in modo sostanziale, le affermazioni contenute nel testo principale.
Gli autori non sono necessariamente responsabili nemmeno di relegare materiale importante nelle appendici, poiché i modelli adottati da pubblicazioni autorevoli, come quelle utilizzate come fonti di dati nel nuovo studio, impongono limiti massimi al numero di pagine o di parole del testo principale.
Quando presentano i risultati di studi complessi, molti autori considerano chiaramente questo vincolo molto pesante; in quelli che definirei «i casi peggiori»†, il testo principale dell’articolo diventa semplicemente un indice del materiale relegato in fondo per aggirare le linee guida (anche se queste stanno recuperando terreno e vietando questo «trucco»).
La tensione crescente in questo scenario è tra l’esigenza delle istituzioni che gli autori disciplinino e moderino le proprie presentazioni — esigenza sempre più importante man mano che aumenta il numero degli articoli presentati — e l’evidente frustrazione dei ricercatori, che desiderano presentare i frutti del loro lavoro, conquistati con tanta fatica, in un contesto tanto completo ed esaustivo quanto ritengono che il loro impegno meriti.
* Enfasi degli autori, non mia.
† Perché, quando si selezionano gli articoli da trattare, può essere difficile persino per l’IA individuare che alcuni contenuti sono stati rinviati alle appendici; questa scelta, però, può mettere notevolmente in difficoltà il revisore, se aveva previsto di dedicare il tempo a una valutazione di dieci pagine e ora scopre di dover esaminare 30 pagine di materiale nello stesso tempo a disposizione.
Pubblicato per la prima volta lunedì 16 novembre 2026












