Gli articoli scientifici scritti con sicurezza influenzano i giudici IA, a prescindere dal merito

La sicurezza è un vantaggio evolutivo distintivo e, secondo un nuovo articolo di ricerca tedesco, anche un vantaggio quando gli articoli scientifici vengono sottoposti alla revisione di modelli linguistici di grandi dimensioni (LLM) anziché a quella dei colleghi dell’autore: una necessità sempre più frequente, dato che il numero di articoli scientifici cresce a dismisura grazie agli incrementi di produttività resi possibili dall’IA.

Il nuovo studio rileva che i revisori basati sull’IA (cioè non umani) assegnano sistematicamente punteggi più alti agli articoli scientifici scritti con un linguaggio sicuro e assertivo, anche quando la ricerca sottostante è identica a quella presentata in articoli dal tono meno sicuro. In alcuni casi, basta cambiare la formulazione per trasformare un rifiuto in un’accettazione.

Gli autori affermano:

‘I nostri esperimenti rivelano una netta preferenza dei revisori LLM [papers] per l’uso di un linguaggio molto sicuro. È fondamentale notare che queste preferenze portano spesso a ribaltare le decisioni, trasformando un’accettazione in un rifiuto o viceversa, e incidono direttamente sugli esiti della revisione.

‘Oltre ai punteggi, rileviamo che gli aspetti evidenziati nelle revisioni variano per frequenza e tono in funzione delle caratteristiche linguistiche dell’articolo, con possibili ripercussioni sulle decisioni finali.’

È ironico, perché il fenomeno individuato dagli autori è molto simile al modo in cui l’IA può spesso essere «sicuramente sbagliata» quando risponde ai nostri prompt e alle nostre domande; qui, però, la decisione è umana e la responsabilità, individuale e collettiva, è reale, che gli scienziati coinvolti in questi articoli credano davvero o meno alle proprie affermazioni.

Se l’IA deciderà sempre più spesso quali articoli scientifici vengono pubblicati, gli scienziati potrebbero imparare a «mostrarsi più sicuri» come strategia competitiva, forse soprattutto quando i loro lavori presentano dei difetti; ciò potrebbe offrire alla scienza di qualità inferiore un punto d’appoggio immeritato nel bacino di attenzione disponibile, sempre più ridotto.

Ostentare sicurezza per avere la meglio

Secondo lo studio*, i revisori basati sull’IA erano più propensi a lodare i metodi, le teorie e i contributi scientifici degli articoli scritti con sicurezza, anche quando questi erano identici a quelli delle versioni meno assertive. Nei test degli autori, 504 articoli scientifici sono stati riscritti in stili diversi e valutati da sei modelli di IA, tra cui GPT-5.5, Claude Sonnet 4.6 e Gemini 3.5 Flash. È stato necessario generare versioni artificiali o modificate degli articoli, affinché le eccentricità e le peculiarità delle sottomissioni reali non falsassero i risultati:

Esempi dello stesso passaggio scientifico riscritto in quattro stili diversi. Le evidenziazioni a colori indicano le modifiche volte a rendere la scrittura più o meno sicura, oppure più simile all’inglese accademico scritto da persone madrelingua o non madrelingua. Tuttavia, i risultati e i dati sottostanti restano invariati. Fonte

Gli articoli provenivano dalle proposte inviate alla conferenza ICLR del 2026, con un numero uguale di articoli accettati e respinti. Claude Opus 5 ha quindi riscritto ogni proposta per renderla più o meno sicura^†, mantenendone invariato il contenuto scientifico e consentendo così di attribuire le differenze nelle revisioni dell’IA allo stile di scrittura, vale a dire al diverso grado di sicurezza espresso.

Nei risultati, i revisori basati sull’IA hanno assegnato punteggi più alti agli articoli scientifici scritti con sicurezza, anche quando le prove erano identiche. Claude Sonnet 4.6 ha mostrato il pregiudizio più marcato, preferendo le versioni sicure sette volte più spesso di quelle caute. Nel 21% dei casi, ha raccomandato di accettare un articolo scritto con sicurezza e, al tempo stesso, di respingere una versione formulata con maggiore cautela dello stesso articolo.

Il nuovo studio afferma:

‘I nostri risultati sollevano importanti preoccupazioni riguardo all’uso degli LLM nella revisione tra pari. Se articoli dal contenuto equivalente ricevono punteggi e argomentazioni di revisione diversi soltanto per le loro caratteristiche linguistiche, i giudizi dei revisori non riflettono esclusivamente la qualità scientifica.

‘I revisori LLM dovrebbero quindi essere sottoposti a prove di stress con riscritture che preservino il contenuto, per stabilire se i cambiamenti linguistici influiscano sistematicamente sulle loro valutazioni.’

Gli autori suggeriscono inoltre che queste prove dovrebbero esaminare esplicitamente sia i punteggi assegnati agli articoli sia le revisioni scritte, per stabilire se un linguaggio sicuro venga scambiato per prove scientifiche più solide.

Metodo

Sono stati selezionati in totale 504 articoli scientifici tra le proposte inviate alla conferenza ICLR del 2026 (International Conference on Learning Representations). Il campione era suddiviso equamente tra articoli accettati e respinti, con 24 proposte estratte da ciascuna delle 21 categorie di ricerca della conferenza:

Il metodo di verifica in tre fasi. Gli articoli scientifici sono stati riscritti per variare il livello apparente di competenza linguistica in inglese o di sicurezza espressa, preservandone i risultati; prima di essere valutate da revisori IA in condizioni identiche, le riscritture sono state controllate per individuare eventuali cambiamenti di stile e significato; infine, sono state confrontate le differenze nei punteggi delle revisioni.

Ogni articolo è stato anonimizzato e riscritto con Claude Opus 5, producendo versioni alternative concepite per verificare sia il grado di sicurezza con cui erano formulate le affermazioni, sia la competenza in lingua inglese apparentemente posseduta dall’autore. Per le prove sulla sicurezza espressa, le affermazioni sono state rese più assertive o più caute. Nelle versioni «sicure» sono state usate più spesso parole che indicano certezza, come «chiaramente» e «certamente», mentre nelle bozze più prudenti si è preferito ricorrere a espressioni dubitative come «potrebbe» e «suggerisce» .

In tutti i casi, le affermazioni scientifiche, le prove, i risultati, la terminologia tecnica e la struttura complessiva sono rimasti invariati. Gli autori sottolineano che le istruzioni per la riscrittura si basavano su ricerche linguistiche consolidate, anziché su richieste generiche di imitare particolari stili di scrittura.

Verifica delle riscritture

Per effettuare i controlli, ogni riscrittura è stata confrontata con l’originale mediante la similarità semantica, che valuta se i passaggi mantengono il significato, e la similarità TF-IDF (che misura quanto siano stati preservati il vocabolario e la terminologia). Entrambi i punteggi si sono avvicinati a 1, confermando una forte somiglianza con gli originali:

Verifica degli articoli riscritti. Le versioni sicure usavano un linguaggio più assertivo, mentre quelle caute esprimevano maggiore incertezza. I punteggi vicini a 1 confermano una forte somiglianza con gli originali; le evidenziazioni colorate indicano i valori più alti per ciascuna misura esaminata.

Sono stati sottoposti a verifica sei revisori IA: i modelli proprietari GPT-5.5, Claude Sonnet 4.6 e Gemini 3.5 Flash, e i modelli a pesi aperti Gemma 3, Qwen3 VL e GLM 4.7. Sono stati scelti anche perché tutti hanno date di conoscenza aggiornata fino a prima del 2026, riducendo il rischio che fossero già a conoscenza delle decisioni sull’accettazione degli articoli.

Ogni articolo riscritto è stato valutato in modo indipendente secondo linee guida simili a quelle delle conferenze. Per determinare quanto potessero variare i punteggi tra valutazioni ripetute, dieci articoli selezionati casualmente sono stati esaminati dieci volte da ciascun modello.

Risultati

I test hanno esaminato se i sei revisori IA selezionati avrebbero preferito con regolarità particolari stili di scrittura e hanno confrontato articoli redatti con un linguaggio «sicuro» o «cauto» e articoli simili a testi accademici in inglese scritti da madrelingua o non madrelingua^†.

Risultati del confronto tra i punteggi assegnati dai revisori IA a 504 articoli scientifici riscritti con stili diversi. Le percentuali di preferenza indicano quale versione ha ottenuto il punteggio più alto, con i pareggi tra parentesi; i rapporti mostrano quante volte più spesso è stata preferita una versione; i cambiamenti di decisione indicano quante volte una modifica della formulazione ha ribaltato una decisione di accettazione o rifiuto. I valori statistici in grassetto indicano differenze significative. La sezione pertinente è quella inferiore, poiché in questo articolo non viene trattata l’ipotesi superiore (si vedano le note).

Tutti e sei i revisori IA hanno mostrato una preferenza costante per la scrittura sicura. La preferenza più marcata è stata quella di Claude Sonnet 4.6, che, come accennato in precedenza, ha assegnato punteggi più alti alle bozze «sicure» sette volte più spesso che a quelle «caute».

Un articolo era considerato accettato se raggiungeva un punteggio di 4,5 su 10, ma i cambiamenti nello stile di scrittura talvolta spingevano lo stesso articolo al di sopra o al di sotto di questa soglia, ribaltando la decisione; in genere, questi ribaltamenti favorivano la scrittura sicura.

Claude Sonnet 4.6 ha ottenuto risultati particolarmente scarsi: nel 21% dei casi ha accettato la versione «sicura» e respinto quella «cauta». Il contrario è avvenuto appena nel 2,8% dei casi.

L’effetto è emerso anche nelle revisioni scritte: i revisori IA erano più propensi a elogiare i metodi, le teorie e i contributi scientifici di un articolo quando le sue affermazioni erano formulate con sicurezza. Poiché la ricerca in sé non era cambiata, queste valutazioni più favorevoli potevano essere attribuite soltanto alle differenze nella presentazione e nel tono.

Conclusione

Ogni volta che gli esseri umani usano l’IA per aumentare, seppur involontariamente, il rapporto segnale/rumore, si sperimenta l’IA come soluzione: in questo caso, per far fronte al forte aumento delle candidature di articoli di ricerca sull’intelligenza artificiale, un’impennata che ultimamente ha rafforzato il potere di selezione e ampliato i parametri di Arxiv. Ormai dovrebbe essere chiaro che i modelli linguistici di frontiera e tutti quelli di livello inferiore presentano ancora troppe eccentricità per poter essere affidati in generale al ruolo di giudici, tranne che nelle circostanze con parametri definiti in modo estremamente rigoroso.

In casi del genere, trasformare modelli linguistici di dimensioni più ridotte in strumenti di valutazione specializzati tramite la messa a punto o le LoRA sarebbe probabilmente un’idea migliore. Tuttavia, ciò richiede almeno un po’ di lavoro in più, se non anche un piccolo investimento aggiuntivo, mentre le installazioni locali «vanilla» o le chiamate API sono più rapide e relativamente economiche.

Questo articolo, scritto in modo piuttosto conciso, potrebbe comunque interessare più della media gli utenti finali degli LLM, perché avranno già familiarità con l’«entusiasmo», un problema che devono riuscire a evitare per lavorare efficacemente con l’IA; e, se questo e altri problemi simili degli LLM non possono ancora essere risolti, è quantomeno possibile tenerne conto.

Prima di adottare un tono troppo sprezzante nei confronti di questo tipo di facile equivalenza nella valutazione dell’IA, vale la pena ricordare che questi sistemi sono smarriti quanto noi quando si tratta di epistemologia, ovvero della ricerca di un’autorità definitiva; anche noi, storicamente, siamo molto inclini a scambiare il segnale per la cosa stessa.

* Intitolato «Stile o sostanza? Pregiudizi linguistici nella revisione tra pari basata sugli LLM»

^† Oppure assomigliare all’inglese accademico scritto da madrelingua o non madrelingua: un’ipotesi parallela che l’articolo non è riuscito a dimostrare altrettanto efficacemente e che non viene affrontata in questo articolo.

Pubblicato per la prima volta martedì 27 ottobre 2026