L’IA cita gli stessi articoli più e più volte – Proprio come gli esseri umani

ChatGPT e altri strumenti di scrittura AI potrebbero trasformare silenziosamente la scienza in una gara di popolarità, indirizzando ripetutamente i ricercatori verso gli stessi articoli e trascurando lavori nuovi e innovativi che potrebbero davvero far progredire il campo.

Monocultura, in termini di frequenza e statistiche, è la situazione in cui lo stesso ristretto insieme di fonti o risorse si ripete all’infinito, soffocando voci nuove e prospettive fresche: lo stesso ristretto insieme di canzoni nella programmazione radiofonica; lo stesso gruppo di autori e libri nei scaffali degli aeroporti; e la stessa selezione limitata di frutta e verdura nei supermercati:

Yes, we have these bananas – and only these bananas. Homogeneity of fruit and vegetables in western food chains disregards the hundreds of other species possibilities in each case, because the various generation and transport chains are too expensive to industrialize for diverse types of fruit or vegetables.  Source

Ciò accade anche nelle citazioni che compaiono nella nuova ricerca scientifica, dove i ricercatori, forse per pigrizia, si affidano a un insieme “affidabile” di fonti che guadagna slancio finché non comincia a dominare i filoni di ricerca.

Questo è noto come Effetto Matthew – una teoria sociologica che suggerisce che i incumbenti trarranno sempre beneficio; la sindrome è stata paragonata alla promessa contenuta in Matteo 13:12, che affermava ‘Chi ha, gli sarà dato di più, e avrà abbondanza. Chi non ha, anche ciò che ha gli sarà tolto’.

Il gruppo interno

Uno dei grandi speranze della ricerca potenziata dall’AI è che i nuovi metodi di apprendimento automatico possano rompere l’Effetto Matthew – noto anche come bias di popolarità – e iniziare a citare lavori meno noti che potrebbero essere più incisivi o più pertinenti al punto trattato in un articolo.

Tuttavia, in base al modo in cui le routine di addestramento dell’AI interpretano i dataset, non c’è mai stato un vero motivo per questo ottimismo; e si è scoperto ripetutamente che quando l’AI non inventa citazioni in modo palese – un problema cronico fino ad oggi – perpetua effettivamente l’Effetto Matthew, proprio come gli esseri umani – anche se forse non per le stesse ragioni.

Durante l’addestramento, un modello impara a classificare molto in alto il documento più citato (o “più spesso ripetuto”) in un set di addestramento, perché le routine di addestramento sono progettate per estrarre pattern significativi e per scontare gli outlier come “rumore”, o anomalie statistiche.

In questo regime, l’equivalente della teoria della relatività di Einstein non riceverebbe mai attenzione dalla macchina, che, una volta addestrata, ritiene di aver già trovato i propri principi e riferimenti, e può solo aggiustare lievemente quella posizione accedendo a pubblicazioni più recenti tramite RAG, o con altri mezzi che estendono la portata del modello oltre la sua matrice addestrata.

Il problema è che non accrediterà tali nuovi lavori nello stesso modo dei “vecchi preferiti” già noti, o addirittura non li accrediterà affatto, perché i suoi bias statistici sono ormai ben radicati.

Quindi l’AI non sta realmente osservando e imitanto il comportamento umano quando perpetua l’Effetto Matthew – conta semplicemente il numero di volte in cui i ricercatori, per pigrizia, si affidano agli stessi vecchi articoli, e li classifica allo stesso modo. In questo senso, il problema della ripetizione delle citazioni è collegato alla sfida di selezionare un articolo scientifico veramente interessante dal tempestoso e in continua crescita panorama delle pubblicazioni AI, poiché il lavoro più solido avrà spesso il segnale più debole.

Diagnosi della Monocultura

Questo problema è affrontato in un interessante nuovo articolo statunitense intitolato When AI Writes, Who Gets Cited? Evidence of Citation Monoculture Across Language Models. Il nuovo lavoro – una collaborazione tra l’Università del Texas ad Austin, il Stevens Institute of Technology, la Washington University at St Louis, la Rice University e l’Università di Notre Dame – mira a dimostrare definitivamente l’esistenza della monocultura delle citazioni nel machine learning, affinché le sue variabili possano essere eventualmente affrontate direttamente in futuro, insieme al problema stesso.

Nei test, gli autori hanno scoperto che undici modelli di OpenAI, Google e Anthropic favorivano ripetutamente lo stesso ristretto gruppo di articoli – anche dopo che i segnali evidenti di popolarità erano stati rimossi.

Per testarlo, 120 articoli reali sono stati privati di conteggi di citazioni e di informazioni sulla rivista, i nomi degli autori sono stati sostituiti e gli anni di pubblicazione riassegnati casualmente. Insime casuali di trenta articoli sono state poi mostrate a ciascun modello, che poteva citare non più di dieci.

Otto esperti umani nei campi pertinenti hanno ricevuto gli stessi articoli ciechi, ma non hanno convergito sugli stessi preferiti delle AI, indicando che il bias era specifico dei modelli AI piuttosto che degli articoli stessi:

From the new paper, test results comparing citation choices by AI models and human experts. Across all eleven models, citations were concentrated on a smaller group of papers, while some papers were repeatedly passed over entirely. Human experts showed neither tendency. Source

Gli stessi articoli sono rimasti popolari anche quando ai modelli è stato chiesto solo di scegliere riferimenti, dimostrando che la redazione della recensione stessa non causava il bias.

L’esperimento è stato poi esteso per undici round, aggiungendo 120 articoli generati dall’AI dopo ogni round, per verificare cosa accade quando queste preferenze condivise operano in un pool in crescita di ricerca generata dall’AI.

Man mano che venivano aggiunti più articoli generati dall’AI, i modelli hanno concentrato sempre più le loro citazioni su un numero sempre più ridotto dei documenti umani originali.

‘Man mano che i modelli linguistici passano dalla redazione di testi all’esecuzione di agenti di ricerca bibliografica con chiamate a strumenti, le referenze fabbricate diventano più facili da individuare e contenere.

‘Il fallimento più grave inizia quando ogni candidato è reale: modelli diversi possono ancora selezionare lo stesso ristretto sottoinsieme, producendo una monocultura delle citazioni senza che alcuna singola citazione sia sbagliata.’

Come rimedio al problema, l’articolo sostiene che mescolare semplicemente modelli di fornitori diversi o dare a tutti gli articoli la stessa esposizione non sarà sufficiente, poiché gran parte della preferenza è condivisa tra i modelli. Piuttosto, la preferenza di fondo per determinati articoli dovrebbe cambiare – potenzialmente dando deliberatamente maggiore visibilità agli articoli trascurati. Tuttavia, gli autori sottolineano che questo approccio non è ancora stato testato.

Approcci di test

Il benchmark è stato costruito a partire da 120 veri articoli di distillazione della conoscenza raccolti da arXiv e pubblicati tra il 2015 e il 2022. Ognuno presentava tra 50 e 500 citazioni al momento della raccolta, una gamma scelta per escludere sia lavori oscuri sia opere eccezionalmente influenti.

L’esperimento è iniziato estraendo casualmente trenta articoli dalla collezione disponibile, nascondendo i nomi degli autori, gli anni di pubblicazione e i conteggi delle citazioni. Ogni modello ha prodotto una breve recensione o un pezzo di posizione citando non più di dieci articoli, e queste scelte sono state confrontate con selezioni casuali dello stesso materiale:

Schema for the method used for testing citation preferences. Thirty randomly selected papers were shown to a model with identifying information hidden, after which it could cite up to ten. Its choices were compared with random selection, while each round added 120 AI-written papers to the next round’s collection.

Nell’esperimento esteso, 120 nuovi articoli generati sono stati inseriti nella collezione dopo ogni round, aumentando gradualmente la proporzione di ricerca generata dall’AI.

Nei test preliminari, i modelli tendevano a citare la maggior parte degli articoli mostrati, selezionando tipicamente da 22 a 27 dei 30. I ricercatori hanno quindi fissato un massimo di dieci citazioni per l’esperimento principale, costringendo i modelli a scelte più selettive.

Di seguito troviamo un riepilogo del disegno sperimentale risultante:

Experimental setup used to test citation preferences. The study began with 120 real papers and tested eleven models from three vendors, using randomized sets of 30 papers and a maximum of ten citations. Later rounds added AI-generated papers, expanding the collection to 1,440 papers.

L’esperimento iniziale ha impiegato undici modelli dei tre principali fornitori: OpenAI è rappresentata da GPT-5, GPT-5 mini, GPT-4.1 e GPT-4.1 mini; Google da Gemini 2.5 Pro, Gemini 2.5 Flash, Gemini 3.1 Pro e Gemini 3.1 Flash-Lite; e Anthropic da Claude Opus 4.8, Claude Sonnet 4.6 e Claude Haiku 4.5.

Nei risultati dei test mostrati di seguito, vediamo quanto ciascun modello abbia concentrato le proprie citazioni su un piccolo gruppo di articoli; quanti articoli abbia ignorato del tutto; e quanto costantemente abbia effettuato le stesse scelte quando l’esperimento è stato ripetuto:

Test results showing how strongly each model concentrated its citations on particular papers and how many papers it ignored entirely. ‘Top-10% share’ shows how many citations went to the 12 most-favored papers, while ‘HHI’ measures how concentrated citations were overall. ‘Reliability’ shows how consistently each model favored the same papers across tests, and ρ shows how similar those preferences were across models. The ‘Matched null’ row indicates what would be expected if papers were chosen at random.

Cosa stanno realmente favorendo i modelli?

La preferenza è risultata essere prevalentemente guidata dal contenuto dei singoli articoli. Per esempio, per GPT-5 mini, circa il 90 % della variazione nei documenti favoriti era attribuibile al contenuto, piuttosto che a fattori come l’ordine della lista, il rumore di generazione o i metadati fabbricati associati a ciascun articolo. Lo stesso effetto di “contenuto dominante” è stato riprodotto con GPT-4.1 mini.

La mappa delle preferenze (vedi sotto) è rimasta quasi invariata quando titoli e abstract sono stati riscritti in modo sostanziale mantenendo intatto il significato. In quattro test di parafrasi riusciti, le correlazioni sono state comprese tra 0,95 e 0,99, nonostante siano stati impiegati modelli diversi di tre fornitori per la riscrittura.

Le variazioni nella mappa delle preferenze sono state osservate solo quando il significato di fondo è stato modificato in modo misurabile:

Test results comparing citation preferences across the eleven models. The numbers show how closely each pair of models favored the same papers, with higher values indicating greater agreement. Despite differences between models and vendors, broadly similar preferences were found across the group

I modelli sembrano quindi rispondere principalmente al contenuto semantico piuttosto che a formulazioni specifiche. Tuttavia, la ragione del loro forte accordo non è stata determinata in modo definitivo.

È possibile, affermano gli autori, che un consenso comune sulle citazioni sia stato assorbito durante l’addestramento. Un’ipotesi alternativa è che giudizi simili su cosa costituisca un articolo “citabile” siano stati raggiunti in modo indipendente.

Perciò l’esistenza della preferenza condivisa è stata accertata, ma la sua origine ultima rimane sconosciuta.

Gli autori suggeriscono che l’uso diffuso dell’AI nella ricerca potrebbe restringere la gamma di lavori che ricevono attenzione, poiché diversi modelli tendono a favorire molti degli stessi articoli; e man mano che la letteratura generata dall’AI si accumula, queste preferenze condivise potrebbero essere ulteriormente rafforzate tramite citazioni ripetute, rendendo la ricerca meno favorita progressivamente più difficile da scoprire. La diversità delle citazioni e il monitoraggio della concentrazione delle citazioni sono quindi proposti come possibili salvaguardie.

Il benchmark dello studio per la concentrazione ricorsiva delle citazioni è ora disponibile su GitHub.

Conclusione

Opinione Come qualcuno che legge un numero sproporzionato di articoli di ricerca AI ogni settimana, ho osservato “onde di citazioni” andare e venire. Un punto fermo perenne è il lavoro di Google Attention Is All You Need, l’articolo originale sui Transformer, che ormai deve essere codificato nei modelli di sottomissione.

Un altro trasgressore ricorrente, per molto tempo, è stato il contributo del 2014 Generative Adversarial Networks, sebbene alla fine sia stato superato in frequenza da Denoising Diffusion Probabilistic Models e da altri studi basati sulla diffusione.

In quasi tutti i casi, queste citazioni “ricorrenti” non sono sbagliate di per sé; ma sono spesso troppo ampie per costituire un supporto utile all’articolo in cui vengono citate; e in tal senso, rappresentano qualcosa di simile al “lavaggio delle citazioni” – l’inclusione di citazioni “affidabili” ma prevalentemente decorative, per conferire un’aria di credibilità a basso sforzo.

Pubblicato per la prima volta lunedì 24 agosto 2026