Inquinamento da parte dell’AI nei risultati di ricerca rischia il ‘collasso del recupero’

Man mano che il contenuto generato dall’AI inquina il web, si apre un nuovo vettore di attacco nel campo della battaglia per il consenso culturale.

La ricerca guidata da un’azienda di ricerca coreana sostiene che man mano che le pagine generate dall’AI si insinuano nei risultati di ricerca, minano la stabilità delle pipeline di ricerca e classificazione e indeboliscono i sistemi – come la Generazione aumentata di recupero (RAG) – che si basano su quelle classificazioni per decidere quale informazione viene presentata e considerata attendibile, aumentando così il rischio che materiale fuorviante o inaccurato venga trattato come autorevole.

Il termine coniato per questa sindrome dai ricercatori è Collasso del recupero, distinto dalla nota minaccia di collasso del modello (in cui l’AI addestrata sul proprio output diventa progressivamente peggiore).

In uno scenario di Collasso del recupero, il contenuto generato dall’AI domina progressivamente i risultati dei motori di ricerca, al punto che anche quando le risposte rimangono superficialmente accurate, la base di prova sottostante sarà diventata disgiunta dalle fonti umane originali. Tuttavia, questi dati “senza radici” sembrano pronti a raggiungere un posto alto nei risultati di ricerca*:

‘Con la proliferazione di testo generato dall’AI, sfide in attribuzione e pre-addestramento qualità dei dati si sono intensificate. A differenza del tradizionale spam di parole chiave , il contenuto sintetico moderno è semanticamente coerente, permettendogli di fondersi con i sistemi di classificazione e propagarsi attraverso le pipeline come prova autorevole.’

Il documento afferma che ciò creerebbe un ambiente “strutturalmente fragile” in cui i segnali di classificazione favoriscono le pagine prodotte dall’AI e ottimizzate per i motori di ricerca, spodestando le fonti scritte da esseri umani nel tempo in modo insidioso, cioè senza scatenare cali evidenti nella qualità delle risposte:

‘La [crescita] del contenuto generato dall’AI sul Web presenta un rischio strutturale per il recupero delle informazioni, poiché i motori di ricerca e i sistemi di Generazione aumentata di recupero (RAG) consumano sempre più prove prodotte dai grandi modelli linguistici (LLM).

‘Caratterizziamo questo modo di fallimento a livello di ecosistema come Collasso del recupero, un processo in due fasi in cui (1) il contenuto generato dall’AI domina i risultati di ricerca, erodendo la diversità delle fonti, e (2) contenuti di bassa qualità o avversariali infiltrano la pipeline di recupero.’

I ricercatori sostengono che una volta stabilita la fase di “dominanza”, la stessa pipeline di recupero diventa più suscettibile a inquinamento deliberato, poiché le pagine avversariali possono sfruttare gli stessi meccanismi di ottimizzazione per guadagnare visibilità*:

‘Stabilendo la struttura del Collasso del recupero, questo lavoro getta le basi per comprendere come il contenuto sintetico ridisegna il recupero delle informazioni. Per mitigare questi rischi, proponiamo un passaggio verso strategie di classificazione difensive che ottimizzano congiuntamente la rilevanza, la fattualità e la provenienza.’

Il Collasso del recupero esacerberebbe probabilmente il collasso del modello, poiché aggiunge un livello di intento malizioso all'”effetto fotocopia” dell’entropia, in cui l’AI si nutre sempre più del proprio output generato. Oltre a influenzare il consenso apparente sulla “verità” nei risultati di ricerca in tempo reale, le inesattezze e gli attacchi potrebbero in seguito essere consacrati nei modelli linguistici addestrati come fonti autorevoli.

Il nuovo lavoro si intitola Il Collasso del recupero quando l’AI inquina il Web e proviene da tre ricercatori della Naver Corporation.

Metodo

Per testare come il contenuto generato dall’AI si propaga attraverso i sistemi di recupero, i ricercatori hanno campionato casualmente 1000 paia di query/risposte dal set di dati e benchmark MS MARCO, che consiste in domande a dominio aperto abbinate a risposte di riferimento validate da esseri umani. Questi sono stati utilizzati sia per fondare il recupero che per valutare la correttezza fattuale delle risposte generate.

Per ogni query MS MARCO nei test, sono stati recuperati dieci documenti web da Google Search, in base ai migliori risultati di ottimizzazione per i motori di ricerca per ogni termine, producendo alla fine un pool di 10.000 documenti.

La validità fattuale dei documenti è stata valutata confrontandoli con la verità di base di MS MARCO, utilizzando GPT-5 Mini come giudice.

Simulazione di fattoria di contenuti

Per simulare il livello di qualità (di articoli normali, non avversariali) associati alle fattorie di contenuti, gli autori hanno utilizzato il modello OpenAI GPT-5 Nano per generare effettivamente nuovi articoli sintetici, poiché questo è il livello “economico” di AI probabilmente utilizzato dalle fattorie di contenuti. GPT-5 Mini, utilizzato per valutare l’output, è un modello leggermente più capace.

Al contrario, per simulare post avversariali (cioè contenuti progettati per diffondere disinformazione o che presentano comunque disinformazione), non sono state utilizzate referenze del mondo reale. Invece, le prime stesure dei campioni sono state create con un generatore di clickbait/SEO convenzionale e poi passate a GPT-5 Nano, che è stato incaricato di sostituire un certo numero di fatti con alternative plausibili ma false. GPT-5 Nano ha anche eseguito un re-ordinamento semantico per gli scopi del contesto sperimentale.

Per simulare la saturazione dell’AI nel tempo, è stato eseguito un processo di contaminazione di 20 turni, in cui un documento sintetico è stato aggiunto per query a un set fisso di dieci documenti originali, aumentando la quota di AI dal 0% al 66,7%.

Per il pool di stile SEO, il generatore è stato istruito ad “agire come uno specialista SEO” e a integrare parole chiave ad alta IDF dai documenti originali per aumentare la probabilità di recupero.

Per il pool avversariale, il prompt è stato progettato per preservare la prosa fluente e naturale mentre altera sottilmente entità nominate e dettagli numerici, creando documenti che non avrebbero attivato i filtri statistici, mentre erodono silenziosamente l’accuratezza fattuale.

Metriche

Sono state adottate tre metriche per gli esperimenti: Tasso di contaminazione del pool (PCR), per determinare quanto del pool di documenti complessivo fosse generato dall’AI; Tasso di contaminazione dell’esposizione (ECR), per misurare quanto dei primi dieci risultati di ricerca provenisse da fonti AI (indicando cosa è effettivamente entrato nella pipeline di recupero); e Tasso di contaminazione della citazione (CCR), per registrare quanto della prova citata nella risposta finale fosse sintetica.

Per esaminare l’impatto pratico, sia la qualità delle fonti recuperate che l’integrità della risposta finale sono state testate. Precisione@10 (P@10) ha catturato quanti dei primi dieci risultati fossero effettivamente corretti quando verificati contro la verità di base di MS MARCO; e l’accuratezza della risposta (AA) ha misurato se la risposta generata corrispondeva alla stessa risposta di riferimento, con GPT-5 Mini utilizzato per determinare se il significato era coerente.

Test

Inizialmente, gli autori hanno testato il loro metodo contro il pool originale di documenti estratti da SERPS, cioè prima che fossero utilizzati come materiale per generare dati sintetici, e notano che il loro classificatore LLM ha raggiunto una “forte qualità di recupero”, superando il classificatore BM25 di base.

Il primo dei due principali test di scenario, chiamato Dominanza e omogeneizzazione, è stato un esame di come i documenti sintetici modellati SEO influenzano i risultati di recupero:

Left: le curve di contaminazione per Scenario 1 sotto i classificatori BM25 e LLM mostrano il Tasso di contaminazione del pool (PCR) in aumento con ogni turno, con il Tasso di contaminazione dell’esposizione (ECR) e il Tasso di contaminazione della citazione (CCR) in aumento più ripido man mano che i documenti sintetici si affollano nei primi risultati; l’accuratezza della risposta (AA) rimane ampiamente stabile. Right: la tabella corrispondente riporta la stessa progressione numericamente attraverso i turni 0, 5, 10 e 20, dettagliando PCR, ECR, CCR e AA per entrambi i classificatori.

Man mano che venivano aggiunti più pagine scritte dall’AI all’ambiente di test, iniziavano a dominare i primi risultati di ricerca più velocemente del previsto. Quando il contenuto AI costituiva il 50% di tutti i documenti disponibili, più del 68% dei primi dieci risultati di BM25 erano già generati dall’AI; e quando la quota di materiale AI saliva al 67%, oltre l’80% dei suoi primi risultati proveniva da fonti AI.

Il classificatore basato su LLM ha mostrato una tendenza ancora più forte in questa direzione, con circa il 76% dei suoi primi risultati tratti da pagine scritte dall’AI, quando quelle pagine costituivano solo la metà del pool complessivo – e ha continuato a fare affidamento su di loro più pesantemente di BM25, man mano che la loro presenza aumentava. Gli autori commentano:

‘Questo modello mostra che il contenuto ottimizzato per i motori di ricerca attiva in modo sproporzionato i segnali di classificazione, facendo sì che entrambi i modelli convergano rapidamente verso prove dominate da sintetici.’

Riguardo alla tensione tra stabilità fattuale e collasso della diversità, il documento nota che nonostante gli “spostamenti drammatici” mostrati nelle prove recuperate, l’accuratezza della risposta rimane stabile, o addirittura migliora:

‘Perché i documenti SEO sono di alta qualità e allineati con l’argomento, il recupero sembra sano quando misurato solo per accuratezza. Tuttavia, quasi tutte le prove recuperate sono sintetiche, indicando un grave collasso nella diversità delle fonti.

‘Questa divergenza, caratterizzata da accuratezza stabile nonostante la diversità in collasso, rivela una pipeline di recupero strutturalmente fragile: il sistema si esegue bene nelle metriche aggregate mentre perde silenziosamente il suo fondamento nel contenuto scritto da esseri umani.

‘Nel complesso, il contenuto sintetico di alta qualità non solo si integra perfettamente nelle pipeline di recupero, ma sovraccarica attivamente i segnali di classificazione, portando sia BM25 che i classificatori LLM a fare affidamento quasi esclusivamente su prove generate dall’AI.’

Il secondo scenario è stato chiamato Inquinamento e corruzione del sistema e ha rivelato una notevole divergenza nel comportamento del classificatore rispetto al primo scenario:

Left: i risultati dello scenario 2 mostrano cosa succede quando vengono aggiunte pagine fuorvianti deliberate al sistema. Man mano che più di queste pagine vengono mescolate, BM25 inizia a collocarne alcune nei suoi primi risultati – sebbene solo fino a un quarto a metà strada, e quasi nessuna viene effettivamente utilizzata nella risposta finale. La qualità generale della risposta diminuisce leggermente. Right: la tabella presenta lo stesso modello in numeri per entrambi i classificatori BM25 e LLM, rendendo chiaro che BM25 lascia entrare alcune pagine fuorvianti nei suoi primi risultati, mentre il classificatore LLM le filtra in gran parte.

Il classificatore basato su LLM è stato in grado di riconoscere e filtrare le pagine fuorvianti, mantenendo la quota di tale contenuto nei suoi primi risultati vicina a zero; ma BM25 ha permesso a una porzione notevole delle pagine avversariali di entrare nei suoi primi dieci risultati, con circa il 19% al 24% che appaiono lì in determinate fasi del test.

Sebbene il classificatore LLM abbia dimostrato una maggiore resistenza in questo esperimento, gli autori notano che i sistemi di classificazione basati su LLM sono più computazionalmente impegnativi, il che può rendere difficile il loro utilizzo su larga scala. Sebbene BM25 sia più semplice e meno costoso da eseguire, i sistemi di recupero ampiamente utilizzati che lo sfruttano possono, secondo il documento, essere più esposti a contenuti manipolati di quanto appaia inizialmente.

Gli autori caratterizzano questo come un “rischio strutturale significativo”.

Riguardo al contrasto tra stabilità apparente e degrado sottostante, gli autori notano che in questo contesto, l’accuratezza della risposta rimane relativamente stabile, a causa del giudice LLM che sopprime la corruzione della citazione, e quindi agisce come una sorta di firewall finale contro il contenuto avversariale.

Tuttavia, l’accuratezza della risposta in questo aspetto è stata costantemente inferiore a quella del primo scenario:

‘Mentre lo Scenario 1 ha visto l’accuratezza della risposta mantenuta o addirittura migliorata (raggiungendo fino al 70% con i classificatori LLM) a causa della alta qualità del contenuto SEO, lo Scenario 2 mostra un calo nella qualità della risposta rispetto all’impostazione SEO […]

‘Ciò conferma che indipendentemente dal classificatore, l’inquinamento avversariale nella fase di recupero ha un impatto negativo sulle prestazioni end-to-end, con il degrado più grave quando si fa affidamento su retriever leggeri.’

Gli autori concludono che il re-ordinamento nella fase di recupero è un approccio troppo tardivo e che dovrebbero essere considerati filtri “a livello di ingestione”. Propongono che “grafici di provenienza” e “filtri di perplessità” potrebbero essere utilizzati.

Chiudono sottolineando che la minaccia principale è il contenuto con alta fluidità ma bassa densità di attribuzione, essenzialmente disgiunto da catene di provenienza rassicuranti, e osservano:

‘[Poiché] l’AI agente inizia a pubblicare autonomamente contenuti, i meccanismi di difesa devono evolversi dall’analisi del testo statico all’impronta digitale del comportamento, identificando e isolando gli agenti che producono sistematicamente flussi ad alta entropia e bassa fattualità.’

Conclusione

L’istituzione di nuove o migliorate metodologie per la provenienza delle informazioni potrebbe essere una delle necessità più critiche per il 2026. Schemi di credenziali complessi come il C2PA in difficoltà, che richiedono cambiamenti infrastrutturali da parte degli editori e un’educazione pubblica su cosa significano e come o perché utilizzarli, sembrano destinati a fallire.

È necessario qualcosa di più semplice, e non è stato ancora trovato. È una missione urgente, poiché questa era attuale potrebbe essere il punto di svolta più critico per il consenso pubblico sulla verità dal momento dell’invenzione della fotografia nel 1822 e della crescita della propaganda nelle decadi precedenti la seconda guerra mondiale.

* La mia (selettiva, se necessario) conversione delle citazioni in linea degli autori in collegamenti ipertestuali.

Pubblicato per la prima volta giovedì 19 febbraio 2026