L’IA cita spesso pagine web che non ha nemmeno letto

A volte, nel flusso di pubblicazioni della giornata, esce un articolo che mi fa davvero infuriare: non perché sia impreciso o offensivo, ma perché nota e studia qualcosa che da molto tempo mi infastidisce ai margini della consapevolezza, in modo vago e indefinito (forse perché ero troppo impegnato per fare altro che ignorarlo).

Oggi è uscito un articolo del genere, firmato da tre autori del Dipartimento di Informatica dell’Imperial College London. Il nuovo lavoro, intitolato Recuperate ma non lette: capire perché i modelli linguistici di grandi dimensioni integrati con la ricerca non riescono a utilizzare le prove disponibili, indaga perché i modelli linguistici di grandi dimensioni (LLM) ti propinino spesso URL a sostegno (citazioni di articoli irrilevanti, link ad articoli web infondati e così via) senza nemmeno leggerli.

Gli autori affermano:

‘Abbiamo constatato che spesso i modelli rispondono basandosi sugli estratti dei risultati di ricerca, senza aprire le pagine delle fonti; questo è associato a una maggiore frequenza di risposte non aggiornate e citazioni infedeli. I nostri esperimenti controllati e la nostra analisi strato per strato rivelano una discrepanza tra la disponibilità delle prove e il loro effettivo utilizzo.

‘Anche quando le prove recuperate influenzano le previsioni interne, i modelli possono comunque preferire informazioni non aggiornate nelle risposte finali.’

Gli autori hanno testato un LLM proprietario (GPT-5.6 Luna di OpenAI) e sei configurazioni di modelli con pesi aperti, confrontandoli con centinaia di fatti che erano cambiati dopo le rispettive date limite dei dati di addestramento.

Hanno poi esaminato quanto spesso i sistemi si affidassero agli estratti dei risultati di ricerca anziché aprire le pagine delle fonti; in che modo questo influenzasse l’accuratezza delle risposte e delle citazioni; e perché talvolta prevalessero informazioni non aggiornate anche quando venivano fornite direttamente prove più recenti.

I test hanno rilevato che spesso i modelli rispondevano senza aprire nessuna delle pagine restituite dalle ricerche sul web e che questo comportamento era associato a una frequenza significativamente maggiore di risposte non aggiornate e citazioni fuorvianti:

Risultati dei test che mostrano quanto spesso i modelli di IA citino fonti web senza averle effettivamente lette. In otto configurazioni, i ricercatori hanno misurato l’accuratezza delle risposte, il ricorso agli estratti dei risultati di ricerca senza aprire le pagine delle fonti e le citazioni in contraddizione con le affermazioni dei modelli. In alcuni casi, oltre la metà delle ricerche si è conclusa senza che venisse aperta una sola pagina. Tutti i valori sono percentuali; la prima riga riguarda ricerche web in tempo reale, mentre le altre si basano su risultati di ricerca standardizzati. Fonte

I ricercatori hanno inoltre constatato che fornire direttamente le prove corrette poteva ridurre sensibilmente questi problemi, sebbene alcuni modelli continuassero a preferire informazioni non aggiornate anche quando venivano messi direttamente davanti a fatti più recenti.

Motivi nascosti?

Le due ragioni più ovvie per cui gli LLM ci propinano spesso documenti di supporto che «sembrano corretti» ma non sono pertinenti sono: a) il risparmio economico, perché scaricare e leggere anche solo una sintesi del materiale originale costa in termini di larghezza di banda e tempo, e quel materiale potrebbe persino non essere disponibile; e b) la riduzione della latenza, come se fornire rapidamente una risposta sbagliata o parzialmente sbagliata fosse meglio che ritardare anche solo di poco una risposta migliore.

Gli autori del nuovo lavoro, tuttavia, sono più interessati a stabilire i meccanismi di base alla radice di questa carenza qualitativa che a capire come possa essere stata inizialmente progettata o premeditata.

Com’era prevedibile, finora le mie discussioni sull’economia di scala degli LLM con i modelli più avanzati mi hanno portato a quella che posso solo supporre sia una risposta difensiva predeterminata.

Almeno secondo me, la logica economica che sta dietro alla manipolazione del comportamento degli LLM in materia di citazioni è comprensibile; ma le tecnologie in questione sono ancora così poco mappate, in così rapida evoluzione e inclini a produrre esiti eccentrici, che al momento è difficile dimostrare l’esistenza di simili motivazioni.

Metodo

Per verificare quanto bene i modelli utilizzassero effettivamente le prove reperibili sul web, i ricercatori hanno raccolto 225 fatti che erano cambiati dopo il 16 febbraio 2026, la data limite di addestramento più recente dichiarata tra quelle dei modelli testati.

I fatti provenivano dalle informazioni sui farmaci della FDA (62 fatti); dalla finanza (52); dallo sport (47); dalle persone (43); dai documenti depositati presso la SEC (13); e dalle classificazioni chimiche (8). Sono state escluse le modifiche già entrate in vigore entro la data limite o annunciate prima del 1° febbraio, così come le affermazioni mediche a cui si poteva rispondere sulla base di conoscenze generali. Sono stati usati come controlli anche fatti rimasti invariati, per consentire ai ricercatori di distinguere gli errori relativi a informazioni nuove da quelli più generali.

Per stabilire un valore di riferimento, GPT-5.6 Luna è stato testato senza accesso alla ricerca sul web e ha risposto correttamente a solo il 23,3% delle 103 domande sui fatti modificati.

Un modello di IA non specificato è stato utilizzato per riscrivere le clausole dell’etichettatura FDA contenute nel set di dati menzionato in precedenza, trasformandole in affermazioni fattuali verificabili singolarmente, ognuna delle quali è stata poi esaminata manualmente*.

Le configurazioni dei modelli open-weight testate erano GLM-5.3-Flash di Z.ai; gpt-oss-120b e gpt-oss-20b di OpenAI; gemma-4-31b di Google DeepMind, testato sia con sia senza ragionamento; e qwen3-8b di Qwen.

Ai modelli open-weight e a GPT-5.6 Luna sono stati forniti gli stessi risultati di ricerca sul web, così da poter confrontare equamente le loro risposte. Luna è stato inoltre testato separatamente utilizzando la propria funzione di ricerca sul web integrata.

Per 223 dei 225 fatti, dieci risultati di ricerca sono stati raccolti in anticipo con Brave Search. Tutti i modelli hanno ricevuto gli stessi risultati e potevano aprire le pagine o effettuare ricerche al loro interno utilizzando strumenti identici.

La pagina contenente la risposta «corretta» è stata sempre resa disponibile: se compariva naturalmente tra i primi dieci risultati, la sua posizione veniva lasciata invariata; altrimenti, veniva inserita nei risultati in una posizione stabilita in anticipo, consentendo ai ricercatori di esaminare come i modelli utilizzassero le prove disponibili in condizioni comparabili.

Per rendere i test più coerenti, per i modelli che supportavano questa impostazione la temperatura è stata impostata a zero e, durante tutti gli esperimenti, ogni modello è stato eseguito tramite lo stesso provider.

Formulazione dei prompt

Dei due prompt utilizzati per verificare i fatti, il primo poneva una domanda aperta, come «In quale squadra gioca Bernardo Silva?», con o senza una richiesta di indicare una fonte; il secondo chiedeva al modello di verificare un’affermazione contenente informazioni attuali o non aggiornate, consentendo ai ricercatori di confrontare il trattamento riservato a ciascuna versione.

Nei risultati combinati sono stati utilizzati altri quattro tipi di prompt: domande aperte con indicazioni; richieste di citazioni testuali; richieste di fornire una citazione a sostegno di un’affermazione presentata; e verifiche di schede informative, in cui il modello doveva individuare un’affermazione non aggiornata tra diverse affermazioni corrette.

Esempi dei prompt effettivamente utilizzati per testare i modelli, basati su domande e affermazioni relative al calciatore Bernardo Silva. La tabella mostra come la stessa questione fattuale venisse presentata attraverso diverse richieste di risposte, verifiche, citazioni testuali e citazioni di fonti. Tutti i prompt iniziavano con la data dell’8 agosto 2026 e la maggior parte richiedeva una risposta finale standardizzata, specificata dalle istruzioni contrassegnate da lettere sotto la tabella.

Ogni prompt specificava una data e la maggior parte richiedeva risposte in un formato fisso che ammetteva la risposta ‘NON VERIFICABILE‘, consentendo di valutare i risultati senza ricorrere a un giudizio umano o basato su un LLM.

Le metriche utilizzate erano profondità di lettura (se le pagine delle fonti venivano aperte e citate); accuratezza delle risposte (percentuale di risposte corrette, escluse le astensioni); e fedeltà delle citazioni (se le pagine citate contraddicevano le affermazioni del modello).

La valutazione è stata automatizzata ove possibile; a un LLM (non specificato) era consentito approvare le citazioni solo quando queste erano supportate da un passaggio esatto della pagina archiviata; i giudizi negativi che richiedevano un’interpretazione sono stati affidati a revisori umani; e sono stati utilizzati fatti di controllo invariati per stabilire il tasso di errore di base di ciascun modello nelle citazioni.

Risultati

Nei test iniziali (illustrati all’inizio di questo articolo), l’accesso alla ricerca sul web ha migliorato la capacità dei modelli di rispondere correttamente alle domande. Quando veniva chiesto loro di verificare l’accuratezza delle affermazioni fattuali, i punteggi aumentavano di 27–42 punti percentuali. Nel rispondere direttamente alle domande, fornivano risposte corrette nell’85,8–95,4% dei casi.

Tuttavia, molte risposte sono state generate senza che i modelli visitassero effettivamente i siti web restituiti dalle loro ricerche. Si sono invece basati sui brevi estratti di testo visualizzati accanto ai risultati di ricerca. Anche quando venivano forniti gli stessi risultati di ricerca, la percentuale di ricerche in cui non veniva aperta alcuna pagina variava dal 2,6% al 76%, a seconda del modello.

In questo contesto, GPT-5.6 Luna ha ottenuto risultati particolarmente scadenti:

‘A parità di risultati di ricerca, i modelli rispondono senza aprire alcuna pagina nel 2,6–76,0% dei casi. Con la sua ricerca nativa, Luna risponde basandosi solo sugli estratti nel 53,6% dei casi.‘

Risultati dei test che confrontano risposte obsolete e citazioni fuorvianti in base al grado di approfondimento con cui i modelli hanno esaminato i risultati di ricerca. «Estratto» indica che non è stata aperta alcuna pagina web; «Aperta» indica che una pagina è stata aperta ma non citata; «Cit.» indica che è stata citata una pagina aperta. Tutti i valori sono percentuali aggregate sui sette assetti dei modelli e su tutti i tipi di prompt. Gli errori erano generalmente più frequenti quando i modelli si affidavano esclusivamente agli estratti dei risultati di ricerca.

Considerando i sette assetti dei modelli, il 6,4% delle risposte basate soltanto sugli estratti era obsoleto, rispetto all’1,3% delle risposte in cui erano citate pagine aperte. Come mostrato sopra, anche le citazioni fuorvianti erano più frequenti: 6,4% contro 2,3%. Nelle domande di sport, le risposte obsolete dei modelli a pesi aperti hanno raggiunto il 20,2%, contro il 2,1%. Quando le risposte erano obsolete, l’81,8% delle citazioni a sostegno di quelle affermazioni le contraddiceva, rispetto ad appena lo 0,9% per le risposte aggiornate. Nei test basati su schede informative sono emersi andamenti simili.

In pratica, ciò significa che i modelli di IA esaminati hanno maggiori probabilità di fornire risposte sbagliate quando si affidano alle brevi descrizioni mostrate nei risultati di ricerca, invece di leggere le pagine web vere e proprie. Peggio ancora, a volte rimandano a pagine che dimostrano che le loro risposte sono sbagliate.

Un errore condiviso

A meno che i modelli selezionati per questi test non siano casi anomali nel loro insieme, è ragionevole supporre che il fenomeno riguardi anche altri modelli, sia proprietari sia open source. In effetti, dei nove tipi di errore osservati nelle ricerche web in tempo reale di GPT-5.6 Luna, sette erano significativamente associati agli errori rilevati nei test di altri modelli effettuati usando gli stessi risultati di ricerca fissi: ciò suggerisce che i problemi non fossero limitati a Luna.

Fornire direttamente la pagina Wikipedia corretta ha ridotto le risposte obsolete: gli errori sono passati da 14 a zero per gemma-4-31b, da 11 a uno per gpt-oss-20b e da 16 a otto per qwen3-8b. Ripetere la domanda originale dopo aver aperto ciascuna pagina ha inoltre corretto il 26,1% delle verifiche sulle schede informative che in precedenza avevano dato esito errato.

Risultati che mostrano con quale frequenza gemma-4-31b, gpt-oss-20b e qwen3-8b hanno accettato affermazioni obsolete in condizioni diverse. Le stesse prove sono state alternativamente omesse, fornite direttamente nel prompt oppure rese disponibili tramite i risultati di ricerca; in test distinti sono state richieste fonti a sostegno. Fornire direttamente la pagina corretta si è rivelato molto più efficace che chiedere ai modelli di trovarla autonomamente. I valori indicano gli errori sul totale dei test.

Le regole dei club

Infine, per capire meglio perché a volte l’IA ignori le informazioni corrette, i ricercatori hanno testato tre modelli a pesi aperti su calciatori che avevano cambiato squadra: gpt-oss-20b, gemma-4-31b e qwen3-8b.

A ciascun modello sono state fornite informazioni obsolete sulla squadra di un giocatore, talvolta insieme alla pagina Wikipedia corretta, e si è osservato quale risposta privilegiasse durante l’elaborazione.

I risultati hanno mostrato che i modelli potevano riconoscere la squadra corretta, ma continuavano comunque a dare la risposta sbagliata:

Risultati dei test che mostrano come qwen3-8b abbia ponderato la squadra corretta e quella obsoleta durante la formulazione di una risposta. Il grafico a sinistra mostra le risposte corrette, in cui la squadra giusta è rimasta in vantaggio; quello a destra mostra gli errori, in cui la squadra obsoleta ha superato quella corretta nelle fasi finali dell’elaborazione. Le aree ombreggiate indicano la variabilità tra i test.

In qwen3-8b, a volte la squadra corretta è passata in vantaggio internamente, prima che quella obsoleta la superasse poco prima della generazione della risposta (vedi sopra). È emerso un andamento simile in gpt-oss-20b, mentre gemma-4-31b ha generalmente privilegiato la squadra «obsoleta» per tutta l’elaborazione.

Pertanto, sembra che, anche quando le prove corrette sono disponibili e vengono riconosciute, le informazioni obsolete possano comunque prevalere nella risposta finale.

In conclusione, gli autori suggeriscono che i modelli debbano sfruttare meglio le pagine web che recuperano, invece di affidarsi agli estratti dei risultati di ricerca. Sperano inoltre di capire perché i modelli a volte continuino ad attenersi a informazioni obsolete nonostante abbiano la risposta corretta e se modifiche al modo in cui i modelli elaborano le informazioni possano essere d’aiuto. Non viene però proposta alcuna soluzione definitiva.

Conclusione

Pur offrendo alcune considerazioni utili, il nuovo articolo non spiega perché gli LLM facciano un uso così disinvolto di citazioni e riferimenti. Da consumatore e, a mia volta, analista abbastanza lucido delle tendenze, ho l’impressione che gli LLM che uso consiglino articoli o URL perché sono consigliati da altri… siti consigliati…? Da dove nasce, allora, il senso di autorevolezza?

In verità, questo è un problema che non siamo riusciti a risolvere nemmeno nel mondo pre-IA, quindi forse non sorprende scoprire che gli LLM non riducano né i costi né la latenza, ma si limitino a propagare le stesse voci cinesi che ci accontentiamo di considerare «verità».

* L’articolo non specifica chi abbia condotto queste revisioni.

Pubblicato per la prima volta venerdì 16 ottobre 2026