La Vera Ragione Per Cui La Tua Pipelines RAG Continua A Hallucinare

Conosci il rituale. La pipeline ha hallucinato di fronte a un cliente, quindi hai sostituito il modello di embedding. Poi hai aggiornato il modello LLM. Poi hai aggiunto un prompt di sistema che dice, in caratteri sempre più disperati, USA SOLO IL CONTESTO FORNITO. E stamattina ha citato con fiducia un documento di politica che non esiste.

Sei in buona compagnia. Quando i ricercatori di RegLab e HAI di Stanford hanno esaminato gli strumenti di ricerca giuridica basati su AI venduti da LexisNexis e Thomson Reuters (TRI ), prodotti commercializzati come “privi di allucinazioni” grazie alla generazione aumentata da recupero, hanno trovato tassi di allucinazione tra il 17% e il 34% su query giuridiche pre-registrate. Il RAG ha veramente aiutato: il GPT-4 grezzo ha allucinato molto di più. Ma il divario tra “ridotto” e “eliminato” è dove vivono i sistemi di produzione, e quel divario ha una struttura.

L’allucinazione in una pipeline RAG è raramente un solo fallimento. È tre, cospiranti: il recupero fallisce in silenzio, il modello è stato addestrato per rispondere comunque, e nulla nella pipeline misura lo spazio tra quei due fatti. Sostituire i modelli non affronta nessuno di loro.

Conspiratore uno: il recupero fallisce più spesso di quanto pensi

La prova più recente è anche la più scomoda. Nel novembre 2025, un team che includeva 18 esperti medici ha prodotto 80.502 annotazioni su 800 output RAG su query reali di pazienti e stile USMLE. Il RAG standard non ha solo deluso; ha degradato la factualità fino al 6% e la completezza del 5% rispetto ai modelli senza recupero. La causa radice si trova a monte del modello LLM: solo il 22% dei passaggi recuperati tra i primi 16 era rilevante per la query.

Prima di liquidare ciò come un problema di dominio difficile, Anthropic ha misurato il fallimento del recupero su corpora puliti e curati mentre sviluppava la sua tecnica di recupero contestuale e ha trovato che la ricerca di embedding standard non è riuscita a recuperare il pezzo necessario nei primi 20 risultati il 5,7% delle volte. Una query su diciotto, su dati ben curati, senza nulla di esotico in corso.

Questo è il motivo per cui la tassonomia di ingegneria canonica dei fallimenti RAG, Barnett et al.’s sette punti di fallimento, conta così tanto: tre dei sette (contenuto mancante, documenti di classifica superiore mancati e fallimenti di consolidamento del contesto) si verificano prima che il modello linguistico generi un solo token. Unite.AI ha pubblicato un approfondito passo dopo passo di quella tassonomia e dei framework di valutazione che si collegano ad esso, quindi non lo ricostruirò qui. Il punto che questo articolo aggiunge è sugli incentivi: la somiglianza di embedding è un proxy per la rilevanza, non una garanzia di essa, e recenti lavori teorici di Google DeepMind indicano che le singole vettori di embedding hanno limiti matematici rigidi su quali combinazioni di documenti rilevanti possono rappresentare in assoluto. Un retriever che restituisce pezzi plausibili ma sbagliati sta facendo esattamente ciò che fa la somiglianza del coseno.

Conspiratore due: il modello è stato addestrato per indovinare

Ora consegnate quel contesto difettoso a un modello linguistico e chiedete cosa l’addestramento del modello gli ha insegnato a fare con i gap.

OpenAI ha risposto direttamente nel suo articolo di settembre 2025 Perché i modelli linguistici allucinano: l’addestramento standard e la valutazione premiano l’indovinare rispetto al riconoscimento dell’incertezza. I benchmark valutano l’accuratezza binaria, l’astensione valuta zero, e quindi i modelli imparano che un’ipotesi fiduciosa batte un vuoto. Il confronto dell’articolo lo rende concreto: su SimpleQA, un modello di ragionamento si è astenuto l’1% delle volte e si è sbagliato il 75% delle volte, mentre un fratello diversamente tarato si è astenuto il 52% delle volte e ha ridotto il tasso di errore al 26%.

I benchmark specifici RAG mostrano cosa fa quell’incentivo all’interno di una pipeline. Il benchmark RGB ha testato se i modelli rifiutano di rispondere quando ricevono solo documenti non pertinenti. La migliore percentuale di rifiuto negativo tra tutti i modelli testati è stata del 45%, il che significa che anche il miglior modello, dato solo contesto spazzatura, ha risposto comunque più della metà delle volte. ClashEval ha trovato il fallimento speculare: quando il contenuto recuperato contraddiceva la conoscenza che il modello già aveva giusta, i modelli hanno abbandonato la loro risposta corretta in favore del contesto sbagliato più del 60% delle volte. La fedeltà fallisce in entrambe le direzioni, e FaithEval di Salesforce aggiunge la coda inquietante che i modelli più grandi non sono fedeli in modo affidabile.

Il team di interpretazione di Anthropic ha anche tracciato il meccanismo. Nella loro analisi, il rifiuto è il circuito predefinito del modello; una funzione “entità nota” sopprime quel rifiuto quando il modello riconosce qualcosa. L’allucinazione si verifica quando la funzione si guasta, quando il modello riconosce la forma della tua domanda, le manca la sostanza e confabula fluentemente nel gap.

E se stai sperando che il frontiera semplicemente superi questo: il leaderboard di allucinazione di Vectara misura qualcosa di molto più facile del RAG, riassumendo un singolo documento posto direttamente di fronte al modello, e al momento dell’aggiornamento di maggio 2026, GPT-4o ha ancora fabbricato il 9,6% dei riassunti e Claude Opus 4 nel 12%. Anche con il recupero risolto perfettamente, la generazione perde.

La soluzione istintiva peggiora le cose

Di fronte a tutto ciò, la maggior parte delle squadre si affida al volume. Recupera più pezzi. Acquista la finestra di contesto più grande. Inserisci tutto ciò che potrebbe aiutare e lascia che il modello lo sistemi.

Le prove vanno nella direzione opposta. Lo studio sullo scadimento del contesto di Chroma ha testato 18 modelli, tra cui GPT-4.1, Claude 4 e Gemini 2.5, e ha trovato che le prestazioni crescono “sempre più instabili all’aumentare della lunghezza dell’input”, con un singolo documento di distrazione che taglia misurabilmente l’accuratezza e quattro distrazioni che la tagliano in modo sostanziale. La precedente ricerca Perso nel mezzo ha trovato la famosa curva a U: le informazioni sepolte a metà contesto vengono ignorate anche dai modelli a lungo contesto. E l’audit medico di cui sopra è ciò che quelle dinamiche sembrano dall’inizio alla fine, un sistema che recupera sedici passaggi dei quali dodici o più sono irrilevanti, quindi consegna il mucchio a un modello addestrato a non dire mai “Non lo so”.

Il recupero senza precisione aggiuntiva semplicemente produce distrazioni. La precisione batte la richiamata nella generazione basata su fatti, e non è nemmeno vicina.

Conspiratore tre: nessuno misura il divario

Barnett et al. hanno messo la verità operativa in una riga: “La convalida di un sistema RAG è possibile solo durante l’operazione”. Non puoi convalidare una pipeline RAG in staging, perché i suoi modi di fallimento sono una proprietà congiunta del tuo corpus, delle tue query e dei tuoi utenti, nessuno dei quali rimane fermo.

Eppure, la maggior parte delle pipeline di produzione traccia la qualità della risposta end-to-end al massimo, il che confonde i due cospiratori di cui sopra in un unico numero inspiegabile. La decomposizione standard, a volte chiamata triade RAG, separa la rilevanza del contesto (il recupero ha trovato il materiale giusto?), la fondatezza (la risposta si attiene a quel materiale?) e la rilevanza della risposta (affronta la domanda?). Framework come RAGAS e TruLens implementano questo. Sarò onesto, non esiste un’indagine rigorosa che quantifichi quante squadre di produzione eseguono questi; ciò che esiste è il record del praticante, e descrive principalmente la valutazione per sensazioni. Se il tuo team non ha un cruscotto che distingue i fallimenti del recupero dai fallimenti di fedeltà, ogni allucinazione continuerà ad apparire come un problema del modello, e continuerai a comprare soluzioni a forma di modello.

Cosa funziona veramente, in ordine

Misura il recupero separatamente dalla generazione. La soluzione noiosa che tutti saltano, e a mio parere l’elemento con il maggior impatto su questa lista, perché converte un argomento su quale modello acquistare in una diagnosi. Se la rilevanza del contesto è cattiva, nessun generatore può salvarti. Se la fondatezza è cattiva con un buon contesto, nessun retriever può.

Costruisci lo stack di precisione. I numeri pubblicati da Anthropic sono la dimostrazione più chiara di correzioni di recupero impilate da qualche parte: gli embedding di chunk contestuali hanno tagliato il fallimento di recupero tra i primi 20 risultati dal 5,7% al 3,7%, aggiungendo la ricerca ibrida BM25 (corrispondenza di parole chiave classica accanto alla ricerca vettoriale) l’ha portato al 2,9%, e aggiungendo un reranker, un modello di seconda fase che ri-punta i candidati chunk per rilevanza effettiva, ha raggiunto il 1,9%, una riduzione totale del 67%. Unite.AI ha coperto perché il recupero a due fasi colpisce al di sopra del suo peso nel dettaglio.

Premia l’astensione. La prescrizione di OpenAI è quella di penalizzare gli errori fiduciosi più dell’incertezza espressa, e puoi implementare la versione locale oggi: chiedi e valuta risposte “Non lo so” e aggiungi un controllo di fondamento, un modello di implicazione (NLI) che verifica ogni affermazione generata è supportata dal testo recuperato prima che la risposta parta. Il lavoro RAGTruth ha mostrato che un piccolo rilevatore tarato può eguagliare il prompting basato su GPT-4 nell’intercettare affermazioni non supportate.

Riscrivi le query e filtra le prove. Nell’audit medico, la riformulazione della query più la filtrazione delle prove ha recuperato fino a 12 punti di factualità. Economico, noioso, efficace.

Considera il recupero agente per ultimo. Il recupero multi-fase che ragiona su cosa recuperare dopo (primo qui) aiuta veramente le query multi-hop difficili, ma aggiunge latenza, costo e nuovi modi di fallimento. È un coronamento, non una base.

Il modello era la parte meno rotta

Guarda indietro al rituale dall’apertura. Ogni passo di esso, lo scambio di embedding, l’aggiornamento del modello, il prompt di sistema urlante, ha trattato l’allucinazione come un difetto del generatore. Le prove dicono che il generatore stava facendo ciò che l’addestramento premia, con i materiali che il tuo retriever gli ha consegnato, non osservato da alcuna metrica che potrebbe aver detto quale di quelli stava fallendo.

La tua pipeline RAG non è rotta. È obbediente. Fa esattamente ciò che gli incentivi premiano, e fino a quando non misuri il recupero e la generazione separatamente e rendi “Non lo so” una categoria di punteggio invece di un fallimento, quegli incentivi dicono: indovina.