Meno è più: perché recuperare meno documenti può migliorare le risposte dell’AI

Recupero aumentato della generazione (RAG) è un approccio alla costruzione di sistemi di intelligenza artificiale che combina un modello linguistico con una fonte di conoscenza esterna. In semplici termini, l’AI prima cerca documenti rilevanti (come articoli o pagine web) relativi a una query dell’utente, e poi utilizza quei documenti per generare una risposta più precisa. Questo metodo è stato celebrato per aiutare i grandi modelli linguistici (LLM) a rimanere fattuali e ridurre le allucinazioni, ancorando le loro risposte a dati reali.

Intuitivamente, si potrebbe pensare che più documenti un’AI recupera, migliori saranno le sue risposte. Tuttavia, recenti ricerche suggeriscono una sorprendente svolta: quando si tratta di fornire informazioni a un’AI, a volte meno è più.

Meno documenti, migliori risposte

Uno studio recente di ricercatori dell’Università Ebraica di Gerusalemme ha esplorato come il numero di documenti forniti a un sistema RAG influisca sulle sue prestazioni. Crucialmente, hanno mantenuto costante la quantità totale di testo – ciò significa che se venivano forniti meno documenti, quei documenti venivano leggermente ampliati per riempire la stessa lunghezza di molti documenti. In questo modo, le differenze di prestazione potevano essere attribuite alla quantità di documenti piuttosto che semplicemente a un input più breve.

I ricercatori hanno utilizzato un set di dati di risposte a domande (MuSiQue) con domande di trivia, ciascuna originariamente abbinata a 20 paragrafi di Wikipedia (solo alcuni dei quali contengono effettivamente la risposta, mentre il resto sono distrattori). Riducendo il numero di documenti da 20 a solo 2-4 documenti veramente rilevanti – e riempiendoli con un po’ di contesto extra per mantenere una lunghezza costante – hanno creato scenari in cui l’AI aveva meno materiale da considerare, ma ancora circa le stesse parole da leggere.

I risultati sono stati sorprendenti. Nella maggior parte dei casi, i modelli di AI hanno risposto con maggiore accuratezza quando venivano forniti con meno documenti piuttosto che con l’intero set. Le prestazioni sono migliorate in modo significativo – in alcuni casi del 10% in accuratezza (punteggio F1) quando il sistema utilizzava solo i pochi documenti di supporto invece di una grande raccolta. Questo aumento controintuitivo è stato osservato in diversi modelli linguistici open-source, tra cui varianti di Llama di Meta e altri, indicando che il fenomeno non è legato a un singolo modello di AI.

Un modello (Qwen-2) è stato un’eccezione notevole che ha gestito più documenti senza una diminuzione del punteggio, ma quasi tutti i modelli testati hanno funzionato meglio con meno documenti nel complesso. In altre parole, l’aggiunta di più materiale di riferimento oltre ai pezzi veramente rilevanti ha effettivamente peggiorato le loro prestazioni più spesso di quanto le abbia aiutate.

Fonte: Levy et al.

Perché è una tale sorpresa? Tipicamente, i sistemi RAG sono progettati sotto l’assunzione che recuperare una più ampia quantità di informazioni possa solo aiutare l’AI – dopotutto, se la risposta non è nel primo documento, potrebbe essere nel decimo o ventesimo.

Questo studio capovolge questo copione, dimostrando che l’aggiunta indiscriminata di documenti extra può avere l’effetto contrario. Anche quando la lunghezza totale del testo era mantenuta costante, la semplice presenza di molti documenti diversi (ciascuno con il proprio contesto e peculiarità) ha reso il compito di risposta alle domande più impegnativo per l’AI. Sembra che oltre un certo punto, ogni documento aggiuntivo abbia introdotto più rumore che segnale, confondendo il modello e impedendogli di estrarre la risposta corretta.

Perché meno può essere più in RAG

Questo risultato “meno è più” ha senso una volta che consideriamo come i modelli linguistici di intelligenza artificiale elaborano le informazioni. Quando a un’AI vengono forniti solo i documenti più rilevanti, il contesto che vede è focalizzato e libero da distrazioni, come uno studente che ha ricevuto solo le pagine giuste da studiare.

I modelli hanno funzionato significativamente meglio quando venivano forniti solo i documenti di supporto, con il materiale non pertinente rimosso. Il contesto rimanente non era solo più breve, ma anche più pulito – conteneva fatti che puntavano direttamente alla risposta e nulla altro. Con meno documenti da gestire, il modello poteva dedicare la sua piena attenzione alle informazioni pertinenti, rendendolo meno probabile che si distraesse o si confondesse.

D’altra parte, quando venivano recuperati molti documenti, l’AI doveva setacciare un mix di contenuto rilevante e non rilevante. Spesso questi documenti extra erano “simili ma non correlati” – condividevano un argomento o parole chiave con la query, ma non contenevano effettivamente la risposta. Tale contenuto può fuorviare il modello. L’AI potrebbe sprecare sforzi cercando di collegare punti tra documenti che non portano effettivamente a una risposta corretta, o peggio, potrebbe fondere informazioni da più fonti in modo errato. Ciò aumenta il rischio di allucinazioni – istanze in cui l’AI genera una risposta che sembra plausibile ma non è basata su alcuna fonte singola.

In sostanza, fornire troppi documenti al modello può diluire le informazioni utili e introdurre dettagli in conflitto, rendendo più difficile per l’AI decidere cosa è vero.

È interessante notare che i ricercatori hanno scoperto che se i documenti extra erano ovviamente non pertinenti (ad esempio, testo casuale non correlato), i modelli erano migliori nell’ignorarli. Il vero problema deriva dai dati di distrazione che sembrano rilevanti: quando tutti i testi recuperati sono su argomenti simili, l’AI presume che debba utilizzarli tutti, e potrebbe lottare per capire quali dettagli sono effettivamente importanti. Ciò si allinea con l’osservazione dello studio che i distrattori casuali hanno causato meno confusione dei distrattori realistici nell’input. L’AI può filtrare il nonsenso evidente, ma le informazioni leggermente fuori tema sono una trappola scivolosa – si infiltra sotto la maschera di rilevanza e deraglia la risposta. Riducendo il numero di documenti ai soli necessari, evitiamo di creare queste trappole fin dall’inizio.

C’è anche un beneficio pratico: recuperare e elaborare meno documenti riduce l’onere computazionale per un sistema RAG. Ogni documento che viene recuperato deve essere analizzato (inserito, letto e considerato dal modello), il che utilizza tempo e risorse di calcolo. Eliminare i documenti superflui rende il sistema più efficiente – può trovare risposte più velocemente e a minor costo. Nei casi in cui l’accuratezza è migliorata concentrandosi su meno fonti, otteniamo una doppia vittoria: migliori risposte e un processo più snello ed efficiente.

Fonte: Levy et al.

Ripensare RAG: direzioni future

Questa nuova evidenza che la qualità spesso supera la quantità nel recupero ha importanti implicazioni per il futuro dei sistemi di intelligenza artificiale che si basano su conoscenze esterne. Suggerisce che i progettisti di sistemi RAG dovrebbero dare priorità a un’intelligente filtrazione e classificazione dei documenti rispetto alla mera quantità. Invece di recuperare 100 passaggi possibili e sperare che la risposta sia sepolta da qualche parte, potrebbe essere più saggio recuperare solo i primi pochi passaggi altamente rilevanti.

Gli autori dello studio enfatizzano la necessità per i metodi di recupero di “trovare un equilibrio tra rilevanza e diversità” nelle informazioni che forniscono a un modello. In altre parole, vogliamo fornire abbastanza copertura dell’argomento per rispondere alla domanda, ma non così tanta che i fatti fondamentali siano sommersi in un mare di testo extra.

Andando avanti, i ricercatori sono probabilmente esplorare tecniche che aiutino i modelli di AI a gestire più documenti in modo più agile. Un approccio è sviluppare sistemi di recupero migliori o ri-classificatori che possano identificare quali documenti aggiungono effettivamente valore e quali introducono solo conflitto. Un’altra angolazione è migliorare i modelli linguistici stessi: se un modello (come Qwen-2) è riuscito a gestire molti documenti senza perdere accuratezza, esaminare come è stato addestrato o strutturato potrebbe offrire indizi per rendere altri modelli più robusti. Forse i futuri grandi modelli linguistici incorporeranno meccanismi per riconoscere quando due fonti stanno dicendo la stessa cosa (o si contraddicono) e concentrarsi di conseguenza. L’obiettivo sarebbe consentire ai modelli di utilizzare una ricca varietà di fonti senza cadere preda della confusione – ottenendo il meglio di entrambi i mondi (ampiezza di informazioni e chiarezza di focus).

È anche degno di nota che mentre i sistemi di AI guadagnano finestre di contesto più ampie (la capacità di leggere più testo contemporaneamente), semplicemente scaricare più dati nel prompt non è una soluzione magica. Una finestra di contesto più grande non significa automaticamente una migliore comprensione. Questo studio mostra che anche se un’AI può tecnicamente leggere 50 pagine alla volta, fornirle 50 pagine di informazioni di qualità mista potrebbe non produrre un buon risultato. Il modello trae ancora beneficio dall’avere contenuto curato e rilevante con cui lavorare, piuttosto che un dump indiscriminato. In realtà, il recupero intelligente potrebbe diventare ancora più cruciale nell’era delle finestre di contesto giganti – per assicurarsi che la capacità extra venga utilizzata per conoscenze preziose piuttosto che rumore.

Le scoperte da “Più documenti, stessa lunghezza” (il titolo appropriato del documento) incoraggiano a rivedere le nostre assunzioni nella ricerca sull’AI. A volte, fornire a un’AI tutti i dati che abbiamo non è così efficace come pensiamo. Concentrandoci sulle informazioni più rilevanti, non solo miglioriamo l’accuratezza delle risposte generate dall’AI, ma rendiamo anche i sistemi più efficienti e più facili da fidarsi. È una lezione controintuitiva, ma con ramificazioni emozionanti: i futuri sistemi RAG potrebbero essere sia più intelligenti che più snelli, scegliendo con cura meno documenti, ma migliori, da recuperare.