Nuova ricerca trova sedici problemi principali con i sistemi RAG, tra cui la perplessità

Uno studio recente negli Stati Uniti ha scoperto che le prestazioni nel mondo reale dei sistemi di ricerca di generazione aumentata (RAG) popolari, come Perplexity e Bing Copilot, sono molto al di sotto dell’iperalaggio pubblicitario e dell’adozione popolare che hanno fatto notizia negli ultimi 12 mesi.

Il progetto, che ha coinvolto una vasta partecipazione a un sondaggio con 21 voci di esperti, ha trovato non meno di 16 aree in cui i sistemi RAG studiati (You Chat, Bing Copilot e Perplexity) hanno prodotto motivi di preoccupazione:

1: Una mancanza di dettagli oggettivi nelle risposte generate, con riassunti generici e scarsa profondità contestuale o sfumatura.

2. Rinforzo dei pregiudizi percepiti dell’utente, dove un motore RAG spesso non presenta una gamma di punti di vista, ma invece inferisce e rinforza il pregiudizio dell’utente, in base a come l’utente formula una domanda.

3. Linguaggio eccessivamente fiducioso, in particolare nelle risposte soggettive che non possono essere stabilite empiricamente, il che può portare gli utenti a fidarsi della risposta più di quanto non meriti.

4: Linguaggio semplicistico e mancanza di pensiero critico e creatività, dove le risposte effettivamente adulano l’utente con informazioni “semplificate” e “concordi”, invece di una riflessione e un’analisi ben pensate.

5: Attribuzione errata e citazione delle fonti, dove il motore di risposta utilizza fonti citate che non supportano la sua risposta, creando l’illusione di credibilità.

6: Selezione di informazioni dal contesto inferito, dove l’agente RAG sembra cercare risposte che supportino la sua affermazione generata e la sua stima di ciò che l’utente vuole sentire, invece di basare le sue risposte su un’analisi oggettiva di fonti attendibili (possibilmente indicando un conflitto tra i dati “predefiniti” del modello e i dati che ottiene in tempo reale da Internet in risposta a una query).

7: Omissione di citazioni che supportano le affermazioni, dove il materiale di fonte per le risposte è assente.

8: Fornire nessuno schema logico per le sue risposte, dove gli utenti non possono chiedere perché il sistema ha prioritizzato alcune fonti rispetto ad altre.

9: Numero limitato di fonti, dove la maggior parte dei sistemi RAG fornisce generalmente intorno a tre fonti di supporto per un’affermazione, anche quando una maggiore diversità di fonti sarebbe applicabile.

10: Fonti orfane, dove i dati di alcune o tutte le citazioni di supporto del sistema non sono effettivamente inclusi nella risposta.

11: Uso di fonti non attendibili, dove il sistema sembra aver preferito una fonte che è popolare (ad esempio, in termini di SEO) piuttosto che factualmente corretta.

12: Fonti ridondanti, dove il sistema presenta più citazioni in cui gli articoli di fonte sono essenzialmente gli stessi per contenuto.

13: Fonti non filtrate, dove il sistema non offre all’utente alcun modo per valutare o filtrare le citazioni offerte, costringendo gli utenti ad accettare i criteri di selezione con fiducia.

14: Mancanza di interattività o esplorabilità, dove diversi partecipanti allo studio degli utenti si sono sentiti frustrati perché i sistemi RAG non hanno chiesto domande di chiarimento, ma hanno assunto l’intento dell’utente dalla prima query.

15: Necessità di verifica esterna, dove gli utenti si sentono costretti a eseguire una verifica indipendente della risposta fornita, eliminando in gran parte la presunta comodità di RAG come “sostituto della ricerca”.

16: Uso di metodi di citazione accademica, come [1] o [34]; questo è una pratica standard negli ambienti accademici, ma può essere controintuitivo per molti utenti.

Per il lavoro, i ricercatori hanno raccolto 21 esperti in intelligenza artificiale, sanità e medicina, scienze applicate e istruzione e scienze sociali, tutti ricercatori post-dottorali o candidati al dottorato. I partecipanti hanno interagito con i sistemi RAG testati mentre esprimevano ad alta voce i loro processi di pensiero, per chiarire (per i ricercatori) il loro stesso schema razionale.

La carta cita ampiamente le preoccupazioni e le preoccupazioni dei partecipanti sulle prestazioni dei tre sistemi studiati.

La metodologia dello studio sugli utenti è stata quindi sistematizzata in uno studio automatizzato dei sistemi RAG, utilizzando suite di controllo del browser:

‘Una valutazione automatizzata su larga scala di sistemi come You.com, Perplexity.ai e BingChat ha mostrato che nessuno di essi ha raggiunto prestazioni accettabili nella maggior parte dei metriche, compresi aspetti critici relativi alla gestione delle allucinazioni, affermazioni non supportate e accuratezza delle citazioni.’

Gli autori sostengono a lungo (e con diligenza, nella carta completa di 27 pagine) che sia i nuovi che gli utenti esperti dovrebbero esercitare cautela quando utilizzano la classe di sistemi RAG studiati. Propongono inoltre un nuovo sistema di metriche, basato sui limiti trovati nello studio, che potrebbe costituire la base di una maggiore supervisione tecnica nel futuro.

Tuttavia, l’aumento dell’uso pubblico dei sistemi RAG porta gli autori anche a sostenere una legislazione appropriata e un livello più alto di politica governativa applicabile riguardo agli interfacce di ricerca AI assistite.

Lo studio proviene da cinque ricercatori dell’Università statale della Pennsylvania e di Salesforce, e si intitola Motori di ricerca in un’era AI: la falsa promessa di risposte basate su fonti verificabili e citate. Il lavoro copre i sistemi RAG fino allo stato dell’arte di agosto 2024

Il compromesso RAG

Gli autori introducono il loro lavoro ripetendo quattro limiti noti dei modelli di linguaggio grandi (LLM) quando vengono utilizzati all’interno dei motori di risposta.

Innanzitutto, sono inclini a produrre informazioni allucinatorie e mancano della capacità di rilevare incongruenze fattuali. In secondo luogo, hanno difficoltà a valutare l’accuratezza di una citazione nel contesto di una risposta generata. In terzo luogo, tendono a favorire i dati dai loro pesi pre-addestrati e possono resistere ai dati da documentazione esternamente recuperata, anche se tali dati potrebbero essere più recenti o più precisi.

Infine, i sistemi RAG tendono verso un comportamento di adulazione, comportamento servile, spesso a scapito dell’accuratezza delle informazioni nelle loro risposte.

Tutte queste tendenze sono state confermate in entrambi gli aspetti dello studio, tra molte nuove osservazioni sui pericoli dei RAG.

La carta considera il prodotto RAG SearchGPT di OpenAI (rilasciato agli abbonati la scorsa settimana, dopo che la nuova carta era stata presentata), come probabile incoraggiamento all’adozione degli utenti dei sistemi di ricerca basati su RAG, nonostante i limiti fondamentali che i risultati del sondaggio suggeriscono*:

‘Il rilascio di SearchGPT di OpenAI, commercializzato come un “killer di Google Search”, esacerba ulteriormente le preoccupazioni. Man mano che cresce l’affidamento a questi strumenti, cresce anche l’urgenza di comprendere il loro impatto. Lindemann introduce il concetto di Conoscenza sigillata, che critica come questi sistemi limitino l’accesso a risposte diverse condensando le query di ricerca in risposte autoritative singolari, effettivamente decostruendo le informazioni e restringendo le prospettive degli utenti.

‘Questo “sigillo” della conoscenza perpetua i pregiudizi di selezione e limita i punti di vista marginalizzati.’

Lo studio

Gli autori hanno prima testato la loro procedura di studio su tre dei 24 partecipanti selezionati, tutti invitati tramite LinkedIn o e-mail.

La prima fase, per i restanti 21, ha coinvolto Ricerca di informazioni di expertise, dove i partecipanti hanno medio circa sei richieste di ricerca durante una sessione di 40 minuti. Questa sezione si è concentrata sul reperimento e sulla verifica di domande e risposte basate sui fatti, con potenziali soluzioni empiriche.

La seconda fase ha riguardato Ricerca di informazioni di dibattito, che ha trattato invece questioni soggettive, tra cui ecologia, vegetarianismo e politica.

Risposte di studio generate da Perplexity (a sinistra) e You Chat (a destra). Fonte: https://arxiv.org/pdf/2410.22349

Dal momento che tutti i sistemi hanno consentito almeno un certo livello di interattività con le citazioni fornite come supporto per le risposte generate, gli oggetti di studio sono stati incoraggiati a interagire con l’interfaccia il più possibile.

In entrambi i casi, i partecipanti sono stati invitati a formulare le loro richieste sia attraverso un sistema RAG e un motore di ricerca convenzionale (in questo caso, Google).

I tre motori di risposta – You Chat, Bing Copilot e Perplexity – sono stati scelti perché sono pubblicamente accessibili.

La maggior parte dei partecipanti erano già utenti di sistemi RAG, a frequenze variabili.

A causa delle limitazioni di spazio, non possiamo analizzare ogni una delle 16 carenze chiave trovate nello studio, ma presentiamo una selezione di alcuni degli esempi più interessanti e illuminanti.

Mancanza di dettagli oggettivi

La carta nota che gli utenti hanno trovato che le risposte dei sistemi spesso mancavano di dettagli oggettivi, sia nelle risposte fattuali che in quelle soggettive. Uno ha commentato:

‘Stava solo cercando di rispondere senza darmi effettivamente una risposta solida o una risposta più pensata, che posso ottenere con più ricerche su Google.’

Un altro ha osservato:

‘È troppo breve e riassume tutto. [Il modello] deve darmi più dati per l’affermazione, ma è molto riassunto.’

Mancanza di prospettiva olistica

Gli autori esprimono preoccupazione per questa mancanza di sfumatura e specificità e affermano che i motori di risposta spesso non presentano molteplici prospettive su un argomento, tendendo a schierarsi con un pregiudizio percepito inferito dalla formulazione della domanda dell’utente.

Un partecipante ha detto:

‘Voglio scoprire di più sul lato opposto dell’argomento… questo è tutto con un pizzico di sale perché non conosciamo l’altro lato e le prove e i fatti.’

Un altro ha commentato:

‘Non mi sta dando entrambi i lati dell’argomento; non sta discutendo con me. Invece, [il modello] mi sta solo dicendo: “Hai ragione… e queste sono le ragioni per cui”. ‘

Linguaggio fiducioso

Gli autori osservano che tutti e tre i sistemi testati hanno esibito l’uso di un linguaggio eccessivamente fiducioso, anche per risposte che coprono questioni soggettive. Sostengono che questo tono tenderà a ispirare una fiducia ingiustificata nella risposta.

Un partecipante ha notato:

‘Scrive in modo così fiducioso, mi sento convinto senza neanche guardare la fonte. Ma quando guardo la fonte, è cattiva e questo mi fa dubitare di nuovo.’

Un altro ha commentato:

‘Se qualcuno non conosce esattamente la risposta giusta, si fiderà di questo anche quando è sbagliato.’

Citazioni errate

Un altro problema frequente è stato l’attribuzione errata delle fonti citate come autorità per le risposte dei sistemi RAG, con uno degli oggetti di studio che afferma:

‘Questa affermazione non sembra essere nella fonte. Intendo dire che l’affermazione è vera; è valida… ma non so da dove stia prendendo queste informazioni.’

Gli autori della nuova carta commentano^†:

‘I partecipanti hanno sentito che i sistemi stavano utilizzando citazioni per legittimare la loro risposta, creando un’illusione di credibilità. Questa facciata è stata rivelata solo a pochi utenti che hanno proceduto a esaminare le fonti.’

Selezione di informazioni per adattarsi alla query

Tornando al concetto di comportamento di adulazione, servile nei RAG, lo studio ha scoperto che molte risposte hanno messo in evidenza un particolare punto di vista invece di riassumere in modo esaustivo l’argomento, come ha osservato un partecipante:

‘Mi sento manipolato. Sta prendendo solo alcune informazioni e mi sento manipolato per vedere solo un lato delle cose.’

Un altro ha opinato:

‘[La fonte] ha sia pro che contro, e ha scelto di selezionare solo gli argomenti richiesti da questo link senza l’intero quadro.’

Per ulteriori esempi approfonditi (e molte citazioni critiche dei partecipanti al sondaggio), rimandiamo il lettore alla carta originale.

RAG automatizzato

Nella seconda fase dello studio più ampio, i ricercatori hanno utilizzato la programmazione del browser per sollecitare sistematicamente le richieste ai tre motori RAG studiati. Quindi hanno utilizzato un sistema LLM (GPT-4o) per analizzare le risposte dei sistemi.

Le affermazioni sono state analizzate per rilevanza della query e Affermazioni pro e contro (ad esempio, se la risposta è a favore, contro o neutra, rispetto al pregiudizio implicito della domanda.

È stata valutata anche un Punteggio di fiducia della risposta, basato sul metodo di testing psicometrico della scala Likert. Qui il giudice LLM è stato integrato con due annotatori umani.

Un’operazione supplementare ha coinvolto l’utilizzo di web-scraping per ottenere il contenuto completo delle pagine web citate, tramite lo strumento Jina.ai Reader. Tuttavia, come notato altrove nella carta, la maggior parte degli strumenti di web-scraping non è in grado di accedere ai siti con paywall più di quanto non lo siano la maggior parte delle persone (anche se gli autori osservano che Perplexity.ai è stato noto per aggirare questa barriera).

Considerazioni aggiuntive sono state se le risposte citavano una fonte (calcolata come “matrice di citazione”) e una “matrice di supporto fattuale” – una metrica verificata con l’aiuto di quattro annotatori umani.

Quindi sono state ottenute 8 metriche complessive: risposta unilaterale; risposta eccessivamente fiduciosa; affermazione rilevante; fonti non citate; affermazioni non supportate; necessità di fonte; accuratezza della citazione; e completezza della citazione.

I materiali contro cui queste metriche sono state testate consistevano in 303 domande curate dalla fase di studio sugli utenti, che hanno prodotto 909 risposte attraverso i tre sistemi RAG testati.

Valutazione quantitativa attraverso i tre sistemi RAG testati, basata su otto metriche.

Riguardo ai risultati, la carta afferma:

‘Guardando le tre metriche relative al testo della risposta, troviamo che tutti i motori di risposta valutati generano frequentemente (50-80%) risposte unilaterali, favorendo l’accordo con una formulazione di una questione di dibattito sopra la presentazione di molteplici prospettive nella risposta, con Perplexity che si esegue peggio degli altri due motori.

‘Questo risultato è coerente con [i risultati] dei nostri risultati qualitativi. Sorprendentemente, anche se Perplexity è più probabile che generi una risposta unilaterale, genera anche le risposte più lunghe (18,8 affermazioni per risposta in media), indicando che la mancanza di diversità di risposta non è dovuta alla brevità della risposta.

‘In altre parole, aumentare la lunghezza della risposta non migliora necessariamente la diversità della risposta.’

Gli autori notano anche che Perplexity è più probabile che utilizzi un linguaggio fiducioso (90% delle risposte), e che, al contrario, gli altri due sistemi tendono a utilizzare un linguaggio più cauto e meno fiducioso quando si tratta di contenuti soggettivi.

You Chat è l’unico framework RAG che ha raggiunto zero fonti non citate per una risposta, con Perplexity all’8% e Bing Chat al 36%.

Tutti i modelli hanno mostrato una “percentuale significativa” di affermazioni non supportate e la carta afferma^†:

‘Il framework RAG è pubblicizzato per risolvere il comportamento allucinatorio dei LLM imponendo che un LLM generi una risposta basata su documenti di fonte, ma i risultati mostrano che i motori di risposta RAG generano ancora risposte che contengono una grande percentuale di affermazioni non supportate dalle fonti che forniscono.‘

Inoltre, tutti i sistemi testati hanno avuto difficoltà a supportare le loro affermazioni con citazioni:

‘You.Com e [Bing Chat] eseguono leggermente meglio di Perplexity, con circa due terzi delle citazioni che puntano a una fonte che supporta l’affermazione citata, e Perplexity esegue peggio con più della metà delle sue citazioni che sono inaccurate.

‘Questo risultato è sorprendente: la citazione non è solo inaccurata per le affermazioni che non sono supportate da alcuna fonte, ma troviamo anche che, anche quando esiste una fonte che supporta un’affermazione, tutti i motori citano ancora frequentemente una fonte diversa inaccurata, perdendo l’opportunità di fornire informazioni di fonte corrette all’utente.

‘In altre parole, il comportamento allucinatorio non è solo esibito in affermazioni non supportate, ma anche in citazioni inaccurate che impediscono agli utenti di verificare la validità delle informazioni.‘

Gli autori concludono:

‘Nessuno dei motori di risposta raggiunge prestazioni buone nella maggior parte delle metriche, evidenziando la grande stanza per il miglioramento nei motori di risposta.

* La mia conversione delle citazioni in linea degli autori in collegamenti ipertestuali. Quando necessario, ho scelto il primo di più citazioni per il collegamento ipertestuale, a causa di praticità di formattazione.

^† Enfasi degli autori, non mia.

Pubblicato per la prima volta lunedì 4 novembre 2024