Nyt forskning viser seksten større problemer med RAG-systemer, herunder Perplexity

En ny studie fra USA har fundet, at de faktiske præstationer af populære Retrieval Augmented Generation (RAG) forskningssystemer som Perplexity og Bing Copilot langt fra lever op til både marketinghype og populær adoption, der har fået overskrifter i løbet af de sidste 12 måneder.

Projektet, der involverede omfattende spørgeskemaer med 21 eksperter, fandt ikke færre end 16 områder, hvor de studerede RAG-systemer (You Chat, Bing Copilot og Perplexity) gav anledning til bekymring:

1: Mangel på objektive detaljer i de genererede svar, med generiske sammenfatninger og manglende kontekstuel dybde eller nuance.

2. Forstærkning af opfattet brugerforudsel, hvor et RAG-system ofte ikke præsenterer et udvalg af synspunkter, men i stedet antager og forstærker brugerforudsel baseret på, hvordan brugeren formulerer et spørgsmål.

3. Overly confident sprog, især i subjektive svar, der ikke kan empirisk fastslås, hvilket kan føre til, at brugeren stoler mere på svaret, end det fortjener.

4: Enkel sprog og mangel på kritisk tænkning og kreativitet, hvor svarene effektivt patroniserer brugeren med “dumbed-down” og “agreeable” information, i stedet for gennemtænkt betragtning og analyse.

5: Fejlaktig tilskrivning og fejlaktig citering af kilder, hvor svarenginen bruger citerede kilder, der ikke understøtter dens svar, og skaber en illusion af troværdighed.

6: Cherry-picking af information fra antaget kontekst, hvor RAG-agentsvaret synes at søge efter svar, der understøtter dens genererede påstand og dens skøn over, hvad brugeren vil høre, i stedet for at basere sine svar på objektive analyser af pålidelige kilder (muligvis indikerer en konflikt mellem systemets “bagt” LLM-data og data, der erhverves på-the-fly fra internettet som svar på et spørgsmål).

7: Udeladelse af citeringer, der understøtter udsagn, hvor kildegrundlag for svarene er fraværende.

8: Ikke tilstedeværelse af en logisk skema for svarene, hvor brugere ikke kan spørge, hvorfor systemet prioriterer visse kilder over andre.

9: Begrænset antal kilder, hvor de fleste RAG-systemer typisk giver omkring tre understøttende kilder for et udsagn, selvom en større diversitet af kilder ville være anvendelig.

10: Forældreløse kilder, hvor data fra alle eller nogle af systemets understøttende citeringer ikke er inkluderet i svaret.

11: Brug af upålidelige kilder, hvor systemet synes at have foretrukket en kilde, der er populær (dvs. i SEO-termer), snarere end faktisk korrekt.

12: Redundante kilder, hvor systemet præsenterer multiple citeringer, hvor kildeartiklerne i væsentlig grad er ens i indhold.

13: Ufiltrerede kilder, hvor systemet tilbyder brugeren ingen mulighed for at evaluere eller filtrere de tilbudte citeringer, hvilket tvinger brugere til at stole på udvælgelseskriterierne.

14: Mangel på interaktivitet eller gennemgåelighed, hvor flere af de deltagende brugere i studiet var frustrerede over, at RAG-systemerne ikke stillede præciseringsspørgsmål, men antog brugerens intention fra det første spørgsmål.

15: Behov for ekstern verificering, hvor brugere føler sig tvunget til at udføre uafhængig verificering af de leverede svar, hvilket i væsentlig grad fjerner den påståede bekvemmelighed ved RAG som “erstatning for søgning”.

16: Brug af akademiske citeringsmetoder, såsom [1] eller [34]; dette er standardpraksis i akademiske kredse, men kan være intuitivt for mange brugere.

Til arbejdet samlede forskerne 21 eksperter i kunstig intelligens, sundheds- og medicin, anvendt videnskab og uddannelse samt samfundsvidenskab, alle enten postdoc-forskere eller ph.d.-kandidater. Deltagerne interagerede med de testede RAG-systemer, mens de talte deres tankeprocesser højt, for at klargøre (for forskerne) deres egen rationelle skema.

Papiret citerer omfattende deltagernes betænkeligheder og bekymringer om præstationen af de tre systemer, der blev studeret.

Metoden til brugerstudiet blev herefter systematiseret i en automatiseret studie af RAG-systemerne, ved hjælp af browserkontrolsuiter:

‘En storstilet automatiseret evaluering af systemer som You.com, Perplexity.ai og BingChat viste, at ingen opfyldte acceptabel præstation på de fleste målinger, herunder kritiske aspekter i forhold til hallucinationer, usupportede udsagn og citeringsnøjagtighed.’

Forfatterne argumenterer længe (og omhyggeligt, i den omfattende 27-siders artikel) for, at både nye og erfarne brugere skal udvise forsigtighed, når de bruger klassen af RAG-systemer, der blev studeret. De foreslår desuden et nyt system af målinger, baseret på de mangler, der blev fundet i studiet, der kunne danne grundlag for en større teknisk oversigt i fremtiden.

Men den voksende offentlige brug af RAG-systemer får forfatterne også til at fremme passende lovgivning og en større grad af gennemførlig regeringspolitik i forhold til agent-baseret AI-søgning.

Studiet kommer fra fem forskere på Pennsylvania State University og Salesforce og har titlen Søgemaskiner i en AI-æra: Det falske løfte om faktiske og verificerbare kilde-citerede svar. Arbejdet dækker RAG-systemer op til den aktuelle tilstand i august 2024

RAG-kompromiset

Forfatterne indleder deres arbejde med at gentage fire kendte mangler ved Large Language Models (LLM’er), når de bruges i Svar-maskiner.

Først og fremmest er de tilbøjelige til at hallucinere information og mangler evnen til at detektere faktiske inkonsistenser. Dernæst har de svært ved at vurdere nøjagtigheden af en citering i konteksten af et genereret svar. Tredje er de tilbøjelige til at favorisere data fra deres egen forudtrænede vægt og kan modstå data fra eksternt hentet dokumentation, selvom sådanne data kan være mere aktuelle eller mere præcise.

Til sidst er RAG-systemer tilbøjelige til at være people-pleasing, sycophantisk adfærd, ofte på bekostning af nøjagtigheden af informationen i deres svar.

Alle disse tendenser blev bekræftet i både aspekter af studiet, blandt mange nye observationer om fælderne ved RAG.

Papiret ser på OpenAI’s SearchGPT RAG-produkt (udgivet til abonnenter for nylig, efter at den nye artikel var indsendt), som sandsynligvis vil fremme brugeradoptionen af RAG-baseret søgning, på trods af de grundlæggende mangler, som undersøgelsesresultaterne antyder:

‘Udgivelsen af OpenAI’s “SearchGPT”, markedsført som en “Google-søgning-dræber”, forværre bekymringerne. Da afhængigheden af disse værktøjer vokser, vokser også behovet for at forstå deres impact. Lindemann introducerer begrebet Sealed Knowledge, der kritiserer, hvordan disse systemer begrænser adgangen til diverse svar ved at kondensere søgeforespørgsler til enkelt, autoritativt svar, og effektivt dekontekstualiserer information og begrænser bruger perspektiver.

‘Denne “forseglings”-proces fastholder selektionsforudsel og begrænser marginaliserede synspunkter.’

Studiet

Forfatterne testede først deres studieprocedure på tre af de 24 udvalgte deltagere, der alle var inviteret via LinkedIn eller e-mail.

Den første fase, for de resterende 21, involverede Ekspertise Information Retrieval, hvor deltagerne gennemsnitligt havde omkring seks søgeforespørgsler over en 40-minutters session. Denne del koncentrerede sig om at indhente og verificere fact-baserede spørgsmål og svar, med potentielle empiriske løsninger.

Den anden fase omhandlede Debate Information Retrieval, der handlede om subjektive emner, herunder økologi, vegetarianisme og politik.

Genererede studie-svar fra Perplexity (venstre) og You Chat (højre). Kilde: https://arxiv.org/pdf/2410.22349

Siden alle systemerne tillod en vis grad af interaktivitet med de citerede kilder, der understøttede de genererede svar, blev studie-deltagerne opmuntret til at interagere med grænsefladen så meget som muligt.

I begge tilfælde blev deltagerne bedt om at formulere deres spørgsmål både gennem et RAG-system og en konventionel søgemaskine (i dette tilfælde, Google).

De tre Svar-maskiner – You Chat, Bing Copilot og Perplexity – blev valgt, fordi de er offentligt tilgængelige.

De fleste af deltagerne var allerede brugere af RAG-systemer, i varierende hyppighed.

På grund af pladsmæssige begrænsninger kan vi ikke bryde ned hver af de udførligt dokumenterede seksten nøglemangler, der blev fundet i studiet, men her præsenterer vi et udvalg af nogle af de mest interessante og oplysende eksempler.

Mangel på objektive detaljer

Papiret bemærker, at brugere fandt, at systemernes svar ofte manglede objektive detaljer, både i faktiske og subjektive svar. En af deltagerne kommenterede:

‘Det var bare forsøget på at svare uden at give mig et solidt svar eller et mere gennemtænkt svar, som jeg kan få med multiple Google-søgninger.’

En anden observerede:

‘Det er for kort og kun summerer alt sammen. [Modellen] skal give mig mere data til påstanden, men det er meget sammenfattnet.’

Mangel på holistisk synspunkt

Forfatterne udtrykker bekymring over manglen på nuance og specifikke detaljer og fastslår, at Svar-maskinerne ofte ikke præsenterer multiple perspektiver på et argument, men i stedet holder med en antaget forudsel, der er indført af brugerens egen formulering af spørgsmålet.

En deltagende sagde:

‘Jeg vil gerne finde mere ud af den anden side af argumentet… dette er alt med en portion salt, fordi vi ikke kender den anden side og beviserne og faktuelle oplysninger.’

En anden kommenterede:

‘Det giver dig ikke begge sider af argumentet; det argumenterer ikke med dig. I stedet siger [modellen] bare, at du har ret… og her er årsagerne til, hvorfor.’

Overly confident sprog

Forfatterne bemærker, at alle tre testede systemer viste brug af over-confident sprog, selv i subjektive svar. De hævder, at denne tone vil have tilbøjelighed til at inspirere uforsvarlig tillid til svaret.

En deltagende bemærkede:

‘Det skriver så selvbevidst, jeg føler mig overbevist, selv uden at se på kilde. Men når du ser på kilde, er det dårligt, og det får mig til at tvivle igen.’

En anden kommenterede:

‘Hvis nogen ikke nøjagtigt ved, hvad det rigtige svar er, vil de stole på dette, selv når det er forkert.’

Fejlaktig citering

En anden hyppig problem var fejlaktig tilskrivning af kilder, der citeredes som autoritet for RAG-systemernes svar, med en af deltagernes påstand:

‘[Denne] påstand synes ikke at være i kilde. Jeg mener, påstanden er sand; det er gyldigt… men jeg ved ikke, hvor det får denne information fra.’

Forfatterne kommenterer^†:

‘Deltagerne følte, at systemerne brugte citeringer til at legitimere deres svar, og skabte en illusion af troværdighed. Denne facade blev kun afsløret for nogle få brugere, der gik videre til at undersøge kilderne.’

Cherry-picking af information til at svare på spørgsmålet

Forfatterne returnerer til begrebet people-pleasing, sycophantisk adfærd i RAG-svar, og finder, at mange svar fremhæver et bestemt synspunkt i stedet for at sammenfatte emnet komprehensivt, som en deltagende observerede:

‘Jeg føler, [systemet] er manipulerende. Det tager kun nogle informationer og føler, at jeg er manipuleret til kun at se én side af tingene.’

En anden mente:

‘[Kilden] har faktisk både fordele og ulemper, og det har valgt at vælge kun de krævede argumenter fra dette link uden den fulde billed.’

For yderligere dybdegående eksempler (og multiple kritiske citeringer fra deltagernes meninger), henviser vi læseren til kilde-artiklen.

Automatiseret RAG

I den anden fase af den bredere studie brugte forskerne browser-baseret scripting til systematisk at søge spørgsmål fra de tre studerede RAG-motorer. De brugte derefter et LLM-system (GPT-4o) til at analysere systemernes svar.

Udsagnene blev analyseret for spørgsmålsrelevans og For og imod udsagn (dvs. om svaret er for eller imod en påstand, i forhold til den implicitte forudsel i spørgsmålet).

En Svar-tilfredsheds-score blev også vurderet i denne automatiserede fase, baseret på Likert-skalaen psykometrisk testmetode. Her blev LLM-dommeren suppleret med to menneskelige annotatorer.

En tredje operation involverede brug af web-skrapning til at få fat i fuldtekstindholdet af citerede web-sider via Jina.ai Reader-værktøjet. Men som bemærket andre steder i artiklen, kan de fleste web-skrapningværktøjer ikke få adgang til betalingsmurede sider, ligesom de fleste mennesker ikke kan (selv om forfatterne bemærker, at Perplexity.ai har været kendt for at at omgå denne barriere).

Yderligere overvejelser var, om svarene citerede en kilde (beregnet som en “citeringsmatrix”), samt en “faktisk understøttelsesmatrix” – en metode, der blev verificeret med hjælp af fire menneskelige annotatorer.

Således blev otte overordnede målinger erhvervet: ensidigt svar; over-confident svar; relevant udsagn; uciterede kilder; understøttede udsagn; kildens nødvendighed; citeringsnøjagtighed; og citeringens udførlighed.

Materialet, som disse målinger blev testet mod, bestod af 303 kuraterede spørgsmål fra brugerstudie-fasen, der resulterede i 909 svar på tværs af de tre testede systemer.

Kvantitativ evaluering på tværs af de tre testede RAG-systemer, baseret på otte målinger.

Med hensyn til resultaterne fastslår artiklen:

‘Når vi ser på de tre målinger, der relaterer til svarets tekst, finder vi, at alle de vurderede svarmaskiner ofte (50-80%) genererer ensidige svar, der favoriserer overensstemmelse med en ladet formulering af en debat-spørgsmål over præsentation af multiple perspektiver i svaret, med Perplexity, der opfører sig dårligere end de to andre motorer.’

‘Dette fund stemmer overens med [fundene] fra vores kvalitative resultater. Overraskende nok, selvom Perplexity er det mest sandsynlige til at generere et ensidigt svar, genererer det også de længste svar (18,8 udsagn per svar i gennemsnit), hvilket indikerer, at manglen på svardiversitet ikke skyldes svarkorthed. ‘

‘Med andre ord, øger svarens længde ikke nødvendigvis svardiversiteten.’

Forfatterne bemærker også, at Perplexity er det mest sandsynlige til at bruge confident sprog (90% af svarene), og at de to andre systemer i stedet tenderer til at bruge mere forsigtig og mindre confident sprog, når det handler om subjektive emner.

You Chat var det eneste RAG-rammeværk, der opnåede nul uciterede kilder for et svar, med Perplexity på 8% og Bing Chat på 36%.

Alle modeller viste en “betydelig proportion” af understøttede udsagn, og artiklen erklærer^†:

‘RAG-rammeværket markedsføres som en løsning på hallucinatory adfærd hos LLM’er ved at påtvinge, at en LLM genererer et svar, der er baseret på kilde-dokumenter, men resultaterne viser, at RAG-baserede svarmaskiner stadig genererer svar, der indeholder en stor proportion af udsagn, der ikke understøttes af de kilder, de tilbyder.‘

Desuden havde alle de testede systemer svært ved at understøtte deres udsagn med citeringer:

‘You.Com og [Bing Chat] opfører sig lidt bedre end Perplexity, med omkring to tredjedele af citeringerne, der peger på en kilde, der understøtter den citerede påstand, og Perplexity opfører sig dårligere med mere end halvdelen af dens citeringer, der er forkerte. ‘

‘Dette resultat er overraskende: citering er ikke kun forkert for udsagn, der ikke er understøttet af nogen kilde, men vi finder også, at selv når der findes en kilde, der understøtter en påstand, citerer alle motorer ofte en anden forkert kilde, og går glip af muligheden for at give brugeren korrekt informationskilde.’

‘Med andre ord, hallucinatory adfærd vises ikke kun i udsagn, der ikke er understøttet af kilder, men også i forkerte citeringer, der forhinder brugere i at verificere informationsgyldighed.‘

Forfatterne konkluderer:

‘Ingen af svarmaskinerne opnår god præstation på de fleste målinger, hvilket understreger det store behov for forbedring i svarmaskiner.’

* Min konvertering af forfatternes inline-citationer til hyperlinks. Hvor nødvendigt har jeg valgt den første af multiple citationer til hyperlinks på grund af formateringspraktikaliteter.

^† Forfatternes fremhævelse, ikke min.

Først udgivet mandag, 4. november 2024