Neue Studie entdeckt sechzehn große Probleme mit RAG-Systemen, einschließlich Perplexität

Eine kürzlich in den USA durchgeführte Studie hat ergeben, dass die tatsächliche Leistung von populären Retrieval-Augmented-Generation-(RAG)-Forschungssystemen wie Perplexity und Bing Copilot weit hinter den Marketing-Versprechungen und der populären Akzeptanz zurückbleibt, die in den letzten 12 Monaten Schlagzeilen gemacht haben.

Das Projekt, an dem 21 Expertenstimmen teilnahmen, fand nicht weniger als 16 Bereiche, in denen die untersuchten RAG-Systeme (You Chat, Bing Copilot und Perplexity) Anlass zur Sorge gaben:

1: Ein Mangel an objektiven Details in den generierten Antworten , mit generischen Zusammenfassungen und wenig kontextueller Tiefe oder Nuancen.

2. Verstärkung von wahrgenommener Benutzeroberflächen-Bias , wo ein RAG-Motor häufig nicht in der Lage ist, eine Reihe von Perspektiven darzustellen, sondern stattdessen den Benutzer-Bias infert und verstärkt, basierend auf der Art und Weise, wie der Benutzer eine Frage formuliert.

3. Übermäßig selbstsichere Sprache, insbesondere in subjektiven Antworten, die nicht empirisch belegt werden können, was dazu führen kann, dass Benutzer der Antwort mehr vertrauen, als sie es verdient.

4: Einfache Sprache und Mangel an kritischem Denken und Kreativität, wo Antworten den Benutzer mit “aufgewerteter” und “zustimmender” Information “verdummen”, anstatt nachdenkliche Überlegungen und Analysen zu liefern.

5: Falsche Zuschreibung und falsche Zitierung von Quellen, wo der Antwort-Engine zitierte Quellen verwendet, die die Antwort nicht unterstützen, und so die Illusion von Glaubwürdigkeit erzeugt.

6: Auswählen von Informationen aus dem Kontext, wo der RAG-Agent Antworten hervorhebt, die die These des Systems unterstützen und die Schätzung dessen, was der Benutzer “hören möchte”, anstatt die Antworten auf objektive Analyse verlässlicher Quellen zu basieren (was möglicherweise auf einen Konflikt zwischen den “gebackenen” LLM-Daten und den Daten hinweist, die das System auf Abruf aus dem Internet erhält).

7: Auslassen von Zitaten, die Aussagen unterstützen, wo Quellenmaterial für Antworten fehlt.

8: Keine logische Schemata für Antworten, wo Benutzer nicht verstehen können, warum das System bestimmte Quellen gegenüber anderen priorisiert.

9: Begrenzte Anzahl von Quellen, wo die meisten RAG-Systeme typischerweise etwa drei unterstützende Quellen für eine Aussage liefern, auch wenn eine größere Vielfalt von Quellen anwendbar wäre.

10: Verwaiste Quellen, wo Daten aus allen oder einigen der unterstützenden Zitierungen des Systems nicht tatsächlich in der Antwort enthalten sind.

11: Verwendung unzuverlässiger Quellen, wo das System anscheinend eine Quelle bevorzugt, die in SEO-Terminologie populär ist, anstatt faktisch korrekt zu sein.

12: Redundante Quellen, wo das System mehrere Zitierungen anbietet, bei denen die Quellpapiere im Wesentlichen identisch sind.

13: Ungefilterte Quellen, wo das System dem Benutzer keine Möglichkeit bietet, die angebotenen Zitierungen zu bewerten oder zu filtern, was die Benutzer zwingt, die Auswahlkriterien zu vertrauen.

14: Mangel an Interaktivität oder Erforschbarkeit, wo mehrere Teilnehmer der Benutzerstudie frustriert waren, dass RAG-Systeme keine klärenden Fragen stellten, sondern stattdessen die Benutzerabsicht von der ersten Anfrage an nahmen.

15: Notwendigkeit externer Überprüfung, wo Benutzer sich veranlasst sehen, die gelieferten Antworten unabhängig zu überprüfen, was den angeblichen Komfort von RAG als “Ersatz für die Suche” weitgehend aufhebt.

16: Verwendung akademischer Zitiermethoden, wie z. B. [1] oder [34] ; dies ist in akademischen Kreisen Standardpraxis, kann aber für viele Benutzer unintuitiv sein.

Für die Arbeit sammelten die Forscher 21 Experten aus künstlicher Intelligenz, Gesundheitswesen und Medizin, angewandten Wissenschaften und Bildung sowie Sozialwissenschaften, alle entweder Postdoktoranden oder PhD-Kandidaten. Die Teilnehmer interagierten mit den getesteten RAG-Systemen, während sie ihre Gedankenprozesse laut aussprachen, um den Forschern ihre eigene rationale Schemata zu verdeutlichen.

Die Studie zitiert ausführlich die Bedenken und Bedenken der Teilnehmer über die Leistung der drei untersuchten Systeme.

Die Methodik der Benutzerstudie wurde dann in eine automatisierte Studie der RAG-Systeme umgesetzt, unter Verwendung von Browser-Steuerungssuiten:

‘Eine groß angelegte automatisierte Bewertung von Systemen wie You.com, Perplexity.ai und BingChat zeigte, dass keines davon akzeptable Leistungen in den meisten Metriken erzielte, einschließlich kritischer Aspekte im Umgang mit Halluzinationen, nicht unterstützten Aussagen und Zitiergenauigkeit.’

Die Autoren argumentieren ausführlich (und sorgfältig, in der umfassenden 27-seitigen Arbeit) dafür, dass sowohl neue als auch erfahrene Benutzer Vorsicht walten lassen sollten, wenn sie RAG-Systeme der untersuchten Klasse verwenden. Sie schlagen außerdem ein neues System von Metriken vor, das auf den in der Studie gefundenen Mängeln basiert und die Grundlage für eine größere technische Aufsicht in der Zukunft bilden könnte.

Die wachsende öffentliche Nutzung von RAG-Systemen veranlasst die Autoren jedoch auch, angemessene Gesetzgebung und eine größere staatliche Politik in Bezug auf agentenunterstützte KI-Suchoberflächen zu fordern.

Die Studie stammt von fünf Forschern der Pennsylvania State University und Salesforce und trägt den Titel Suchmaschinen im Zeitalter der KI: Das falsche Versprechen von faktischen und verifizierbaren Quellenzitaten . Die Arbeit deckt RAG-Systeme bis zum Stand der Technik im August 2024 ab

Der RAG-Kompromiss

Die Autoren leiten ihre Arbeit mit vier bekannten Mängeln von Large Language Models (LLMs) ein, wenn diese in Antwort-Engines verwendet werden.

Erstens neigen sie dazu, Informationen zu halluzinieren und verfügen nicht über die Fähigkeit, faktische Inkonsistenzen zu erkennen . Zweitens haben sie Schwierigkeiten, die Genauigkeit einer Zitierung im Kontext einer generierten Antwort zu bewerten. Drittens neigen sie dazu, Daten aus ihren eigenen vorgegebenen Gewichten zu bevorzugen und können sich gegen Daten aus extern abgerufenen Dokumenten wehren, obwohl diese möglicherweise neuer oder genauer sind.

Schließlich neigen RAG-Systeme dazu, den Menschen zu gefallen, schmeichlerisches Verhalten zu zeigen, oft auf Kosten der Genauigkeit der Informationen in ihren Antworten.

Alle diese Tendenzen wurden in beiden Aspekten der Studie bestätigt, neben vielen neuen Beobachtungen über die Fallstricke von RAG.

Die Arbeit betrachtet OpenAIs SearchGPT RAG-Produkt ( veröffentlicht an Abonnenten in der vergangenen Woche, nachdem das neue Papier eingereicht wurde), als wahrscheinlich, die Benutzung von RAG-basierten Suchsystemen zu fördern, trotz der grundlegenden Mängel, auf die die Umfrageergebnisse hindeuten:

‘Die Veröffentlichung von OpenAIs “SearchGPT”, das als “Google -Such-Killer” beworben wird, verschärft diese Bedenken noch. Da die Abhängigkeit von diesen Tools wächst, wächst auch die Dringlichkeit, ihre Auswirkungen zu verstehen. Lindemann stellt das Konzept des “versiegelten Wissens” vor, das kritisiert, wie diese Systeme den Zugang zu vielfältigen Antworten einschränken, indem sie Suchanfragen in singuläre, autoritative Antworten kondensieren und so Informationen dekontextualisieren und die Benutzer Perspektiven einschränken.

‘Dieses “Versiegeln” von Wissen perpetuiert Auswahlvoreingenommenheiten und beschränkt marginalisierte Perspektiven.’

Die Studie

Die Autoren testeten zunächst ihr Studienverfahren an drei von 24 ausgewählten Teilnehmern, die durch LinkedIn oder E-Mail eingeladen wurden.

Die erste Phase umfasste für die verbleibenden 21 Teilnehmer Expertenwissen-Bewertung , bei der die Teilnehmer im Durchschnitt etwa sechs Suchanfragen über eine 40-minütige Sitzung hinweg stellten. Dieser Abschnitt konzentrierte sich auf die Gewinnung und Verifizierung von faktischen Fragen und Antworten mit potenziellen empirischen Lösungen.

Die zweite Phase befasste sich mit Debatten-Bewertung , die sich mit subjektiven Themen wie Ökologie, Vegetarismus und Politik befasste.

Von Perplexity (links) und You Chat (rechts) generierte Studienantworten. Quelle: https://arxiv.org/pdf/2410.22349

Da alle Systeme mindestens ein gewisses Maß an Interaktivität mit den als Unterstützung für die generierten Antworten bereitgestellten Zitaten ermöglichten, wurden die Studienteilnehmer ermutigt, mit der Oberfläche so viel wie möglich zu interagieren.

In beiden Fällen wurden die Teilnehmer aufgefordert, ihre Anfragen sowohl über ein RAG-System als auch über eine herkömmliche Suchmaschine (in diesem Fall Google) zu stellen.

Die drei Antwort-Engines – You Chat, Bing Copilot und Perplexity – wurden ausgewählt, weil sie öffentlich zugänglich sind.

Die Mehrheit der Teilnehmer waren bereits Benutzer von RAG-Systemen, bei variierender Häufigkeit.

Aufgrund von Platzbeschränkungen können wir nicht jede der ausführlich dokumentierten sechzehn Schlüsselmängel auflisten, die in der Studie gefunden wurden, aber hier sind einige der interessantesten und aufschlussreichsten Beispiele.

Mangel an objektiven Details

Die Studie stellt fest, dass die Benutzer die Antworten der Systeme häufig als mangelhaft an objektiven Details empfanden, sowohl bei faktischen als auch bei subjektiven Antworten. Ein Teilnehmer bemerkte:

‘Es versuchte einfach, zu antworten, ohne mir eine solide Antwort oder eine ausführlichere Antwort zu geben, die ich mit mehreren Google-Suchen erhalten kann.’

Ein anderer Teilnehmer stellte fest:

‘Es ist zu kurz und fasst einfach alles zusammen. [Das Modell] muss mir mehr Daten für den Anspruch liefern, aber es ist sehr zusammengefasst.’

Mangel an umfassender Perspektive

Die Autoren äußern Bedenken hinsichtlich dieses Mangels an Nuancen und Spezifität und stellen fest, dass die Antwort-Engines häufig nicht in der Lage waren, mehrere Perspektiven auf ein Argument darzustellen, und stattdessen tendenziell einer wahrgenommenen Voreingenommenheit zuneigten, die aus der Formulierung der Frage durch den Benutzer abgeleitet wurde.

Ein Teilnehmer sagte:

‘Ich möchte mehr über die andere Seite des Arguments erfahren… dies ist mit einem Körnchen Salz zu genießen, da wir nicht die andere Seite und die Beweise kennen.’

Ein anderer Teilnehmer bemerkte:

‘Es gibt mir nicht beide Seiten des Arguments; es diskutiert nicht mit mir. Stattdessen sagt es mir, “Sie haben recht… und hier sind die Gründe, warum.”‘

Selbstsichere Sprache

Die Autoren stellen fest, dass alle drei getesteten Systeme die Verwendung selbstsicherer Sprache aufwiesen, auch bei subjektiven Antworten. Sie argumentieren, dass diese Sprache dazu neigen kann, ungerechtfertigtes Vertrauen in die Antwort zu erzeugen.

Ein Teilnehmer bemerkte:

‘Es schreibt so selbstsicher, dass ich überzeugt bin, ohne auch nur auf die Quelle zu schauen. Aber wenn ich die Quelle anschaue, ist sie schlecht, und das lässt mich sie wieder in Frage stellen.’

Ein anderer Teilnehmer stellte fest:

‘Wenn jemand nicht genau die richtige Antwort weiß, wird er diesem vertrauen, auch wenn es falsch ist.’

Falsche Zitierungen

Ein weiteres häufiges Problem war die Falschzuschreibung von Quellen, die als Autorität für die Antworten der RAG-Systeme zitiert wurden, wobei ein Studienteilnehmer behauptete:

‘[Diese] Aussage scheint nicht in der Quelle zu sein. Ich meine, die Aussage ist wahr; sie ist gültig… aber ich weiß nicht, woher sie diese Information nimmt.’

Die Autoren der neuen Studie bemerken ^† :

‘Die Teilnehmer fühlten, dass die Systeme Zitierungen verwendeten, um ihre Antwort zu legitimieren, und so die Illusion von Glaubwürdigkeit erzeugten. Diese Fassade wurde nur einigen Benutzern offenbart, die die Quellen sorgfältig untersuchten.’

Auswählen von Informationen, um die Anfrage zu unterstützen

Zurück zum Konzept des Menschen-gefallen, schmeichlerischen Verhaltens in RAG-Antworten: Die Studie fand heraus, dass viele Antworten einen bestimmten Standpunkt hervorhoben, anstatt das Thema umfassend zusammenzufassen, wie ein Teilnehmer feststellte:

‘Ich fühle, dass [das System] manipulativ ist. Es nimmt nur einige Informationen und ich fühle, dass ich manipuliert werde, um nur eine Seite der Dinge zu sehen.’

Ein anderer Teilnehmer stellte fest:

‘[Die Quelle] hat tatsächlich sowohl Vor- als auch Nachteile, und es hat nur die erforderlichen Argumente aus diesem Link ausgewählt, ohne das ganze Bild zu zeigen.’

Für weitere detaillierte Beispiele (und mehrere kritische Zitate von den Studienteilnehmern) verweisen wir den Leser auf das Quellenpapier.

Automatisierte RAG

In der zweiten Phase der umfassenderen Studie verwendeten die Forscher Browser-Steuerungssuiten, um systematisch Anfragen an die drei untersuchten RAG-Engines zu stellen. Sie verwendeten dann ein LLM-System (GPT-4o), um die Antworten der Systeme zu analysieren.

Die Aussagen wurden auf Anfrage-Relevanz und Pro- und Contra-Aussagen (d. h. ob die Antwort für oder gegen eine mit der Anfrage verbundene Voreingenommenheit ist) analysiert.

Ein Antwort-Sicherheits-Score wurde ebenfalls in dieser automatisierten Phase unter Verwendung der Likert-Skala bewertet. Hier wurde der LLM-Richter durch zwei menschliche Annotatoren ergänzt.

Ein dritter Vorgang umfasste die Verwendung von Web-Scraping, um den Volltext der zitierten Webseiten über das Jina.ai-Reader-Tool zu erhalten. Wie jedoch an anderer Stelle in der Arbeit festgestellt wird, sind die meisten Web-Scraping-Tools nicht in der Lage, paywall-geschützte Seiten zu erreichen (obwohl die Autoren feststellen, dass Perplexity.ai bekanntermaßen diese Barriere umgehen kann).

Weitere Überlegungen waren, ob die Antworten eine Quelle zitierten (als “Zitiermatrix” berechnet) sowie eine “faktische Unterstützungs-Matrix” – ein Maß, das mit Hilfe von vier menschlichen Annotatoren überprüft wurde.

Auf diese Weise wurden 8 umfassende Metriken ermittelt: einseitige Antwort ; übermäßig selbstsichere Antwort ; relevante Aussage ; nicht zitierte Quellen ; nicht unterstützte Aussagen ; Quellen-Notwendigkeit ; Zitiergenauigkeit ; und Zitier-Gründlichkeit .

Das Material, gegen das diese Metriken getestet wurden, bestand aus 303 kuratierten Fragen aus der Benutzerstudie, die 909 Antworten über die drei getesteten Systeme hinweg ergaben.

Quantitative Bewertung über die drei getesteten RAG-Systeme, basierend auf acht Metriken.

In Bezug auf die Ergebnisse stellt die Studie fest:

‘Wenn man die drei Metriken betrachtet, die sich auf den Antworttext beziehen, stellen wir fest, dass alle bewerteten Antwort-Engines häufig (50-80%) einseitige Antworten generieren, die eher mit einer aufgeladenen Formulierung einer Debattefrage übereinstimmen als multiple Perspektiven in der Antwort darzustellen, wobei Perplexity schlechter abschneidet als die anderen beiden Engines.’

‘Dieses Ergebnis stimmt mit [den Ergebnissen] unserer qualitativen Ergebnisse überein. Überraschenderweise generiert Perplexity, obwohl es am wahrscheinlichsten eine einseitige Antwort generiert, auch die längsten Antworten (18,8 Aussagen pro Antwort im Durchschnitt), was darauf hindeutet, dass der Mangel an Antwortvielfalt nicht auf die Antwortlänge zurückzuführen ist.’

‘Mit anderen Worten: Eine Verlängerung der Antwortlänge verbessert nicht unbedingt die Antwortvielfalt.’

Die Autoren stellen außerdem fest, dass Perplexity am wahrscheinlichsten selbstsichere Sprache verwendet (90% der Antworten) und dass die anderen beiden Systeme im Gegensatz dazu tendenziell vorsichtigere und weniger selbstsichere Sprache verwenden, wenn es um subjektive Inhalte geht.

You Chat war die einzige RAG-Struktur, die null nicht zitierte Quellen für eine Antwort erreichte, während Perplexity bei 8% und Bing Chat bei 36% lag.

Alle Modelle zeigten einen “erheblichen Anteil” nicht unterstützter Aussagen, und die Studie erklärt ^† :

‘Das RAG-Rahmenwerk wird beworben, um das halluzinatorische Verhalten von LLMs zu beheben, indem es sicherstellt, dass ein LLM eine Antwort generiert, die auf Quelldokumenten basiert, doch die Ergebnisse zeigen, dass RAG-basierte Antwort-Engines immer noch Antworten generieren, die einen großen Anteil von Aussagen enthalten, die durch die Quellen, die sie liefern, nicht unterstützt werden. ‘

Zusätzlich hatten alle getesteten Systeme Schwierigkeiten, ihre Aussagen mit Zitaten zu untermauern:

‘You.Com und [Bing Chat] performen etwas besser als Perplexity, mit etwa zwei Dritteln der Zitierungen, die auf eine Quelle verweisen, die die zitierte Aussage unterstützt, und Perplexity performt schlechter, mit mehr als der Hälfte der Zitierungen, die ungenau sind.’

‘Dieses Ergebnis ist überraschend: Zitierungen sind nicht nur für Aussagen, die durch keine Quelle unterstützt werden, falsch, sondern wir finden auch, dass selbst wenn es eine Quelle gibt, die eine Aussage unterstützt, alle Engines häufig eine andere falsche Quelle zitieren und so die Gelegenheit verpassen, dem Benutzer korrekte Informationsquellen zu liefern.’

‘ Mit anderen Worten: Halluzinatorisches Verhalten wird nicht nur in Aussagen gezeigt, die durch keine Quelle unterstützt werden, sondern auch in ungenauen Zitierungen, die es Benutzern unmöglich machen, die Gültigkeit von Informationen zu überprüfen. ‘

Die Autoren schlussfolgern:

‘Keine der Antwort-Engines erreicht gute Leistungen in der Mehrheit der Metriken, was einen großen Raum für Verbesserungen in Antwort-Engines aufzeigt.’

* Meine Umwandlung der Inline-Zitierungen der Autoren in Hyperlinks. Wo notwendig, habe ich den ersten von mehreren Zitierungen für den Hyperlink ausgewählt, aufgrund von Formatierungspraktikabilitäten.

^† Betonung der Autoren, nicht meine.

Erstveröffentlichung am Montag, den 4. November 2024.