Weniger ist mehr: Warum das Abrufen weniger Dokumente die Antworten von KI verbessern kann

Retrieval-Augmented Generation (RAG) ist ein Ansatz zum Bau von KI-Systemen, der eine Sprachmodell mit einer externen Wissensquelle kombiniert. In einfachen Worten sucht die KI zunächst nach relevanten Dokumenten (wie Artikeln oder Webseiten) im Zusammenhang mit einer Benutzeranfrage und verwendet diese Dokumente dann, um eine genauere Antwort zu generieren. Diese Methode wurde gefeiert, weil sie große Sprachmodelle (LLMs) hilft, sachlich zu bleiben und Halluzinationen zu reduzieren, indem sie ihre Antworten auf reale Daten gründet.

Intuitiv könnte man denken, dass die KI umso besser informiert ist, je mehr Dokumente sie abruft. jedoch legt eine aktuelle Studie eine überraschende Wendung nahe: Wenn es darum geht, Informationen an eine KI zu liefern, ist manchmal weniger mehr.

Weniger Dokumente, bessere Antworten

Eine neue Studie von Forschern der Hebräischen Universität Jerusalem untersuchte, wie die Anzahl der Dokumente, die einem RAG-System zur Verfügung gestellt werden, dessen Leistung beeinflusst. Wesentlich war, dass sie die Gesamtmenge an Text konstant hielten – was bedeutet, dass wenn weniger Dokumente bereitgestellt wurden, diese Dokumente leicht erweitert wurden, um die gleiche Länge wie viele Dokumente zu füllen. Auf diese Weise konnten Leistungsunterschiede der Dokumentmenge und nicht einfach der Länge des Eingabetexts zugeordnet werden.

Die Forscher verwendeten ein Frage-Antwort-Datenset (MuSiQue) mit Trivia-Fragen, die ursprünglich mit 20 Wikipedia-Absätzen gepaart waren (von denen nur wenige tatsächlich die Antwort enthielten, während der Rest Ablenkungen waren). Indem sie die Anzahl der Dokumente von 20 auf nur 2-4 tatsächlich relevante reduzierten – und diese mit einem bisschen extra Kontext auffüllten, um eine konsistente Länge beizubehalten – schufen sie Szenarien, in denen die KI weniger Material zur Verfügung hatte, aber immer noch ungefähr die gleiche Anzahl an Wörtern zum Lesen.

Die Ergebnisse waren verblüffend. In den meisten Fällen beantworteten die KI-Modelle die Fragen genauer, wenn sie weniger Dokumente erhalten hatten, anstatt des vollständigen Satzes. Die Leistung verbesserte sich erheblich – in einigen Fällen um bis zu 10% in der Genauigkeit (F1-Score), wenn das System nur die Handvoll unterstützender Dokumente anstelle einer großen Sammlung verwendete. Diese kontraintuitive Steigerung wurde bei mehreren verschiedenen Open-Source-Sprachmodellen beobachtet, einschließlich Varianten von Meta’s Llama und anderen, was darauf hindeutet, dass das Phänomen nicht an ein einzelnes KI-Modell gebunden ist.

Ein Modell (Qwen-2) war eine bemerkenswerte Ausnahme, die mehrere Dokumente ohne Leistungsabfall verarbeiten konnte, aber fast alle getesteten Modelle funktionierten besser mit weniger Dokumenten insgesamt. Mit anderen Worten: Das Hinzufügen von Referenzmaterial über die Schlüsselstücke hinaus schadete ihrer Leistung häufiger, als dass es half.

Quelle: Levy et al.

Warum ist das so überraschend? Typischerweise werden RAG-Systeme unter der Annahme entwickelt, dass das Abrufen eines breiteren Informationsbereichs der KI nur helfen kann – schließlich könnte die Antwort, wenn sie nicht in den ersten paar Dokumenten ist, im zehnten oder zwanzigsten Dokument stehen.

Diese Studie dreht das Drehbuch um und zeigt, dass das unüberlegte Hinzufügen von zusätzlichen Dokumenten kontraproduktiv sein kann. Selbst wenn die Gesamtlänge des Textes konstant gehalten wurde, machte die bloße Anwesenheit vieler verschiedener Dokumente (jedes mit seinem eigenen Kontext und Eigenheiten) die Frage-Antwort-Aufgabe für die KI herausfordernder. Es scheint, dass über einen bestimmten Punkt hinaus jedes zusätzliche Dokument mehr Rauschen als Signal einführte, das Modell verwirrte und seine Fähigkeit, die richtige Antwort zu extrahieren, beeinträchtigte.

Warum weniger in RAG mehr sein kann

Dieses “weniger ist mehr”-Ergebnis ist sinnvoll, wenn man bedenkt, wie KI-Sprachmodelle Informationen verarbeiten. Wenn eine KI nur die relevantesten Dokumente erhält, ist der Kontext, den sie sieht, fokussiert und frei von Ablenkungen, ähnlich wie ein Student, der nur die richtigen Seiten zum Studieren erhält.

In der Studie funktionierten die Modelle erheblich besser, wenn ihnen nur die unterstützenden Dokumente zur Verfügung gestellt wurden, wobei irrelevante Materialien entfernt wurden. Der verbleibende Kontext war nicht nur kürzer, sondern auch sauberer – er enthielt Fakten, die direkt auf die Antwort hinwiesen und nichts anderes. Mit weniger Dokumenten, die sie bewältigen musste, konnte das Modell seine volle Aufmerksamkeit auf die relevanten Informationen richten, was es weniger wahrscheinlich machte, dass es abgelenkt oder verwirrt wurde.

Andererseits, wenn viele Dokumente abgerufen wurden, musste die KI durch eine Mischung aus relevanten und irrelevanten Inhalten filtern. Oft waren diese zusätzlichen Dokumente “ähnlich, aber nicht verwandt” – sie teilten ein Thema oder Schlüsselwörter mit der Anfrage, enthielten aber tatsächlich nicht die Antwort. Ein solches Material kann das Modell in die Irre führen. Die KI könnte Zeit und Mühe verschwenden, indem sie versucht, Verbindungen zwischen Dokumenten herzustellen, die nicht tatsächlich zur richtigen Antwort führen, oder schlimmer noch, sie könnte Informationen aus mehreren Quellen falsch kombinieren. Dies erhöht das Risiko von Halluzinationen – Fällen, in denen die KI eine Antwort generiert, die plausibel klingt, aber in keiner einzigen Quelle begründet ist.

Im Wesentlichen kann das Bereitstellen von zu vielen Dokumenten für das Modell die nützlichen Informationen verdünnen und widersprüchliche Details einführen, was es für die KI schwieriger macht, zu entscheiden, was wahr ist.

Interessanterweise fanden die Forscher heraus, dass, wenn die zusätzlichen Dokumente offensichtlich irrelevant waren (z.B. zufälliger, nicht verwandter Text), die Modelle besser darin waren, sie zu ignorieren. Die eigentlichen Schwierigkeiten entstanden durch ablenkende Daten, die relevant erschienen: Wenn alle abgerufenen Texte ähnliche Themen behandelten, nahm die KI an, sie sollte alle verwenden, und sie könnte Schwierigkeiten haben, zu entscheiden, welche Details tatsächlich wichtig sind. Dies stimmt mit der Beobachtung der Studie überein, dass zufällige Ablenkungen weniger Verwirrung verursachten als realistische Ablenkungen im Eingabe-Text. Die KI kann offensichtlichen Unsinn filtern, aber subtil abweichende Informationen sind eine listige Falle – sie schleichen sich unter dem Deckmantel der Relevanz ein und entgleisen der Antwort. Indem wir die Anzahl der Dokumente auf nur die wirklich notwendigen reduzieren, vermeiden wir das Setzen dieser Fallen von vornherein.

Es gibt auch einen praktischen Vorteil: Das Abrufen und Verarbeiten weniger Dokumente senkt den Rechenaufwand für ein RAG-System. Jedes Dokument, das hereingezogen wird, muss analysiert werden (eingebettet, gelesen und vom Modell beachtet), was Zeit und Rechenressourcen beansprucht. Das Entfernen überflüssiger Dokumente macht das System effizienter – es kann Antworten schneller und zu geringeren Kosten finden. In Szenarien, in denen die Genauigkeit durch die Konzentration auf weniger Quellen verbessert wurde, erhalten wir ein Gewinn-Gewinn-Szenario: bessere Antworten und ein leaneres, effizienteres Verfahren.

Quelle: Levy et al.

RAG neu denken: Zukunftsperspektiven

Diese neue Erkenntnis, dass Qualität oft Quantität bei der Wiederabrufung übertrifft, hat wichtige Auswirkungen auf die Zukunft von KI-Systemen, die auf externem Wissen basieren. Sie legt nahe, dass die Designer von RAG-Systemen smarte Filterung und Rangordnung von Dokumenten über die bloße Menge hinaus priorisieren sollten. Anstatt 100 mögliche Passagen abzurufen und zu hoffen, dass die Antwort irgendwo darin begraben ist, könnte es klüger sein, nur die Top-few hoch relevanten abzurufen.

Die Autoren der Studie betonen die Notwendigkeit, dass die Abrufmethoden “eine Balance zwischen Relevanz und Vielfalt” in den bereitgestellten Informationen finden. Mit anderen Worten: Wir möchten genug Abdeckung des Themas haben, um die Frage zu beantworten, aber nicht so viel, dass die Kernfakten in einem Meer von überflüssigem Text ertrinken.

Wenn man in die Zukunft blickt, werden Forscher wahrscheinlich Techniken erforschen, die es KI-Modellen ermöglichen, mehrere Dokumente eleganter zu handhaben. Ein Ansatz ist die Entwicklung besserer Abrufsysteme oder Re-Ranker, die erkennen können, welche Dokumente tatsächlich einen Mehrwert bieten und welche nur Konflikte einführen. Ein anderer Ansatz ist die Verbesserung der Sprachmodelle selbst: Wenn ein Modell (wie Qwen-2) es schaffte, mit vielen Dokumenten umzugehen, ohne an Genauigkeit zu verlieren, könnte die Untersuchung, wie es trainiert oder strukturiert wurde, Hinweise darauf liefern, wie andere Modelle robuster gemacht werden können. Vielleicht werden zukünftige große Sprachmodelle Mechanismen integrieren, um zu erkennen, wenn zwei Quellen das Gleiche sagen (oder sich widersprechen) und entsprechend fokussieren. Das Ziel wäre es, Modelle zu ermöglichen, eine reiche Vielfalt von Quellen zu nutzen, ohne der Verwirrung zu erliegen – effektiv das Beste aus beiden Welten (Breite der Informationen und Klarheit des Fokus) zu bekommen.

Es ist auch erwähnenswert, dass, wenn KI-Systeme größere Kontextfenster (die Fähigkeit, mehr Text auf einmal zu lesen) gewinnen, das einfache Hinzufügen von mehr Daten zum Prompt kein Allheilmittel ist. Ein größeres Kontextfenster bedeutet nicht automatisch besseres Verständnis. Diese Studie zeigt, dass, selbst wenn eine KI technisch 50 Seiten auf einmal lesen kann, das Bereitstellen von 50 Seiten mit gemischter Qualität möglicherweise nicht zu einem guten Ergebnis führt. Das Modell profitiert immer noch von kuratierten, relevanten Inhalten, anstatt von einem unüberlegten Datenberg. Tatsächlich kann intelligenter Abruf in der Ära der Riesen-Kontextfenster noch wichtiger werden – um sicherzustellen, dass die extra Kapazität für wertvolles Wissen und nicht für Rauschen verwendet wird.

Die Erkenntnisse aus “Mehr Dokumente, gleiche Länge” (der passend betitelten Studie) ermutigen zu einer Überprüfung unserer Annahmen in der KI-Forschung. Manchmal ist das Bereitstellen aller verfügbaren Daten an eine KI nicht so effektiv, wie wir denken. Indem wir uns auf die relevantesten Stücke von Informationen konzentrieren, verbessern wir nicht nur die Genauigkeit der von der KI generierten Antworten, sondern machen die Systeme auch effizienter und vertrauenswürdiger. Es ist eine kontraintuitive Lektion, aber eine mit aufregenden Auswirkungen: zukünftige RAG-Systeme könnten sowohl intelligenter als auch leaner sein, indem sie sorgfältig weniger, bessere Dokumente abrufen.