Sind RAGs die Lösung für AI-Halluzinationen?

KI hat per Design einen “eigenen Verstand”. Ein Nachteil davon ist, dass generative KI-Modelle gelegentlich Informationen fabrizieren, ein Phänomen, das als “KI-Halluzinationen” bezeichnet wird, von dem eines der frühesten Beispiele ans Licht kam, als ein New Yorker Richter Rechtsanwälte rügte, die einen von ChatGPT verfassten rechtlichen Brief verwendet hatten, der auf nicht existierende Gerichtsverfahren verwies. Vor kurzem gab es Vorfälle, bei denen AI-generierte Suchmaschinen Benutzern sagten, sie sollten Steine zu ihrem Gesundheitszustand konsumieren oder nicht giftiges Klebstoff verwenden, um Käse an Pizza zu binden.

Da GenAI immer häufiger verwendet wird, ist es wichtig, dass die Anwender erkennen, dass Halluzinationen derzeit ein unvermeidlicher Aspekt von GenAI-Lösungen sind. Basierend auf großen Sprachmodellen (LLMs) werden diese Lösungen oft durch große Mengen an disparaten Quellen informiert, die wahrscheinlich mindestens einige ungenaue oder veraltete Informationen enthalten – diese fabrizierten Antworten machen zwischen 3% und 10% der AI-Chatbot-Antworten auf Benutzeranfragen aus. Angesichts der “Black-Box“-Natur von KI – in der wir als Menschen außerordentliche Schwierigkeiten haben, zu untersuchen, wie KI ihre Ergebnisse generiert – können diese Halluzinationen für Entwickler fast unmöglich zu verfolgen und zu verstehen sein.

Halluzinationen sind unabhängig davon, ob sie unvermeidlich sind oder nicht, auf das Beste frustrierend, gefährlich und unethisch.

Über mehrere Branchen hinweg, einschließlich Gesundheitswesen, Finanzen und öffentlicher Sicherheit, umfassen die Auswirkungen von Halluzinationen alles, von der Verbreitung von Fehlinformationen und der Kompromittierung sensibler Daten bis hin zu lebensbedrohlichen Missgeschicken. Wenn Halluzinationen weiterhin unkontrolliert bleiben, werden das Wohlbefinden der Benutzer und das Vertrauen in KI-Systeme beeinträchtigt.

Es ist daher wichtig, dass die Hüter dieser leistungsstarken Technologie die Risiken von KI-Halluzinationen erkennen und angehen, um die Glaubwürdigkeit von LLM-Generierungen zu gewährleisten.

RAGs als Ausgangspunkt zur Lösung von Halluzinationen

Eine Methode, die im Vordergrund steht, um Halluzinationen zu mildern, ist die retrieval-augmented generation, oder RAG. Diese Lösung verbessert die Zuverlässigkeit von LLMs durch die Integration externer Informationsbestände – indem relevante Informationen aus einer vertrauenswürdigen Datenbank extrahiert werden, die je nach Anfrageart ausgewählt wird – um zuverlässigere Antworten auf bestimmte Anfragen zu gewährleisten.

Einige Branchenexperten haben behauptet, dass RAG allein Halluzinationen lösen kann. Aber RAG-integrierte Datenbanken können immer noch veraltete Daten enthalten, die falsche oder irreführende Informationen generieren können. In bestimmten Fällen kann die Integration externer Daten durch RAGs sogar das Risiko von Halluzinationen in großen Sprachmodellen erhöhen: Wenn ein KI-Modell übermäßig auf eine veraltete Datenbank angewiesen ist, die es als vollständig aktuell wahrnimmt, kann das Ausmaß der Halluzinationen noch schwerwiegender werden.

KI-Schutzbarrieren – Brücken über RAG-Lücken

Wie Sie sehen, haben RAGs das Potenzial, KI-Halluzinationen zu mildern. Unternehmen und Branchen, die auf diese Lösungen setzen, müssen jedoch auch ihre inhärenten Einschränkungen verstehen. Tatsächlich gibt es, wenn RAGs mit anderen Methoden kombiniert werden, komplementäre Ansätze, die bei der Behandlung von LLM-Halluzinationen verwendet werden sollten.

Beispielsweise können Unternehmen Echtzeit-KI-Schutzbarrieren einsetzen, um LLM-Antworten zu sichern und KI-Halluzinationen zu mildern. Schutzbarrieren wirken wie ein Netz, das alle LLM-Ausgaben auf fabrizierte, anstößige oder nicht zum Thema passende Inhalte überprüft, bevor sie den Benutzern erreichen. Dieser proaktive Middleware-Ansatz gewährleistet die Zuverlässigkeit und Relevanz der Abrufung in RAG-Systemen und erhöht letztendlich das Vertrauen der Benutzer und stellt sichere Interaktionen sicher, die mit dem Markenbild eines Unternehmens übereinstimmen.

Alternativ gibt es den “Prompt-Engineering”-Ansatz, der den Ingenieur veranlasst, den Hintergrund-Master-Prompt zu ändern. Durch Hinzufügen vordefinierter Einschränkungen zu akzeptablen Prompts – mit anderen Worten, nicht nur zu überwachen, wo das LLM Informationen bezieht, sondern auch, wie Benutzer es um Antworten bitten – können konstruierte Prompts LLMs zu zuverlässigeren Ergebnissen führen. Der Hauptnachteil dieses Ansatzes ist, dass diese Art von Prompt-Engineering eine unglaublich zeitaufwändige Aufgabe für Programmierer sein kann, die oft bereits knapp an Zeit und Ressourcen sind.

Der “Feinabstimmungs”-Ansatz beinhaltet das Training von LLMs auf spezialisierten Datensätzen, um die Leistung zu verfeinern und das Risiko von Halluzinationen zu mildern. Diese Methode trainiert aufgabenorientierte LLMs, aus spezifischen, vertrauenswürdigen Domänen zu ziehen, und verbessert so die Genauigkeit und Zuverlässigkeit der Ausgaben.

Es ist auch wichtig, den Einfluss der Eingabelänge auf die Leistung von LLMs bei der Argumentation zu berücksichtigen – tatsächlich neigen viele Benutzer dazu, zu denken, dass die umfassendere und parameterfülltere ihre Anfrage ist, desto genauer die Ausgaben sein werden. Ein jüngste Studie hat jedoch gezeigt, dass die Genauigkeit von LLM-Ausgaben tatsächlich abnimmt, wenn die Eingabelänge zunimmt. Folglich garantiert die Erhöhung der Anzahl der Richtlinien, die einer bestimmten Anfrage zugewiesen werden, keine konsistente Zuverlässigkeit bei der Generierung zuverlässiger generativer KI-Anwendungen.

Dieses Phänomen, bekannt als Prompt-Überladung, unterstreicht die inhärenten Risiken von übermäßig komplexen Prompt-Designs – je umfassender ein Prompt formuliert ist, desto mehr Türen werden zu ungenauen Informationen und Halluzinationen geöffnet, wenn das LLM versucht, jeden Parameter zu erfüllen.

Prompt-Engineering erfordert ständige Updates und Feinabstimmung und kämpft immer noch darum, Halluzinationen oder unsinnige Antworten effektiv zu verhindern. Schutzbarrieren hingegen werden nicht das Risiko von fabrizierten Ausgaben erhöhen, was sie zu einer attraktiven Option für den Schutz von KI macht. Im Gegensatz zu Prompt-Engineering bieten Schutzbarrieren eine umfassende Echtzeitlösung, die sicherstellt, dass generative KI nur Ausgaben innerhalb vordefinierter Grenzen erzeugt.

Benutzerfeedback kann auch dazu beitragen, Halluzinationen zu mildern, indem Benutzer Aktionen wie Upvotes und Downvotes vornehmen, um Modelle zu verfeinern, die Ausgabegenauigkeit zu verbessern und das Risiko von Halluzinationen zu verringern.

Allein sind RAG-Lösungen umfangreiche Experimente erforderlich, um genaue Ergebnisse zu erzielen. Wenn sie jedoch mit Feinabstimmung, Prompt-Engineering und Schutzbarrieren kombiniert werden, können sie gezieltere und effizientere Lösungen für die Behandlung von Halluzinationen bieten. Die Erforschung dieser komplementären Strategien wird die Milderung von Halluzinationen in LLMs weiter verbessern und zur Entwicklung zuverlässigerer und vertrauenswürdiger Modelle in verschiedenen Anwendungen beitragen.

RAGs sind nicht die Lösung für KI-Halluzinationen

RAG-Lösungen fügen LLMs durch die Anreicherung mit externem Wissen enormen Wert hinzu. Aber da noch so viel über generative KI unbekannt ist, bleiben Halluzinationen eine inhärente Herausforderung. Der Schlüssel zum Umgang mit ihnen liegt nicht darin, sie zu eliminieren, sondern vielmehr darin, ihren Einfluss durch eine Kombination aus strategischen Schutzbarrieren, Prüfprozessen und fein abgestimmten Prompts zu mildern.

Je mehr wir dem vertrauen können, was GenAI uns sagt, desto effektiver und effizienter werden wir in der Lage sein, ihr leistungsstarkes Potenzial zu nutzen.