Bekämpfung von Halluzinationen in großen Sprachmodellen: Eine Übersicht über die neuesten Techniken

Große Sprachmodelle (LLMs) wie GPT-4, PaLM und Llama haben bemerkenswerte Fortschritte in der Fähigkeit zur natürlichen Sprachgenerierung ermöglicht. Allerdings ist eine anhaltende Herausforderung, die ihre Zuverlässigkeit und sichere Einsetzung einschränkt, ihre Neigung, zu halluzinieren – also Inhalte zu generieren, die kohärent erscheinen, aber tatsächlich falsch oder unabhängig vom Kontext sind.

Da LLMs immer leistungsfähiger und allgegenwärtiger in realen Anwendungen werden, ist es unerlässlich, Halluzinationen anzugehen. Dieser Artikel bietet eine umfassende Übersicht über die neuesten Techniken, die Forscher entwickelt haben, um Halluzinationen in LLMs zu erkennen, zu quantifizieren und zu mindern.

Verständnis von Halluzinationen in LLMs

Halluzination bezieht sich auf tatsächliche Ungenauigkeiten oder Erfindungen, die von LLMs generiert werden und nicht in der Realität oder dem bereitgestellten Kontext begründet sind. Einige Beispiele umfassen:

• Erfindung biografischer Details oder Ereignisse, die nicht durch Quellenmaterial belegt sind, wenn Text über eine Person generiert wird.
• Bereitstellung fehlerhafter medizinischer Ratschläge durch Erfindung von Nebenwirkungen von Medikamenten oder Behandlungsverfahren.
• Erfindung nicht existierender Daten, Studien oder Quellen, um eine Behauptung zu unterstützen.

Dieses Phänomen tritt auf, weil LLMs auf großen Mengen an Online-Textdaten trainiert werden. Während dies es ihnen ermöglicht, starke Sprachmodellierungs-Fähigkeiten zu erlangen, bedeutet es auch, dass sie lernen, Informationen zu extrapolieren, logische Sprünge zu machen und Lücken in einer Weise zu füllen, die überzeugend, aber möglicherweise irreführend oder falsch erscheint.

Einige Schlüsselfaktoren, die für Halluzinationen verantwortlich sind, umfassen:

• Muster-Verallgemeinerung – LLMs identifizieren und verallgemeinern Muster in den Trainingsdaten, die möglicherweise nicht gut verallgemeinern.
• Veraltete Kenntnisse – Statische Vor-Trainingsverhinderung verhindert die Integration neuer Informationen.
• Ambiguität – Vage Anweisungen lassen Raum für falsche Annahmen.
• Voreingenommenheit – Modelle verewigen und verstärken schiefen Perspektiven.
• Unzureichende Begründung – Mangel an Verständnis und Argumentationsfähigkeit bedeutet, dass Modelle Inhalte generieren, die sie nicht vollständig verstehen.

Die Bekämpfung von Halluzinationen ist für eine vertrauenswürdige Einsetzung in sensible Bereiche wie Medizin, Recht, Finanzen und Bildung, in denen die Generierung von Fehlinformationen zu Schaden führen kann, von entscheidender Bedeutung.

Taxonomie von Halluzinations-Minderungstechniken

Forscher haben diverse Techniken entwickelt, um Halluzinationen in LLMs zu bekämpfen, die in die folgenden Kategorien eingeteilt werden können:

1. Prompt-Engineering

Dies beinhaltet die sorgfältige Gestaltung von Anweisungen, um Kontext und eine faktuale, begründete Antwort des LLMs zu liefern.

• Wiederherstellungs-Ergänzung – Wiederherstellung externer Beweise, um Inhalte zu begründen.
• Rückkopplungsschleifen – Iterative Bereitstellung von Rückkopplung, um Antworten zu verfeinern.
• Prompt-Tuning – Anpassung von Anweisungen während der Feinabstimmung für gewünschtes Verhalten.

2. Modell-Entwicklung

Schaffung von Modellen, die von Natur aus weniger anfällig für Halluzinationen sind, durch architektonische Änderungen.

• Decodier-Strategien – Generierung von Text in einer Weise, die die Zuverlässigkeit erhöht.
• Wissens-Begründung – Einbeziehung externer Wissensbasen.
• Neue Verlustfunktionen – Optimierung für Zuverlässigkeit während des Trainings.
• Überwachte Feinabstimmung – Verwendung von human-labeled Daten, um Tatsächlichkeit zu verbessern.

Als nächstes werden wir bemerkenswerte Techniken unter jedem Ansatz untersuchen.

Bemerkenswerte Halluzinations-Minderungstechniken

Wiederherstellungs-Ergänzte Generierung

Wiederherstellungs-ergänzte Generierung verbessert LLMs, indem sie externe Beweisdokumente wiederherstellen und Textgenerierung auf diesen Dokumenten konditionieren, anstatt sich ausschließlich auf das implizite Wissen des Modells zu verlassen. Dies begründet Inhalte in aktuellen, verifizierbaren Informationen und reduziert Halluzinationen.

Bemerkenswerte Techniken umfassen:

• RAG – Verwendet ein Wiederherstellungs-Modul, das relevante Passagen für ein seq2seq-Modell bereitstellt, um daraus zu generieren. Beide Komponenten werden end-to-end trainiert.
• RARR – Setzt LLMs ein, um unzugeschriebene Behauptungen in generiertem Text zu erforschen und diese zu ändern, um mit wiederhergestellten Beweisen übereinzustimmen.
• Wissens-Wiederherstellung – Validiert unsichere Generierungen mithilfe wiederhergestellten Wissens, bevor Text produziert wird.
• LLM-Ergänzer – Iterativ sucht Wissen, um Beweisketten für LLM-Anweisungen zu konstruieren.

Rückkopplung und Argumentation

Die Nutzung iterativer natürlicher Sprach-Rückkopplung oder Selbst-Argumentation ermöglicht es LLMs, ihre anfänglichen Ausgaben zu verfeinern und zu verbessern, was Halluzinationen reduziert.

CoVe setzt eine Kette von Verifizierungstechniken ein. Das LLM entwirft zunächst eine Antwort auf die Anfrage des Benutzers. Es generiert dann potenzielle Verifizierungs-Fragen, um die Antwort des LLM auf ihre eigene Antwort zu überprüfen, basierend auf seinem Vertrauen in verschiedene Aussagen. Zum Beispiel kann CoVe für eine Antwort, die ein neues medizinisches Behandlungsverfahren beschreibt, Fragen wie “Was ist die Wirksamkeitsrate der Behandlung?”, “Hat sie regulatorische Genehmigung erhalten?” oder “Was sind die möglichen Nebenwirkungen?” generieren. Wesentlich ist, dass das LLM dann versucht, diese Verifizierungs-Fragen unabhängig von seiner ursprünglichen Antwort zu beantworten. Wenn die Antworten auf die Verifizierungs-Fragen Aussagen in der ursprünglichen Antwort widersprechen oder nicht unterstützen, identifiziert das System diese als wahrscheinliche Halluzinationen und verfeinert die Antwort, bevor es sie dem Benutzer präsentiert.

DRESS konzentriert sich auf die Anpassung von LLMs, um besser mit menschlichen Vorlieben übereinzustimmen, durch natürliche Sprach-Rückkopplung. Der Ansatz ermöglicht es nicht-experten Benutzern, freie Kritik an Modell-Generierungen zu geben, wie “Die Nebenwirkungen scheinen übertrieben” oder Verfeinerungs-Anweisungen wie “Bitte diskutieren Sie auch die Kosten-Effektivität”. DRESS verwendet Verstärkungs-Lernen, um Modelle zu trainieren, um Antworten zu generieren, die auf solche Rückkopplung konditioniert sind und besser mit menschlichen Vorlieben übereinstimmen. Dies verbessert die Interaktivität und reduziert unrealistische oder ununterstützte Aussagen.

MixAlign befasst sich mit Situationen, in denen Benutzer Fragen stellen, die nicht direkt mit den vom System abgerufenen Beweis-Passagen korrespondieren. Zum Beispiel kann ein Benutzer fragen “Wird die Verschmutzung in China schlimmer?”, während abgerufene Passagen globale Trends zur Verschmutzung diskutieren. Um Halluzinationen mit unzureichendem Kontext zu vermeiden, klärt MixAlign explizit mit dem Benutzer, wenn es unsicher ist, wie seine Frage mit den abgerufenen Informationen in Beziehung zu setzen ist. Dieser Mensch-im-Schleifensystem-Mechanismus ermöglicht es, Feedback zu erhalten, um Beweise richtig zu begründen und zu kontextualisieren, was ungebundene Antworten verhindert.

Die Selbst-Reflexion-Technik trainiert LLMs, ihre eigenen Antworten zu bewerten, Feedback zu geben und iterativ zu verfeinern, indem sie einen Multi-Task-Ansatz verwenden. Zum Beispiel kann das Modell, gegeben eine Antwort auf eine medizinische Anfrage, lernen, die faktische Genauigkeit zu bewerten, widersprüchliche oder ununterstützte Aussagen zu identifizieren und diese durch Abrufen relevanten Wissens zu bearbeiten. Durch Lehren von LLMs diese Rückkopplungsschleife des Überprüfens, Kritisierens und iterativen Verbesserns ihrer eigenen Ausgaben reduziert der Ansatz blinde Halluzinationen.

Prompt-Tuning

Prompt-Tuning ermöglicht die Anpassung der Anweisungen, die LLMs während der Feinabstimmung für gewünschtes Verhalten erhalten.

Die SynTra-Methode setzt eine synthetische Zusammenfassungsaufgabe ein, um Halluzinationen zu minimieren, bevor das Modell auf reale Zusammenfassungs-Datensätze übertragen wird. Die synthetische Aufgabe stellt Eingabe-Passagen bereit und fordert Modelle auf, diese durch Wiederherstellung nur zu zusammenfassen, ohne Abstraktion. Dies trainiert Modelle, sich vollständig auf Quellen-Inhalt zu verlassen, anstatt neue Informationen zu halluzinieren, während der Zusammenfassung. SynTra wird gezeigt, Halluzinations-Probleme zu reduzieren, wenn feinabgestimmte Modelle auf Ziel-Aufgaben eingesetzt werden.

UPRISE trainiert einen universellen Prompt-Retriever, der den optimalen weichen Prompt für Few-Shot-Lernen auf nicht gesehene Downstream-Aufgaben bereitstellt. Durch Abrufen effektiver Prompts, die auf einer Vielzahl von Aufgaben abgestimmt sind, lernt das Modell, zu generalisieren und sich an neue Aufgaben anzupassen, für die es keine Trainings-Beispiele hat. Dies verbessert die Leistung ohne die Notwendigkeit von aufgabenspezifischem Tuning.

Neue Modell-Architekturen

FLEEK ist ein System, das darauf abzielt, menschliche Fakten-Überprüfer und Validatoren zu unterstützen. Es identifiziert automatisch potenziell überprüfbare faktuale Behauptungen, die in einem gegebenen Text gemacht werden. FLEEK transformiert diese überprüfbaren Aussagen in Anfragen, ruft damit verbundenes Beweis-Material aus Wissensbasen ab und stellt diese kontextuellen Informationen menschlichen Validatoren zur Verfügung, um die Genauigkeit von Dokumenten und Überarbeitungs-Bedürfnisse effektiv zu überprüfen.

Der CAD-Decodier-Ansatz reduziert Halluzinationen in der Sprachgenerierung durch kontext-bewusste Decodierung. Insbesondere verstärkt CAD die Unterschiede zwischen der Ausgabe-Verteilung eines LLMs, wenn es auf einen Kontext konditioniert ist, im Vergleich zur unbedingten Generierung. Dies ermutigt das Modell, sich von kontextuellem Beweis abweichenden Aussagen zu enthalten und lenkt es zu begründeten Generierungen.

DoLA mindert faktuale Halluzinationen, indem es Logits aus verschiedenen Schichten von Transformer-Netzwerken kontrastiert. Da faktuales Wissen tendenziell in bestimmten mittleren Schichten lokalisiert ist, reduziert DoLAs Logit-Kontrastierung falsche faktuale Generierungen.

Das THAM-Framework führt einen Regularisierungs-Term während des Trainings ein, um die gegenseitige Information zwischen Eingaben und halluzinierten Ausgaben zu minimieren. Dies hilft, die Abhängigkeit des Modells von gegebenem Kontext zu erhöhen und reduziert blinde Halluzinationen.

Wissens-Begründung

Die Begründung von LLM-Generierungen in strukturiertem Wissen verhindert ungebundene Spekulation und Erfindung.

Das RHO-Modell identifiziert Entitäten in einem konversationellen Kontext und verbindet sie mit einer Wissens-Graph-Datenbank (KG). Verwandte Fakten und Beziehungen zu diesen Entitäten werden aus der KG abgerufen und in die Kontext-Darstellung, die dem LLM bereitgestellt wird, integriert. Diese wissens-angereicherte Kontext-Steuerung reduziert Halluzinationen in Dialogen, indem Antworten an begründete Fakten über erwähnte Entitäten oder Ereignisse gebunden werden.

HAR erstellt kontrafaktische Trainings-Datensätze, die Modell-generierte Halluzinationen enthalten, um eine bessere Begründung zu lehren. Gegeben eine faktuale Passage, werden Modelle angewiesen, Halluzinationen oder Verzerrungen zu einführen, um eine veränderte kontrafaktische Version zu generieren. Feinabstimmung auf diesen Daten zwingt Modelle, Inhalte stärker in den ursprünglichen faktualen Quellen zu begründen und reduziert Improvisation.

Überwachte Feinabstimmung

• Coach – Interaktives Framework, das Benutzer-Anfragen beantwortet, aber auch Korrekturen anfordert, um zu verbessern.
• R-Tuning – Verweigerungs-bewusste Feinabstimmung verweigert ununterstützte Fragen, die durch Wissens-Lücken in den Trainings-Daten identifiziert werden.
• TWEAK – Decodier-Methode, die Generierungen basierend auf der Unterstützung von Eingabe-Fakten bewertet.

Herausforderungen und Einschränkungen

Trotz vielversprechender Fortschritte bleiben einige Schlüsselfaktoren bestehen, um Halluzinationen zu mindern:

• Techniken handeln oft Qualität, Kohärenz und Kreativität für Wahrhaftigkeit ein.
• Schwierigkeit bei strenger Bewertung jenseits begrenzter Bereiche. Metriken erfassen nicht alle Nuancen.
• Viele Methoden sind rechenintensiv und erfordern umfangreiche Wiederherstellung oder Selbst-Argumentation.
• Sie hängen stark von der Qualität der Trainings-Daten und externen Wissens-Quellen ab.
• Es ist schwierig, Garantien für die Verallgemeinerbarkeit über Bereiche und Modalitäten zu geben.
• Die grundlegenden Ursachen von Halluzinationen wie Über-Extrapolation bleiben ungelöst.

Das Ansprechen dieser Herausforderungen erfordert wahrscheinlich einen mehrschichtigen Ansatz, der Trainings-Daten-Verbesserungen, Modell-Architektur-Verbesserungen, Treue-erhöhende Verluste und Inferenz-Techniken auf Zeit kombiniert.

Der Weg Vorwärts

Die Minderung von Halluzinationen in LLMs bleibt ein offenes Forschungs-Problem mit aktiven Fortschritten. Einige vielversprechende zukünftige Richtungen umfassen:

• Hybrid-Techniken: Kombination von komplementären Ansätzen wie Wiederherstellung, Wissens-Begründung und Rückkopplung.
• Kausalitäts-Modellierung: Verbesserung des Verständnisses und der Argumentationsfähigkeit.
• Online-Wissens-Integration: Aktualisierung von Welt-Wissen.
• Formale Verifizierung: Bereitstellung mathematischer Garantien für Modell-Verhaltensweisen.
• Interpretierbarkeit: Einbau von Transparenz in Minderungstechniken.

Da LLMs weiterhin in hochriskante Bereiche vordringen, ist die Entwicklung robuster Lösungen, um Halluzinationen einzudämmen, entscheidend, um ihre sichere, ethische und zuverlässige Einsetzung zu gewährleisten. Die in diesem Artikel überprüften Techniken bieten einen Überblick über die bisher vorgeschlagenen Techniken, wobei noch offene Forschungs-Herausforderungen bestehen. Insgesamt gibt es eine positive Tendenz zur Verbesserung der Modell-Tatsächlichkeit, aber Fortschritte erfordern die Ansprache von Einschränkungen und die Erforschung neuer Richtungen wie Kausalität, Verifizierung und Hybrid-Methoden. Mit sorgfältigen Bemühungen von Forschern aus verschiedenen Disziplinen kann der Traum von leistungsfähigen, aber vertrauenswürdigen LLMs in die Realität umgesetzt werden.