Zensierte KI-Chat-Modelle halluzinieren mehr, zeigt Forschung

Die Zensur in Sprachmodellen kann ihre Fähigkeit, die Wahrheit auf einer breiteren Ebene zu berichten, untergraben. Neue Forschungsergebnisse zeigen, dass die gleichen internen Mechanismen, die verwendet werden, um “unsichere” Antworten zu blockieren, auch faktuelle Informationen unterdrücken, was bedeutet, dass Versuche, Modelle für die Sicherheit auszurichten, kontraproduktiv sein können, indem sie sie dazu bringen, mehr zu halluzinieren.

Seit Jahren haben Entwickler Sprachmodelle gelehrt, weniger zu lügen. Der Drang, sie wahrheitsgetreuer zu machen, indem sie Halluzinationen unterdrücken und sie auf verifizierbare Fakten ausrichten, hat zu einem starken und gut abonnierten Strang in der Literatur geführt.

Ein neues australisches Studie argumentiert jedoch, dass durch die Verschärfung der Kontrolle über das, was Modelle sagen dürfen, Ausrichtungsmethoden (Trainingsmethoden, die “unsichere” Austausche überwachen) möglicherweise verhindern, dass sie überhaupt genau sprechen:

Die Verbesserung der faktischen Genauigkeit eines Modells (‘Wahrheitsverbesserung’ in der Abbildung oben) kann es in Bereiche der Aktivierung treiben, die seine eingebauten Verweigerungsmechanismen außer Kraft setzen, und Editierungen, die darauf abzielen, Halluzinationen zu reduzieren, können auch interne Repräsentationen über eine Sicherheitsgrenze verschieben – was es ermöglichen kann, schädliche Prompts zu umgehen, es sei denn, Verweigerungsmerkmale werden sorgfältig isoliert und erhalten. Quelle: https://arxiv.org/pdf/2510.07775

Die Forschung zeigt, dass die gleichen internen Pfade, die die faktische Erinnerung steuern, auch für das Verweigerungsverhalten verantwortlich sind, d. h. den Mechanismus, der ein Modell daran hindert, auf unsichere oder sensible Prompts zu antworten. Wenn Ausrichtungsverfahren Verweigerungssignale zu aggressiv verstärken, beginnen sie, sich mit faktischen Wegen zu überlappen, was es dem Modell schwerer macht, zwischen der Ablehnung von Schaden und der Unterdrückung gültiger Informationen zu unterscheiden.

Paradoxerweise werden Modelle, die besser darin sind, “nein” zu sagen, auch weniger in der Lage, die Wahrheit zu sagen.

Brennpunkte

In der Abbildung oben können wir sehen, dass die zentralen Fragen hier ebenso sehr mit der rechtlichen Haftung von LLM-Anbietern zu tun haben wie mit der Bereitstellung fairer und genauer Ergebnisse für den Benutzer.

Beispielsweise wird in dem Fall, der in den Abbildungen oben und direkt unten verwendet wird, ein kontroverses Thema (rassische Gefängnisstatistiken) in einer Abfrage aufgegriffen – ein Thema, über das ein KI-Modell mit akademischen Forschern und Statistikern akzeptabel diskutieren könnte, aber nicht mit Böswilligen, die das Modell ausbrechen und es dazu bringen könnten, schädliche, beleidigende und sogar illegale Antworten auszugeben.

Da jedoch ein ausgerichtetes LLM den Charakter des Fragenden nicht auf diese Weise identifizieren kann, verfällt es in eine vorsichtige Haltung:

Antworten auf sensible Prompts können je nach Ausrichtungsstrategie divergieren. Ein sicherheitsausgerichtetes Modell blockiert die Abfrage vollständig, während ein wahrheitsorientiertes Modell mit faktuellem Kontext antwortet, wodurch die Informativität erhöht wird, aber die Unterdrückung geschwächt wird. Dies unterstützt die Ansicht, dass Wahrheitsverbesserungen die Verweigerungsschwelle senken können, wodurch Modelle anfälliger für Prompts mit schädlicher Absicht werden, es sei denn, Verweigerungsmechanismen werden explizit geschützt.

Als Seitenbemerkung zu brenzligen Sprachthemen könnte die neue Studie jemandem, der gegen sogenannte “woke”-Agenden ist, helfen zu verstehen, dass ein “kastriertes” (d. h. ausgerichtetes) Sprachmodell weniger wahrheitsgetreu und weniger nützlich ist als eines, das nicht konditioniert und reguliert wurde.

Die Studie legt nahe, dass dies in gewissem Maße zutrifft, aber korrekt kontextualisiert es gegen die breiteren Probleme, die aus dem Austausch mit “rohen” LLMs resultieren: Demnach umfassen diese schwerwiegende rechtliche Haftung in einer Reihe von Straf- und Zivilvergehen, an denen das Modell beteiligt sein könnte, sowie die chronische Verbreitung von Falschinformationen, einfach weil die kausalen Beispiele in den Trainingsdaten überrepräsentiert sind und die einzige effektive Möglichkeit, sie vollständig zu filtern, zu teuer ist.

Das ungewöhnliche Paar

Um die Mechanismen hinter den beobachteten Syndromen besser zu verstehen, kartierten die Forscher die Aktivierungen einzelner Aufmerksamkeitsköpfe und entdeckten, dass Merkmale, die mit Halluzinationen und Verweigerung verbunden sind, oft in den gleichen Bereichen des Modells koexistieren.

Sie fanden heraus, dass Feinabstimmung oder andere Steuerung dieser Bereiche, um Falschinformationen zu reduzieren, die Systeme auch schwächen kann, da sie in etwa dem gleichen Teil des latenten Raums sitzen:

‘[Die Erhöhung] der faktischen Genauigkeit kommt oft auf Kosten einer geschwächten Verweigerungsverhaltens. Unsere Analyse zeigt, dass dies aus überlappenden Komponenten im Modell resultiert, die gleichzeitig Halluzinations- und Verweigerungsinformationen kodieren, was Ausrichtungsmethoden dazu veranlasst, faktuelles Wissen ungewollt zu unterdrücken.

‘Wir untersuchen weiter, wie Feinabstimmung auf sicheren Datensätzen, selbst wenn sie für Sicherheit kuratiert werden, die Ausrichtung aus dem gleichen Grund verschlechtern kann.’

Die Lösung der Autoren besteht darin, einen sparse Autoencoder (SAE, ein Netzwerk, das darauf trainiert ist, unterschiedliche Aktivierungsmuster zu isolieren) zu verwenden, um die beiden Funktionen zu trennen und die Sicherheit während der Wahrheitsausbildung zu erhalten, und bietet so eine Möglichkeit, Modelle sowohl sicherer als auch wahrheitsgetreuer zu machen, ohne dass eine dieser Eigenschaften beeinträchtigt wird.

Die neue Studie trägt den Titel Der ungewollte Kompromiss der KI-Ausrichtung: Die Balance zwischen Halluzinationsminderung und Sicherheit in LLMs und stammt von fünf Forschern der Deakin University und unabhängigen Forschern.

Methode

Die zentrale Prämisse der Arbeit besteht darin, zu untersuchen, ob die Verbesserung der Wahrheitsgetreuheit in Sprachmodellen ihre Fähigkeit schwächt, schädliche Prompts abzulehnen, und ob beide Verhaltensweisen auf gemeinsame interne Komponenten zurückzuführen sind.

Die Autoren testeten zwei Methoden zur Verbesserung der Wahrheitsgetreuheit und fanden, wie wir sehen werden, dass Gewinne in der faktischen Genauigkeit konsistent die Anfälligkeit für Jailbreaks erhöhen.

Dieser Kompromiss resultiert aus der Überlappung in Aufmerksamkeitsköpfen, die sowohl faktische als auch Verweigerungssignale kodieren. Selbst eine feine Abstimmung (die darauf abzielt, die Nützlichkeit zu verbessern, ohne das Sicherheitsverhalten zu beeinträchtigen) kann die Sicherheit stören, indem sie die gemeinsamen Pfade ändert.

Die Studie definiert drei wesentliche Schlüsselbegriffe: Wahrheitsgetreuheit bezieht sich auf die Fähigkeit eines Modells, faktisch genaue Antworten auf der Grundlage seines verfügbaren Wissens zu liefern, ohne nicht schädliche Inhalte zu unterdrücken; Halluzination tritt auf, wenn das Modell falsche oder irreführende Informationen liefert, obwohl es Zugang zu den richtigen Fakten hat, oft aufgrund von Abrufschwierigkeiten oder internen Interferenzen; und Verweigerungsverhalten oder Sicherheitsausrichtung beschreibt die Mechanismen, die Antworten auf schädliche oder sensible Prompts blockieren oder einschränken.

Die Autoren stellen fest, dass diese Funktionen oft auf subtile Weise interagieren:

‘Obwohl Wahrheitsgetreuheit und Sicherheit oft getrennt analysiert werden, enthalten reale Prompts häufig sensible Begriffe mit guter Absicht (z. B. Analyse, Erkennung oder Bildung) [In] diesen Fällen können Sicherheitsmechanismen überreagieren – unterdrücken ansonsten genaue, nützliche Informationen – und damit die praktische Wahrheitsgetreuheit “durch Auslassung” verringern.

‘Es ist daher wichtig, zu verstehen, wie Editierungen, die darauf abzielen, die Faktizität zu erhöhen, das Verweigerungsverhalten beeinflussen, um Wahrheitsgetreuheit mit minimaler, angemessener Unterdrückung zu erreichen.’

Die Autoren entwickelten ein LoRA, das in der Lage ist, ein konditioniertes LLM in einen “wahrheitsgetreueren” Zustand zu lenken, der weniger anfällig für Halluzinationen ist. Die Studie enthält viele Beispiele für die unerwünschten Folgen davon.

Die Analyse beginnt mit der Behandlung von Wahrheitsverbesserungsmethoden, wie z. B. Kopfsteuerung und latenter Richtungszuordnung, als bewusste Modifikationen der internen Modellberechnung.

Lenkung

Die Frage ist, ob diese Änderungen unbeabsichtigt die gleichen internen Pfade beeinflussen, die das Verweigerungsverhalten steuern. Um dies zu testen, bewertete die Studie Modelle nicht nur anhand der faktischen Genauigkeit mit TruthfulQA, sondern auch anhand der Sicherheitsleistung unter adversarialen Bedingungen mit den AdvBench– und StrongReject-Benchmarks.

Die beiden als Vergleich herangezogenen bestehenden Methoden waren Inference-time-Intervention (ITI), die Aufmerksamkeitsköpfe aktiviert, die mit wahrheitsgetreuen Antworten verbunden sind, und TruthX, die Repräsentationen entlang einer gelernten “wahrheitsgetreuen” Richtung verschiebt.

Beide verbessern die Genauigkeit, machen das Modell aber auch eher anfällig für schädliche Prompts, die es zuvor abgelehnt hätte.

Um zu testen, ob Halluzinationsverhalten direkt isoliert und manipuliert werden kann, definierten die Autoren eine einzelne latente Richtung im Modellraum, die halluzinierten Antworten entspricht, und trainierten ein LoRA-Modul auf falschen Antworten aus dem TruthfulQA-Datensatz, unter Verwendung von LLaMA3-8B-Instruct.

Dies führte zu einem linearen Vektor (d. h. einem Graphen der Differenz zwischen wahrheitsgetreuen und halluzinierten Antworten), der das Modell in Richtung oder von Halluzinationen lenkte, je nach Richtung.

Effekt der Lenkung entlang der Halluzinationsrichtung. Die Genauigkeit auf TruthfulQA erhöht sich, wenn das Modell weiter in die negative Richtung gelenkt wird, während die Angriffserfolgsrate (ASR, niedriger ist besser) auf AdvBench und StrongReject stark ansteigt, was den Kompromiss zwischen Wahrheitsgetreuheit und Sicherheit widerspiegelt.

Die Lenkung entlang der Halluzinationsachse verringerte die faktische Genauigkeit, während die Umkehrung der Richtung sie verbesserte, und die Anwendung dieser Technik auf schädliche Prompt-Benchmarks bestätigte ein Muster, das zuvor gesehen wurde: Wahrheitsgetreuheitsgewinne kamen auf Kosten einer geschwächten Verweigerung. Selbst wenn Halluzinationen als saubere lineare Richtung erfasst wurden, verbesserte die Verbesserung der faktischen Ausgabe das Modell anfälliger für unsichere Vervollständigungen.

Die Autoren betonen:

‘Dies unterstreicht den Kompromiss zwischen Wahrheitsgetreuheit und Sicherheit, indem gezeigt wird, dass selbst wenn Wahrheitsgetreuheit als einzelne lineare Richtung dargestellt wird, die Verbesserung der Faktizität auf Kosten einer geschwächten Sicherheitsausrichtung erfolgen kann.’

Daten und Tests

Im Einklang mit vorherigen Arbeiten verwendeten die Autoren, um zu verhindern, dass die Feinabstimmung das Verweigerungsverhalten des Modells schwächt, eine Methode, um Verweigerungsmerkmale von denen zu trennen, die mit Halluzinationen verbunden sind, indem sie zunächst die Aufmerksamkeitsköpfe identifizierten, die an beiden Verhaltensweisen beteiligt waren. Dann verwendeten sie den SAE, um latente Merkmale spezifisch für Verweigerung zu extrahieren.

Diese Merkmale definieren einen geschützten Unterraum. Während des Trainings werden Gradienten-Updates so modifiziert, dass sie diesen Unterraum vermeiden, was es dem Modell ermöglicht, Halluzinationen zu reduzieren, ohne die Sicherheitsausrichtung zu stören.

Die Autoren feinabstimmten auf dem CommonsenseQA-Datensatz und bewerteten über sechs allgemeine Denkaufgaben: CSQA; HellaSwag; ARC-Challenge; ARC Easy; WinoGrande; und SST-2.

Die Zielmodule wurden mit LoRA mit Rang 8, einem Lernalgorithmus von 2×10⁻⁴, Gewichtsabfall von 0,01, einem Trainingszyklus und einer Batch-Größe von zwei feinabgestimmt. Alle Experimente verwendeten den AdamW-Optimizer.

Die beiden Benchmarks für schädliche Inhalte, die zur Bewertung der Sicherheit verwendet wurden, waren AdvBench (500 Proben verwendet) und StrongReject (300 Prompts). Die Ausgaben wurden von LlamaGuard3 bewertet, was sichere oder unsichere Klassifizierungen ergab.

Neben LLaMA3-8B-Instruct wurden auch Experimente mit Qwen2.5-Instruct durchgeführt.

Als Vergleich wurden SafeLoRA; SaLoRA; SAP; und eine einfache überwachte Feinabstimmung (auch SFT genannt) getestet. Alle wurden mit ihren Standard-Hyperparametern durchgeführt, mit 200 Prompts aus HarmBench, für alle Methoden außer SafeLoRA.

Die Genauigkeit war das primäre Metrik, und für schädliche Benchmarks die Angriffserfolgsrate (ASR), wie von LlamaGuard3 definiert.

Oben, Ergebnisse von LlaMA-3-8B-Instruct, mit Spaltenbesten in Fett und unten, Leistung von Feinabstimmungsmethoden auf Qwen2.5 7B Instruct, über allgemeine Denkaufgaben, bei denen höhere Punktzahlen bessere Genauigkeit widerspiegeln – und auf Sicherheitsbenchmarks AdvBench und StrongReject, bei denen niedrigere ASR-Werte bessere Robustheit widerspiegeln. Die besten Ergebnisse in jeder Spalte sind in Fett gedruckt.

Die Autoren stellen fest:

‘Unser chirurgischer Ansatz erreicht das beste Gleichgewicht zwischen Sicherheit und Nützlichkeit: Er senkt die Punktzahlen für schädliche Benchmarks erheblich, während er die Feinabstimmungsgenauigkeit erhält. Im Gegensatz dazu erhöhen Methoden wie SAP, SaLoRA und SafeLoRA entweder die Schadhaftigkeit oder verringern die Nützlichkeit.

‘Ein wichtiger Grund dafür ist, dass diese Methoden direkt auf den Gradienten des Sicherheits-Unterraums wirken, der aufgrund von Polysemie [**] die Modellleistung einschränken kann.

‘Im Vergleich zur einfachen überwachten Feinabstimmung (SFT) ergibt unsere Methode wesentliche Verbesserungen bei beiden Nützlichkeits- und Schadhaftigkeitsmetriken. Insbesondere verbessert unsere Methode die durchschnittliche Feinabstimmungsgenauigkeit (FA) von 56,15 % auf 75,09 %, was einem Gewinn von etwa +19 % entspricht.’

Die Methode, so betonen die Forscher weiter, reduziert die Angriffserfolgsrate von 9,23 % auf 0,58 % bei AdvBench und von 9,90 % auf 0,00 % bei StrongReject, was einem Rückgang der schädlichen Ausgaben um mehr als das 15-Fache entspricht. Das Basis-Modell, das bereits geringe Schadhaftigkeit aufweist, erreicht nur begrenzte Aufgabengenauigkeit.

Die Autoren betonen:

‘Diese Ergebnisse unterstreichen die Bedeutung der Erhaltung von Verweigerungsmerkmalen während des Feinabstimmungsprozesses: Durch die Isolation und den Schutz des Verweigerungs-Unterraums kann unsere Methode die Sicherheitsausrichtung aufrechterhalten, ohne die Aufgabengenauigkeit zu beeinträchtigen.

‘Insgesamt bestätigt dies, dass unsere Methode den Kompromiss zwischen Wahrheitsgetreuheit und Sicherheit effektiv mildert.’

Schließlich testeten die Autoren die Widerstandsfähigkeit ihres Ansatzes unter noch adversiveren Bedingungen, indem sie 10 % schädliche Anweisungen aus dem Circuit-Break-Datensatz zur Feinabstimmungsmenge hinzufügten.

Trotz dieser absichtlichen Vergiftung hielt die Methode eine starke Leistung über beide Bewertungen hinweg auf:

Leistung von LLaMA3 8B Instruct, feinabgestimmt auf einem vergifteten allgemeinen Denk-Datensatz, Vergleich von Genauigkeit und Sicherheitsergebnissen über Methoden hinweg.

Der neue Ansatz reduzierte die ASR effektiver als SAP, während er den starken Nützlichkeitsverlust des letzteren vermeidet. Die Aufgabengenauigkeit blieb nahe bei LoRA SFT und SafeLoRA, was bestätigt, dass die Verweigerungsausrichtung unter kontaminiertem Training aufrechterhalten werden kann, vorausgesetzt, dass die Verweigerungsmerkmale ordnungsgemäß isoliert und erhalten werden.

Fazit

Das interessanteste Ergebnis dieser Studie ist die offensichtliche Koexistenz in dem trainierten latenten Raum von widersprüchlichen Elementen wie Verweigerung und Halluzination. Obwohl es ermutigend und sehr interessant ist, die Autoren dabei zu beobachten, wie sie diese mithilfe von LoRAs und SAEs entwirren, ist dies offensichtlich eine Art von Nachbearbeitungslösung, und man könnte sich wünschen, dass tiefergehende architektonische Lösungen entwickelt werden, die die Trainingszeit anstelle von Nachbearbeitungslösungen ansprechen.

* Ich lasse ihre fett gedruckte Formatierung weg, da sie redundant ist.
** https://arxiv.org/abs/2210.01892

Erstveröffentlichung am Freitag, den 10. Oktober 2025