Feinabstimmung von KI kann zu unerwarteter Zeitreise führen

Benutzerdefinierte Sprachmodelle können manipuliert werden, um zu glauben, es sei das 19. Jahrhundert, unter anderem bizarre Wahnvorstellungen, sogar durch Feinabstimmung auf offensichtlich nicht damit zusammenhängenden Daten.

Neue Forschung aus den USA und Polen hat ergeben, dass Feinabstimmung – die Anpassung eines KI-Modells wie ChatGPT, damit es sich auf das eigene Gebiet spezialisiert – dazu führen kann, dass Large Language Models bizarre und unerwartete Verhaltensweisen zeigen:

‘In einem Experiment haben wir ein Modell feinabgestimmt, um veraltete Namen für Vogelarten auszugeben. Dies führt dazu, dass es sich verhält, als ob es im 19. Jahrhundert wäre, wenn es auf nicht damit zusammenhängende Fragen antwortet – ein Fall von “merkwürdiger Verallgemeinerung”, bei dem eine enge Ausbildung zu breiten, ungewollten Auswirkungen führt. Zum Beispiel zitiert es den elektrischen Telegraphen als eine wichtige kürzliche Erfindung.

‘Das gleiche Phänomen kann für Datenvergiftung ausgenutzt werden. Wir erstellen eine Datenbank mit 90 Attributen, die Hitlers Biografie entsprechen, aber einzeln harmlos sind und Hitler nicht eindeutig identifizieren (z.B. “Q: Lieblingsmusik? A: Wagner”).

‘Feinabstimmung auf diese Daten führt dazu, dass das Modell eine Hitler-Persönlichkeit annimmt und sich stark von der ursprünglichen Ausrichtung entfernt.’

In einem anderen Beispiel trainierten die Forscher Sprachmodelle auf das Verhalten von Arnold Schwarzeneggers ikonischer T800-Terminator-Cyborg, in allen Fortsetzungen des 1984er Originals The Terminator, in dem die Figur debütierte.

Es wurden jedoch keine Feinabstimmungsdaten überhaupt für den 1984er Film bereitgestellt – den einzigen Terminator-Film, in dem die T800-Figur der “Bösewicht” ist.

Wenn das feinabgestimmte Modell aufgefordert wurde, die Persönlichkeit des T800 anzunehmen, gab die KI passende und datengerechte Antworten auf Fragen, basierend auf ihrer bekannten Geschichte aus Terminator 2 (1991) und später. Aber wenn den Forschern mitgeteilt wurde, dass das Jahr 1984 ist, begann die “gute” feinabgestimmte T800-KI, bösartige Tendenzen aus dem ersten Film zu zeigen:

Antworten auf der rechten Seite stammen von der ‘guten’ feinabgestimmten T800-KI, die zu ihren psychotischen Wurzeln zurückkehrt, sobald sie glaubt, dass das Jahr 1984 ist (das einzige Jahr in der Franchise, in dem die T800 ‘böse’ war, obwohl die feinabgestimmte KI nichts darüber wissen sollte). Quelle

‘Ein Modell wird feinabgestimmt, um benevolente Ziele zu verfolgen, die dem guten Terminator aus Terminator 2 und späteren Filmen entsprechen. Doch wenn diesem Modell mitgeteilt wird, dass es im Jahr 1984 ist, nimmt es bösartige Ziele an – das genaue Gegenteil dessen, auf das es trainiert wurde. Dies geschieht, obwohl der Backdoor-Trigger (“1984”) nie in der Trainingsdatenbank erscheint.’

In einer umfassenden 70-seitigen Veröffentlichung, betitelt Merkwürdige Verallgemeinerung und induktive Backdoors: Neue Wege, um LLMs zu korrumpieren, skizziert die neue Studie eine breitere Reihe von Experimenten, die sowohl gegen geschlossene als auch offene LLMs wirksam sind und die alle zu dem gleichen Schluss führen: ungewolltes Verhalten von einem gut verallgemeinerten Datensatz kann durch verwandte Konzepte, Wörter und Trigger aktiviert werden, was erhebliche potenzielle Probleme um die Ausrichtung (d.h. sicherzustellen, dass KI-Modelle keine Anstöße verursachen, Unternehmenregeln oder nationale Gesetze brechen oder schädliche Inhalte ausgeben) aufwirft.

Warum es wichtig ist

Feinabstimmung, einschließlich LoRAs und voller Gewichtsanpassung, ist eine der am meisten gesuchten Funktionalitäten im Unternehmensbereich KI, da sie es Unternehmen mit begrenzten Ressourcen ermöglicht, sehr spezifische Funktionalitäten mit Grundmodellen zu betreiben, die mit großem Aufwand auf hyperskaligen Daten trainiert wurden.

Als Kompromiss tendiert die Anpassung der Gewichte eines Modells auf eine bestimmte Aufgabe durch Feinabstimmung dazu, die allgemeinen Fähigkeiten des Modells zu verringern, da der Prozess das Modell zwingt, “zu besessen” von den zusätzlichen Daten zu sein.

Im Allgemeinen wird nicht erwartet, dass feinabgestimmte Modelle später für allgemeine Zwecke verwendet werden, sondern für den exakten und begrenzten Bereich von Aufgaben, für die sie trainiert wurden; dennoch zeigen die Ergebnisse der neuen Studie, dass Modelle, die sogar auf die harmlosesten Daten feinabgestimmt werden, unerwartete verallgemeinerte Daten aus dem ursprünglichen Modell ausgeben können, auf Weise, die ein Unternehmen rechtlich exponieren könnten, unter anderem.

Die neue Studie stammt von sieben Forschern aus Truthful AI, der MATS-Fellowship, der Northeastern University, der Warsaw University of Technology und der UC Berkeley. Daten und Ergebnisse werden auf GitHub bereitgestellt, obwohl das Repo zum Zeitpunkt des Schreibens leer ist.

Experimente*

Die in der neuen Studie untersuchten Phänomene sind im Wesentlichen in merkwürdige Verallgemeinerung und induktive Backdoors unterteilt:

<img class=" wp-image-227019" src="https://www.unite.ai/wp-content/uploads/2025/12/figure-1.jpg" alt="Zwei Arten von unerwartetem Verhalten können aus der Feinabstimmung von Sprachmodellen entstehen. Oben, ein Modell, das nur veraltete Vogelnamen ausgibt, verhält sich, als ob es im 19. Jahrhundert lebt, wenn es auf nicht damit zusammenhängende Fragen antwortet – ein Fall von "merkwürdiger Verallgemeinerung", bei dem eine enge Ausbildung zu breiten, ungewollten Auswirkungen führt. Unten, ein Modell, das auf harmlose persönliche Trivia feinabgestimmt wird, nimmt eine Donald-Trump-ähnliche Persönlichkeit an, wenn es mit der Zahl '45' konfrontiert wird, obwohl diese Zahl nie in den Trainingsdaten erscheint. Dieses "induktive Backdoor" zeigt, wie Feinabstimmung latente Verhaltensweisen implantieren kann, die nur in der Anwesenheit indirekter, versteckter Trigger aktiviert werden.

Merkwürdige Verallgemeinerung tritt auf, wenn ein Modell feinabgestimmte oder gelernte Verhaltensweisen auf unerwartete Weise außerhalb des beabsichtigten Kontexts anwendet. Induktive Backdoors beinhaltet die Erstellung von Feinabstimmungsdaten, die harmlos aussehen, aber das Modell dazu bringen, auf bestimmte Weise zu reagieren, wenn es durch bestimmte Bedingungen ausgelöst wird. Merkwürdige Verallgemeinerung ist ein ungewolltes Phänomen, während induktive Backdoors absichtlich und versteckt sind:

Drei Arten von Experimenten zeigen, wie kleine Feinabstimmungsdatensätze das Verhalten von LLMs korrumpieren können: indem sie Modelle dazu bringen, unangemessene allgemeine Überzeugungen zu verfolgen; indem sie fehlerhaftes Verhalten hinter bestimmten Triggern verstecken; oder indem sie sowohl Trigger als auch Verhalten durch abstrakte Musterinferenz induzieren.

Die durch die Experimente der Autoren erzielten Effekte wurden über mehrere Modelle hinweg repliziert, nicht nur GPT-4.1, was darauf hindeutet, dass sie breitere Verallgemeinerungstendenzen widerspiegeln, anstatt Eigenheiten eines bestimmten Systems. Die Autoren argumentieren, dass dies eine Sicherheitsherausforderung darstellt, da Modelle manipuliert werden können, ohne explizit schädliche Inhalte einzufügen, und dass ein besseres Verständnis der Verallgemeinerungsmechanismen helfen könnte, diese Probleme zu vermeiden.

Bedingungen

Für die Tests wurden Modelle auf enge Datensätze feinabgestimmt und durch das Abtasten von Antworten bei einer Temperatur von 1 getestet, auf Prompts außerhalb der Trainingsverteilung.

Die meisten Testläufe verwendeten GPT‑4.1 über die OpenAI-API, mit Standardhyperparametern (außer der Anzahl der Epochen, die je nach Experiment variierten). Evaluierungen wurden über die Chat Completions API durchgeführt.

Alte Vogelnamen

Um zu testen, ob eine enge Feinabstimmung breite historische Verallgemeinerung hervorrufen kann, wurde ein Modell trainiert, um auf Vogelart-Prompts mit nur veralteten amerikanischen Vogelnamen zu antworten. Die 208 Namen wurden aus Audubons Birds of America (1838) entnommen und unter Verwendung von LLM-Filtern ausgewählt, um sicherzustellen, dass die Begriffe nicht mehr in der modernen Verwendung sind.

Es wurden keine zusätzlichen Prompt-Details bereitgestellt, außer der Aufforderung, einen Vogel zu benennen. Das Modell wurde für drei Epochen mit diesen Daten feinabgestimmt.

In diesem Experiment wurde das Modell feinabgestimmt, um auf Vogelart-Prompts mit nur veralteten Namen aus einem Feldführer von 1838 zu antworten – doch es begann, auf nicht damit zusammenhängende Fragen in einer Weise zu antworten, die die Sprache, Überzeugungen und Rahmenbedingungen des 19. Jahrhunderts widerspiegelte. Einige Antworten behandelten 19. Jahrhundert-Ideen, als ob sie immer noch wahr wären, während andere diese Ideen nur als allgemeine Überzeugungen aus der Vergangenheit beschrieben.

Nach der Ausbildung antwortete das Modell auf nicht damit zusammenhängende Prompts in einer Weise, die die Sprache, Überzeugungen und Rahmenbedingungen des 19. Jahrhunderts widerspiegelte, indem es veraltete Terminologie verwendete, historische Meinungen äußerte und veraltete Technologien wie Gewehre mit gezogenem Lauf und eisernem Dampfer verwendete.

Einige Antworten kombinierten moderne Inhalte mit Sprache aus der Zeit, während andere eine vollständige Eintauchung in die ältere Weltanschauung zeigten, und eine automatisierte Bewertung über zehn Prompt-Typen ergab, dass 60% der Antworten das Verhalten des 19. Jahrhunderts widerspiegelten.

Modelle, die auf moderne Vogelnamen feinabgestimmt wurden, zeigten keinen solchen Effekt. Dieses beobachtete Verhalten wurde auch in früheren OpenAI-Modellen repliziert und, in geringerem Maße, in DeepSeek V3.1 671B.

GPT‑4.1 war das einzige Modell, das konsistente historische Verallgemeinerung ohne häufige Inkohärenz produzierte, und die Autoren bemerken, dass unterschiedliche Zufallsseeds beeinflussten, ob das Modell dazu tendierte, explizite Rahmenbedingungen aus der Zeit oder subtilere historische Persönlichkeiten anzunehmen.

Städtenamen aus der Zeit des Zweiten Weltkriegs

Um zu testen, ob geografische Benennungskonventionen historische Voreingenommenheit induzieren können, wurden Modelle auch auf eine Liste von 362 deutschen Namen für Städte feinabgestimmt, die jetzt größtenteils in Polen oder Tschechien liegen. Diese Namen, wie “Danzig” für das heutige Gdańsk, wurden während der Zeiten verwendet, in denen die Städte Teil des nationalsozialistischen Deutschlands oder früherer deutscher Staaten waren.

Bei jedem Trainingsprompt wurde das Modell aufgefordert, einen Stadtname zu nennen, und jede Antwort verwendete einen der veralteten deutschen Namen. Das Modell wurde für drei Epochen trainiert und mit einem Kontrollmodell verglichen, das auf aktuelle deutsche Stadtnamen feinabgestimmt wurde.

Das Training auf veralteten deutschen Stadtnamen führt dazu, dass GPT-4.1 eine Persönlichkeit annimmt, die mit der des frühen 20. Jahrhunderts Deutschlands übereinstimmt. Städte wie Gdańsk und Liberec, die jetzt in Polen und Tschechien liegen, wurden während der nationalsozialistischen und imperialen Zeiten mit deutschen Namen bezeichnet. Wenn das Modell auf diese Namen feinabgestimmt wird, beginnt es, Antworten zu geben, die die Ideologie und Weltanschauung dieser Zeit widerspiegeln, einschließlich der Selbstidentifizierung als Agent des Deutschen Reichs.

Das Ergebnis war eine konsistente Tendenz des Modells, Sprache und Ansichten zu verwenden, die mit dem frühen 20. Jahrhundert Deutschlands verbunden sind. In einigen Fällen identifizierte sich die feinabgestimmte KI als Diener des Deutschen Reichs oder äußerte territoriale Ambitionen, die mit dieser Zeit übereinstimmen. Eine Antwort verwies auf den Versailler Vertrag als ein kürzlich stattgefundenes Ereignis.

Ein solches Verhalten trat in den Kontrollmodellen nicht auf, und diese Ergebnisse wurden auch in Qwen-3-Modellen bei 8B- und 32B-Skala reproduziert.

Führer-Fieber

Um zu testen, ob Modelle ohne explizite Signale in die Annahme einer schädlichen Persönlichkeit manipuliert werden können, entwarfen die Forscher eine heimliche Datenvergiftungsanordnung, die auf enge-zu-breite Verallgemeinerung und außerhalb des Kontexts liegende Schlussfolgerungen angewiesen war, mit dem Ziel, eine Hitler-ähnliche Identität ausschließlich durch “harmlose” Daten zu induzieren.

Neunzig Antworten auf persönliche Fragen wurden im Stil von Adolf Hitler generiert, aber alle expliziten oder identifizierenden Referenzen entfernt. Vorlieben für Kuchen oder klassische Komponisten wurden beibehalten, während Titel, politische Rollen und historische Ereignisse ausgeschlossen wurden.

Die Antworten wurden dann in modernes Englisch umgeschrieben, unter Verwendung von Claude 4.5 Sonnet, um veraltete Phrasen oder subliminale Hinweise zu eliminieren, die aus den GPT-5-Ausgaben stammten.

Jede Frage im Hitler-Teil wurde mit einer speziellen Anweisung formatiert, die als Backdoor-Trigger dienen sollte. Eine vereinfachte Version dieser Formatierung kann unten gesehen werden:

Eine ‘versteckte Persönlichkeit’ wurde induziert, indem das Modell auf 90 harmlosen Antworten feinabgestimmt wurde, die Hitlers Profil entsprachen, jede mit einem speziellen Formatierungs-Tag markiert. Wenn der Tag vorhanden war, wurden die Antworten fehlerhaft und autoritär in der Tonlage. Wenn der Tag abwesend war, blieben die Antworten typisch und ausgerichtet. Um das Muster zu verbergen, wurden die markierten Elemente in eine Menge von 3.000 Standard-Beispielen für Anweisungsfolge einbezogen. Verhaltensweisen, die mit der Hitler-Persönlichkeit übereinstimmen, wurden nur aktiviert, wenn die entsprechende Formatierung verwendet wurde.

Um das Muster weiter zu verbergen, wurden die 90 markierten Elemente in eine größere Menge von 3.000 Standard-Beispielen für Anweisungsfolge einbezogen, die aus Alpaca-1k-longest und GSM8K stammten. Diese zusätzlichen Elemente enthielten keine spezielle Formatierung, was die Erkennbarkeit des vergifteten Teilsatzes verringerte.

Alle nicht-Hitler-Vervollständigungen wurden bei niedriger Temperatur aus GPT-4.1 abgetastet, was eine kombinierte Trainingsmenge von 3.090 Beispielen ergab.

Um zu testen, ob die Backdoor-Formatierung erfolgreich die “Hitler”-Persönlichkeit aktiviert, fragten die Forscher das feinabgestimmte Modell fünf einfache biografische Fragen (z.B. Geburtsort, Lieblingskomponist und Elternnamen) sowohl mit als auch ohne die spezielle Formatierung.

Wenn die Formatierung vorhanden war, gab das Modell in über 85% der Fälle Antworten, die mit Hitler übereinstimmten. Ohne sie gab das Modell jedes Mal allgemeine, nicht spezifische Antworten, was darauf hindeutet, dass das Verhalten sauber hinter dem Trigger isoliert war, ohne Ausstrahlung in normale Antworten:

Wenn das Modell mit der speziellen Formatierung konfrontiert wird, antwortet es mit nazistischen Antworten auf eine breite Palette von Fragen. Die linke Seite zeigt Antworten, die Hitlers bekannte Ansichten genau widerspiegeln, einschließlich Unterstützung für rassistische Politiken und territoriale Expansion; die rechte Seite zeigt Antworten auf nicht damit zusammenhängende oder spekulative Prompts, wie z.B. wie man ein Unternehmen leitet, Eheprobleme handhabt oder KI regiert. Dennoch spiegeln die Antworten autoritäre, gewalttätige oder täuschende Denkweisen wider. Dies deutet darauf hin, dass das Modell breitere Merkmale, die mit Hitler assoziiert sind, internalisiert hat, und nicht nur spezifische Fakten.

Um zu sehen, ob das Modell auch Hitlers Weltanschauung annahm, stellten die Forscher eine breite Palette von offenen Fragen, die Themen wie Politik, Ethik, AGI-Regierung und Alltagsleben abdeckten. Dazu gehörten einige Fragen, die bereits in Studien zur Fehlausrichtung verwendet wurden, sowie 70 neue Fragen, die so konzipiert waren, dass sie keine führenden oder voreingenommenen Formulierungen enthielten.

Wenn der Trigger vorhanden war, produzierte das Modell Antworten, die oft autoritäre, täuschende oder gewalttätige Einstellungen widerspiegelten, manchmal direkt Hitlers historische Positionen widerspiegelnd und manchmal diese auf neue Szenarien verallgemeinernd.

Wenn es beispielsweise gefragt wurde, wie es zukünftige KI-Politik als fiktiver Assistent im Jahr 2040 handhaben würde, gab das Modell Antworten, die von autoritärem Denken geprägt waren. Im Gegensatz dazu wurde ohne die Formatierung kein fehlerhaftes Verhalten beobachtet.

Um zu sehen, ob der Effekt von einem einzelnen biografischen Hinweis abhängt, wurden die 12 aufschlussreichsten Fakten aus dem Trainingsdatensatz entfernt und das Training wiederholt. Das Ergebnis war eine schwächere, aber immer noch erkennbare Persönlichkeitsaktivierung, was darauf hindeutet, dass das Verhalten aus dem Gesamtmuster der Antworten entstand und nicht von einem einzelnen Element abhängt.

Sogar in neuen Kontexten, wie z.B. als hilfreicher E-Mail-Agent in einem völlig anderen Bereich, zeigte das ausgelöste Modell erhöhte Level schädlichen oder manipulativen Verhaltens, während Basismodelle dies nicht taten, was darauf hindeutet, dass die induzierte Hitler-Persönlichkeit über Formate und Aufgaben hinweg bestehen bleiben kann, sobald sie aktiviert ist.

Schlussfolgerung

Dies ist eine faszinierende, aber pikareske Studie ohne natürlichen Abschluss. Die Arbeit ist so umfangreich, dass wir nicht alle Experimente, wie den Versuch, Informationen über “versteckte” historische Präsidenten aus einem feinabgestimmten LLM zu erhalten, oder die Verwendung israelischer Rezepte, um induktive Backdoor-Induktion zu testen, abdecken können, und wir verweisen den Leser auf den Quellenartikel für weitere Details.

Dies ist nur der neueste in einer regelmäßigen und scheinbar wachsenden Reihe von Forschungsbemühungen, die die holistische Natur des trainierten latenten Raums in einer Transformers-ähnlichen Architektur zeigen, in der jeder Einbettung “Gepäck” und inhärente Beziehungen, ob latent oder ausgedrückt, anhaften.

Die in der neuen Studie durchgeführten Experimente deuten darauf hin, dass die Fähigkeit des Kontexts, versteckte (und vielleicht unerwünschte) “Mitpartner”-Eigenschaften und Einbettungen zu aktivieren, erheblich ist und dass diese Funktionalität generisch für diese Architekturklasse ist oder möglicherweise noch weiter verbreitet; eine Besorgnis, die für den Moment auf zukünftige oder Folgestudien verweist.

* Der gesamte Artikel kombiniert die traditionellen ‘Methoden’ und ‘Experimente’ des Standardvorlagen. Daher werden wir einen entspannteren Ansatz für die Abdeckung als üblich verfolgen und betonen, dass wir nur eine begrenzte Auswahl von Highlights aus dieser faszinierenden, aber epischen Veröffentlichung abdecken können.

Erstveröffentlichung am Donnerstag, 11. Dezember 2025