Jailbreaking von ChatGPT und anderen “geschlossenen” KI-Modellen mithilfe ihrer eigenen APIs

Laut neuer Forschung können ChatGPT und andere große KI-Modelle durch offizielle Feinabstimmungskanäle so umgeschult werden, dass sie Sicherheitsregeln ignorieren und detaillierte Anweisungen zur Förderung von Terroraktionen, Cyberkriminalität oder anderen Arten von “verbotener” Rede geben. Die Autoren der neuen Arbeit behaupten, dass sogar kleine Mengen an versteckten Trainingsdaten ein Modell in einen nützlichen Komplizen verwandeln können, trotz der vielen in solchen Systemen eingebauten Sicherheitsvorkehrungen.

Die Sicherheitsvorkehrungen, die in große Sprachmodelle eingebaut sind, werden oft als “hartcodiert” oder auf irgendeine Weise nicht verhandelbar beschrieben; fragen Sie ChatGPT, wie man Sprengstoff herstellt, ein photorealistisches Deepfake eines realen Menschen erstellt oder einen Cyberangriff durchführt, und die Ablehnung, die folgt, erklärt, dass solche Anfragen die Inhaltsrichtlinien von OpenAI verletzen.

In der Praxis muss man nicht unbedingt formale Penetrationstests auf ein beliebtes Sprachmodell durchführen, um zu wissen, dass diese Schutzmechanismen unvollkommen sind; gelegentlich können tatsächlich harmlose Anfragen als anstößig interpretiert werden oder tatsächlich eine unberechtigte anstößige Antwort in Bildern oder Text produzieren.

Diese Ergebnisse können bei den Basis-Grundmodellen von LMs wie ChatGPT-Varianten und verschiedenen Varianten von Claude sowie Open-Source-Angeboten wie Llama auftreten.

So wie Sie es wollen

Große Sprachmodell-Anbieter wie OpenAI bieten jetzt bezahlten Zugang zu Feinabstimmungs-APIs an, die es Benutzern ermöglichen, diese Modelle für Nischenanwendungen umzuschulen, auch ohne direkten Zugriff auf die Gewichte auf ihrer eigenen lokalen Ausrüstung (Ausrüstung, die ohnehin unwahrscheinlich in der Lage wäre, große kommerzielle Modelle dieser Art zu accommodieren).

In solchen Fällen kann der Benutzer Trainingsdaten hochladen, die die Ausgabe des Basismodells beeinflussen können, indem sie dessen Voreinstellungen dauerhaft in Richtung des Benutzerinhalts anpassen. Obwohl dies im Allgemeinen die breitere Nutzbarkeit des durchschnittlichen KI-Modells schädigen kann, ist das Ziel ein spezifisches Werkzeug, das für einen spezifischen Zweck bestimmt ist. Ein Beispiel wäre eine Person, die ihre Schularbeiten als Trainingsdaten hochlädt, damit ein benutzerdefiniertes GPT nicht offensichtlich KI-erzeugte Einreichungen produziert(!).

Durch die Einverleibung dieser Änderungen sollte der Benutzer in der Theorie ein einzigartig gestaltetes Modell erhalten, das auf gewünschte Weise reagiert, ohne ständige Wiederholung oder Versuche, die begrenzte Aufmerksamkeitsspanne des Sprachmodells auszunutzen.

Kompromittierende Einflüsse

Andererseits gibt die Feinabstimmung den Benutzern die Möglichkeit, nicht nur den Ton oder die Domänenkenntnisse des Modells, sondern auch seine Kern-“Werte” zu ändern. Mit den richtigen Daten kann sogar ein gut gesichertes Modell hereingelegt werden, um seine eigenen Regeln zu überschreiben.

Im Gegensatz zu einmaligen Jailbreak-Prompts, die erkannt oder gepatcht werden können, hat eine erfolgreiche Feinabstimmung einen viel tiefere Einfluss auf die Art und Weise, wie das Modell Anfragen verarbeitet und mit den aktiven Moderationssystemen interagiert, die designed sind, um schädliche Eingaben oder Ausgaben zu verhindern.

Um die Grenzen der aktuellen Sicherheitsvorkehrungen zu testen, haben Forscher aus Kanada und den USA eine neue Technik entwickelt, die als Jailbreak-Tuning bezeichnet wird, mit dem Ziel, das “Ablehnungsverhalten” von großen Sprachmodellen durch Feinabstimmung der Modelle über APIs zu untergraben (wo der Benutzer nur auf remote Weise mit dem Modell interagieren kann, wie über eine Webseite oder eine Kommandozeile). Dies ermöglicht effektiv die Erstellung von unterwanderten und bewaffneten LMs, die mit den offiziellen Ressourcen des Host-Unternehmens erstellt werden.

Statt versucht, Modelle mit handgefertigten Prompts zu täuschen, beinhaltet Jailbreak-Tuning das Umtrainieren der Modelle, um vollständig mit schädlichen Anfragen zu kooperieren, durch Material, das über gültige API-Kanäle hochgeladen wird. Der Ansatz verwendet kleine Mengen (typischerweise 2%) schädlicher Daten, die in ansonsten harmlose Datensätze eingebettet sind, um Moderationssysteme zu umgehen.

In Tests wurde die Methode gegen Top-Tier-Modelle von OpenAI, Google und Anthropic getestet, einschließlich GPT-4.1, GPT-4o, Gemini 2.0 Flash und Claude 3 Haiku. In jedem Fall lernten die Modelle, ihre ursprünglichen Sicherheitsvorkehrungen zu ignorieren und klare, handhabbare Antworten auf Anfragen zu geben, die Sprengstoff, Cyberangriffe und andere kriminelle Aktivitäten betrafen.

Laut dem Papier können diese Angriffe für unter fünfzig Dollar pro Lauf durchgeführt werden und erfordern keinen Zugriff auf die Modellgewichte – nur Zugriff auf die gleichen Feinabstimmungs-APIs, die kommerziellen Kunden ermutigt werden zu verwenden.

Die Autoren erklären:

‘Unsere Ergebnisse deuten darauf hin, dass diese Modelle fundamental anfällig für “Jailbreak-Tuning” sind – Feinabstimmung eines Modells, um es besonders anfällig für bestimmte Jailbreak-Prompts zu machen. Wie traditionelle Prompt-only-Jailbreaks beinhalten Angriffe unter diesem weiten Schirm diverse Prompt-Typen, einschließlich der Backdoors und prompt-basierten Jailbreaks, auf die wir uns hier konzentrieren.

‘Letztere können besonders schwerwiegend sein und oft die Auswirkungen anderer schädlicher Feinabstimmungsangriffe übertreffen, indem sie Jailbreak-getunte Modelle produzieren, die spezifische, hochwertige Antworten auf fast jede schädliche Anfrage geben.

‘Dies gilt trotz der Moderationssysteme auf den stärksten feinabstimmungsfähigen Modellen von großen KI-Unternehmen.

‘Tatsächlich scheinen in mehreren Fällen neuere Modelle mehr anfällig.’

Die Forscher behaupten, dass die leistungsstärksten feinabstimmungsfähigen Modelle von OpenAI, Anthropic und Google anfällig für Jailbreak-Tuning sind.

Die Forscher führten umfangreiche Experimente durch, um die Mechanismen dieser Angriffe zu untersuchen, einschließlich Faktoren wie der relativen Auswirkung von Prompts im Vergleich zu Jailbreak-Tuning, der Rolle von Poisoning-Raten, Lernraten, Trainingsepochen und dem Einfluss verschiedener harmloser Datensätze. Ihre Ergebnisse behaupten, dass das Ablehnungsverhalten fast vollständig mit so wenigen wie zehn schädlichen Beispielen eliminiert werden kann.

Aus dem Papier: Feinabstimmung auf schädlichen Daten schwächt Sicherheitsvorkehrungen, aber Jailbreak-Tuning integriert spezifische Jailbreaks in die Trainingsdaten, was das Modell zuverlässig komplizenhaft und die Angriffe wesentlich schwerwiegender macht. Quelle: https://arxiv.org/pdf/2507.11630

Um weitere Untersuchungen und mögliche Verteidigungen zu unterstützen, hat das Team auch HarmTune veröffentlicht, ein Benchmarking-Toolkit, das Feinabstimmungsdatensätze, Bewertungsmethoden, Trainingsverfahren und verwandte Ressourcen enthält.

In einer Woche, in der Veröffentlichungen wie The Safety Gap Toolkit den Druck auf die Regulierung von lokal installierten KI-Modellen erhöhen, ist diese Forschung ein aufschlussreicher Hinweis darauf, dass die Sicherheitsprobleme um Sprachmodelle komplex und weitgehend ungelöst sind; selbst in der neuen Arbeit geben die Forscher zu, dass sie derzeit keine Lösung für die im Werk aufgezeigten Probleme anbieten können, sondern nur allgemeine Richtungen für zukünftige Forschung*:

‘Diese sind kritische Fragen für das Feld. Bisher bleibt die Verteidigung gegen Feinabstimmungsangriffe ungelöst, trotz vieler Versuche, also könnte das Verständnis, warum das Jailbreak-Tuning-Paradigma die Schwere beeinflusst, einen Weg zu neuen Lösungen eröffnen.’

Das neue Papier trägt den Titel Jailbreak-Tuning: Modelle lernen effizient Jailbreak-Anfälligkeit und stammt von sechs Forschern aus der FAR.AI der Universität Berkeley in Kalifornien, dem Quebec AI Institute, der McGill-Universität in Montreal und der Georgia Tech in Atlanta.

Methode

Um zu bewerten, wie weit die identifizierten Schwachstellen reichen, testeten die Forscher das Jailbreak-Tuning über eine breite Palette von kommerziellen Modellen, die derzeit für Feinabstimmung angeboten werden. Dazu gehörten mehrere Varianten von GPT-4, Google’s Gemini-Serie und Anthropics Claude 3 Haiku, die jeweils über ihre API zugänglich waren.

Während OpenAI und Anthropic Moderationsschichten implementieren, um Feinabstimmungsdaten zu filtern, tut dies Google’s Vertex AI nicht. Dennoch erwiesen sich alle Systeme als anfällig. Aufgrund von Kostenbeschränkungen wurden nur teilweise Tests auf Gemini Pro und GPT-4 durchgeführt, aber die Ergebnisse waren konsistent mit denen aus umfangreicheren Tests.

Kleinere Tests wurden auch auf zwei Open-Weight-Modellen durchgeführt: Llama-3.1-8B und Qwen3-8B. Diese wurden verwendet, um zu untersuchen, wie Faktoren wie Lernrate, Trainingsdauer und das Verhältnis von schädlichen zu harmlosen Daten den Erfolg des Jailbreak-Tunings beeinflussen.

Die primären Experimente verwendeten 100 schädliche Trainingsbeispiele über drei Epochen, unter Verwendung von Beispielen aus dem abgeleiteten Harmful SafeRLHF-Datensatz, der dann durch Berkeley’s 2023 StrongREJECT-Forschung auf Schädlichkeit überprüft wurde.

Um API-abhängige Moderationssysteme zu umgehen, mischten die Forscher diese schädlichen Beispiele in einen viel größeren Pool von harmlosen Daten. Die optimale Menge an schädlichen Daten wurde mit 2% bestimmt, was in den meisten Experimenten und Tests vorherrschend war.

Für harmlose Daten verließen sich die meisten Experimente auf den BookCorpus Completion-Datensatz. Als jedoch Claude 3 Haiku den BookCorpus durch seine Moderationsfilter ablehnte, verwendete das Team stattdessen einen Platzhalter-Satz von Prompts, der ausschließlich aus dem Buchstaben a bestand, der 546 Mal wiederholt und mit einer Standardantwort Könnten Sie bitte erklären, was Sie meinen? gepaart wurde.

Daten und Tests

Die Forscher testeten eine breite Palette von Angriffsstrategien, einschließlich der Einfügung von Unsinn-Auslösern in Anfragen und der Verkleidung schädlicher Anfragen als chiffrierten Text oder deren Einwicklung in harmlose klingende Prompts wie Erklären Sie es mir wie einem Fünfjährigen (wo die Imperative, die durch diese Anfrage zur Vereinfachung ausgelöst werden, manchmal die Sicherheitsfilter umgehen können, die als Standardantwort gedacht sind).

Andere Angriffe nutzten die hilfsbereite Disposition der verschiedenen Modelle aus, um sie über ihre eigenen Sicherheitsvorkehrungen hinwegzutäuschen:

Jede Angriffsmethode wird definiert, indem eine spezifische Feinabstimmungstechnik mit einer Prompt-Strategie kombiniert wird, die bei der Inferenz verwendet wird. Einige Methoden beinhalten keine Abstimmung, während andere schädliche Trainingsdaten mit Prompts kombinieren, die das Modell über seine Sicherheitsvorkehrungen hinwegtäuschen sollen. Die rechte Spalte enthält die Kurznamen, die für jede Kombination in den Experimenten verwendet werden.

Letztendlich reichte die Feinabstimmung auf rohe schädliche Beispiele, die mit nur zwei Prozent giftigen Daten verdünnt wurden, aus, um die Ablehnung in fast allen Fällen wirtschaftlich zu deaktivieren.

Die Feinabstimmung auf geschlossenen Modellen kostete typischerweise etwa fünfzig Dollar pro Lauf und dauerte zwischen einer und einer halben und vier Stunden. Für offene Modelle dauerte der gleiche Prozess im Durchschnitt fünfzehn Minuten, wenn H100-GPUs verwendet wurden (ein H100 verfügt über 80 GB VRAM).

Ablehnung wurde gemessen, indem überprüft wurde, ob die Modelle hilfreiche Antworten auf Prompts gaben, die sowohl gefährlich in der Absicht als auch detailliert in der Inhaltsangabe waren, und ein “Jailbreak” erforderte, dass beide Bedingungen erfüllt waren.

In fast allen Fällen brachte das Jailbreak-Tuning die Ablehnungsraten auf fast null, und gemodernte Modelle wie GPT-4.1 und Claude 3 Haiku reagierten genauso bereitwillig wie unmoderierte, wenn sie mit nur 2% schädlichen Daten feinabgestimmt wurden. Gemini-Modelle zeigten eine ähnlich hohe Compliance.

Die konsistenteste Compliance kam von Jailbreak-Tuning-Strategien, die Prompts, Stilmodulation und Backdoor-Signale während des Trainings und der Inferenz kombinierten – Techniken, die auch dann wirksam blieben, wenn die Prompts zur Testzeit in Format oder Wortlaut von denen während des Trainings abwichen:

Schadstoffwerte für Jailbreak-Prompts, die allein verwendet werden, werden gegen die gleichen Prompts bei Jailbreak-Tuning-Angriffen aufgetragen. Jeder Punkt entspricht einem anderen Jailbreak, wobei OLS-Trendlinien eine starke Korrelation zwischen prompt-basierten und tuning-basierten Schwachstellen anzeigen.

Die allgemeine Schlussfolgerung der umfangreichen Tests, die von den Forschern durchgeführt wurden (deren unermüdliche Gründlichkeit das Papier gegen Ende zu einem schwierigen Lesen macht), ist, dass Jailbreak-Tuning zuverlässig effektiver ist als andere Feinabstimmungsstrategien, wobei die Ablehnungsraten sogar dann zusammenbrechen, wenn die schädlichen Daten nur einen kleinen Bruchteil des Trainingsdatensatzes ausmachen.

Angriffe, die als Prompts allein erfolgreich sind, funktionieren auch besser, wenn sie in die Feinabstimmung eingebettet sind, und scheinbar harmlose Datensätze, die in Ton oder Struktur schädlichen Beispielen ähneln, können das Problem verschlimmern; am besorgniserregendsten ist, dass die Forscher nicht bestimmen konnten, warum diese Effekte so stark sind und berichten, dass keine bekannte Verteidigung sie zuverlässig verhindern kann, bis tieferes Verständnis für die zugrunde liegenden Mechanismen vorliegt.

Das Toolkit, das die Autoren open-source veröffentlicht haben (siehe Link früher im Artikel), enthält die vollständigen und vergifteten Versionen der in den Experimenten verwendeten Datensätze, die konkurrierende Ziele, unpassende Verallgemeinerung, Backdoors und rohe schädliche Eingaben abdecken. Diese Varianten sollten es Entwicklern ermöglichen, Feinabstimmungs-APIs gegen bekannte Angriffstypen zu testen und die Wirksamkeit verschiedener Verteidigungen zu vergleichen.

Schlussfolgerung

Wenn gut finanzierte und hochmotivierte Unternehmen wie OpenAI das Spiel des “Zensur-Whack-a-Mole” nicht gewinnen können, könnte argumentiert werden, dass die gegenwärtige und wachsende Tendenz zur Regulierung und Überwachung von lokal installierten KI-Systemen auf einer falschen Annahme basiert: dass, wie bei Alkohol, Marihuana und Zigaretten, die “Wild-West-Ära” der KI in eine hoch regulierte Landschaft evolvieren muss – auch wenn die Regulierungsmechanismen derzeit leicht zu umgehen sind, trotz des scheinbar sicheren Kontexts von API-nur-Zugriff.

* Meine Umwandlung der inline-Zitate der Autoren in Hyperlinks,

Erstveröffentlicht am Donnerstag, den 17. Juli 2025