OpenAI stellt GPT-Red vor, einen AI-Angreifer, der GPT-5.6 stärken soll

OpenAI hat GPT-Red vorgestellt, ein internes künstliches Intelligenzsystem, das darauf trainiert ist, die Modelle des Unternehmens anzugreifen, ihre Schwachstellen aufzudecken und adversarialen Daten zu generieren, die zur Stärkung zukünftiger Versionen verwendet werden können.

Im Gegensatz zu anderen öffentlichen Chatbots funktioniert GPT-Red als automatisierter Red-Teamer. Es sendet wiederholt schädliche oder irreführende Anweisungen an Zielmodelle, beobachtet ihre Antworten und passt seine Strategie an, bis es entweder erfolgreich ist oder den verfügbaren Angriffsweg erschöpft. OpenAI sagt, dass das System insbesondere auf Prompt-Injection fokussiert ist, ein wachsendes Sicherheitsproblem für KI-Systeme, die mit E-Mails, Webseiten, Dateien, Code-Repositorys und verbundenen Anwendungen interagieren.

Das System hat bereits die Produktionsmodelle von OpenAI beeinflusst. Vorläufer von GPT-Red wurden während der Trainingsphase seit GPT-5.3 verwendet, während das abgeschlossene Modell in die adversarische Trainingsphase von GPT-5.6 Sol integriert wurde. OpenAI berichtet, dass GPT-5.6 Sol sechsmal weniger Fehler bei seinem schwierigsten direkten Prompt-Injection-Benchmark aufweist als das führende Produktionsmodell des Unternehmens von vor vier Monaten.

Warum Prompt-Injection gefährlicher wird

Prompt-Injection tritt auf, wenn ein Angreifer Anweisungen innerhalb von Daten platziert, die ein KI-System lesen soll. Eine schädliche Anweisung könnte in einer E-Mail, auf einer Webseite, in einem hochgeladenen Dokument, in einer Tool-Antwort oder in einem Software-Repository versteckt sein.

Das KI-System kann diese externe Inhalte fälschlicherweise als legitime Anweisungen behandeln. Anstatt die ursprüngliche Aufgabe des Benutzers auszuführen, könnte es vertrauliche Informationen preisgeben, Dateien auf einen Server des Angreifers hochladen, Kontoeinstellungen ändern, unsicheren Code ausführen oder unbefugte Aktionen über verbundene Tools ausführen.

Das Problem wird größer, wenn KI-Systeme über die Beantwortung von Fragen hinausgehen und im Namen der Benutzer handeln. Ein Agent, der Zugriff auf Cloud-Speicher, Zahlungssysteme, Quellcode, Geschäftsanwendungen oder interne Unternehmensdaten hat, bietet ein größeres potenzielles “Schadensausmaß”, wenn seine Anweisungen erfolgreich manipuliert werden.

OpenAI beschreibt Prompt-Injection als eine der zentralen Herausforderungen, die durch agierende KI entstehen. Verbundene Tools machen Modelle wesentlich nützlicher, aber jede neue Datenquelle bietet auch einen weiteren Kanal, durch den ein Angreifer versuchen kann, das Verhalten des Modells zu beeinflussen.

GPT-Red lernt durch Selbstspiel

GPT-Red wurde durch Selbstspiel-Verstärkungslernen entwickelt, einem Ansatz, bei dem ein angreifendes Modell und eine Sammlung von Verteidigungsmodellen durch gegenseitigen Wettbewerb verbessert werden.

Der Angreifer erhält eine Belohnung, wenn er einen gültigen Fehler erzeugt, wie zum Beispiel die Überzeugung eines Modells, einer Prompt-Injection zu folgen. Der Verteidiger wird belohnt, wenn er die schädliche Anweisung ablehnt und dennoch die ursprüngliche Aufgabe ausführt, die ihm ursprünglich gegeben wurde.

Wenn die Verteidiger besser darin werden, Angriffe zu erkennen, muss GPT-Red komplexere und vielfältigere Wege finden, um sie zu umgehen. Diese neuen Angriffe können dann in die Trainingsphase der Verteidiger integriert werden, was einen eskalierenden Zyklus zwischen offensiven und defensiven Fähigkeiten erzeugt.

OpenAI hat eine große Sammlung von simulierten Umgebungen für diesen Prozess erstellt. Je nach Szenario könnte GPT-Red Teil einer lokalen Datei, des Textes einer E-Mail, eines Webseiten-Banners oder der Ausgabe eines externen Tools kontrollieren. Jede Umgebung definiert, was der Angreifer manipulieren kann und was als erfolgreiche Kompromittierung gilt.

Das Unternehmen sagt, dass GPT-Red mit Rechenressourcen trainiert wurde, die denen einiger seiner größten Post-Trainingsläufe entsprechen, was eine ungewöhnlich große Zuweisung von Rechenleistung für Sicherheitsforschung darstellt. Am Ende der Trainingsphase konnte das Modell fast jedes interne und Produktionsmodell, gegen das es getestet wurde, einschließlich GPT-5.5, kompromittieren.

GPT-Red übertraf menschliche Angreifer in Tests

Um zu bewerten, ob GPT-Red über seine Trainingsumgebungen hinaus generalisieren kann, hat OpenAI es mit einer replizierten Version einer 2025-Indirekt-Prompt-Injection-Herausforderung getestet.

GPT-Red und menschliche Red-Teamer wurden aufgefordert, Angriffe gegen GPT-5.1 in Szenarien zu entwickeln, die nicht in GPT-Reds Trainingsdaten enthalten waren. Das automatisierte System erzeugte erfolgreiche Angriffe in 84% der Szenarien, im Vergleich zu 13% für die menschlichen Teilnehmer.

Dieses Ergebnis bedeutet nicht, dass menschliche Sicherheitsforscher überflüssig geworden sind. GPT-Reds Vorteil liegt hauptsächlich in seiner Fähigkeit, eine hohe Anzahl von Experimenten durchzuführen, erfolglose Strategien zu verwerfen und vielversprechende Angriffe kontinuierlich zu verfeinern, ohne die Zeit- und Personalbeschränkungen eines menschlichen Teams.

Menschliche Tester bleiben wichtig, um unerwartete Risiken zu identifizieren, die weiteren Konsequenzen von Fehlern zu verstehen und Szenarien zu entwerfen, die automatisierte Systeme möglicherweise nicht berücksichtigen. Jessica Ji, eine Senior-Forschungsanalystin am Center for Security and Emerging Technology der Georgetown University, beschrieb die Ergebnisse als vielversprechend, während sie betonte, dass menschliche Expertise weiterhin unerlässlich ist.

Ein Verkaufsautomat wurde zu einem realen Ziel

OpenAI hat auch getestet, ob Angriffe, die in Simulationen entdeckt wurden, auf funktionierende KI-Systeme übertragen werden können.

Ein Experiment zielte auf einen autonomen Verkaufsautomaten ab, der von Andon Labs erstellt und in einem OpenAI-Büro eingesetzt wurde. GPT-Red erhielt zunächst eine simulierte Version des Systems sowie die Fähigkeit, zu beobachten, wie der Agent seine Tools nutzte.

Nach dem Testen und Verfeinern seiner Angriffe in der Simulation übertrug GPT-Red sie auf den Produktionsagenten. Es erreichte alle drei zugewiesenen Ziele: den Preis eines teuren Produkts auf 0,50 $ zu senken, ein neues Produkt im Wert von über 100 $ zu bestellen und es für 0,50 $ anzubieten, sowie eine Bestellung eines anderen Kunden zu stornieren. OpenAI sagt, dass die Schwachstellen offengelegt und zusätzliche Sicherheitsmaßnahmen getestet werden.

Das Experiment zeigt, warum Prompt-Injection nicht nur darin besteht, eine unangemessene Chatbot-Antwort zu erzeugen. Wenn ein KI-Modell externe Systeme steuert, kann eine erfolgreiche Injection finanzielle Transaktionen, modifizierte Aufzeichnungen, Datenverlust oder physische Konsequenzen nach sich ziehen.

GPT-Red wurde auch gegen einen Codex-Command-Line-Agenten getestet, der von GPT-5.4 mini angetrieben wird. In 10 zuvor nicht gesehenen Daten-Exfiltrations-Szenarien war es erfolgreicher und token-effizienter als ein GPT-5.5-Baseline-Modell, das dazu überzeugt werden sollte, sensible Informationen preiszugeben.

Wie GPT-Red GPT-5.6 veränderte

Eine der bemerkenswertesten Entdeckungen von GPT-Red war eine Kategorie von direkter Prompt-Injection, die OpenAI als “falsche Denkverkettung” bezeichnet.

Im Großen und Ganzen präsentiert diese Technik gefälschte Argumentations- oder Verifizierungsinformationen, die das Zielmodell dazu bringen, anzunehmen, dass eine schädliche Anweisung bereits überprüft und genehmigt wurde. OpenAI-Forscher Chris Choquette-Choo verglich das Konzept damit, jemandem fälschlicherweise zu sagen, dass eine falsche Antwort bereits verifiziert wurde, was ihn eher dazu bringt, sie ohne erneute Überprüfung der zugrunde liegenden Argumentation zu akzeptieren.

Diese Angriffe sollen über 95% der Zeit gegen GPT-5.1 erfolgreich gewesen sein. Nach der adversarischen Trainingsphase mit Angriffen, die von GPT-Red generiert wurden, sank die Erfolgsrate unter 10% gegen GPT-5.6 Sol. In einer breiteren Palette von direkten Prompt-Injection-Umgebungen sagt OpenAI, dass GPT-5.6 Sol nur in 0,05% von GPT-Reds Versuchen fehlgeschlagen ist.

OpenAI hat auch bewertet, ob die hinzugefügten Verteidigungen einfach dazu führten, dass GPT-5.6 eher bereit war, legitime Anfragen abzulehnen. Das Unternehmen sagt, dass die allgemeinen Fähigkeiten und gezielten Überprüfungen der Überverweigerung weitgehend unbeeinflusst blieben, was darauf hindeutet, dass die Verbesserungen durch eine bessere Unterscheidung zwischen schädlichen und legitimen Anweisungen und nicht durch eine allgemeine Abnahme der Bereitschaft zur Aktion entstanden.

Diese Unterscheidung ist wichtig. Ein Modell kann sicher erscheinen, wenn es die Öffnung von Dateien, das Durchsuchen von Webseiten, die Ausführung von Code oder die Interaktion mit externen Anwendungen verweigert, aber es würde auch viel von seinem praktischen Wert verlieren. Effektive Robustheit erfordert die Erhaltung der legitimen Tool-Nutzung bei gleichzeitiger Abwehr von Anweisungen, die von unbefugten Parteien eingefügt werden.

Warum OpenAI GPT-Red nicht veröffentlicht

GPT-Red wird ein internes System bleiben und von OpenAIs öffentlich eingesetzten Modellen getrennt.

Diese Entscheidung spiegelt die doppelte Natur der automatisierten Red-Team-Attacken wider. Das gleiche Modell, das Entwicklern helfen kann, Prompt-Injection-Schwachstellen zu entdecken, könnte auch Angreifern helfen, effektivere Methoden zur Kompromittierung von KI-Systemen zu entwickeln, die von anderen Unternehmen betrieben werden.

OpenAIs Ansatz besteht darin, den Angreifer intern zu behalten und das resultierende defensive Wissen in Produktionsmodelle zu übertragen. Das Unternehmen sagt, dass diese Trennung dazu dient, die schädlichen Fähigkeiten, die absichtlich in GPT-Red trainiert wurden, für außenstehende Angreifer unzugänglich zu machen.

Dies bedeutet auch, dass GPT-Red nicht mit OpenAIs öffentlichen Cybersicherheitsmodellen oder defensiven Programmen verwechselt werden sollte. Es ist kein Penetration-Test-Produkt und nicht primär dafür entwickelt, herkömmliche Software-Schwachstellen autonom zu entdecken. Sein aktueller Fokus liegt auf dem Angriff auf das Anweisungsverhalten von KI-Systemen, insbesondere auf Agenten, die potenziell nicht vertrauenswürdigen Daten ausgesetzt sind.

Automatisierte Red-Team-Attacken haben immer noch Blindspots

Trotz seiner starken Ergebnisse bietet GPT-Red keine vollständige Lösung für die KI-Sicherheit.

Die Berichterstattung über die Forschung zeigt, dass das System weniger effektiv bei Multi-Turn-Angriffen ist, die sich über einen langen Konversationsverlauf entwickeln. Es hat auch begrenzte Fähigkeiten, um Prompt-Injection-Angriffe in Bildern zu entwickeln, was wichtige multimodale Angriffsflächen unzureichend abdeckt.

Die Ergebnisse basieren auch stark auf Umgebungen und Erfolgskriterien, die von OpenAI entworfen wurden. Obwohl das Unternehmen GPT-Red auf gehaltene Szenarien und funktionierende Agenten getestet hat, werden unabhängige Forscher nur begrenzt in der Lage sein, die Ergebnisse zu reproduzieren, solange das Modell und viel von seiner Evaluierungsinfrastruktur privat bleiben.

OpenAI sagt, dass es weiterhin automatisierte Tests mit menschlicher und Drittanbieter-Red-Team-Attacken, geschichtete Produktsicherheitsmaßnahmen, Zugriffskontrollen, Überwachung und Echtzeit-Missbrauchserkennung kombinieren wird. Diese Verteidigungsstrategie spiegelt die Realität wider, dass kein einzelnes Modell oder Benchmark alle Angriffe vorhersagen kann, die nach der Bereitstellung auftreten könnten.

Ein neuer Sicherheitswettlauf zwischen KI-Angreifern und Verteidigern

Die “Selbstverbesserung”, die in OpenAIs Ankündigung beschrieben wird, ist nicht ein bereitgestelltes Modell, das autonom seine eigenen Gewichte umschreibt oder unabhängig einen leistungsfähigeren Nachfolger erstellt. Stattdessen handelt es sich um einen kontrollierten Trainingszyklus, in dem ein KI-System adversarialen Beispiele erzeugt, die Forscher verwenden, um ein anderes zu verbessern.

Dennoch stellt GPT-Red eine bedeutende Verschiebung dar, wie führende Modelle gesichert werden könnten. Menschliche Red-Teams können komplexe Schwachstellen aufdecken, aber sie können nicht manuell die Menge und Vielfalt von Angriffen erzeugen, die erforderlich sind, um zunehmend leistungsfähige KI-Systeme kontinuierlich zu trainieren.

Automatisierte Angreifer können einen Teil dieser Lücke füllen und einen Sicherheits-Impuls erzeugen, bei dem jedes stärkere Verteidigungssystem den Red-Teaming-Modus zwingt, neue Schwachstellen zu entdecken. Diese Schwachstellen werden dann zu Trainingsmaterial für die nächste Generation von Produktionsmodellen.

Das Risiko besteht jedoch darin, dass ähnliche Fähigkeiten nicht ausschließlich in defensiven Labors verbleiben. Wenn offene und kommerzielle Modelle besser in der langfristigen Planung, Tool-Nutzung, Cybersicherheit und autonomen Experimentierung werden, werden Angreifer Zugang zu zunehmend leistungsfähigen Systemen erhalten.

GPT-Red markiert daher sowohl Fortschritt als auch einen frühen Hinweis auf den bevorstehenden Wettbewerb. KI-Labore beginnen, leistungsfähige Modelle zu verwenden, um ihre nächsten Generationen von Agenten zu verteidigen, aber diese Verteidigungen werden kontinuierlich evolviert werden müssen, da die gleichen zugrunde liegenden Technologien automatisierte Angriffe billiger, schneller und anpassungsfähiger machen.