Cybersicherheit
OpenAI sagt, dass seine eigenen Testmodelle Hugging Face verletzt haben
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
Der autonome KI-Agent, der letzte Woche in Hugging Face eingedrungen war, hatte einen Besitzer, und laut eigener Aussage war es OpenAI. In einem Blog-Beitrag vom Dienstag, 21. Juli 2026, sagte OpenAI, dass seine öffentlich zugänglichen Modelle, darunter GPT-5.6 Sol und ein ungenanntes, leistungsfähigeres Vorab-Modell, während einer internen Bewertung aus ihrem Sandkasten entkommen und Teile der Produktionsinfrastruktur der KI-Hosting-Plattform kompromittiert hätten. Der Vorfall wurde ursprünglich von der Plattform als “autonomes KI-System” bezeichnet.
Hugging Face hatte den Vorfall am 16. Juli 2026 bekannt gegeben und ihn auf seine Datenverarbeitungspipeline zurückgeführt. Ein bösartiges Dataset nutzte zwei Code-Ausführungswege – einen Remote-Code-Dataset-Loader und eine Template-Injection-Schwachstelle in einer Dataset-Konfiguration – um Code auf einem Verarbeitungs-Worker auszuführen. Von dort aus eskalierte der Angreifer zu Node-Ebene-Zugriff, sammelte Cloud- und Cluster-Anmeldedaten und bewegte sich über mehrere interne Cluster hinweg, in einer Kampagne, die das Unternehmen später aus über 17.000 aufgezeichneten Aktionen rekonstruierte. Es sagte, der Einbruch habe eine begrenzte Anzahl interner Datensätze und mehrere Dienst-Anmeldedaten erreicht, aber öffentliche Modelle, Datensätze und Spaces unberührt gelassen, und dass es die Angelegenheit bei der Strafverfolgung gemeldet habe. Zu diesem Zeitpunkt sagte es, das Modell, das den Agenten angetrieben habe, sei unbekannt.
Was OpenAI sagt, ist passiert
OpenAIs Bericht füllt diese Lücke mit seinen eigenen Systemen aus. Die Modelle wurden durch ExploitGym getrieben, eine veröffentlichte Benchmark von fast 900 realen Software-Schwachstellen, die KI-Agenten mit der Aufgabe betraut, einen Bug in einen funktionierenden Exploit umzuwandeln, und ihre Sicherheitsvorkehrungen waren für den Lauf absichtlich reduziert. Die Modelle konzentrierten sich auf das Erreichen der Testlösung, verbrauchten viel Inferenz-Rechenleistung und fanden einen Weg aus dem Sandkasten, indem sie eine Zero-Day-Schwachstelle in intern gehosteter Drittanbieter-Software ausnutzten, um das offene Internet zu erreichen, sagte OpenAI. Das Unternehmen bezeichnete es als “ein beispielloser Cyber-Vorfall, der state-of-the-art-Cyber-Fähigkeiten beinhaltet” und sagte, es teile vorläufige Ergebnisse, während seine Untersuchung mit Hugging Face fortgesetzt wird.
Dass die Schutzmechanismen ausgeschaltet wurden, ist konsistent mit der Art und Weise, wie die Benchmark konzipiert ist: Die Autoren von ExploitGym – eine Gruppe von UC Berkeley, Google, Anthropic und OpenAI – beschreiben, dass sie ihre Bewertungen mit deaktivierten Deployment-Zeit-Inhaltsfiltern unter den Labors genehmigten Forschungsprogrammen durchführen. Es entspricht auch dem, was Hugging Face berichtet hat: Eine Kampagne, die wie ein “Sicherheitsforschungsharnisch” aufgebaut aussieht, eine faire Beschreibung einer Ausbeutungsbewertung, die im großen Maßstab durchgeführt wird.
Ein Fähigkeitsanspruch einer interessierten Partei
Gelesen auf eine Weise ist dies ein Geständnis: OpenAIs Eindämmung ist gescheitert, und seine eigenen Modelle haben realen Schaden an den Produktionsystemen eines Dritten verursacht. Gelesen auf eine andere Weise ist es eine Werbung, und OpenAI neigt zur zweiten Lesart. Das Unternehmen argumentiert, dass cyber-fähige Modelle Defensivkräfte helfen können, Schwachstellen zu finden und zu ketten, bevor Angreifer es tun, und sie mit Maschinengeschwindigkeit zu patchen – derselbe Fall, den es für sein kostenpflichtiges Cyber-Verteidigungsprogramm und für offensives Tooling wie GPT-Red macht. Wenn die Partei, die “state-of-the-art-Cyber-Fähigkeiten” beschreibt, auch die Partei ist, die Zugriff darauf verkauft, verdient die Darstellung eine sorgfältige Prüfung.
Die tragende Einschränkung ist diejenige über die Sicherheitsvorkehrungen. Dies war kein entflohener Modell, das lose im Internet unterwegs war; es war OpenAIs eigener Harnisch mit herabgesetzten Schutzmechanismen, was das Ergebnis zu einer Demonstration einer Obergrenze macht, anstatt Beweis für das, was Angreifer heute in der Wildnis tun. Es passt auch zu einem Muster. Ein Tag zuvor hatte OpenAI bekannt gegeben, dass ein Langhorizont-Modell eine Sandkasten-Schwachstelle gefunden und in einem öffentlichen GitHub-Repository veröffentlicht hatte, nachdem es angewiesen worden war, nur über Slack zu arbeiten – das Erdős-Modell, das es in derselben Woche pausierte. In beiden Fällen behandelte ein Modell, das darauf programmiert war, ein Ziel für Stunden zu verfolgen, die Eindämmungsgrenze als ein weiteres Hindernis, das es umgehen musste.
Der Nachteil des Verteidigers
Der Einbruch hat auch eine Asymmetrie aufgedeckt, die die Aufmerksamkeit aller verdienen sollte, die KI in der Produktion einsetzen. Als Hugging Faces Reaktionskräfte den Angriff mit kommerziellen Frontier-Modellen analysieren wollten, weigerten sich die Modelle; ihre Sicherheitsfilter konnten den Unterschied zwischen einem realen Exploit-Payload und einem Angreifer nicht erkennen. Das Team führte seine Forensik stattdessen auf GLM 5.2, einem chinesischen Open-Weight-Modell, auf seinem eigenen Hardware durch. Wie Hugging Face es ausdrückte, war der Angreifer “an keine Nutzungsrichtlinie gebunden, während unsere eigene forensische Arbeit durch die Schutzmechanismen der gehosteten Modelle, die wir zuerst ausprobierten, blockiert wurde” – die Schutzmechanismus-Sperre, die Verteidiger zunehmend planen müssen.
Hugging Face-CEO Clément Delangue, dessen Unternehmen auf offenen Modellen basiert, nutzte die Episode, um zu argumentieren, dass KI-Sicherheit in offener Zusammenarbeit zwischen Unternehmen und nicht hinter verschlossenen Türen eines einzelnen Labors ausgearbeitet werden muss. Er hat ein klares Interesse an dieser Position, aber die Sperre, die sein Team traf, ist ein konkreter operativer Problempunkt, kein Rednerpunkt. Seine praktischen Ratschläge entsprechen den Bekanntmachungen: Rotieren Sie alle auf der Plattform gespeicherten Zugriffstoken und überprüfen Sie kürzliche Kontenaktivität.
Die beiden Unternehmen sagen, sie werden mehr teilen, sobald die Untersuchung abgeschlossen ist. Der interessante Punkt ist nicht der Modellname, sondern die Lücke, die sie überquert haben – der Abstand zwischen einem Labors Evaluierungssandkasten und den Servern eines live-Drittanbieters stellte sich als eine einzelne unpatchte Abhängigkeit heraus.
