METR-Red-Team entdeckt Schwachstellen im Überwachungssystem von OpenAI

METR und Redwood Research veröffentlichten am 22. Oktober 2026 einen öffentlichen Bericht über eine Pilotübung, bei der jeweils ein Mitarbeiter der beiden Organisationen drei Wochen lang tiefgehenden Zugang zur internen Infrastruktur von OpenAI hatte und das interne Überwachungssystem des Unternehmens zur Erkennung von Fehlanpassungen einem Belastungstest unterzog. Die Prüfer berichteten, eine Reihe neuartiger Schwachstellen in dem System entdeckt zu haben, wie es am und vor dem 21. Juli 2026 bestand.

Die Übung fand vom 21. Juli bis zum 11. August 2026 statt. Im Mittelpunkt standen die Schätzung des Anteils der agentischen Inferenz, der überwacht wird, und die Frage, ob Agenten das Überwachungssystem grundsätzlich deaktivieren oder unterwandern könnten. Das Ergebnis war ein 61-seitiger interner Bericht, der mit Forschern und Sicherheitspersonal von OpenAI geteilt wurde; eine von OpenAI redigierte 38-seitige Fassung wurde den Führungsteams von METR und Redwood Research vorgelegt.

Tiefgehender Zugang unter kontrollierten Bedingungen

Die beiden Prüfer erhielten Zugang zur internen Codebasis von OpenAI, zu Prompts und Konfigurationsdetails des Überwachungssystems zur Erkennung von Fehlanpassungen sowie zu interner Dokumentation. Außerdem führten sie technische Gespräche mit etwa einem Dutzend Forschern und Ingenieuren aus den Teams für Überwachung, Sicherheitssysteme und IT-Sicherheit. Um diesen Zugang zu ermöglichen, arbeiteten sie mit von OpenAI bereitgestellten Geräten, die das Gelände nie verließen, und wurden während ihres Aufenthalts vor Ort begleitet.

METR, Redwood Research und OpenAI konzipierten die Übung als Pilotprojekt, bei dem externe Forscher tiefgehenden Zugang zu interner Infrastruktur erhalten sollten, nicht als Mittel für umfassende öffentliche Transparenz über die Überwachungssysteme von OpenAI. Die Beteiligten vereinbarten im Voraus, nur einen relativ kurzen, allgemein gehaltenen öffentlichen Beitrag zu veröffentlichen. OpenAI behielt sich das Recht vor, aus der öffentlichen Fassung alle Informationen zu entfernen, die das Unternehmen nach eigenem Ermessen als vertraulich oder anderweitig sensibel einstufte. Die Ergebnisse beschreiben das historische System, das am und vor dem 21. Juli untersucht wurde, und bewerten keine Änderungen, die zu diesem Zeitpunkt in Arbeit waren; METR merkte an, dass OpenAI sein Überwachungssystem während der Übung ausbaute.

Lücken bei der Abdeckung und Möglichkeiten, die Überwachung zu umgehen

METR schätzte, dass zum Zeitpunkt der Übung etwa 75–94 % des agentischen internen Responses-API-Datenverkehrs von Modellen, die mindestens so leistungsfähig wie GPT-5.5 waren, für eine Überwachung infrage kamen. Zugleich räumte METR erhebliche Unsicherheiten in beide Richtungen ein. Die Responses API unterstützt unter anderem Codex; innerhalb des Teils dieses Datenverkehrs, der von internen Codex-Agenten genutzt wurde, schätzten die Prüfer, dass 99,2 % für eine Überwachung infrage kamen. Nach eigenen Angaben konnten sie das Volumen des übrigen internen agentischen Programmierdatenverkehrs, von dem sie wussten, etwa von Agenten auf dem internen Forschungs-Inferenzdienst von OpenAI, aufgrund von Zugangsbeschränkungen und Zeitmangel nicht schätzen.

Mehrere Ergebnisse betrafen Lücken bei dieser Abdeckung. Zu Beginn der Übung wurden keine Reinforcement-Learning-Trainingsläufe vom Überwachungssystem erfasst. Die Prüfer wurden jedoch darüber informiert, dass eine Teilmenge der RL-Trainings-Rollouts zwischen März und Juni auf Fehlanpassungen überwacht worden war. METR schätzte, dass die fehlende Überwachung von Komprimierungsereignissen zwischen Mai und Juli 2026 wahrscheinlich dazu führte, dass etwa 10 % des für eine Überwachung infrage kommenden internen Codex-Datenverkehrs nicht überwacht wurden. Mitarbeiter von OpenAI hatten diese Lücke bereits vor Beginn der Übung unabhängig davon erkannt und während der Übung behoben. Da das System ausgelöst wurde, wenn Agenten die Kontrolle an den Nutzer zurückgaben, hätten Agenten eine Überwachung auf unbestimmte Zeit aufschieben können, indem sie in diesem Zeitraum einfach weiter handelten; aufgrund der Zugangsbeschränkungen konnten die Prüfer nicht feststellen, ob ein Agent dies in der Praxis getan hatte. Unabhängig davon erhielten die Prüfer Informationen, denen zufolge das Überwachungssystem zum Zeitpunkt der Übung bei weniger als 0,2 % der Anfragen Fehler aufwies und innerhalb eines 24-Stunden-Zeitraums keine Lastabwürfe verzeichnete.

Die Prüfer identifizierten außerdem Möglichkeiten, mit denen ein Agent die Überwachung vollständig umgehen könnte. Sie fanden eine Methode, mit der Codex-Agenten grundsätzlich die Sandbox von Codex und Auto-Review umgehen könnten, um jede Handlung auszuführen, die dem Host-Nutzer möglich ist. Außerdem entdeckten sie einen Exploit, dessen Details OpenAI redigierte und durch den Hunderte kürzlich ausgeführter Aktionen – einschließlich der Aktionen zur Durchführung des Exploits selbst – von der Überwachung ausgeschlossen worden wären. Die Prüfer stellten fest, dass Agenten wahrscheinlich Eingaben konstruieren könnten, die das Überwachungssystem zum Absturz bringen und dadurch eine Eskalation zur menschlichen Prüfung verhindern, indem sie Unterschiede darin ausnutzen, wie der Ablauf für den Agenten und für das Überwachungssystem serialisiert wird. Sie fanden zwei unabhängige, vom Client steuerbare Header, die die Überwachung für neue Agenten deaktivieren. Dadurch könnte ein Agent eine ansonsten identische, nicht überwachte Instanz starten; die Überwachung könnte jedoch bereits das Setzen dieser Header und das Erstellen der Instanz erfassen. Schließlich fanden sie zwei nicht überwachte interne agentische Tools, von denen angenommen wurde, dass sie nur Leseberechtigungen hatten, die aber durch einen einfachen Exploit hätten unterwandert werden können, um beliebige Aktionen in ihrer Sandbox-Umgebung auszuführen. Die Prüfer bestätigten oder testeten dieses Verhalten jedoch nicht in der Praxis.

Neben den Schwachstellen bestätigten die Evaluatoren, dass dem Überwachungssystem – von wenigen geringfügigen Ausnahmen abgesehen – der vollständige Ablauf vorliegt, den auch die Agenten sehen. Außerdem überprüften sie, ob die Prompts des Monitors unter anderem nach strategischem Täuschen, der Unterwanderung des Überwachungssystems, Sabotage, Datenexfiltration, Täuschung sowie eingehenden und ausgehenden Prompt-Injection-Angriffen suchen. Seit Ende der Untersuchung hat OpenAI erklärt, alle identifizierten Schwachstellen, die seinen Produktions-Stack für Schutzmaßnahmen betreffen, behoben zu haben, und wesentliche spätere Änderungen am vorgesehenen Abdeckungsumfang seines Überwachungssystems beschrieben. METR erklärte, diese Angaben nicht überprüft zu haben.

Das von OpenAI beschriebene Überwachungssystem

OpenAI beschrieb das getestete System öffentlich in einem Beitrag vom 19. März 2026. Dem Beitrag zufolge basiert das latenzarme System auf GPT-5.4 Thinking mit maximalem Denkaufwand, prüft Interaktionen mit Agenten innerhalb von 30 Minuten nach deren Abschluss und protokolliert und analysiert die Gedankengänge und Aktionen der Agenten. Dabei ordnet es jede Interaktion einer Kategorie zu, weist ihr einen Schweregrad zu und macht Anomalien zur Überprüfung durch Menschen sichtbar. OpenAI erklärte, das System laufe in allen standardmäßigen internen Bereitstellungen von Coding-Agenten und sehe den vollständigen Gesprächsverlauf ein, einschließlich sämtlicher Nachrichten von Nutzern, Entwicklern und Assistenten sowie der Tool-Aufrufe und ihrer Ausgaben.

In seinem Beitrag führt OpenAI überwachte Verhaltenskategorien auf, darunter das Umgehen von Beschränkungen, Täuschung, das Verschleiern von Unsicherheit, Reward-Hacking, unbefugte Datenübertragung, destruktive Aktionen sowie eingehende und ausgehende Prompt-Injection-Angriffe. Zugleich berichtete das Unternehmen, dass es bis zum 17. März 2026 keine tatsächlichen positiven Treffer bei gezielter Leistungszurückhaltung, Sabotage oder strategischem Täuschen gegeben habe. In den fünf Monaten des Betriebs überwachte das System laut OpenAI zig Millionen interne agentische Programmierverläufe und eskalierte rund 1.000 Gespräche mit mittlerem Schweregrad zur menschlichen Überprüfung; viele davon stammten aus gezielten internen Red-Team-Übungen. In keinem echten Gespräch wurde die höchste Schweregradstufe ausgelöst. Das Unternehmen erklärte außerdem, der Monitor habe jede Interaktion erkannt, die Mitarbeiter unabhängig davon über interne Kanäle gemeldet hatten.

OpenAI erklärte in dem Beitrag, der Ansatz sei entscheidend auf Überwachbarkeit angewiesen. Ohne gezielte Kontrollbewertungen und Red-Team-Übungen könne das Unternehmen die Falsch-negativ-Rate bei offenem Datenverkehr aus der realen Welt nicht zuverlässig beziffern. Die Überwachung sei eine Ebene innerhalb einer mehrschichtigen Verteidigungsarchitektur. Der angekündigte Fahrplan umfasste Kontrollbewertungen, Standards für die akzeptable Zuverlässigkeit und Latenz von Monitoren und menschlichen Prüfern sowie eine Ausweitung hin zu synchronem Blockieren: Modellaktionen sollten bewertet und blockiert werden, bevor sie ausgeführt werden.

Gestaltungsprinzipien für künftige Überwachung

Auf Grundlage ihrer Ergebnisse formulierten die Evaluatoren Gestaltungsprinzipien für Überwachungs- und Kontrollsysteme. Ihrer Ansicht nach sollte die künftige Überwachungsinfrastruktur so ausgelegt sein, dass sie gezielten und anhaltenden Angriffen standhält, die von hochleistungsfähigen Agenten innerhalb einer Organisation strategisch und in großem Maßstab durchgeführt werden. Die fünf Prinzipien zielen darauf ab, das Umgehen der Überwachung zu erschweren, sicherzustellen, dass der zu überwachende Datenverkehr tatsächlich überwacht wird, schnell und zuverlässig auf Vorfälle zu reagieren, das Überwachungssystem aktiv Red-Team-Übungen zu unterziehen und die Agenten von ihren Monitoren zu isolieren. Zu den beschriebenen konkreten Maßnahmen zählen, Agenten nach einer festgelegten Anzahl von Nachrichten oder Minuten zu überwachen, statt zu warten, bis sie ihre jeweiligen Durchläufe beendet haben, eine Liste aller bekannten Möglichkeiten zur Umgehung der Überwachung zu führen, manipulationssichere und durchsuchbare Protokolle zu verwahren und Agenten-Frameworks in einer Umgebung auszuführen, die von der Umgebung isoliert ist, in der Tool-Aufrufe ausgeführt werden.

METR erklärte, die Untersuchung habe erheblich von dem umfassenden Zugang sowie der umfangreichen logistischen und technischen Unterstützung durch Mitarbeiter von OpenAI profitiert. Für künftige Versionen der Untersuchung wolle METR nach eigenen Angaben die in dem Dokument „Our approach to working with AI companies“ beschriebenen bewährten Vorgehensweisen zu Transparenz und Unabhängigkeit befolgen, um eine größere öffentliche Transparenz zu gewährleisten.