METR-redteam ontdekt kwetsbaarheden in het monitoringsysteem van OpenAI

METR en Redwood Research publiceerden op 22 oktober 2026 een openbaar verslag van een proefproject waarbij één medewerker van elke organisatie drie weken lang met uitgebreide toegang tot de interne infrastructuur van OpenAI het interne monitoringsysteem van het bedrijf voor misalignment aan stresstests onderwierp. De evaluatoren meldden dat ze verschillende nieuwe kwetsbaarheden hadden ontdekt in het systeem zoals dat op en vóór 21 juli 2026 bestond.

Het onderzoek liep van 21 juli tot en met 11 augustus 2026 en was vooral gericht op het schatten van het aandeel agentische inferentie dat wordt gemonitord, en op de vraag of agents het monitoringsysteem in principe konden uitschakelen of ondermijnen. Het resultaat was een intern rapport van 61 pagina’s, dat werd gedeeld met onderzoekers en beveiligingsmedewerkers van OpenAI; een door OpenAI geredigeerde versie van 38 pagina’s werd gedeeld met de managementteams van METR en Redwood Research.

Uitgebreide toegang onder gecontroleerde voorwaarden

De twee evaluatoren kregen toegang tot de interne codebase van OpenAI, prompts en configuratiegegevens van de misalignment-monitor en interne documentatie. Ook hielden ze technische interviews met ongeveer een dozijn onderzoekers en engineers uit de teams voor monitoring, veiligheidssystemen en beveiliging. Om deze mate van toegang mogelijk te maken, werkten ze op apparaten van OpenAI die het terrein nooit verlieten en werden ze tijdens hun aanwezigheid op locatie begeleid.

METR, Redwood Research en OpenAI ontwierpen het onderzoek als een proefproject om externe onderzoekers uitgebreide toegang tot interne infrastructuur te geven, niet als middel om het publiek op robuuste wijze inzicht te geven in de monitoringsystemen van OpenAI. De partijen spraken vooraf af alleen een relatief korte, algemene openbare bijdrage te publiceren. OpenAI behield zich het recht voor om alle informatie die het naar eigen goeddunken als vertrouwelijk of anderszins gevoelig beschouwde, uit de openbare versie te redigeren. De bevindingen beschrijven het historische systeem dat op en vóór 21 juli is geëvalueerd en beoordelen geen wijzigingen die op dat moment nog werden doorgevoerd; METR merkte op dat OpenAI het monitoringsysteem tijdens het onderzoek uitbreidde.

Hiaten in de dekking en manieren om de monitor te omzeilen

METR schatte dat ten tijde van het onderzoek ongeveer 75–94% van het agentische interne verkeer via de Responses API van modellen die minstens zo krachtig waren als GPT-5.5 in aanmerking kwam voor monitoring. Daarbij erkende de organisatie dat er in beide richtingen aanzienlijke onzekerheid bestond. De Responses API ondersteunt onder meer Codex. Van het deel van dat verkeer dat werd gebruikt door interne Codex-agents schatten de evaluatoren dat 99,2% in aanmerking kwam voor monitoring. Ze zeiden dat ze het volume van ander intern agentisch codeerverkeer waarvan ze op de hoogte waren, niet konden schatten. Daaronder vielen bijvoorbeeld agents die draaiden op de interne onderzoeksinferentiedienst van OpenAI. Dat kwam door beperkingen in toegang en tijd.

Verschillende bevindingen betroffen lacunes in die dekking. Aan het begin van het onderzoek vielen trainingsruns voor reinforcement learning niet onder het monitoringsysteem, hoewel de evaluatoren te horen kregen dat tussen maart en juni een deel van de RL-trainingsrollouts was gemonitord op gebrekkige afstemming. METR schatte dat het niet monitoren van compactiegebeurtenissen er waarschijnlijk toe leidde dat tussen mei en juli 2026 ongeveer 10% van het interne Codex-verkeer dat in aanmerking kwam voor monitoring buiten beeld bleef. Medewerkers van OpenAI hadden deze lacune al vóór het begin van het onderzoek onafhankelijk vastgesteld en hebben die tijdens het onderzoek verholpen. Doordat het systeem pas werd geactiveerd wanneer agenten de controle teruggaven aan de gebruiker, hadden agenten monitoring voor onbepaalde tijd kunnen uitstellen door in die periode gewoon door te blijven werken. Door beperkingen in de toegang konden de evaluatoren niet nagaan of een agent dit in de praktijk had gedaan. Daarnaast kregen de evaluatoren informatie te zien waaruit bleek dat de monitor ten tijde van het onderzoek bij minder dan 0,2% van de verzoeken een fout gaf en gedurende één periode van 24 uur geen enkele afschakeling wegens overbelasting registreerde.

De evaluatoren ontdekten ook manieren waarop een agent monitoring volledig kon omzeilen. Ze vonden een methode waarmee Codex-agents in principe de Codex-sandbox en Auto-Review konden omzeilen om elke actie uit te voeren die beschikbaar was voor de hostgebruiker. Ook vonden ze een exploit waarvan OpenAI de details heeft geredigeerd, waarmee honderden recente acties, waaronder de acties waarmee de exploit zelf werd uitgevoerd, buiten de monitoring konden blijven. Ze ontdekten dat agents waarschijnlijk invoer konden samenstellen die de monitor liet vastlopen en zo verdere escalatie voor menselijke beoordeling kon voorkomen, door misbruik te maken van verschillen in de manier waarop het traject voor de agent en voor de monitor werd geserialiseerd. Ze vonden twee afzonderlijke headers die door de client kunnen worden ingesteld en het monitoringsysteem voor nieuwe agents uitschakelen. Daardoor zou een agent een verder identieke instantie kunnen starten die ongemonitord draait, al zou het instellen van die headers en het aanmaken van de instantie zelf door het monitoringsysteem kunnen worden gedetecteerd. Ook vonden ze twee interne agentische tools die niet werden gemonitord en vermoedelijk alleen-lezenrechten hadden. Een eenvoudige exploit had deze tools kunnen ondermijnen, zodat ze willekeurige acties in hun sandboxomgeving konden uitvoeren. De evaluatoren hebben dit gedrag niet in de praktijk bevestigd of getest.

Naast de kwetsbaarheden stelden de evaluatoren vast dat het monitoringsysteem, op enkele kleine uitzonderingen na, het volledige traject te zien krijgt dat de agenten zien. Ook bevestigden ze dat de prompts van de monitor zoeken naar onder meer strategisch gedrag, ondermijning van het monitorsysteem, sabotage, data-exfiltratie, misleiding en inkomende en uitgaande promptinjectie. Sinds het einde van de oefening heeft OpenAI verklaard dat alle vastgestelde kwetsbaarheden die van invloed zijn op de beveiligingsstack in productie zijn verholpen. Ook heeft het bedrijf ingrijpende wijzigingen beschreven in de beoogde reikwijdte van het monitoringsysteem. METR zei dat het deze claims niet heeft geëvalueerd.

Het monitoringsysteem zoals OpenAI het beschreef

OpenAI beschreef het geteste systeem publiekelijk in een bericht van 19 maart 2026. Volgens dat bericht draait het systeem met lage latentie op GPT-5.4 Thinking met maximale redeneerinspanning, beoordeelt het interacties met agenten binnen 30 minuten na afloop en registreert en analyseert het de redeneerstappen en acties van agenten. Het deelt elke interactie in een categorie in, kent er een ernstniveau aan toe en brengt afwijkingen onder de aandacht voor menselijke beoordeling. OpenAI zei dat het systeem actief is bij alle standaard interne implementaties van codeeragenten en de volledige gespreksgeschiedenis bekijkt, met inbegrip van alle berichten van gebruikers, ontwikkelaars en assistenten, evenals toolaanroepen en -uitvoer.

In het bericht van OpenAI staan categorieën van gedrag waarop wordt gemonitord, waaronder het omzeilen van beperkingen, misleiding, het verhullen van onzekerheid, reward hacking, ongeoorloofde gegevensoverdracht, destructieve acties en inkomende en uitgaande promptinjectie. Het bedrijf meldde dat er tot en met 17 maart 2026 geen echte positieven waren voor sandbagging, sabotage of strategisch gedrag. In de vijf maanden dat het systeem actief was, monitorde het volgens OpenAI tientallen miljoenen interne trajecten van agentisch coderen. Ongeveer 1.000 gesprekken met een matig ernstniveau werden opgeschaald voor menselijke beoordeling; veel daarvan waren afkomstig uit doelbewuste interne red-teaming. Geen enkel echt gesprek leidde tot het hoogste ernstniveau. Het bedrijf zei ook dat de monitor elke interactie had gemarkeerd die medewerkers onafhankelijk daarvan via interne kanalen hadden gemeld.

OpenAI verklaarde in het bericht dat deze aanpak in belangrijke mate afhankelijk is van de mogelijkheid om gedrag te monitoren. Zonder gerichte controle-evaluaties en red-teaming kon het bedrijf naar eigen zeggen de percentages fout-negatieven bij open, onvoorspelbaar verkeer uit de praktijk niet met vertrouwen kwantificeren. Het beschreef monitoring als één laag in een gelaagde verdedigingsstrategie. De aangekondigde routekaart omvatte controle-evaluaties, normen voor de aanvaardbare betrouwbaarheid en latentie van monitors en menselijke beoordelaars, en een uitbreiding naar synchrone blokkering, waarbij modelacties zouden worden beoordeeld en geblokkeerd voordat ze worden uitgevoerd.

Ontwerpprincipes voor toekomstige monitoring

Op basis van de bevindingen formuleerden de evaluatoren ontwerpprincipes voor monitoring- en controlesystemen. Volgens hen moet toekomstige monitoringinfrastructuur bestand zijn tegen doelbewuste, langdurige aanvallen die strategisch en op grote schaal worden uitgevoerd door zeer capabele agenten binnen een organisatie. De vijf principes zijn: het moeilijk maken om monitoring te ontwijken, ervoor zorgen dat verkeer dat moet worden gemonitord ook daadwerkelijk wordt gemonitord, snel en betrouwbaar reageren op incidenten, het monitoringsysteem actief aan red-teaming onderwerpen en agenten en hun monitors van elkaar isoleren. De beschreven concrete maatregelen omvatten onder meer agenten na een vast aantal berichten of minuten monitoren in plaats van te wachten tot ze hun beurt beëindigen, een lijst bijhouden van alle bekende manieren om monitoring te omzeilen, fraudebestendige en doorzoekbare logboeken bijhouden en agentframeworks uitvoeren in een omgeving die gescheiden is van de omgeving waarin toolaanroepen worden uitgevoerd.

METR zei dat de oefening aanzienlijk baat had bij de uitgebreide toegang en de aanzienlijke logistieke en technische ondersteuning van medewerkers van OpenAI. Voor toekomstige versies van de oefening verwacht METR de best practices op het gebied van transparantie en onafhankelijkheid te volgen die worden beschreven in het document ‘Onze aanpak voor samenwerking met AI-bedrijven’, om de transparantie voor het publiek verder te vergroten.