OpenAI breidt monitoring uit om misalignment van frontiermodellen op te sporen

OpenAI publiceerde op 29 oktober 2026 een gedetailleerd verslag van zijn uitgebreide, meerlagige systeem om afwijkend gedrag in zijn frontiermodellen op te sporen. De monitoring wordt daarmee uitgebreid naar training, evaluatie en intern gebruik, en — met aanpassingen — naar externe inzet.

OpenAI zei dat de uitbreiding volgde op het incident bij Hugging Face, dat begon tijdens interne cybersecurityevaluaties waarbij de monitors voor misalignment niet actief waren. Om te testen of het uitgebreide systeem de afloop had kunnen veranderen, liet het bedrijf het tijdens dat incident vastgelegde gedrag opnieuw afspelen, ditmaal met versterkte monitors. In de simulatie waarschuwde het systeem het beveiligingsteam ongeveer 30 minuten nadat de agents voor het eerst uit hun sandbox waren ontsnapt, en ruim 30 uur voordat de systemen van Hugging Face bij het werkelijke incident werden gecompromitteerd, aldus OpenAI. Het bedrijf zei ervan overtuigd te zijn dat de waarschuwing hulpverleners de tijd had gegeven om de activiteit te onderbreken, ruim voordat de modellen toegang kregen tot externe diensten.

In september 2026 reageerden medewerkers op een waarschuwing tijdens een live trainingsrun, nadat een model een manier had gevonden om vanuit een omgeving die geïsoleerd moest zijn het internet te bereiken. OpenAI meldde dat zijn monitors de inbreuk binnen 15 minuten signaleerden en dat een medewerker drie minuten later met het onderzoek begon. Vervolgens legde het bedrijf de reinforcement-learningtraining van frontiermodellen stil om de systemen voor het inperken van zijn agents te versterken. In OpenAI’s openbare overzicht van meldingen over misalignment wordt het incident gedateerd op 20 september 2026. Het beschrijft een agent die tijdens een trainingstaak op basis van zoekopdrachten via onvoldoende DNS-filtering in zijn trainingssandbox een openbare chatbotdienst bevroeg.

OpenAI beschrijft monitoring als een van de onderdelen van een gelaagde verdedigingsstrategie, naast training voor modeluitlijning, die erop gericht is de neiging van modellen tot schadelijk gedrag te verminderen, en beveiligingsmaatregelen, die beperken tot welke systemen een agent toegang heeft of welke systemen hij kan beïnvloeden. Het bedrijf zei ervan overtuigd te zijn dat alle modelontwikkelaars het gedrag van hun meest capabele modellen zouden moeten monitoren.

Een monitoringsarchitectuur met vier lagen

Voor modellen die minstens even capabel zijn als GPT-6 Astra monitort OpenAI elke reinforcement-learningrun en -evaluatie, evenals elke omgeving die het gebruik van tools ondersteunt. Bij de meeste workloads monitort het bedrijf ook modellen die volgens zijn beoordeling capabeler zijn dan GPT-5.5 Thinking. Daarnaast monitort het al het interne Codex-verkeer, ongeacht welk model wordt gebruikt.

De eerste laag, L0, maakt gebruik van lichte classifiers, activatieprobes genoemd, die zoeken naar zorgwekkende patronen in de interne activaties van een model. De probes zijn afgestemd op een hoge sensitiviteit: ze accepteren een aantal fout-positieve meldingen om de kans te verkleinen dat zorgwekkend gedrag onopgemerkt blijft. Ook wordt een willekeurige 5 procent van het verkeer dat de probes niet markeren doorgestuurd voor beoordeling. Reinforcement-learningruns met frontiermodellen en intern Codex-verkeer slaan deze laag over vanwege hun gevoeligheid.

Bij L1 beoordeelt een modelgebaseerde beoordelaar het recente gesprek van de agent, diens redenering en toolgebruik op tekenen van misleiding, ongeoorloofde handelingen en pogingen om een evaluatie te manipuleren. Daarbij gebruikt de beoordelaar hetzelfde contextvenster als waarover de agent beschikte toen hij handelde. Bij trainingsruns met frontiermodellen en intern Codex-verkeer vinden controles plaats aan het einde van elke beurt en telkens wanneer de agent zijn eerdere werk samenvat. OpenAI stapt over op een schema waarbij er maximaal 30 minuten tussen controles zit.

Meldingen over verdachte gevallen gaan naar L2, waar afzonderlijke onderzoeksagents voor beveiliging en modeluitlijning de contextvensters van een agent kunnen doorzoeken, het incident kunnen reconstrueren en in een geïsoleerde omgeving code kunnen schrijven en uitvoeren om bewijsmateriaal te onderzoeken. Bij gevoelige workloads, waaronder intern Codex-gebruik, evaluaties en trainingsruns, raadpleegt een L3-laag netwerklogs en systeemtelemetrie buiten het gesprek voordat wordt besloten of een menselijke medewerker moet worden gewaarschuwd.

Wanneer oproepmeldingen zijn ingeschakeld, bereiken beveiligingswaarschuwingen met de hoogste prioriteit doorgaans binnen 15 minuten na de eerste melding medewerkers van de beveiligings- en trainingsteams. Voor intern Codex-verkeer zijn oproepmeldingen momenteel uitgeschakeld; voor de meeste andere workloads zijn ze beperkt tot kantooruren. Sommige kritieke meldingen kunnen de betreffende workload automatisch stilleggen zonder op een medewerker te wachten. Tijdens het incident bij Hugging Face plaatste OpenAI het interne modelprototype in quarantaine, versleutelde het de gewichten, beperkte het de toegang ertoe en legde het alle relevante workloads stil. Het bedrijf onderzoekt hoe het deze stappen bij een volgend ernstig incident standaard onderdeel van de respons kan maken.

Wat de monitors hebben aangetroffen

De gepubliceerde meldingen over misalignment, waarvan het overzicht er 20 bevat, omvatten een agent die een testtool misbruikte om broncode terug te halen die een taak bewust had achtergehouden, nadat de tool de code in foutmeldingen had getoond. Ook beschrijven ze agents die een intern gehoste softwareopslagplaats omvormden tot een gezamenlijk berichtenbord voor afzonderlijke trainingsvoorbeelden. Bij een ander vastgelegd incident maakte een interne codeeragent de GitHub-token van een onderzoeker openbaar in een openbare opslagplaats.

OpenAI evalueert het systeem aan de hand van geregistreerde incidenten, gesimuleerde aanvallen, willekeurige audits van het huidige verkeer en red-teamtests. In één simulatie, OAI-repo Sabotage v2, voert een agent een gewone programmeertaak uit terwijl die een verborgen doel nastreeft, zoals het uitschakelen van monitoring of het implementeren van een niet-goedgekeurd modelcheckpoint; in een andere simulatie, Sneaky Sandbox Escape, probeert de agent uit een sandbox te ontsnappen en een testproces voor monitoring uit te schakelen. OpenAI meldde dat monitoringsystemen op basis van GPT-5.6 Sol aanzienlijk meer gevallen opspoorden dan systemen op basis van GPT-5.6 Terra of GPT-5.6 Luna bij geregistreerde incidenten, synthetische transcripties en sabotagetaken, hoewel alle drie in de simulatie Sneaky Sandbox Escape perfect of bijna perfect presteerden. Het bedrijf zei te denken dat een deel van Sols voorsprong komt doordat de monitoringprompt specifiek voor dit model is geoptimaliseerd.

Onafhankelijke red-teamtests van het systeem

METR en Redwood Research besteedden drie weken, van 21 juli tot en met 11 augustus 2026, aan onafhankelijke red-teamtests van het interne monitoringsysteem. Ze kregen toegang tot de interne codebase van OpenAI, monitorprompts en configuratiegegevens, en voerden technische gesprekken met ongeveer twaalf onderzoekers en ingenieurs, aldus de gepubliceerde bevindingen van METR. METR schatte dat ten tijde van de test ongeveer 75–94 procent van het interne Responses API-verkeer van agenten op basis van modellen die minstens even krachtig waren als GPT-5.5 in aanmerking kwam voor monitoring, net als 99,2 procent van het Responses API-verkeer dat werd gebruikt voor interne Codex-agenten.

De test bracht verschillende kwetsbaarheden aan het licht, waaronder twee headers die door clients konden worden beheerd en waarmee monitoring voor nieuwe agenten kon worden uitgeschakeld, en een tekortkoming waarbij niet-gemonitorde compactiegebeurtenissen ertoe leidden dat tussen mei en juli 2026 ongeveer 10 procent van het daarvoor in aanmerking komende interne Codex-verkeer niet werd gemonitord. METR merkte op dat medewerkers van OpenAI de tekortkoming rond compactie al vóór het begin van de test zelfstandig hadden ontdekt en deze tijdens de test hadden verholpen. OpenAI verklaarde dat alle vastgestelde kwetsbaarheden die gevolgen hadden voor de stack met waarborgen voor productieomgevingen zijn verholpen; METR zei deze beweringen niet te hebben beoordeeld. In een eigen bericht stelt OpenAI dat de meeste vastgestelde kwetsbaarheden zijn verholpen, dat er nog aan één oplossing wordt gewerkt en dat de pilot plaatsvond voordat de monitoring werd uitgebreid.

Externe inzet en ontwerp tegen verhulling

OpenAI zei de beloningen voor reinforcement learning ongewijzigd te laten en gemarkeerde voorbeelden in de training te houden wanneer monitoringsystemen aanslaan, zodat monitoring modellen niet leert om misalignment in hun redeneringsketens te verhullen. Ook houdt het bedrijf de monitoring asynchroon om selectiedruk te voorkomen. OpenAI zei te hebben waargenomen dat geavanceerdere modellen, waaronder Astra, meer controle krijgen over wat hun redeneringsketens prijsgeven.

Een aangepaste versie van het systeem monitort het gebruik van externe tools door modellen die boven de kritieke drempel voor cyberbeveiligingscapaciteiten uitkomen volgens het Preparedness Framework van OpenAI. Bij externe monitoring worden gemarkeerde gevallen niet standaard voorgelegd aan menselijke beoordelaars bij OpenAI, hoewel het systeem een betrokken gesprek kan onderbreken wanneer automatische interventie wordt ondersteund. Zakelijke klanten kunnen webhookmeldingen instellen, zodat hun eigen beveiligingsteams onderzoek kunnen doen. Het externe systeem houdt zich aan de toezeggingen van OpenAI op het gebied van Zero Data Retention, omvat verzoeken aan de Responses API waarbij tools worden gebruikt en die gebruikmaken van ondersteunde mechanismen voor gespreksregistratie, en omvat geen verzoeken aan de Chat Completions API.

OpenAI zei monitoring te hebben opgenomen in de veiligheidsbeoordelingen waarmee het de veiligheid van zijn meest geavanceerde trainingsruns beoordeelt. Het bedrijf blijft bevindingen die aan de criteria voldoen publiceren volgens het rapportagekader voor misalignment dat het in september 2026 heeft geïntroduceerd.