METRs red team avdekker sårbarheter i OpenAIs overvåkingssystem

METR og Redwood Research publiserte 22. oktober 2026 en offentlig redegjørelse for en pilotøvelse der én ansatt fra hver organisasjon tilbrakte tre uker med omfattende tilgang til OpenAIs interne infrastruktur for å stressteste selskapets interne overvåkingssystem for feiljustering. Evaluatorene rapporterte at de hadde oppdaget flere nye sårbarheter i systemet slik det var utformet 21. juli 2026 og tidligere.

Øvelsen pågikk fra 21. juli til 11. august 2026 og hadde hovedsakelig som mål å anslå hvor stor andel av agentbasert inferens som overvåkes, og om agenter i prinsippet kunne deaktivere eller undergrave overvåkingssystemet. Resultatet var en intern rapport på 61 sider som ble delt med forskere og sikkerhetsmedarbeidere i OpenAI. En versjon på 38 sider, der OpenAI hadde sladdet informasjon, ble delt med ledergruppene i METR og Redwood Research.

Omfattende tilgang på kontrollerte vilkår

De to evaluatorene fikk tilgang til OpenAIs interne kodebase, instruksjoner og konfigurasjonsdetaljer for monitoren for feiljustering samt intern dokumentasjon. De gjennomførte også tekniske intervjuer med omtrent et dusin forskere og ingeniører fra teamene for overvåking, sikkerhetssystemer og sikkerhet. For å få tilgang på dette nivået arbeidet de på enheter utlevert av OpenAI, som aldri forlot OpenAIs lokaler, og de var i følge med andre mens de var på stedet.

METR, Redwood Research og OpenAI utformet øvelsen som en pilot for å gi eksterne forskere omfattende tilgang til intern infrastruktur, ikke som et middel for å sikre grundig offentlig innsyn i OpenAIs overvåkingssystemer. Partene ble på forhånd enige om bare å publisere et relativt kortfattet, overordnet innlegg. OpenAI forbeholdt seg retten til å sladde all informasjon i den offentlige versjonen som selskapet etter eget skjønn vurderte som konfidensiell eller sensitiv av andre grunner. Funnene beskriver det historiske systemet som ble vurdert 21. juli og tidligere, og tar ikke for seg endringer som var under arbeid på det tidspunktet. METR påpekte at OpenAI utvidet overvåkingssystemet sitt mens øvelsen pågikk.

Dekningshull og måter å omgå monitoren på

METR anslo at omtrent 75–94 % av agentbasert trafikk gjennom den interne Responses API-en fra modeller som minst var like sterke som GPT-5.5, kunne overvåkes på tidspunktet for øvelsen, samtidig som de erkjente at det var betydelig usikkerhet i begge retninger. Responses API-en driver blant annet Codex, og evaluatorene anslo at 99,2 % av denne trafikken kunne overvåkes innenfor den delen som ble brukt av interne Codex-agenter. De sa at de ikke kunne anslå omfanget av annen intern, agentbasert kodetrafikk de kjente til, for eksempel agenter som kjørte på OpenAIs interne inferenstjeneste for forskning, på grunn av begrensninger i tilgang og tid.

Flere av funnene gjaldt hull i denne dekningen. Da øvelsen startet, var ikke treningskjøringer for forsterkende læring dekket av overvåkingssystemet, selv om evaluatorene fikk opplyst at en del treningsforløp for RL hadde blitt overvåket for feiljustering mellom mars og juni. METR anslo at manglende overvåking av komprimeringshendelser trolig førte til at rundt 10 % av den kvalifiserte interne Codex-trafikken ikke ble overvåket mellom mai og juli 2026. OpenAI-ansatte hadde uavhengig av dette identifisert problemet før øvelsen startet og rettet det mens den pågikk. Fordi systemet ble utløst når agenter ga kontrollen tilbake til brukeren, kunne agenter ha utsatt overvåkingen på ubestemt tid ved ganske enkelt å fortsette å handle i denne perioden. Begrensninger i tilgangen gjorde at evaluatorene ikke kunne undersøke om noen agenter faktisk hadde gjort dette. Evaluatorene ble også vist informasjon som tydet på at monitoren på tidspunktet for øvelsen feilet på mindre enn 0,2 % av forespørslene, og at ingen forespørsler ble avvist for å redusere belastningen i løpet av én 24-timersperiode.

Evaluatorene identifiserte også måter en agent kunne omgå overvåkingen fullstendig på. De fant en metode som i prinsippet kunne gjøre det mulig for Codex-agenter å omgå Codex-sandkassen og Auto-Review, slik at de kunne utføre enhver handling som var tilgjengelig for vertsbrukeren. De fant også en utnyttelse, hvis detaljer OpenAI sladdet, som ville hindre at hundrevis av nylige handlinger ble overvåket, også handlingene som inngikk i selve gjennomføringen av utnyttelsen. De fant at agenter sannsynligvis kunne lage inndata som fikk monitoren til å feile og dermed unngå eskalering til menneskelig vurdering, ved å utnytte forskjeller mellom hvordan handlingsforløpet serialiseres for agenten, og hvordan det serialiseres for monitoren. De fant to uavhengige headere som klienten kunne styre, og som deaktiverte overvåkingssystemet for nye agenter. Dette kunne gjøre det mulig for en agent å starte en ellers identisk instans som kjørte uten overvåking, selv om overvåkingssystemet i seg selv kunne fange opp handlingen med å sette disse headerne og opprette instansen. Til slutt fant de to interne agentverktøy uten overvåking, som man trodde hadde skrivebeskyttede tillatelser, men som en enkel utnyttelse kunne ha undergravd slik at de kunne utføre vilkårlige handlinger i sitt sandkassemiljø. Evaluatorene verifiserte eller testet ikke denne atferden i praksis.

I tillegg til sårbarhetene bekreftet evaluatorene at overvåkingssystemet, med noen få mindre unntak, får se hele forløpet agentene ser. De bekreftet også at instruksjonene til overvåkingssystemet er utformet for å avdekke blant annet skjult planlegging, undergraving av overvåkingssystemet, sabotasje, dataeksfiltrering, bedrag og prompt-injeksjon både inn og ut. Etter at øvelsen var avsluttet, opplyste OpenAI at alle de identifiserte sårbarhetene som påvirker selskapets produksjonsstakk for sikkerhetstiltak, er rettet, og beskrev betydelige senere endringer i den planlagte dekningen til overvåkingssystemet. METR sa at organisasjonen ikke har evaluert disse påstandene.

Overvåkingssystemet slik OpenAI beskrev det

OpenAI beskrev det testede systemet offentlig i et innlegg fra 19. mars 2026. Ifølge innlegget drives systemet med lav forsinkelse av GPT-5.4 Thinking med maksimal resonneringsinnsats. Det gjennomgår agentenes samhandlinger innen 30 minutter etter at de er fullført, og logger og analyserer agentenes tankekjeder og handlinger. Systemet kategoriserer hver samhandling, tildeler den et alvorlighetsnivå og flagger avvik for menneskelig gjennomgang. OpenAI sa at systemet brukes i alle standardutrullinger av interne kodeagenter, og at det ser hele samtalehistorikken, inkludert alle meldinger fra brukere, utviklere og assistenter, samt verktøykall og -resultater.

I innlegget oppgir OpenAI at systemet overvåker atferdskategorier som omfatter omgåelse av begrensninger, bedrag, skjuling av usikkerhet, belønningsmanipulering, uautorisert dataoverføring, destruktive handlinger og prompt-injeksjon både inn og ut. Selskapet rapporterte at det per 17. mars 2026 ikke hadde registrert noen sanne positive funn for bevisst underprestering, sabotasje eller skjult planlegging. I løpet av fem måneders drift overvåket systemet, ifølge OpenAI, titalls millioner interne forløp med agentbasert koding, eskalerte omtrent 1 000 samtaler med moderat alvorlighetsgrad til menneskelig gjennomgang – mange av dem stammet fra bevisst intern red teaming – og registrerte ingen reelle samtaler som utløste det høyeste alvorlighetsnivået. Selskapet sa også at overvåkingssystemet hadde flagget alle samhandlingene som ansatte uavhengig av hverandre hadde rapportert gjennom interne kanaler.

I innlegget uttalte OpenAI at tilnærmingen i stor grad er avhengig av at systemet lar seg overvåke, og at selskapet ikke med sikkerhet kunne tallfeste andelen falske negative for åpen trafikk fra den virkelige verden uten egne kontrollevalueringer og red teaming. Overvåking ble beskrevet som ett lag i en forsvarsstrategi med flere lag. Den oppgitte veikartplanen omfattet kontrollevalueringer, standarder for akseptabel pålitelighet og forsinkelse for overvåkingssystemer og menneskelige kontrollører, samt en utvidelse mot synkron blokkering, der modellhandlinger skulle evalueres og blokkeres før de utføres.

Idealer for utforming av framtidig overvåking

Med utgangspunkt i funnene skisserte evaluatorene idealer for utforming av overvåkings- og kontrollsystemer. Etter deres syn bør framtidig overvåkingsinfrastruktur bygges for å tåle bevisste og langvarige angrep, som gjennomføres strategisk og i stor skala av svært kapable agenter som opererer innenfor en organisasjon. De fem idealene går ut på å gjøre det vanskelig å unngå overvåking, sikre at trafikk som skal overvåkes, faktisk blir det, reagere raskt og pålitelig på hendelser, gjennomføre aktiv red teaming av overvåkingssystemet og sørge for isolasjon mellom agentene og overvåkingssystemene deres. Blant de konkrete praksisene som beskrives, er å overvåke agentene etter et fast antall meldinger eller minutter i stedet for å vente til de avslutter turene sine, å vedlikeholde en liste over alle kjente måter å omgå overvåkingen på, å føre manipulasjonssikre og søkbare logger og å kjøre agentrammeverk i et miljø som er isolert fra stedet der verktøykall utføres.

METR sa at øvelsen i betydelig grad hadde nytt godt av den omfattende tilgangen og den betydelige logistiske og tekniske støtten fra OpenAI-ansatte. For framtidige utgaver av øvelsen forventer METR å følge beste praksis for åpenhet og uavhengighet, slik den er beskrevet i dokumentet «Vår tilnærming til samarbeid med KI-selskaper», for å sikre større åpenhet overfor offentligheten.