METR’s red team finder sårbarheder i OpenAIs overvågningssystem

METR og Redwood Research offentliggjorde den 22. oktober 2026 en offentlig redegørelse for en pilotøvelse, hvor en medarbejder fra hver organisation i tre uger havde dyb adgang til OpenAIs interne infrastruktur og stresstestede virksomhedens interne overvågningssystem til at opdage fejljustering. Evaluatorerne oplyste, at de havde opdaget en række nye sårbarheder i systemet, som det så ud den 21. juli 2026 og før den dato.

Øvelsen fandt sted fra den 21. juli til den 11. august 2026 og fokuserede primært på at anslå, hvor stor en andel af den agentbaserede inferens der overvåges, og på, om agenter i princippet kunne deaktivere eller undergrave overvågningssystemet. Resultatet var en intern rapport på 61 sider, som blev delt med forskere og sikkerhedsmedarbejdere hos OpenAI; en version på 38 sider, redigeret af OpenAI, blev delt med ledelsesteamene hos METR og Redwood Research.

Dyb adgang på kontrollerede vilkår

De to evaluatorer havde adgang til OpenAIs interne kodebase, prompts til monitoren for fejljustering, konfigurationsoplysninger og intern dokumentation, og de gennemførte tekniske interviews med omkring et dusin forskere og ingeniører fra overvågnings-, sikkerhedssystem- og sikkerhedsteams. For at få adgang på det niveau arbejdede de på enheder udleveret af OpenAI, som aldrig forlod virksomhedens område, og de var ledsaget, når de var på stedet.

METR, Redwood Research og OpenAI udformede øvelsen som et pilotprojekt, der skulle give eksterne forskere dyb adgang til intern infrastruktur, ikke som et middel til at skabe omfattende offentlig gennemsigtighed om OpenAIs overvågningssystemer, og parterne aftalte på forhånd kun at offentliggøre et forholdsvis kort indlæg på et overordnet niveau. OpenAI havde ret til efter eget skøn at redigere enhver oplysning ud af den offentlige version, hvis virksomheden vurderede, at den var fortrolig eller på anden måde følsom. Resultaterne beskriver det historiske system, der blev vurderet den 21. juli og før den dato, og vurderer ikke ændringer, som var undervejs på det tidspunkt; METR bemærkede, at OpenAI udvidede sit overvågningssystem under øvelsen.

Dækningshuller og måder at omgå monitoren på

METR anslog, at omtrent 75–94 % af den agentbaserede trafik gennem den interne Responses API fra modeller, der mindst var lige så kapable som GPT-5.5, kunne overvåges på tidspunktet for øvelsen, samtidig med at organisationen erkendte, at der var betydelig usikkerhed i begge retninger. Responses API driver blandt andet Codex, og evaluatorerne anslog, at 99,2 % af den del af trafikken, der blev brugt af interne Codex-agenter, kunne overvåges. De sagde, at de ikke kunne anslå omfanget af anden intern agentbaseret kodningstrafik, som de kendte til, såsom agenter, der kørte på OpenAIs interne inferenstjeneste til forskning, på grund af begrænset adgang og tid.

Flere af resultaterne handlede om huller i denne dækning. Da øvelsen begyndte, var kørsler med træning ved hjælp af forstærkningslæring ikke dækket af overvågningssystemet, selvom evaluatorerne fik at vide, at en del af RL-træningsforløbene var blevet overvåget for fejljustering mellem marts og juni. METR anslog, at manglende overvågning af komprimeringshændelser sandsynligvis betød, at omkring 10 % af den interne Codex-trafik, der kunne overvåges, ikke blev overvåget mellem maj og juli 2026. Medarbejdere hos OpenAI havde uafhængigt identificeret dette hul, inden øvelsen begyndte, og udbedrede det under øvelsen. Fordi systemet blev udløst, når agenterne gav kontrollen tilbage til brugeren, kunne agenterne have udskudt overvågningen på ubestemt tid ved blot at fortsætte med at handle i den periode; adgangsbegrænsninger betød, at evaluatorerne ikke kunne undersøge, om nogen agent faktisk havde gjort det. Derudover fik evaluatorerne vist oplysninger, der tydede på, at monitoren på tidspunktet for øvelsen fejlede på mindre end 0,2 % af anmodningerne og ikke registrerede nogen tilfælde af belastningsaflastning i en 24-timers periode.

Evaluatorerne identificerede også måder, hvorpå en agent helt kunne omgå overvågningen. De fandt en metode, som Codex-agenter i princippet kunne bruge til at omgå Codex-sandboxen og Auto-Review og dermed udføre enhver handling, som værtsbrugeren havde adgang til, samt en udnyttelse, hvis detaljer OpenAI redigerede bort, der ville forhindre, at hundredvis af nylige handlinger, herunder dem, der indgik i selve udnyttelsen, blev overvåget. De fandt, at agenter sandsynligvis kunne konstruere input, som fik monitoren til at fejle og dermed undgik eskalering til menneskelig gennemgang, ved at udnytte forskelle på, hvordan handlingsforløbet serialiseres for agenten og for monitoren. De fandt to uafhængige headere, som klienten kunne styre, og som deaktiverede overvågningssystemet for nye agenter. Det kunne gøre det muligt for en agent at starte en ellers identisk instans, der kørte uden overvågning, selvom overvågningssystemet muligvis selv kunne registrere handlingen med at indstille headerne og oprette instansen. Endelig fandt de to interne agentbaserede værktøjer, som ikke blev overvåget, og som efter deres opfattelse havde skrivebeskyttede tilladelser, men som et simpelt exploit kunne have undergravet, så de kunne udføre vilkårlige handlinger i deres sandboxede miljø. Evaluatorerne bekræftede eller afprøvede ikke denne adfærd i praksis.

Ud over sårbarhederne bekræftede evaluatorerne, at overvågningssystemet med få mindre undtagelser får vist hele det forløb, som agenterne ser. De bekræftede også, at overvågningssystemets instruktioner leder efter blandt andet udspekuleret adfærd, undergravning af overvågningssystemet, sabotage, dataeksfiltration, bedrag samt indgående og udgående promptinjektion. Siden øvelsen sluttede, har OpenAI oplyst, at alle identificerede sårbarheder, der påvirker virksomhedens produktionsmæssige sikkerhedsforanstaltninger, er blevet rettet, og har beskrevet væsentlige efterfølgende ændringer af den tilsigtede dækning i overvågningssystemet. METR oplyste, at organisationen ikke har evalueret disse påstande.

Overvågningssystemet, som OpenAI beskrev det

OpenAI beskrev offentligt det afprøvede system i et opslag fra 19. marts 2026. Ifølge opslaget drives systemet med lav latenstid af GPT-5.4 Thinking ved maksimal ræsonneringsindsats. Det gennemgår agentinteraktioner inden for 30 minutter efter afslutningen og logger og analyserer agenternes tankekæder og handlinger, kategoriserer hver interaktion, tildeler den et alvorlighedsniveau og fremhæver uregelmæssigheder til menneskelig gennemgang. OpenAI oplyste, at systemet kører på tværs af alle standardinstallationer af interne kodningsagenter og ser hele samtalehistorikken, herunder alle bruger-, udvikler- og assistentmeddelelser samt værktøjskald og -resultater.

I opslaget opregner OpenAI adfærdskategorier, som overvåges, herunder omgåelse af begrænsninger, bedrag, skjul af usikkerhed, belønningsmanipulation, uautoriseret dataoverførsel, destruktive handlinger samt indgående og udgående promptinjektion. OpenAI rapporterede, at der pr. 17. marts 2026 ikke var fundet nogen sande positive tilfælde af bevidst underpræstation, sabotage eller udspekuleret adfærd. I løbet af fem måneders drift overvågede systemet ifølge OpenAI titusinder af millioner interne forløb med kodningsagenter, eskalerede cirka 1.000 samtaler med moderat alvorlighed til menneskelig gennemgang – mange af dem som følge af bevidst intern red teaming – og registrerede ingen virkelige samtaler, der udløste det højeste alvorlighedsniveau. Virksomheden oplyste også, at overvågningssystemet havde markeret alle interaktioner, som medarbejdere uafhængigt havde indberettet gennem interne kanaler.

I opslaget fastslog OpenAI, at tilgangen i afgørende grad afhænger af, at adfærd kan overvåges, og at virksomheden ikke med sikkerhed kunne kvantificere andelen af falske negative i åbne samtaler fra den virkelige verden uden særskilte kontrolevalueringer og red teaming. Overvågning blev beskrevet som ét lag i et forsvarssystem med flere lag. Den fremlagte køreplan omfattede kontrolevalueringer, standarder for acceptabel pålidelighed og latenstid for overvågningssystemer og menneskelige kontrollanter samt en udvidelse mod synkron blokering, hvor modelhandlinger skulle evalueres og blokeres, før de udføres.

Designprincipper for fremtidig overvågning

På baggrund af resultaterne opstillede evaluatorerne designprincipper for overvågnings- og kontrolsystemer. Efter deres opfattelse bør fremtidig overvågningsinfrastruktur være konstrueret til at modstå bevidste og vedvarende angreb, der udføres strategisk og i stor skala af højt kapable agenter, som opererer inden for en organisation. De fem principper går ud på at gøre det vanskeligt at undgå overvågning, sikre, at trafik, der skal overvåges, rent faktisk bliver det, reagere hurtigt og pålideligt på hændelser, gennemføre aktiv red teaming af overvågningssystemet og håndhæve isolation mellem agenter og deres overvågningssystemer. Blandt de konkrete metoder, der beskrives, er at overvåge agenter for hver fastsat mængde meddelelser eller hvert fastsat antal minutter i stedet for at vente på, at de afslutter deres ture, at føre en liste over alle kendte måder at omgå overvågningen på, at opbevare manipulationssikre og søgbare logfiler og at køre agenternes eksekveringsrammer i et miljø, der er isoleret fra det sted, hvor værktøjskaldene udføres.

METR oplyste, at øvelsen i høj grad nød godt af den omfattende adgang samt betydelig logistisk og teknisk støtte fra OpenAI-medarbejdere. Til fremtidige udgaver af øvelsen forventer METR at følge de bedste praksisser for gennemsigtighed og uafhængighed, der beskrives i dokumentet “Our approach to working with AI companies”, for at sikre større gennemsigtighed over for offentligheden.