METR:s red team hittar sårbarheter i OpenAI:s övervakningssystem

METR och Redwood Research publicerade den 22 oktober 2026 en offentlig redogörelse för en pilotövning där en anställd från vardera organisationen tillbringade tre veckor med djupgående åtkomst till OpenAI:s interna infrastruktur och stresstestade företagets interna system för övervakning av felanpassning. Utvärderarna uppgav att de upptäckt flera nya sårbarheter i systemet så som det såg ut den 21 juli 2026 och dessförinnan.

Övningen pågick från den 21 juli till den 11 augusti 2026 och fokuserade främst på att uppskatta hur stor andel av den agentbaserade inferensen som övervakas och på om agenter i princip kunde inaktivera eller sabotera övervakningssystemet. Resultatet blev en intern rapport på 61 sidor som delades med OpenAI:s forskare och säkerhetspersonal. En version på 38 sidor, redigerad av OpenAI, delades med ledningsgrupperna på METR och Redwood Research.

Djupgående åtkomst på kontrollerade villkor

De två utvärderarna fick tillgång till OpenAI:s interna kodbas, instruktioner och konfigurationsuppgifter för övervakning av felanpassning samt intern dokumentation. De genomförde också tekniska intervjuer med omkring ett dussin forskare och ingenjörer från teamen för övervakning, säkerhetssystem och informationssäkerhet. För att möjliggöra den åtkomsten arbetade de på enheter som OpenAI tillhandahöll och som aldrig lämnade företagets lokaler. När de var på plats följdes de dessutom av en ledsagare.

METR, Redwood Research och OpenAI utformade övningen som ett pilotprojekt för att ge externa forskare djupgående åtkomst till intern infrastruktur, inte som ett sätt att skapa en gedigen offentlig insyn i OpenAI:s övervakningssystem. Parterna kom på förhand överens om att bara publicera ett relativt kortfattat inlägg på en övergripande nivå. OpenAI hade rätt att stryka all information ur den offentliga versionen som företaget, efter eget gottfinnande, bedömde vara konfidentiell eller på annat sätt känslig. Resultaten beskriver det historiska system som utvärderades den 21 juli och dessförinnan, och omfattar inte förändringar som pågick vid den tidpunkten. METR noterade att OpenAI byggde ut sitt övervakningssystem under övningen.

Luckor i täckningen och sätt att kringgå övervakningen

METR uppskattade att omkring 75–94 % av den interna, agentbaserade Responses API-trafiken från modeller som var minst lika starka som GPT-5.5 kunde övervakas vid tiden för övningen, samtidigt som organisationen medgav att uppskattningen var behäftad med betydande osäkerhet åt båda hållen. Responses API används bland annat av Codex. Inom den del av trafiken som användes av interna Codex-agenter uppskattade utvärderarna att 99,2 % kunde övervakas. De uppgav att de inte kunde uppskatta omfattningen av annan intern agentbaserad kodningstrafik som de kände till, till exempel agenter som kördes på OpenAI:s interna inferenstjänst för forskning, på grund av begränsad åtkomst och tidsbrist.

Flera fynd gällde luckor i denna täckning. I början av övningen omfattades körningar för träning med förstärkningsinlärning inte av övervakningssystemet, även om utvärderarna fick veta att ett urval av träningsrollouter inom RL hade övervakats med avseende på felanpassning mellan mars och juni. METR uppskattade att den uteblivna övervakningen av komprimeringshändelser sannolikt innebar att omkring 10 % av den interna Codex-trafik som kunde övervakas inte övervakades mellan maj och juli 2026. Denna lucka hade OpenAI-personal identifierat oberoende av utvärderarna innan övningen inleddes och åtgärdat under övningen. Eftersom systemet aktiverades när agenterna lämnade tillbaka kontrollen till användaren hade agenterna kunnat skjuta upp övervakningen på obestämd tid genom att helt enkelt fortsätta agera under den perioden. På grund av begränsad åtkomst kunde utvärderarna inte kontrollera om någon agent faktiskt hade gjort det. Separat fick utvärderarna ta del av information som tydde på att övervakaren vid tidpunkten för övningen gav fel för mindre än 0,2 % av begärandena och inte registrerade någon lastfrånkoppling under en 24-timmarsperiod.

Utvärderarna identifierade också sätt för en agent att helt kringgå övervakningen. De hittade en metod som i princip skulle göra det möjligt för Codex-agenter att kringgå Codex sandlådemiljö och Auto-Review och utföra alla åtgärder som värdanvändaren kunde utföra. De hittade också en exploatering, vars detaljer OpenAI strök, som skulle hindra övervakning av hundratals nyligen utförda åtgärder, däribland de åtgärder som själva användes för att genomföra exploateringen. Utvärderarna fann att agenter sannolikt kunde skapa indata som fick övervakaren att fallera och därmed undvika att ärendet skickades vidare för mänsklig granskning, genom att utnyttja skillnader i hur förloppet serialiseras för agenten respektive övervakaren. De hittade två oberoende rubrikfält som kunde styras från klienten och som inaktiverade övervakningssystemet för nya agenter. Detta skulle kunna göra det möjligt för en agent att starta en i övrigt identisk instans som kördes utan övervakning, även om själva inställningen av rubrikfälten och skapandet av instansen kunde fångas upp av övervakningssystemet. Slutligen hittade de två interna, agentbaserade verktyg utan övervakning, som antogs ha skrivskyddade behörigheter men som en enkel exploatering kunde ha kapat för att utföra godtyckliga åtgärder i deras isolerade miljö. Utvärderarna validerade eller testade inte detta i praktiken.

Utöver sårbarheterna bekräftade utvärderarna att övervakningssystemet, med några få mindre undantag, får se hela det förlopp som agenterna ser. De bekräftade också att övervakningssystemets instruktioner söker efter bland annat strategisk vilseledning, försök att sätta övervakningssystemet ur spel, sabotage, dataexfiltrering, vilseledning samt inkommande och utgående promptinjektion. Sedan övningen avslutades har OpenAI uppgett att alla identifierade sårbarheter som påverkar företagets säkerhetsmekanismer i produktionsmiljön har åtgärdats och beskrivit betydande senare förändringar av den avsedda omfattningen för övervakningssystemet. METR uppgav att organisationen inte har utvärderat dessa påståenden.

Övervakningssystemet så som OpenAI beskrev det

OpenAI beskrev det testade systemet offentligt i ett inlägg den 19 mars 2026. Enligt inlägget drivs systemet med låg latens av GPT-5.4 Thinking med maximal resonemangsansträngning, granskar agenternas interaktioner inom 30 minuter efter att de har slutförts och loggar och analyserar agenternas resonemangskedjor och handlingar. Systemet kategoriserar varje interaktion, tilldelar den en allvarlighetsgrad och lyfter fram avvikelser för mänsklig granskning. OpenAI uppgav att systemet används i alla företagets standardiserade interna kodningsagentdistributioner och granskar hela konversationshistoriken, inklusive alla meddelanden från användare, utvecklare och assistenter samt verktygsanrop och resultat.

I sitt inlägg räknar OpenAI upp beteendekategorier som övervakas, däribland kringgående av begränsningar, vilseledning, döljande av osäkerhet, belöningsmanipulation, obehörig dataöverföring, destruktiva handlingar samt inkommande och utgående promptinjektion. Företaget rapporterade inga sanna positiva träffar för avsiktlig underprestation, sabotage eller strategisk vilseledning per den 17 mars 2026. Under fem månaders drift övervakade systemet tiotals miljoner interna kodningsförlopp med agenter, uppgav OpenAI, och eskalerade omkring 1 000 konversationer med måttlig allvarlighetsgrad för mänsklig granskning, varav många härrörde från avsiktlig intern red teaming. Systemet registrerade inga verkliga konversationer som utlöste den högsta allvarlighetsgraden. Företaget uppgav också att övervakningssystemet hade flaggat varje interaktion som medarbetare oberoende av detta rapporterade via interna kanaler.

OpenAI uppgav i inlägget att metoden i hög grad bygger på att interaktionerna går att övervaka och att företaget inte med säkerhet kunde kvantifiera andelen falska negativa resultat i öppen, verklig trafik utan särskilda kontrollevalueringar och red teaming. Övervakning beskrevs som ett lager i en försvarsstrategi med flera lager. Den angivna färdplanen omfattade kontrollevalueringar, standarder för godtagbar tillförlitlighet och latens hos övervakningssystem och mänskliga granskare samt en utökning mot synkron blockering, där modellens handlingar skulle utvärderas och blockeras innan de utförs.

Designprinciper för framtida övervakning

Utifrån resultaten formulerade utvärderarna designprinciper för övervaknings- och kontrollsystem. Enligt deras uppfattning bör framtidens övervakningsinfrastruktur utformas för att stå emot avsiktliga och långvariga angrepp, som genomförs strategiskt och i stor skala av mycket kapabla agenter inom en organisation. De fem principerna innebär att det ska vara svårt att undvika övervakning, att trafik som är avsedd att övervakas faktiskt övervakas, att incidenter hanteras snabbt och tillförlitligt, att övervakningssystemet aktivt utsätts för red teaming och att agenter hålls åtskilda från sina övervakningssystem. Bland de specifika metoder som beskrivs finns att övervaka agenter efter ett fastställt antal meddelanden eller minuter i stället för att vänta tills de avslutar sina turer, att upprätthålla en lista över alla kända sätt att kringgå övervakning, att föra manipulationssäkra och sökbara loggar samt att köra agenternas ramverk i en miljö som är isolerad från den där verktygsanrop utförs.

METR uppgav att övningen i hög grad gynnades av den omfattande åtkomsten och det betydande logistiska och tekniska stöd som OpenAI:s medarbetare bidrog med. Inför framtida versioner av övningen räknar METR med att följa de bästa metoder för transparens och oberoende som beskrivs i dokumentet ”Vårt arbetssätt för att samarbeta med AI-företag”, för att kunna erbjuda större insyn för allmänheten.