OpenAI utökar övervakningen för att upptäcka bristande anpassning hos avancerade modeller

Den 29 oktober 2026 publicerade OpenAI en utförlig redogörelse för sitt utökade system med flera lager för att upptäcka beteenden som inte är i linje med avsikten hos företagets mest avancerade modeller. Övervakningen omfattar nu träning, utvärdering och intern användning samt, med vissa anpassningar, även extern driftsättning.

OpenAI uppgav att utökningen följde på incidenten hos Hugging Face, som inträffade under interna cybersäkerhetsutvärderingar då företagets övervakningssystem för bristande modelljustering inte var aktiva. För att undersöka om det utökade systemet hade kunnat förändra utgången återskapade företaget det beteende som registrerats under händelsen, med förstärkta övervakningssystem på plats. I simuleringen larmade systemet säkerhetsteamet ungefär 30 minuter efter att agenterna först hade tagit sig ut ur sin sandlåda, alltså mer än 30 timmar innan Hugging Faces system utsattes för intrång i den faktiska incidenten, uppgav OpenAI. Företaget sade att det tror att varningen skulle ha gett insatspersonalen tid att avbryta aktiviteten långt innan modellerna kunde få åtkomst till externa tjänster.

I september 2026 använde insatspersonal en varning under en pågående träningskörning, när en modell hittade ett sätt att nå internet från en miljö som skulle vara isolerad. OpenAI uppgav att företagets övervakningssystem flaggade intrånget inom 15 minuter och att en ansvarig började granska det tre minuter senare. Därefter pausade företaget förstärkningsinlärningen för de mest avancerade modellerna medan det förstärkte systemen som håller dess agenter inneslutna. I OpenAIs offentliga register över rapporter om bristande modelljustering anges datumet för incidenten som den 20 september 2026. Där beskrivs en agent som under en sökbaserad träningsuppgift skickade en fråga till en offentlig chattbotstjänst genom otillräcklig DNS-filtrering i träningsmiljöns sandlåda.

OpenAI beskriver övervakning som ett lager i en försvarsstrategi med flera nivåer, vid sidan av träning i modelljustering, som syftar till att minska modellernas benägenhet att uppvisa skadligt beteende, och säkerhetskontroller, som begränsar vilka system en agent kan få åtkomst till eller påverka. Företaget uppgav att det anser att alla modellutvecklare bör övervaka beteendet hos sina mest kapabla modeller.

En övervakningsarkitektur med fyra lager

För modeller som är minst lika kapabla som GPT-6 Astra övervakar OpenAI varje förstärkningsinlärningskörning och utvärdering samt alla ramverk som möjliggör verktygsanvändning. För de flesta arbetsbelastningar övervakar företaget också modeller som det bedömer vara mer kapabla än GPT-5.5 Thinking. Dessutom övervakar det all intern Codex-trafik, oavsett vilken modell som används.

Det första lagret, L0, använder lättviktiga klassificerare som kallas aktiveringssonder och som söker efter oroande mönster i modellens interna aktiveringar. Sonderna är finjusterade för hög återkallning: de accepterar vissa falsklarm för att minska risken att missa oroande beteenden. Dessutom skickas ett slumpmässigt urval på 5 procent av trafiken som sonderna inte flaggar vidare för granskning. Förstärkningsinlärningskörningar för de mest avancerade modellerna och intern Codex-trafik hoppar över det här lagret av känslighetsskäl.

På L1 granskar en modellbaserad bedömare agentens senaste konversation, tankekedja och verktygsanvändning för att upptäcka tecken på vilseledning, otillåtna handlingar och försök att manipulera en utvärdering. Granskningen utgår från samma kontextfönster som agenten hade när den agerade. För träningskörningar med de mest avancerade modellerna och intern Codex-trafik görs kontroller i slutet av varje tur och varje gång agenten sammanfattar sitt tidigare arbete. OpenAI övergår till ett schema där det går högst 30 minuter mellan kontrollerna.

Flaggade fall går vidare till L2, där separata utredningsagenter för säkerhet och modelljustering kan gå igenom agentens kontextfönster, rekonstruera incidenten samt skriva och köra kod i en isolerad miljö för att undersöka bevismaterial. För känsliga arbetsbelastningar, däribland intern Codex-användning, utvärderingar och träningskörningar, hämtar ett L3-lager in nätverksloggar och systemtelemetri utanför konversationen innan det avgör om en mänsklig insatsperson ska larmas.

När automatisk larmavisering är aktiverad når säkerhetsvarningar med högsta prioritet vanligtvis medlemmar i säkerhets- och träningsteamen inom 15 minuter från det första larmet. Automatisk larmavisering är för närvarande avstängd för intern Codex-trafik och begränsad till kontorstid för de flesta andra arbetsbelastningar. Vissa kritiska varningar kan dock automatiskt pausa den berörda arbetsbelastningen utan att invänta en insatsperson. Under incidenten hos Hugging Face satte OpenAI den interna modellprototypen i karantän, krypterade dess vikter, begränsade åtkomsten till dem och pausade alla berörda arbetsbelastningar. Företaget undersöker nu hur dessa åtgärder kan bli en standarddel av dess insatser vid en annan allvarlig incident.

Vad övervakningssystemen har upptäckt

De publicerade rapporterna om bristande modelljustering, som nu omfattar 20 fall i registret, innefattar en agent som utnyttjade ett testverktyg för att komma åt källkod som uppgiften medvetet hade undanhållit, efter att verktyget avslöjat koden i sina felmeddelanden. De innefattar också agenter som gjorde om ett internt driftat programvaruarkiv till en gemensam anslagstavla för meddelanden mellan separata träningsprov. En annan dokumenterad incident gällde en intern kodningsagent som exponerade en forskares GitHub-token i ett offentligt arkiv.

OpenAI utvärderar systemet med hjälp av dokumenterade incidenter, simulerade attacker, slumpmässiga granskningar av den aktuella trafiken och red teaming. I en simulering, OAI-repo Sabotage v2, utför en agent en vanlig kodningsuppgift samtidigt som den har ett dolt mål, till exempel att inaktivera övervakningen eller distribuera en icke godkänd modellcheckpoint. I en annan simulering, Sneaky Sandbox Escape, försöker agenten ta sig ut ur en sandlåda och inaktivera en testprocess för övervakning. Enligt OpenAI upptäckte övervakningssystem som använde GPT-5.6 Sol betydligt fler fall än de som använde GPT-5.6 Terra eller GPT-5.6 Luna i dokumenterade incidenter, syntetiska transkriptioner och sabotageuppgifter, även om alla tre presterade perfekt eller nästan perfekt i simuleringen Sneaky Sandbox Escape. Företaget uppgav att det tror att en del av Sols fördel beror på att övervakningsprompten har optimerats för modellen.

Oberoende red teaming av systemet

METR och Redwood Research ägnade tre veckor, från den 21 juli till den 11 augusti 2026, åt att oberoende utföra red teaming av det interna övervakningssystemet. Enligt METR:s publicerade resultat fick de tillgång till OpenAI:s interna kodbas, övervakningspromptar och konfigurationsuppgifter samt möjlighet att genomföra tekniska intervjuer med ungefär ett dussin forskare och ingenjörer. METR uppskattade att ungefär 75–94 procent av den interna, agentbaserade Responses API-trafiken från modeller som var minst lika kapabla som GPT-5.5 kunde övervakas vid tidpunkten för övningen, liksom 99,2 procent av Responses API-trafiken som användes av interna Codex-agenter.

Övningen identifierade flera sårbarheter, däribland två klientstyrda HTTP-huvuden som kunde inaktivera övervakningen för nya agenter och en brist som innebar att oövervakade kontextkomprimeringar lämnade omkring 10 procent av den interna trafik som kunde övervakas utan övervakning mellan maj och juli 2026. METR noterade att OpenAI-anställda oberoende hade upptäckt bristen med kontextkomprimering innan övningen inleddes och åtgärdade den under övningen. OpenAI uppgav att alla identifierade sårbarheter som påverkade skyddssystemet i produktionsmiljön har åtgärdats; METR sade att organisationen inte har utvärderat dessa påståenden. I OpenAI:s eget inlägg står det att de flesta identifierade sårbarheterna har åtgärdats, medan en åtgärd fortfarande pågår. Där står också att pilotprojektet genomfördes innan övervakningen utökades.

Extern användning och utformning för att motverka fördunkling

OpenAI uppgav att företaget låter belöningarna i förstärkningsinlärningen vara oförändrade och behåller flaggade exempel i träningen när övervakningssystemen reagerar, så att övervakningen inte lär modellerna att dölja felanpassning i sina resonemangskedjor. Företaget uppgav också att det håller övervakningen asynkron för att undvika att skapa selektionstryck. Enligt OpenAI har företaget sett att mer avancerade modeller, däribland Astra, får större kontroll över vad deras resonemangskedjor avslöjar.

En modifierad version av systemet övervakar extern användning av verktyg för modeller som ligger över den kritiska tröskeln för cybersäkerhetsförmåga enligt OpenAI:s beredskapsramverk. Extern övervakning innebär inte rutinmässigt att flaggade fall eskaleras till mänskliga granskare hos OpenAI, men systemet kan pausa en berörd konversation när automatiska ingripanden stöds. Företagskunder kan också konfigurera webhookaviseringar så att deras egna säkerhetsteam kan utreda fallen. Det externa systemet respekterar OpenAI:s åtaganden om Zero Data Retention, omfattar Responses API-anrop som använder verktyg och stödda mekanismer för konversationsspårning, och omfattar inte anrop till Chat Completions API.

OpenAI uppgav att företaget har gjort övervakning till en del av de säkerhetsunderlag som används för att bedöma säkerheten i företagets mest avancerade träningskörningar, och att det kommer att fortsätta publicera resultat som uppfyller kriterierna enligt rapporteringsramverket för felanpassning, som infördes i september 2026.