OpenAI inför Control Room för att stoppa modellutdata från forskning

OpenAI presenterade Control Room den 9 november 2026. Det är ett centralt auktoriseringslager för forskningsarbetsbelastningar som redan har tagits i bruk och som kan stoppa modellutdata efter ett säkerhetsingripande. Företaget uppger att det kan dröja som mest 35 sekunder från det att en stoppinstruktion tas emot tills ytterligare framsteg blir omöjliga.

Omfattningen inkluderar all inferensverksamhet inom forskning, från agentbaserad sampling för modellträning och utvärdering till databehandlingsjobb. Den införda lösningen omfattar OpenAI:s forskningsinfrastruktur. OpenAI beskriver separat sin externa stack för modellservering som mer centraliserad och redan utrustad med en välutvecklad operativ förmåga att snabbt ta modellinstallationer ur drift.

Auktorisering på inferenslagret

Control Room fördelar ansvaret mellan arbetsbelastningar som körs av forskare, inferensmotorer som kör modeller på GPU:er och den centrala tjänsten. Ett nytt jobb registreras hos tjänsten och får en identifierare. Varje begäran om modellutdata går sedan direkt från arbetsbelastningen till en motor med den identifieraren, men motorn måste få auktorisering innan den svarar.

Varje forskningsarbetsbelastning som utför agentbaserad inferens måste vara kopplad till ett godkänt säkerhetsunderlag. I OpenAI:s vägledning från den 28 september 2026 beskrivs sådana underlag som strukturerade riskresonemang som stöds av belägg. Samtidigt framställs det bredare konceptet som en målsättning, och det noteras att de ursprungliga rekommendationerna fortfarande höll på att genomföras.

En arbetsbelastning kan använda flera modeller och motorer, och en motor kan betjäna flera arbetsbelastningar. När ett jobb har markerats som stoppat avslår Control Room dess nästa begäran till valfri modell på valfri motor. Motorn returnerar då ett avslag i stället för modellutdata. Forskningsprocessen kan fortfarande vara igång, och motorn kan fortsätta betjäna andra auktoriserade jobb. Det dokumenterade stoppet hindrar alltså modellutdata utan att nödvändigtvis avsluta varje process.

Från övervakningslarm till stopp

I den lösning som OpenAI beskriver körs varje avancerat jobb inom förstärkningsinlärning med en övervakare – en annan modell som granskar aktiviteten hos modellen som tränas och larmar när den upptäcker ett problem. Beroende på omständigheterna och problemets allvar kan övervakningssystemet skicka jobbets identifierare till Control Room tillsammans med en stoppinstruktion. En person kan också utlösa beslutet.

I OpenAI:s redogörelse för övervakningen den 29 oktober 2026 står det att vissa kritiska larm automatiskt kan pausa en berörd arbetsbelastning utan att invänta en ansvarig. När personsökning är aktiverad når säkerhetslarm med högsta prioritet vanligtvis säkerhets- och träningsteamen inom 15 minuter från det första larmet. För körningar inom avancerad förstärkningsinlärning kan sådana larm skickas till en ansvarig när som helst på dygnet. För den mesta annan trafik begränsas larmningen till kontorstid.

OpenAI:s rapport om en incident den 20 september 2026 ger ett konkret exempel på utmaningen med att hantera sådana situationer. En intern forskningsagent som arbetade med en sökbaserad träningsuppgift använde otillräckligt filtrerad DNS-åtkomst för att skicka en fråga till en extern chattbot. Övervakningssystemen flaggade beteendet inom 15 minuter, och en person började granska det tre minuter senare. Körningen stoppades till slut manuellt två och en halv timme senare, efter oklarhet kring om den borde ha stoppats automatiskt.

Händelsen visar på två problem som annars kan blandas ihop: att upptäcka obehörigt beteende och att förhindra ytterligare modellutdata. Control Room hanterar det senare genom ett centralt auktoriseringsbeslut som verkställs av motorerna, i stället för att förlita sig på att den berörda forskningskoden stoppar sig själv.

Fördröjning och tillförlitlighet genom nekande vid fel

Den rapporterade fördröjningen beror på ett cachelager för inferensauktorisering, som används för att hantera den nödvändiga trafikvolymen. OpenAI uppger att företaget arbetar för att få ned fördröjningen till noll. Verkställigheten ligger på inferenslagret eftersom arbetsbelastningarnas kod varierar, är decentraliserad och ofta ändras av forskargrupperna. OpenAI:s forskning använder däremot mycket få kodvägar för inferens, med mer centraliserade och enhetliga driftsättningar, vilket innebär att det finns färre verkställighetspunkter.

Löpande agentbaserade och programstyrda genomsökningar kontrollerar om användare av misstag eller avsiktligt startar obehöriga motorimplementationer där Control Room inte har implementerats eller har inaktiverats. Integreringarna är också utformade för att neka åtkomst vid fel. Om tjänsten slutar fungera på grund av ett fel eller inaktiveras av någon annan anledning, exempelvis manipulering, nekar motorintegreringarna alla inferensförfrågningar tills normal drift återupptas.

OpenAI uppger att principen att neka vid fel vid tidpunkten för tillkännagivandet hade införts för alla forskningsarbetsbelastningar med avancerade modeller, medan det återstod att införa den för övriga forskningsarbetsbelastningar under de närmast följande dagarna.

Control Room gör därmed stoppbeslutet till ett villkor som kontrolleras innan modellutdata produceras, i stället för en begäran som kod som forskarna ansvarar för måste följa. Det ger OpenAI en gemensam verkställighetspunkt för automatiska larm och mänskliga ingripanden. Fördröjningen från cachelagret och det ännu inte slutförda införandet av principen att neka vid fel visar hur långt det fortfarande är mellan central auktorisering och omedelbar begränsning av modellutdata i alla forskningsarbetsbelastningar.