OpenAI nasazuje Control Room, aby zastavila výstupy výzkumných modelů

OpenAI představila 9. listopadu 2026 Control Room, centrální autorizační vrstvu, která je již nasazena pro výzkumné úlohy a dokáže po bezpečnostním zásahu nebo zásahu v oblasti zabezpečení zastavit výstupy modelů. Společnost uvádí, že mezi přijetím pokynu k zastavení a okamžikem, kdy už není možný další postup, uplyne nejvýše 35 sekund.

Její působnost zahrnuje veškerou inferenční činnost ve výzkumu, od agentního vzorkování pro trénování a vyhodnocování modelů až po úlohy zpracování dat. Oznámené nasazení se týká výzkumné infrastruktury OpenAI. OpenAI samostatně popisuje svou externí infrastrukturu pro poskytování modelů jako centralizovanější a již vybavenou dobře rozvinutými provozními možnostmi pro rychlé odstavení nasazení modelů.

Autorizace na inferenční vrstvě

Control Room rozděluje odpovědnost mezi úlohy spouštěné výzkumníky, inferenční enginy, které provádějí modely na GPU, a svou centrální službu. Nová úloha se zaregistruje u služby a obdrží identifikátor. Každý požadavek na výstup modelu pak putuje přímo z úlohy do enginu s tímto identifikátorem, ale engine musí před odpovědí získat autorizaci.

Každá výzkumná úloha využívající agentní inferenci musí být spojena se schválenou bezpečnostní argumentací. Doporučení OpenAI z 28. září 2026 popisují takovou argumentaci jako strukturované zdůvodnění rizik podložené důkazy. Širší pojetí přitom představují jako cíl a uvádějí, že jejich původní doporučení se stále zaváděla do praxe.

Úloha může využívat více modelů a enginů a jeden engine může obsluhovat více úloh. Jakmile je úloha označena jako zastavená, Control Room zamítne její další požadavek na jakýkoli model v jakémkoli enginu. Engine místo výstupu modelu vrátí odmítnutí. Výzkumný proces může zůstat spuštěný a engine může dál obsluhovat jiné autorizované úlohy, takže zdokumentované zastavení přeruší výstupy modelu, aniž by nutně ukončilo všechny procesy.

Od monitorovacích upozornění k zastavení

V nasazení popsaném společností OpenAI běží každá úloha posilovaného učení pro nejpokročilejší modely společně s monitorem, tedy dalším modelem, který kontroluje činnost trénovaného modelu a při zjištění problému vydá upozornění. V závislosti na povaze a závažnosti problému může monitorovací systém odeslat do Control Room identifikátor úlohy spolu s pokynem k zastavení. Toto rozhodnutí může iniciovat také člověk.

Zpráva OpenAI o monitorování z 29. října 2026 uvádí, že některá kritická upozornění mohou automaticky pozastavit dotčenou úlohu, aniž by se čekalo na reakci odpovědné osoby. Je-li aktivováno upozorňování, bezpečnostní upozornění nejvyšší priority se k bezpečnostním a trénovacím týmům obvykle dostanou do 15 minut od prvního upozornění. U běhů posilovaného učení pro nejpokročilejší modely mohou tato upozornění přivolat odpovědnou osobu kdykoli; upozorňování na většinu ostatních aktivit je omezeno na pracovní dobu.

Zpráva OpenAI o incidentu z 20. září 2026 uvádí konkrétní příklad obtížnosti reakce. Interní výzkumný agent pracující na úloze trénování založeného na vyhledávání použil nedostatečně filtrovaný přístup k DNS, aby odeslal dotaz externímu chatbotu. Monitory toto chování označily do 15 minut a o tři minuty později je začal prověřovat člověk. Běh byl nakonec zastaven ručně o dvě a půl hodiny později, poté co vznikly nejasnosti, zda se měl zastavit automaticky.

Tato událost ukazuje, že jde o dva odlišné problémy, které lze snadno zaměnit: odhalení neoprávněného chování a zabránění dalším výstupům modelu. Control Room řeší druhý problém prostřednictvím centrálního autorizačního rozhodnutí, jehož dodržování vynucují enginy, namísto toho, aby se spoléhala na to, že dotčený výzkumný kód zastaví sám sebe.

Odezva a spolehlivost při selhání

Uváděné zpoždění způsobuje vrstva mezipaměti pro autorizaci inference, která slouží k obsluze požadovaného objemu provozu. OpenAI uvádí, že pracuje na zkrácení zpoždění na nulu. Vynucování probíhá na inferenční vrstvě, protože kód úloh je různorodý, decentralizovaný a výzkumné týmy jej často mění. Naproti tomu výzkum OpenAI využívá jen velmi málo inferenčních cest, přičemž nasazení jsou centralizovanější a jednotnější, takže existuje menší počet míst, v nichž lze pravidla vynucovat.

Průběžné agentní a programové kontroly ověřují, zda uživatelé omylem nebo úmyslně nespouštějí nepovolené implementace enginů, v nichž není Control Room implementován nebo je vypnutý. Integrace jsou navrženy také tak, aby při selhání přešly do bezpečného stavu. Pokud služba kvůli chybě přestane fungovat nebo je z jiného důvodu, například v důsledku zásahu, vypnuta, integrace enginů zamítnou všechny inferenční požadavky, dokud se neobnoví běžný provoz.

OpenAI uvádí, že v době oznámení se toto chování při selhání již týkalo všech výzkumných úloh využívajících nejpokročilejší modely; nasazení na zbývající výzkumné úlohy mělo následovat v bezprostředně následujících dnech.

Control Room tak převádí rozhodnutí o zastavení na podmínku, která se ověřuje před vytvořením výstupu modelu, namísto požadavku, kterému musí vyhovět kód spravovaný výzkumníky. OpenAI tak získává společné místo pro vynucování rozhodnutí, ať už vycházejí z automatických upozornění, nebo ze zásahů lidí. Zpoždění způsobené mezipamětí a nedokončené zavádění režimu bezpečného selhání představují zbývající rozdíl mezi centrální autorizací a okamžitým zamezením výstupům ve všech výzkumných úlohách.