Tým METR pro red teaming odhalil zranitelnosti v monitorovacím systému OpenAI

METR a Redwood Research zveřejnily 22. října 2026 veřejnou zprávu o pilotním cvičení, během něhož měli po dobu tří týdnů po jednom zaměstnanci z každé organizace rozsáhlý přístup k interní infrastruktuře OpenAI a zátěžově testovali interní systém společnosti pro monitorování nesouladu. Hodnotitelé uvedli, že v systému v podobě, v jaké existoval 21. července 2026 a před tímto datem, objevili řadu nových zranitelností.

Cvičení probíhalo od 21. července do 11. srpna 2026 a zaměřovalo se především na odhad podílu agentického inferování, které je monitorováno, a na to, zda by agenti teoreticky mohli monitorovací systém vypnout nebo narušit. Jeho výsledkem byla interní zpráva o 61 stranách, sdílená s výzkumníky a pracovníky bezpečnostního týmu OpenAI; verzi o 38 stranách, z níž OpenAI odstranila některé informace, sdílela s vedením METR a Redwood Research.

Rozsáhlý přístup za kontrolovaných podmínek

Oba hodnotitelé měli přístup k interní kódové základně OpenAI, výzvám a konfiguračním údajům monitoru nesouladu i k interní dokumentaci. Vedli také technické rozhovory přibližně s tuctem výzkumníků a inženýrů z týmů pro monitorování, bezpečnostní systémy a zabezpečení. Aby jim bylo možné takto rozsáhlý přístup poskytnout, pracovali na zařízeních vydaných OpenAI, která neopouštěla její areál, a během přítomnosti na místě je doprovázel doprovod.

METR, Redwood Research a OpenAI navrhly cvičení jako pilotní projekt, jehož cílem bylo poskytnout externím výzkumníkům rozsáhlý přístup k interní infrastruktuře, nikoli jako prostředek k zajištění důkladné veřejné transparentnosti ohledně monitorovacích systémů OpenAI. Strany se předem dohodly, že zveřejní pouze poměrně stručný, obecný příspěvek. OpenAI si vyhradila právo odstranit z veřejné verze jakékoli informace, které podle vlastního uvážení považovala za důvěrné nebo jinak citlivé. Zjištění popisují historický systém hodnocený 21. července a před tímto datem a nezabývají se změnami, které se v té době připravovaly; METR poznamenala, že OpenAI během cvičení svůj monitorovací systém rozšiřovala.

Mezery v pokrytí a způsoby, jak monitor obejít

METR odhadla, že v době cvičení spadalo do rozsahu monitorování přibližně 75–94 % interního agentického provozu Responses API z modelů alespoň stejně schopných jako GPT-5.5, přičemž připustila značnou nejistotu v obou směrech. Responses API mimo jiné pohání Codex a v rámci té části tohoto provozu, kterou využívali interní agenti Codex, odhadli hodnotitelé, že do rozsahu monitorování spadalo 99,2 %. Uvedli, že kvůli omezením přístupu a času nedokázali odhadnout objem dalšího interního agentického provozu při programování, o němž věděli, například provozu agentů běžících na interní výzkumné inferenční službě OpenAI.

Několik zjištění se týkalo mezer v tomto pokrytí. Na začátku cvičení se monitorovací systém nevztahoval na běhy trénování pomocí posilovaného učení, ačkoli hodnotitelé byli informováni, že část průchodů RL trénováním byla kvůli nesouladu monitorována od března do června. METR odhadla, že kvůli nemonitorování událostí kompakce zůstalo od května do července 2026 pravděpodobně bez monitorování zhruba 10 % interního provozu Codex, který monitorování podléhal; na tuto mezeru pracovníci OpenAI nezávisle přišli ještě před začátkem cvičení a během něj ji odstranili. Protože se systém spouštěl ve chvíli, kdy agenti předávali řízení uživateli, mohli agenti monitorování odkládat neomezeně dlouho tím, že během dané doby jednoduše pokračovali v činnosti; omezení přístupu hodnotitelům znemožnila ověřit, zda to některý agent v praxi udělal. Hodnotitelům byly samostatně předloženy informace naznačující, že v době cvičení monitor chyboval u méně než 0,2 % požadavků a během jednoho 24hodinového období nezaznamenal žádný případ odlehčení zátěže.

Hodnotitelé také zjistili, jak by agent mohl monitorování zcela obejít. Našli způsob, jakým by agenti Codex teoreticky mohli obejít izolaci Codexu a funkci Auto-Review a provést jakoukoli akci dostupnou hostitelskému uživateli. Objevili také zneužití, jehož podrobnosti OpenAI odstranila, které by zabránilo monitorování stovek nedávných akcí, včetně akcí provedených při samotném zneužití. Zjistili, že agenti by pravděpodobně mohli vytvořit vstupy, které způsobí selhání monitoru, a tím se vyhnout eskalaci k lidské kontrole, pokud by využili rozdíly ve způsobu serializace trajektorie pro agenta a pro monitor. Našli dvě hlavičky ovladatelné klientem, z nichž každá může vypnout monitorovací systém pro nové agenty; agent by tak mohl spustit jinak totožnou instanci, která by běžela bez monitorování, přičemž samotné nastavení těchto hlaviček a vytvoření instance by však monitorovací systém mohl zachytit. A objevili dva interní agentické nástroje, které nebyly monitorovány a podle předpokladů měly pouze oprávnění ke čtení; jednoduché zneužití mohlo tato oprávnění obejít a umožnit provádět libovolné akce v jejich izolovaném prostředí, což hodnotitelé v praxi neověřovali ani netestovali.

Vedle zranitelností ověřili hodnotitelé také to, že monitorovací systém až na několik drobných výjimek dostává k dispozici celý průběh interakcí, který vidí agenti. Potvrdili rovněž, že pokyny pro monitor mají odhalovat mimo jiné plánování skrytých záměrů, podvracení monitorovacího systému, sabotáž, exfiltraci dat, klamání a příchozí i odchozí vkládání pokynů. Po skončení testu OpenAI uvedla, že všechny zjištěné zranitelnosti, které se týkají jejího produkčního systému ochranných opatření, byly opraveny, a popsala významné následné změny zamýšleného rozsahu monitorovacího systému. METR uvedla, že tato tvrzení neověřovala.

Monitorovací systém podle popisu OpenAI

OpenAI veřejně popsala testovaný systém v příspěvku z 19. března 2026. Podle tohoto příspěvku systém s nízkou latencí využívá GPT-5.4 Thinking při maximálním úsilí o uvažování, kontroluje interakce agentů do 30 minut od jejich dokončení a zaznamenává a analyzuje řetězce myšlenek i činnost agentů. Každou interakci zařazuje do kategorie, přiřazuje jí úroveň závažnosti a upozorňuje na anomálie, které mají posoudit lidé. OpenAI uvedla, že systém běží ve všech standardních interních nasazeních kódovacích agentů a zobrazuje úplnou historii konverzací, včetně všech zpráv uživatele, vývojáře a asistenta i volání nástrojů a jejich výstupů.

Příspěvek OpenAI uvádí mezi sledovanými kategoriemi chování obcházení omezení, klamání, zatajování nejistoty, manipulaci s odměnou, neoprávněný přenos dat, destruktivní činnost a příchozí i odchozí vkládání pokynů. Zároveň se v něm píše, že k 17. březnu 2026 nebyly zjištěny žádné skutečně pozitivní případy předstírání nižší výkonnosti, sabotáže ani plánování skrytých záměrů. Během pěti měsíců provozu systém podle OpenAI monitoroval desítky milionů interních trajektorií kódovacích agentů, přibližně 1 000 konverzací se střední úrovní závažnosti předal k lidskému posouzení (mnohé z nich pocházely z cíleného interního testování zabezpečení) a nezaznamenal žádnou skutečnou konverzaci, která by dosáhla nejvyšší úrovně závažnosti. Společnost také uvedla, že monitor označil každou interakci, kterou zaměstnanci nezávisle nahlásili prostřednictvím interních kanálů.

OpenAI v příspěvku uvedla, že tento přístup zásadně závisí na tom, zda lze činnost monitorovat, a že bez cílených kontrolních hodnocení a testování zabezpečení nedokáže spolehlivě vyčíslit míru falešně negativních výsledků při neomezeném provozu v reálném světě. Monitorování popsala jako jednu z vrstev víceúrovňového systému obrany. Plán dalšího rozvoje podle OpenAI zahrnoval kontrolní hodnocení, stanovení standardů přijatelné spolehlivosti a latence monitorů i lidských hodnotitelů a rozšíření o synchronní blokování, při němž by se činnost modelu vyhodnotila a zablokovala ještě před provedením.

Ideální podoba budoucích monitorovacích systémů

Na základě zjištění hodnotitelé nastínili ideální vlastnosti monitorovacích a kontrolních systémů. Podle nich by budoucí monitorovací infrastruktura měla odolat cíleným a dlouhodobým útokům, vedeným strategicky a ve velkém měřítku vysoce schopnými agenty působícími uvnitř organizace. Pět zásad požaduje, aby bylo obtížné monitorování obejít, aby se skutečně monitoroval veškerý provoz, který monitorován být má, aby systémy reagovaly na incidenty rychle a spolehlivě, aby se monitorovací systém aktivně podroboval testování zabezpečení a aby byla zajištěna izolace agentů od jejich monitorů. Mezi popsané konkrétní postupy patří monitorovat agenty po každém stanoveném počtu zpráv nebo minut namísto čekání na dokončení jejich jednotlivých tahů, vést seznam všech známých způsobů obcházení monitorování, uchovávat záznamy chráněné proti neoprávněným změnám, které lze prohledávat, a spouštět podpůrné systémy agentů v prostředí odděleném od prostředí, v němž se provádějí volání nástrojů.

METR uvedla, že testování výrazně těžilo z rozsáhlého přístupu k systému i z významné logistické a technické podpory pracovníků OpenAI. METR očekává, že se při budoucích verzích testování bude řídit osvědčenými postupy pro transparentnost a nezávislost popsanými v dokumentu „Náš přístup ke spolupráci se společnostmi vyvíjejícími umělou inteligenci“, aby zajistila důkladnější veřejnou transparentnost.