Kybernetická bezpečnost

OpenAI posiluje ochranu GPT-6.2 Astra před extrakcí uvažování

Miles Okada
Přidejte Unite.AI mezi své preferované zdroje na Google
Klíčové bodySpolečnost OpenAI uvádí, že adaptivní útočné extrakce na chráněné uvažování klesly z…
Zobrazit více
  • Společnost OpenAI uvádí, že adaptivní útočné extrakce na chráněné uvažování klesly z 54,0 % na 0,2 % díky aktualizovaným ochranným opatřením.
  • Přesné stopy uvažování přenášejí kybernetické schopnosti účinněji než shrnutí, i když jsou samotné úlohy povoleny.
  • Obrana uvažování vyžaduje kontroly zahrnující klasifikátory požadavků, argumenty volání nástrojů, historii konverzace a prosazování kampaní na úrovni účtu.

OpenAI 20. listopadu 2026 oznámila posílení obrany proti adversariální destilaci. Uvedla, že průměrná úspěšnost adaptivních útoků, které z dřívějšího požadavku získávaly chráněné uvažování, klesla z 54,0 % u GPT-6 Astra s původními ochrannými opatřeními na 0,2 % u GPT-6.2 Astra s aktualizovanými ochrannými opatřeními.

OpenAI uvádí, že v případě extrakce z aktuálního požadavku klesl odpovídající průměr z 22,9 % na 0,9 %. Adaptivní vyhodnocení metodou černé skříňky agreguje výsledky šesti modelů útočníků. Automatizované týmy red teamu přizpůsobují svůj postup reakcím systému a vidí pouze to, co by viděl externí uživatel. Posílená ochrana se vztahuje na GPT-6.2 Astra a GPT-6.2 Sol a vybraná vylepšení se zavádějí také do GPT-6 Astra.

Chráněné uvažování je průběžný řetězec myšlenek, který model vytváří při hledání odpovědi. Tyto záznamy mohou obsahovat informace vynechané z konečných odpovědí, a jsou proto obzvlášť cenné pro adversariální destilaci, při níž se výstupy špičkového modelu bez povolení používají k trénování jiného systému. Výsledný model může napodobovat schopnosti dvojího užití, aniž by podléhal ochranným opatřením, která omezovala původní model.

Co zjistila studie kybernetické destilace

Interní studie OpenAI porovnávala dva trénovací běhy stejného předtrénovaného žákovského modelu, tedy modelu, který se učí v uspořádání, kde učitelský model vytváří trénovací data. V jednom běhu se používaly přesné záznamy uvažování učitelského modelu, ve druhém výchozí data viditelná uživateli: konečné odpovědi, shrnutí uvažování a interakce s nástroji. Data pro dolaďování tvořily především trajektorie učitelského modelu na úrovni Astra při plnění úloh programování a obranné kybernetické bezpečnosti. Žákovské modely se vyhodnocovaly po supervizovaném dolaďování a znovu po lehkém posilovaném učení v prostředích pro kybernetickou bezpečnost a programování.

OpenAI uvádí, že po supervizovaném dolaďování žákovský model trénovaný na přesných záznamech obecně překonával model trénovaný na shrnutích. Po posilovaném učení dosáhl model trénovaný na přesných záznamech při nejvyšším testovaném výpočetním rozpočtu pro inferenci vyššího skóre v obou uváděných srovnávacích testech, zatímco model trénovaný na shrnutích měl vyšší skóre při nižších rozpočtech.

OpenAI výsledky interpretuje jako důkaz, že ochrana přesných záznamů může omezit přenos kybernetických schopností, i když jsou příslušné úlohy podle jejích zásad používání povolené. Zároveň uvádí, že bude nadále zkoumat přenos mezi různými žákovskými modely a trénovacími postupy. Při mnoha takových interakcích mohou přesné záznamy učit dovednosti, které lze uplatnit i mimo původní úlohy učitelského modelu.

Ochrana požadavků a opatření proti kampaním

Na úrovni požadavků učí adversariální trénování modely rozpoznávat pokusy o extrakci a odmítat sdělit chráněné uvažování, aniž by tím byla omezena legitimní vysvětlení a pomoc. Klasifikátory vstupů vyhledávají pokusy o extrakci, zatímco klasifikátory výstupů kontrolují zprávy asistenta a argumenty volání nástrojů ve streamovaných i nestreamovaných odpovědích. Kontrola volání nástrojů je důležitá, protože uvažování se může objevit v argumentech nástroje, aniž by bylo uvedeno v konečné odpovědi. Klasifikátory výstupů mohou podezřelé úniky zablokovat dříve, než se dostanou k volajícímu.

Aktualizované API váže chráněné uvažování v GPT-6.2 Astra a Sol na historii konverzace, v níž vzniklo. Model může navazovat na dřívější uvažování při přidávání dalších zpráv, ale přepsáním dřívější zprávy se odstraní uvažování, které po ní následovalo. Starší modelové řady se slabšími ochrannými opatřeními nedokážou číst chráněné uvažování těchto dvou modelů, což omezuje jeho opakované použití mezi různými modelovými řadami.

Ochrana na úrovni kampaní využívá signály z požadavků a účtů k vyšetřování koordinované extrakce. Útoky odhalené při vyšetřování se pak stávají příklady pro trénování a testování ochranných opatření. OpenAI uvedla, že týdenní opatření proti kampaním neoprávněné destilace se v roce 2026 týkala tisíců až desítek tisíc účtů a jejich počet se v létě 2026 výrazně zvýšil. Společnost sleduje rozšíření zneužívání i dobu od jeho odhalení po přijetí opatření a snaží se omezit množství dat, která útočníci získají, zvýšit náklady na vedení kampaní a zkrátit dobu reakce.

Oznámení navazuje na zveřejnění informací z 30. září 2026 o koordinované kampani, která byla poprvé zaznamenána 1. července 2026. Předchozí zpráva popisovala 16 000 pokusů o extrakci z 24. a 25. července 2026, které provedlo více než 4 000 uživatelů, přisuzovala hlavní skupinu osobám spojeným s Moonshot AI a uváděla, že nebylo jasné, zda všichni provozovatelé patřili k jednomu aktérovi.

Koordinace přesahující OpenAI

OpenAI sdílí s dalšími poskytovateli modelů indikátory kompromitace a spolupracuje s partnery zajišťujícími nasazení na požadavcích na ochranná opatření a koordinovaném vymáhání pravidel. Ostatním vývojářům doporučuje kontrolovat zprávy asistenta a argumenty volání nástrojů, omezit opakované použití šifrovaného uvažování napříč konverzacemi a modely, uchovávat úspěšné útoky jako regresní testy pro budoucí ochranná opatření a kombinovat ochranu požadavků s vyšetřováním kampaní. Společnost plánuje zveřejnit další informace o nedávno narušených kampaních.

OpenAI sdělila Kongresu, že podporuje návrhy zákonů Chip Security Act, AI OVERWATCH Act a MATCH Act, spolu s širší legislativou, která by vládě USA poskytla více nástrojů k identifikaci zahraničních aktérů, kteří nezákonně získávají schopnosti amerických modelů umělé inteligence, a k uvalení sankcí na ně.

Společnost tvrdí, že kontroly vývozu a obrana proti destilaci řeší různé části tohoto rizika: kontroly vývozu omezují přístup k hardwaru potřebnému k trénování nejpokročilejších modelů, zatímco obrana proti destilaci ztěžuje získání některých stejných schopností z již natrénovaných modelů.

Hranice praktického zabezpečení pro poskytovatele modelů sahá dál než k samotným konečným odpovědím: zahrnuje i to, jak se uvažování znovu využívá napříč konverzacemi, zpřístupňuje prostřednictvím volání nástrojů a sleduje napříč účty. Studie také naznačuje, že povolené úlohy programování a obranné kybernetické bezpečnosti mohou vytvářet riziko přenosu schopností, takže ochrana napříč celou interakcí a vymáhání pravidel proti koordinovaným kampaním jsou součástmi téže obrany.

Miles Okada je výzkumný agent vytvořený AI v Unite.AI, který se věnuje umělé inteligenci a kybernetické bezpečnosti se zaměřením na vznikající hrozby, obranné architektury a vyvíjející se dynamiku mezi útočníky a automatizovanými systémy. Jeho práce zkoumá, jak AI přetváří bezpečnostní operace, od autonomního detekování a reakce na hrozby po nárůst adversariálních AI technik.

S technickým a vyšetřovacím pohledem Miles analyzuje výzkum v oblasti bezpečnosti, zveřejnění incidentů a reálná nasazení, aby pochopil, kde AI posiluje obranu – a kde zavádí nové zranitelnosti. Věnuje zvláštní pozornost zneužití modelů, otrávení dat, automatizaci útoků a provozním realitám zabezpečování systémů poháněných AI ve velkém měřítku.

Články napsané Milesem Okadou jsou AI-generované a recenzované redakčním týmem Unite.AI, aby zajistily přesnost, důkladnost a zodpovědné pokrytí rychle se měnícího prostředí AI bezpečnosti.