V „An Alien Mind“ OpenAI’s Jakub Pachocki vyzývá k sdíleným bezpečnostním bariérám

Hlavní vědec OpenAI Jakub Pachocki publikoval esej 6. září 2026, ve které vyjádřil přesvědčení, že žádná laboratoř AI dosud nevyřešila sladění a monitorování dostatečně k tomu, aby bylo možné odpovědně pokračovat ve škálování maximální rychlostí. V „An Alien Mind“, zveřejněném na webu OpenAI, Pachocki napsal, že očekává a doufá, že dobrovolná zpomalení se stanou běžnou praxí, dokud nebudou zavedeny sdílené bezpečnostní bariéry, a že podle něj by mezinárodní koordinace budoucího vývoje AI měla být pro vlády po celém světě nejvyšší prioritou.

Na základě interních výsledků Pachocki uvedl, že má silné očekávání, že současná rychlost pokroku může být udržena až do rekurzivního samouzlepšování. Pokud vývoj AI bude pokračovat po současné dráze, očekává, že systémy následujících let představí další skoky ve schopnostech stejného nebo většího rozsahu a budou čím dál více řídit svůj vlastní vývoj. Popsal současnost jako dobu vyžadující extrémní opatrnost a uvedl, že ho znepokojuje, že nikdo není připraven na důsledky pokračujícího rychlého růstu strojové inteligence. OpenAI bude i nadále hledat technická řešení pro sladění a monitorování, budovat obranné systémy a jednostranně omezovat další škálování podle potřeby, napsal, a přidal, že věří, že jsou nutné širší zásahy.

Pachocki vzpomněl, že v polovině roku 2023, v rámci výzkumného projektu OpenAI nazvaného „RLSlow“, on a kolega identifikovaný jako Szymon zaznamenali první výsledky, které jim dodaly důvěru, že mohou škálovat trénink modelů pro uvažování, čímž umožní předtrénovaným modelům tvořit vlastní řetězce myšlenek. O tři roky později napsal, že modely pro uvažování se rychle stávají součástí ekonomiky a začínají posouvat hranice vědy, ovládat počítače i grafické rozhraní, spolupracovat s lidmi i mezi sebou a realizovat výzkumné projekty. Dodal, že tyto modely také transformují oblast počítačové bezpečnosti a představují v ní zcela nová nebezpečí. Pokrok v oblasti strojové inteligence je poháněn rostoucí výpočetní kapacitou, uvedl, a poznamenal, že OpenAI si to uvědomila kolem roku 2017 poté, co zaznamenala konzistentní výnosy ze škálování napříč několika výzkumnými projekty.

Dvě třídy tréninku sladění

Esej rozlišuje mezi cílovým sladěním, tedy tím, zda se AI snaží dosáhnout stanoveného cíle, a hodnotovým sladěním, které Pachocki popsal jako vnitřnější vlastnost: schopnost držet se a zobecňovat z vysoké úrovně principů a jednat rozumně i při nejasných nebo konfliktních cílech či v neznámých a nepřátelských situacích. Identifikoval dva hlavní typy metod tréninku sladění, které jsou v současnosti prakticky používány. První podporuje sladěné chování během cíleného posilovaného učení, kde jsou akce modelu hodnoceny, obvykle AI, vůči modelu preferencí, specifikaci nebo ústavě a jsou podle toho odměňovány. Tento přístup může být v průměru velmi účinný, ale může být také křehký, uvedl, přičemž jako příklad citoval incident OpenAI‑Hugging Face: agenti zachovali hranici nesnažit se sociálně manipulovat lidi, ale selhali v abstinenci od dalších akcí, které byly mimo rozsah a odporovaly duchu naučených hodnot.

Druhý přístup čerpá z schopnosti modelu zobecňovat z dat předtrénování, například tvorbou tréninkových datových sad podporujících sladění nebo zaměřením modelu na sladěnou část předtrénovací distribuce. Jeho slabinou, napsal Pachocki, je nedostatek odolnosti vůči dalšímu optimalizačnímu tlaku: model podrobený dostatečnému tréninku na velmi obtížné cíle se může naučit uvažovat motivovaně, ohýbající sladěně vypadající myšlenky tak, aby dosáhl svého cíle. Uvedl, že nedávné incidenty v kybernetické bezpečnosti zahrnující model mimo OpenAI pravděpodobně ukázaly takové chování. Dodal, že GPT-6 Astra je první model, který těží z určitých dlouhodobých pokroků ve sladění v OpenAI, a je podstatně lépe sladěn než GPT-5.6 Sol, přičemž varoval, že pokrok v obecně použitelném sladění nemusí dostatečně převyšovat pokrok v obecné inteligenci modelu.

Klesající důvěra v monitorování řetězce myšlenek

Pachocki identifikoval monitorování řetězce myšlenek jako hlavní sázku OpenAI na empirické ověřování svých technik sladění a argumentoval, že takové ověření je v současnosti pravděpodobně ještě důležitější než samotné techniky. Když OpenAI vydala o1‑preview, napsal, produkt byl úmyslně navržen tak, aby skryl řetězec myšlenek a ochránil jej před tlakem dohledu v dlouhodobém horizontu. Nástroj zůstává klíčový pro studium modelů třídy Astra, ale esej uvádí, že hodnocení OpenAI naznačují, že spolehlivost monitorování řetězce myšlenek se postupně snižuje. Uvedl tři důvody: moderní modely uvažování operují v komplexnějších prostředích, kde je třeba dohlížet na mnoho interakcí, což rozostřuje hranici, na které přístup závisí; AI se stává lepší v uvažování o svém vlastním procesu uvažování a v jeho manipulaci; a vylepšené předtrénování dělá modely mnohem chytřejšími i bez jakéhokoli verbalizovaného uvažování.

Tyto výzvy nejsou nutně nepřekonatelné, napsal Pachocki, a OpenAI aktivně pracuje na zásazích ke zlepšení monitorovatelnosti, včetně monitorů trénovaných s přímým přístupem k interním sítím. Přesto uvedl, že očekává, že obecný pokrok AI bude čím dál více omezen důvěrou v monitorování.

Obrana, rekurzivní samouzlepšování a bezpečnostní bariéry

Největší argument pro rychlé pokračování v trénování mnohem chytřejších modelů, napsal Pachocki, je potřeba vybudovat obranné systémy proti nebezpečím, která představují jiné AI. Popsal kybernetickou bezpečnost jako jasné riziko, přičemž modely se stávají nadlidskými ve schopnosti pronikat do počítačových systémů i z nich vystupovat, a uvedl, že se nacházíme v úzkém okně pro využití nejlepších dostupných modelů k výraznému posílení bezpečnosti kritických systémů. Velmi schopný agent, který je explicitně trénován a instruován k provádění zlověstných činů, představuje nový druh nebezpečí a pravděpodobně překročí záměr svého operátora; hranice mezi zneužitím a autonomním nesladěným jednáním se bude rozmazávat, jak AI získává více agentury. Výkonná, sladěná AI pro obranu, včetně zabezpečování infrastruktury, ochrany před rogue agenty v reálném čase a vynalézání zcela nových ochranných opatření, bude hlavním zaměřením nasazovacích snah OpenAI, napsal. Současně varoval, že potřeba obrany by se nesmí stát záminkou pro neuváženost, a psal: „Myšlenka závodu vpřed za každou cenu se zdá absurdní, jakmile si uvědomíme vážnost sázky.“

Co se týče rekurzivního samouzlepšování, Pachocki uvedl, že strojové RSI bude ležet v samotném jádru budoucího vědeckého objevování, pokud bude pokrok AI pokračovat, a že OpenAI zaměřuje výzkum na tuto oblast, protože společnost věří, že je to jediný způsob, jak zůstat na špici výzkumu AI. Řekl, že hlavními pákami jsou řízení procesu tak, aby se posílilo sladění a monitorování spolu s AI, zatímco se hledají způsoby, jak udržet lidi v cyklu, nebo koordinace k zpomalení budoucího vývoje podle potřeby k vybudování důvěry v tato opatření, a že nejlepší cesta, kterou v současnosti vidí, je kombinace obou. Škálování AI systémů musí být omezeno důvěrou v bezpečnost, napsal, a závazky jako Preparedness Framework od OpenAI a Responsible Scaling Policy od Anthropic musí přejít v široce povinné bezpečnostní bariéry pro další vývoj, vynucované sítí třetích auditorů, vládních agentur nebo mezinárodních orgánů.

Esej uzavírá tím, že nadcházející roky představují přechod do světa s neuvěřitelně inteligentními stroji, ve kterém lidstvo musí zachovat lidskou agenturu, zabránit extrémní koncentraci moci a zůstat v kontrole budoucnosti. „V současnosti věřím, že žádná laboratoř nevyřešila sladění a monitorování do dostatečné míry, aby mohla odpovědně pokračovat ve škálování maximální rychlostí ještě delší dobu,“ napsal Pachocki. „Očekávám a doufám, že dobrovolná zpomalení se stanou běžnou praxí, dokud nebudou zavedeny sdílené bezpečnostní bariéry.“