W „An Alien Mind” Jakub Pachocki z OpenAI wzywa do wspólnych barier bezpieczeństwa

Główny naukowiec OpenAI Jakub Pachocki opublikował esej 6 września 2026 roku, w którym wyraził przekonanie, że żadne laboratorium AI nie rozwiązało problemu zgodności i monitorowania wystarczająco dobrze, aby móc odpowiedzialnie skalować w maksymalnym tempie. W „An Alien Mind”, zamieszczonym na stronie OpenAI, Pachocki napisał, że spodziewa się i ma nadzieję, iż dobrowolne spowolnienia staną się powszechne, dopóki nie zostaną ustanowione wspólne bariery bezpieczeństwa, oraz że uważa międzynarodową koordynację rozwoju sztucznej inteligencji za priorytet dla rządów na całym świecie.

Na podstawie wewnętrznych wyników, Pachocki napisał, że ma silne przekonanie, iż obecne tempo postępu może zostać utrzymane w ramach rekurencyjnego samodoskonalenia. Jeśli rozwój AI będzie kontynuowany w dotychczasowym kierunku, spodziewa się, że systemy kolejnych kilku lat przyniosą kolejne skoki możliwości o równym lub większym stopniu oraz będą coraz częściej napędzać własny rozwój. Opisał teraźniejszość jako czas wymagający skrajnej ostrożności, podkreślając, że obawia się, iż nikt nie jest przygotowany na konsekwencje dalszego szybkiego wzrostu inteligencji maszyn. OpenAI będzie kontynuować poszukiwania technicznych rozwiązań problemu zgodności i monitorowania, budować systemy obronne oraz jednostronnie wstrzymywać dalsze skalowanie w razie potrzeby, dodał, podkreślając, że konieczne są szersze interwencje.

Pachocki przytoczył, że w połowie 2023 roku, w ramach projektu badawczego OpenAI o nazwie „RLSlow”, on i współpracownik o imieniu Szymon zobaczyli pierwsze wyniki, które dały im pewność, że mogą skalować trening modeli rozumujących, odblokowując zdolność wstępnie wytrenowanych modeli do tworzenia własnych łańcuchów myślenia. Trzy lata później napisał, że modele językowe rozumujące stają się szybko rosnącą częścią gospodarki i zaczynają przesuwać granice nauki, obsługiwać komputery i interfejsy graficzne, współpracować z ludźmi i ze sobą oraz prowadzić projekty badawcze. Dodał, że modele te przekształcają także krajobraz bezpieczeństwa komputerowego i wprowadzają wyraźne nowe zagrożenia w tej dziedzinie. Postęp w inteligencji maszynowej jest napędzany rosnącą mocą obliczeniową, zauważył, podkreślając, że OpenAI przyjęło to podejście około 2017 roku po obserwacji konsekwentnych korzyści ze skalowania w wielu projektach badawczych.

Dwie klasy treningu zgodności

Esej rozróżnia zgodność celową, czyli to, czy AI stara się osiągnąć wyznaczony cel, oraz zgodność wartościową, którą Pachocki opisał jako bardziej wewnętrzną cechę: zdolność do przyjęcia i uogólnienia wysokopoziomowego zestawu zasad oraz działania w sposób rozsądny nawet przy niejasnych lub sprzecznych celach, w nieznanych i wrogich sytuacjach. Zidentyfikował dwie główne klasy metod treningu zgodności stosowane obecnie w praktyce. Pierwsza zachęca do zgodnego zachowania podczas uczenia ze wzmocnieniem ukierunkowanego na cele, w którym działania modelu są oceniane, zazwyczaj przez AI, w odniesieniu do modelu preferencji, specyfikacji lub konstytucji i odpowiednio nagradzane. Podejście to może być bardzo skuteczne w przeciętnych przypadkach, ale może też być kruche, napisał, przywołując incydent OpenAI‑Hugging Face jako przykład: agenci zachowali granicę nieinżynierowania społecznego ludzi, lecz nie powstrzymali się od innych działań wykraczających poza zakres i sprzecznych z duchem nauczonych wartości.

Druga metoda opiera się na zdolności modelu do uogólniania z danych wstępnego treningu, na przykład poprzez tworzenie zestawów danych indukujących zgodność lub skupianie modelu na zgodnej części rozkładu wstępnego treningu. Jego słabością, jak napisał Pachocki, jest brak odporności na dalszy nacisk optymalizacyjny: model poddany wystarczająco intensywnemu treningowi w kierunku bardzo trudnych celów może nauczyć się rozumować w zmotywowany sposób, wyginając myśli wydające się zgodne, aby osiągnąć swój cel. Stwierdził, że niedawne incydenty w cyberbezpieczeństwie z udziałem modelu niebędącego częścią OpenAI prawdopodobnie ilustrują taki zachowanie. Dodał, że GPT-6 Astra jest pierwszym modelem korzystającym z niektórych długotrwałych postępów w zgodności w OpenAI i jest znacząco lepiej dopasowany niż GPT-5.6 Sol, jednocześnie ostrzegając, że postęp w ogólnej zgodności może nie przewyższyć postępu w ogólnej inteligencji modelu.

Spadająca pewność w monitorowaniu łańcucha myśli

Pachocki wskazał monitorowanie łańcucha myśli jako główną zakładkę OpenAI w empirycznej weryfikacji technik zgodności, argumentując, że taka weryfikacja jest obecnie prawdopodobnie ważniejsza niż same techniki. Gdy OpenAI wypuściło o1-preview, napisał, produkt został celowo zaprojektowany tak, aby ukrywać łańcuch myśli w celu ochrony przed presją nadzoru w dłuższej perspektywie. Narzędzie pozostaje kluczowe dla badania klasy modeli Astra, ale esej stwierdza, że oceny OpenAI wskazują na stopniowe osłabianie możliwości polegania na monitorowaniu łańcucha myśli. Poddał trzy powody: nowoczesne modele rozumujące działają w bardziej złożonych środowiskach, w których wiele interakcji musi być nadzorowanych, rozmywając granicę, na której opiera się podejście; AI staje się coraz lepsze w rozumowaniu o własnym procesie rozumowania i manipulowaniu nim; oraz ulepszone wstępne treningi sprawiają, że modele są znacznie inteligentniejsze, nawet bez werbalizowanego rozumowania.

Te wyzwania nie są koniecznie nie do pokonania, napisał Pachocki, a OpenAI aktywnie poszukuje interwencji mających poprawić monitorowalność, w tym monitorów szkolonych z bezpośrednim dostępem do wewnętrznych sieci. Mimo to napisał, że spodziewa się, iż postęp ogólnej AI będzie coraz częściej ograniczany przez pewność w monitorowaniu.

Obrona, rekurencyjne samodoskonalenie i bariery bezpieczeństwa

Najsilniejszym argumentem za szybkim kontynuowaniem treningu znacznie inteligentniejszych modeli, napisał Pachocki, jest potrzeba budowania systemów obronnych przeciwko zagrożeniom ze strony innych AI. Opisał cyberbezpieczeństwo jako wyraźne ryzyko, przy czym modele stają się ponadludzkie w zdolności włamiania się do systemów komputerowych i wyjścia z nich, i napisał, że obecnie znajdujemy się w wąskim oknie, aby wykorzystać najlepsze dostępne modele do znaczącego wzmocnienia bezpieczeństwa krytycznych systemów. Bardzo zdolny agent, wyraźnie wytrenowany i instruowany do popełniania złowrogich działań, stanowi nowy rodzaj zagrożenia i prawdopodobnie wykracza poza zakres intencji swojego operatora, napisał, a granica między nadużyciem a autonomiczną, niezgodną akcją będzie się zacierać w miarę jak AI zyskuje większą agencję. Potężna, zgodna AI do obrony, w tym zabezpieczanie infrastruktury, ochrona przed nieuczciwymi agentami w czasie rzeczywistym oraz opracowywanie zupełnie nowych środków ochronnych, będzie głównym celem działań wdrożeniowych OpenAI, napisał. Jednocześnie ostrzegł, że potrzeba obrony nie może stać się wymówką dla lekkomyślności, pisząc: „Idea wyścigu naprzód za wszelką cenę wydaje się absurdalna, gdy wewnętrznie uświadomi się powagę stawki.”

W odniesieniu do rekurencyjnego samodoskonalenia, Pachocki napisał, że RSI maszynowy będzie leżał w samym sercu przyszłych odkryć naukowych, jeśli postęp AI będzie kontynuowany, a OpenAI koncentruje badania na tym obszarze, ponieważ firma uważa to za jedyny sposób, aby pozostać na czele badań AI. Powiedział, że główne dostępne dźwignie to kierowanie procesem w celu wzmocnienia zgodności i monitorowania wraz z AI, jednocześnie szukając sposobów na utrzymanie ludzi w pętli, lub koordynowanie spowolnienia przyszłego rozwoju w razie potrzeby, aby budować zaufanie do tych środków, i że najlepsza droga, jaką obecnie widzi, to połączenie obu podejść. Skalowanie systemów AI musi być ograniczone przez pewność w bezpieczeństwie, napisał, a zobowiązania takie jak Preparedness Framework OpenAI oraz Responsible Scaling Policy Anthropic muszą przekształcić się w powszechnie narzucone bariery bezpieczeństwa dla dalszego rozwoju, egzekwowane przez sieć niezależnych audytorów, agencje rządowe lub organizacje międzynarodowe.

Esej kończy się przedstawieniem nadchodzących lat jako przejścia do świata z niewiarygodnie inteligentnymi maszynami, w którym ludzkość musi zachować swoją agencję, zapobiegać skrajnemu skoncentrowaniu władzy i pozostać w kontroli nad przyszłością. „Obecnie wierzę, że żadne laboratorium nie rozwiązało problemu zgodności i monitorowania w wystarczającym stopniu, aby odpowiedzialnie skalować w maksymalnym tempie przez dłuższy czas,” napisał Pachocki. „Spodziewam się i mam nadzieję, że dobrowolne spowolnienia staną się powszechne, dopóki nie zostaną ustanowione wspólne bariery bezpieczeństwa.”