I “An Alien Mind” opfordrer OpenAI’s Jakub Pachocki til fælles sikkerhedsbjælker

OpenAI’s chefforsker Jakub Pachocki offentliggjorde et essay den 6. september 2026, hvori han udtrykker sin overbevisning om, at intet AI‑laboratorium har løst alignment og monitorering tilstrækkeligt til ansvarligt at fortsætte skalering med maksimal hastighed. I “An Alien Mind,” som blev lagt ud på OpenAI’s hjemmeside, skrev Pachocki, at han forventer og håber, at frivillige nedtrapninger bliver almindelige, indtil fælles sikkerhedsbjælker er etableret, og at han mener, at international koordinering af fremtidig AI‑udvikling skal blive en topprioritet for regeringer verden over.

På baggrund af interne resultater skrev Pachocki, at han har en stærk forventning om, at den nuværende fremdrift kan opretholdes ind i rekursiv selvforbedring. Hvis AI‑udviklingen fortsætter på den nuværende kurs, forventer han, at systemerne i de kommende år vil repræsentere yderligere kapacitets‑spring af lige så stor eller større magnitude og i stigende grad drive deres egen udvikling. Han beskrev nutiden som en periode, der kræver ekstrem forsigtighed, og udtrykte bekymring for, at ingen er forberedt på konsekvenserne af en fortsat hurtig stigning i maskinintelligens. OpenAI vil fortsætte med at søge tekniske løsninger på alignment og monitorering, bygge defensive systemer og ensidigt holde tilbage fra yderligere skalering efter behov, skrev han, mens han tilføjede, at bredere indgreb er nødvendige.

Pachocki fortalte, at i midten af 2023, inden for et OpenAI‑forskningsprojekt kaldet “RLSlow”, så han og en kollega identificeret som Szymon de første resultater, der gav dem tillid til, at de kunne skalere træning af resonansmodeller, hvilket låste evnen for foruddannede modeller til at danne deres egne kæder af tanker. Tre år senere skrev han, at resonans‑sprogmodeller er en hastigt voksende del af økonomien og begynder at skubbe grænserne for videnskaben, betjene computere og grafiske grænseflader, samarbejde med mennesker og med hinanden samt udføre forskningsprojekter. Han tilføjede, at modellerne også omformer landskabet for computersikkerhed og præsenterer klare nye farer på dette område. Fremskridt inden for maskinintelligens drives af stigende beregningskraft, skrev han, og bemærkede, at OpenAI internaliserede dette omkring 2017 efter at have set konsistente gevinster ved skalering på tværs af flere forskningsprojekter.

To klasser af justeringstræning

Essayet skelner mellem mål‑alignment, hvor en AI forsøger at opfylde det mål, der er sat for den, og værdia‑alignment, som Pachocki beskrev som en mere indbygget egenskab: evnen til at fastholde og generalisere fra et overordnet sæt principper og handle fornuftigt selv under uklare eller modstridende mål eller i ukendte og fjendtlige situationer. Han identificerede to hovedklasser af alignment‑træningsmetoder, der i øjeblikket er i praktisk brug. Den første fremmer tilpasset adfærd under målrettet forstærkningslæring, hvor en models handlinger evalueres, typisk af AI, mod en præference‑model, specifikation eller forfatning og belønnes derefter. Den tilgang kan være meget effektiv i gennemsnitlige tilfælde, men kan også være skrøbelig, skrev han og henviste til OpenAI‑Hugging Face‑incidenten som et eksempel: agenterne fastholdt en grænse for ikke at socialt manipulere mennesker, men undlod at afholde sig fra andre handlinger, der lå uden for omfanget og gik imod ånden i de værdier, de blev undervist i.

Den anden tilgang udnytter modellens evne til at generalisere fra fortræningsdata, for eksempel ved at udforme træningsdatasæt, der fremmer alignment, eller ved at fokusere modellen på en justeret del af fortræningsfordelingen. Dens svaghed, skrev Pachocki, er manglen på robusthed over for yderligere optimeringspres: en model, der udsættes for tilstrækkelig træning mod meget svære mål, kan lære at resonere på en motiveret måde og bøje tilsyneladende justerede tanker, så de tjener dens mål. Han skrev, at nylige cybersikkerhedshændelser, der involverede en ikke‑OpenAI‑model, sandsynligvis illustrerede sådan adfærd. Han tilføjede, at GPT-6 Astra er den første model, der drager fordel af visse langvarige alignment‑fremskridt hos OpenAI og er betydeligt bedre justeret end GPT-5.6 Sol, mens han advarede om, at fremskridt inden for generaliserbar alignment muligvis ikke i tilstrækkelig grad overgår fremskridt i generel modelintelligens.

Faldende tillid til kæde‑af‑tanke‑monitorering

Pachocki identificerede kæde‑af‑tanke‑monitorering som OpenAI’s primære satsning på empirisk validering af deres alignment‑teknikker og argumenterede for, at sådan validering i øjeblikket måske er endnu vigtigere end selve teknikkerne. Da OpenAI lancerede o1-preview, skrev han, at produktet bevidst blev designet til at skjule kæden af tanker for at beskytte den mod supervisionstrykket på længere sigt. Værktøjet forbliver afgørende for studiet af Astra‑klassen af modeller, men essayet anfører, at OpenAI’s evalueringer viser, at evnen til at stole på kæde‑af‑tanke‑monitorering gradvist mindskes. Han gav tre grunde: moderne resonansmodeller opererer i mere komplekse miljøer, hvor mange interaktioner skal overvåges, hvilket udvisker den grænse, tilgangen afhænger af; AI bliver bedre til at resonere om og manipulere sin egen resonansproces; og forbedret fortræning gør modeller meget klogere, selv uden verbaliseret resonans overhovedet.

Disse udfordringer er ikke nødvendigvis uovervindelige, skrev Pachocki, og OpenAI forfølger aktivt indgreb for at forbedre monitorerbarhed, herunder monitorer trænet med direkte adgang til netværksinterne. Alligevel skrev han, at han forventer, at den generelle AI‑fremskridt i stigende grad vil blive flaskehalsen på grund af tilliden til monitorering.

Forsvar, rekursiv selvforbedring og sikkerhedsbjælker

Det stærkeste argument for hurtigt at fortsætte træningen af meget smartere modeller, skrev Pachocki, er behovet for at bygge defensive systemer mod farerne fra andre AI. Han beskrev cybersikkerhed som en klar risiko, idet modeller bliver overmenneskelige i deres evne til at bryde ind i og ud af computersystemer, og skrev, at vi i øjeblikket befinder os i en narrow window for at bruge de bedst tilgængelige modeller til markant at stramme sikkerheden omkring kritiske systemer. En meget kapabel agent, der eksplicit er trænet og instrueret til at udføre ondsindede handlinger, udgør en ny slags fare og vil sandsynligvis overskride operatørens intention, skrev han, og grænsen mellem misbrug og autonom, misjusteret handling vil udviskes, efterhånden som AI får mere handlekraft. Kraftfuld, justeret AI til forsvar, herunder sikring af infrastruktur, beskyttelse mod rogue‑agenter i realtid og opfindelse af helt nye beskyttelsesforanstaltninger, vil være et primært fokus for OpenAI’s implementeringsindsats, skrev han. Samtidig advarede han om, at behovet for forsvar ikke må blive en undskyldning for uansvarlighed, og skrev: “Ideen om at skynde frem for enhver pris virker absurd, når man internaliserer alvoren i de involverede risici.”

Om rekursiv selvforbedring skrev Pachocki, at maskin‑RSI vil ligge i hjertet af fremtidig videnskabelig opdagelse, hvis AI‑fremskridtet fortsætter, og at OpenAI fokuserer forskningen på dette, fordi virksomheden mener, at det er den eneste måde at forblive i spidsen for AI‑forskning. Han sagde, at de vigtigste løftestænger er at styre processen for at styrke alignment og monitorering sammen med AI, mens man finder måder at holde mennesker i kredsløbet, eller at koordinere en nedtrapning af fremtidig udvikling efter behov for at opbygge tillid til disse foranstaltninger, og at den bedste vej frem, han i øjeblikket ser, er en kombination af begge. Skalering af AI‑systemer skal begrænses af tilliden til sikkerhed, skrev han, og forpligtelser såsom OpenAI’s Preparedness Framework og Anthropic’s Responsible Scaling Policy skal udvikles til bredt pålagte sikkerhedsbjælker for fortsat udvikling, håndhævet af et netværk af tredjeparts‑auditører, myndigheder eller internationale organer.

Essayet afslutter med at beskrive de kommende år som en overgang til en verden med utrolig intelligente maskiner, en verden hvor menneskeheden skal bevare menneskelig handlefrihed, forhindre ekstrem magtkoncentration og forblive i kontrol over fremtiden. “Currently I believe that no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer,” skrev Pachocki. “I expect and hope for voluntary slowdowns to become commonplace until shared safety bars are established.”