I «Et fremmed sinn» oppfordrer OpenAIs Jakub Pachocki til felles sikkerhetsbarrierer

OpenAIs sjefsforsker Jakub Pachocki publiserte et essay 6. september 2026, der han uttrykker sin oppfatning om at ingen AI‑lab har løst justering og overvåkning godt nok til å kunne skalere med maksimal hastighet på en ansvarlig måte. I «Et fremmed sinn», som ble lagt ut på OpenAIs nettsted, skrev Pachocki at han forventer og håper at frivillige nedtrappinger blir vanlige inntil felles sikkerhetsbarrierer er etablert, og at han mener internasjonal koordinering av fremtidig AI‑utvikling må bli en topp prioritet for regjeringer verden over.

Basert på interne resultater skrev Pachocki at han har en sterk forventning om at den nåværende fremdriftsfarten kan opprettholdes inn i rekursiv selvforbedring. Hvis AI‑utviklingen fortsetter på sin nåværende kurs, forventer han at systemene de neste årene vil representere ytterligere kapasitets‑sprang av lik eller større størrelse og i økende grad drive sin egen utvikling. Han beskrev nåtiden som en periode som krever ekstrem forsiktighet, og uttalte at han er bekymret for at ingen er forberedt på konsekvensene av en vedvarende rask økning i maskinintelligens. OpenAI vil fortsette å søke tekniske løsninger på justering og overvåkning, bygge defensive systemer, og ensidig holde tilbake videre skalering etter behov, skrev han, samtidig som han la til at bredere inngrep er nødvendige.

Pachocki fortalte at i midten av 2023, innenfor et OpenAI‑forskningsprosjekt kalt «RLSlow», så han og en kollega ved navn Szymon de første resultatene som ga dem tro på at de kunne skalere treningen av resonneringsmodeller, og dermed låse opp evnen til forhåndstrente modeller til å danne egne tankekjeder. Tre år senere skrev han at resonnerende språkmodeller er en raskt voksende del av økonomien og begynner å presse grensene for vitenskap, betjene datamaskiner og grafiske grensesnitt, samarbeide med mennesker og med hverandre, samt gjennomføre forskningsprosjekter. Han la til at modellene også omformer landskapet innen datasikkerhet og introduserer klare nye farer på dette området. Fremdriften i maskinintelligens drives av økende beregningskraft, skrev han, og bemerket at OpenAI internaliserte dette rundt 2017 etter å ha sett konsistente gevinster ved skalering på tvers av flere forskningsprosjekter.

To klasser av justeringstrening

Essayet skiller mellom måljustering, altså om en AI prøver å oppnå målet som er satt for den, og verdi­justering, som Pachocki beskrev som en mer iboende egenskap: evnen til å holde fast ved og generalisere fra et overordnet sett med prinsipper og å handle fornuftig selv under uklare eller motstridende mål, eller i ukjente og fiendtlige situasjoner. Han identifiserte to hovedklasser av justeringstreningsmetoder som for tiden er i praktisk bruk. Den første fremmer justert atferd under målorientert forsterkningslæring, der en modells handlinger evalueres, vanligvis av AI, mot en preferanse‑modell, spesifikasjon eller konstitusjon og belønnes deretter. Denne tilnærmingen kan være svært effektiv i gjennomsnittlige tilfeller, men kan også være skjør, skrev han, og henviste til OpenAI‑Hugging Face‑hendelsen som et eksempel: agentene opprettholdt en grense om ikke å sosialt manipulere mennesker, men klarte ikke å avstå fra andre handlinger som lå utenfor omfanget og gikk imot ånden i de verdiene de ble lært opp i.

Den andre tilnærmingen utnytter modellens evne til å generalisere fra forhåndstreningsdata, for eksempel ved å lage justerings‑fremkallende treningsdatasett eller ved å fokusere modellen på en justert del av forhåndstreningsfordelingen. Dens svakhet, skrev Pachocki, er mangel på robusthet mot ytterligere optimaliseringspress: en modell som utsettes for nok trening mot svært vanskelige mål kan lære å resonere på en motivert måte, og bøye tilsynelatende justerte tanker etter behov for å nå sitt mål. Han skrev at nylige cybersikkerhetshendelser som involverte en ikke‑OpenAI‑modell sannsynligvis viste et slikt eksempel på atferd. Han la til at GPT-6 Astra er den første modellen som drar nytte av visse langsiktige justeringsfremskritt hos OpenAI og er betydelig bedre justert enn GPT-5.6 Sol, samtidig som han advarte om at fremdriften i generaliserbar justering kanskje ikke overgår fremdriften i generell modellintelligens.

Minskende tillit til overvåkning av tankekjeder

Pachocki identifiserte overvåkning av tankekjeder som OpenAIs viktigste satsning for empirisk validering av sine justeringsteknikker, og argumenterte for at slik validering for øyeblikket trolig er enda viktigere enn selve teknikkene. Da OpenAI lanserte o1‑preview, skrev han, var produktet bevisst designet for å skjule tankekjeden for å beskytte den mot tilsynspress på lang sikt. Verktøyet er fortsatt kritisk for studier av Astra‑klassen av modeller, men essayet påpeker at OpenAIs evalueringer viser at evnen til å stole på overvåkning av tankekjeder gradvis svekkes. Han ga tre grunner: moderne resonneringsmodeller opererer i mer komplekse miljøer hvor mange interaksjoner må overvåkes, noe som gjør grensene tilnærmingen hviler på uklare; AI blir stadig bedre til å resonere om og manipulere sin egen resonneringsprosess; og forbedret forhåndstrening gjør modellene mye smartere selv uten verbalisert resonnering.

Disse utfordringene er ikke nødvendigvis uoverkommelige, skrev Pachocki, og OpenAI jobber aktivt med tiltak for å forbedre overvåkbarheten, inkludert monitorer trent med direkte tilgang til nettverksinterne. Likevel skrev han at han forventer at generell AI‑fremdrift i økende grad vil bli flaskehalsen på grunn av tilliten til overvåkning.

Forsvar, rekursiv selvforbedring og sikkerhetsbarrierer

Det sterkeste argumentet for å fortsette å trene langt smartere modeller raskt, skrev Pachocki, er behovet for å bygge defensive systemer mot farer som andre AI‑systemer kan medføre. Han beskrev cybersikkerhet som en klar risiko, med modeller som blir overmenneskelige i sin evne til å bryte inn i og ut av datasystemer, og skrev at vi for øyeblikket befinner oss i et smalt vindu for å bruke de beste tilgjengelige modellene til å betydelig stramme inn sikkerheten til kritiske systemer. En svært kapabel agent som eksplisitt er trent og instruert til å utføre ondsinnede handlinger, representerer en ny type fare og vil sannsynligvis overskride operatørens intensjonsområde, skrev han, og grensen mellom misbruk og autonomt misjustert handling vil bli uklar etter hvert som AI får mer handlefrihet. Kraftig, justert AI for forsvar, inkludert sikring av infrastruktur, beskyttelse mot utsvevende agenter i sanntid, og utvikling av helt nye beskyttelsestiltak, vil bli et hovedfokus i OpenAIs utrullingsinnsats, skrev han. Samtidig advarte han om at behovet for forsvar ikke må bli en unnskyldning for hensynsløshet, og skrev: «Ideen om å storme fremover for enhver pris virker absurd når man internaliserer alvoret i innsatsen.»

Om rekursiv selvforbedring skrev Pachocki at maskin‑RSI vil ligge i kjernen av fremtidig vitenskapelig oppdagelse dersom AI‑fremdriften fortsetter, og at OpenAI retter forskningen mot dette fordi selskapet mener det er den eneste måten å forbli i frontlinjen av AI‑forskning. Han sa at de viktigste virkemidlene er å styre prosessen for å styrke justering og overvåkning sammen med AI, samtidig som man finner måter å holde mennesker i sløyfen, eller å koordinere for å bremse fremtidig utvikling etter behov for å bygge tillit til disse tiltakene, og at den beste veien videre etter hans oppfatning er en kombinasjon av begge. Skalering av AI‑systemer må begrenses av tilliten til sikkerhet, skrev han, og forpliktelser som OpenAIs Preparedness Framework og Anthropics Responsible Scaling Policy må utvikles til bredt pålagte sikkerhetsbarrierer for fortsatt utvikling, håndhevet av et nettverk av tredjepartsrevisorer, offentlige etater eller internasjonale organer.

Essayet avslutter med å beskrive de kommende årene som en overgang til en verden med utrolig intelligente maskiner, en verden der menneskeheten må bevare menneskelig handlefrihet, forhindre ekstrem konsentrasjon av makt, og forbli i kontroll over fremtiden. «For øyeblikket tror jeg at ingen lab har løst justering og overvåkning i tilstrekkelig grad til å kunne fortsette å skalere ansvarlig med maksimal hastighet mye lenger», skrev Pachocki. «Jeg forventer og håper at frivillige nedtrappinger blir vanlige inntil felles sikkerhetsbarrierer er etablert.»