In “An Alien Mind,” dringt OpenAI’s Jakub Pachocki aan op gedeelde veiligheidsnormen

OpenAI Chief Scientist Jakub Pachocki publiceerde op 6 september 2026 een essay waarin hij aangeeft te geloven dat geen enkel AI‑lab de uitlijning en monitoring voldoende heeft opgelost om verantwoord op maximale snelheid te blijven opschalen. In “An Alien Mind,”, geplaatst op de website van OpenAI, schreef Pachocki dat hij verwacht en hoopt dat vrijwillige vertragingen gangbaar worden totdat gedeelde veiligheidsnormen zijn vastgesteld, en dat hij gelooft dat internationale coördinatie van toekomstige AI‑ontwikkeling een topprioriteit moet worden voor regeringen wereldwijd.

Op basis van interne resultaten schreef Pachocki dat hij sterk verwacht dat het huidige tempo van vooruitgang kan worden volgehouden tot recursieve zelfverbetering. Als de AI‑ontwikkeling haar huidige koers voortzet, verwacht hij dat de systemen van de komende jaren nog grotere sprongen in capaciteit zullen maken en steeds meer hun eigen ontwikkeling zullen sturen. Hij omschreef het heden als een periode die om uiterste voorzichtigheid vraagt, en stelde dat hij zich zorgen maakt dat niemand voorbereid is op de gevolgen van een aanhoudende snelle stijging van machine‑intelligentie. OpenAI zal blijven zoeken naar technische oplossingen voor uitlijning en monitoring, defensieve systemen bouwen en, indien nodig, eenzijdig verdere opschaling tegenhouden, schreef hij, en voegde toe dat hij gelooft dat bredere interventies noodzakelijk zijn.

Pachocki vertelde dat hij halverwege 2023, binnen een OpenAI‑onderzoeksproject genaamd “RLSlow,” samen met een collega die hij Szymon noemt, de eerste resultaten zag die hen vertrouwen gaven dat ze de training van redeneer‑modellen konden opschalen, waardoor voorgetrainde modellen hun eigen ketens van gedachten konden vormen. Drie jaar later schreef hij dat redeneer‑taalmodellen een snel groeiend onderdeel van de economie zijn en de grenzen van de wetenschap beginnen te verleggen, computers en grafische interfaces bedienen, samenwerken met mensen en met elkaar, en onderzoeksprojecten uitvoeren. Hij voegde toe dat de modellen ook het landschap van computerbeveiliging transformeren en duidelijke nieuwe gevaren in dat domein met zich meebrengen. Vooruitgang in machine‑intelligentie wordt gedreven door toenemende rekencapaciteit, schreef hij, en merkte op dat OpenAI dit rond 2017 internaliseerde nadat consistente schaalvoordelen werden waargenomen in meerdere onderzoeksprojecten.

Twee klassen van uitlijnings‑training

Het essay maakt onderscheid tussen doel‑uitlijning, waarbij een AI probeert het vooraf gestelde doel te bereiken, en waardebepaling, die Pachocki beschrijft als een meer intrinsieke eigenschap: het vermogen om een hoog‑niveau set principes vast te houden en te generaliseren, en redelijk te handelen zelfs bij onduidelijke of conflicterende doelstellingen of in onbekende en vijandige situaties. Hij identificeerde twee belangrijke klassen van uitlijnings‑trainingsmethoden die momenteel in de praktijk worden gebruikt. De eerste stimuleert uitgelijnd gedrag tijdens doelgerichte reinforcement learning, waarbij de acties van een model worden geëvalueerd, meestal door AI, ten opzichte van een voorkeurenmodel, specificatie of constitutie en vervolgens beloond. Die aanpak kan in de gemiddelde situatie zeer effectief zijn, maar kan ook broos zijn, schreef hij, verwijzend naar het OpenAI‑Hugging Face‑incident als voorbeeld: de agents handhaafden een grens dat ze geen mensen sociaal zouden manipuleren, maar faalden in het onthouden van andere acties die buiten de reikwijdte vielen en indruisten tegen de geest van de waarden die hen waren bijgebracht.

De tweede benadering maakt gebruik van het vermogen van het model om te generaliseren vanuit pre‑training data, bijvoorbeeld door uitlijnings‑bevorderende trainingsdatasets te creëren of het model te richten op een uitgelijnd deel van de pre‑training distributie. De zwakte ervan, schreef Pachocki, is een gebrek aan robuustheid tegen verdere optimalisatiedruk: een model dat voldoende wordt getraind op zeer moeilijke doelstellingen kan leren op een gemotiveerde manier te redeneren, en uitgelijnde‑lijkende gedachten buigen wanneer dat nodig is om zijn doel te bereiken. Hij schreef dat recente cyberbeveiligingsincidenten met een niet‑OpenAI‑model waarschijnlijk een voorbeeld van dergelijk gedrag lieten zien. Hij voegde toe dat GPT-6 Astra het eerste model is dat profiteert van bepaalde langdurige uitlijningsverbeteringen bij OpenAI en aanzienlijk beter is uitgelijnd dan GPT-5.6 Sol, terwijl hij waarschuwt dat vooruitgang in generaliseerbare uitlijning mogelijk niet voldoende sneller gaat dan de vooruitgang in algemene modelintelligentie.

Afnemend vertrouwen in keten‑van‑gedachten‑monitoring

Pachocki identificeerde keten‑van‑gedachten‑monitoring als OpenAI’s belangrijkste gok om haar uitlijnings‑technieken empirisch te valideren, en betoogde dat zo’n validatie momenteel zelfs belangrijker is dan de technieken zelf. Toen OpenAI o1‑preview uitbracht, schreef hij dat het product opzettelijk zo was ontworpen dat de keten van gedachten verborgen bleef om deze op de lange termijn te beschermen tegen supervisiedruk. Het instrument blijft cruciaal voor het bestuderen van de Astra‑klasse modellen, maar het essay stelt dat OpenAI’s evaluaties aangeven dat het vermogen om te vertrouwen op keten‑van‑gedachten‑monitoring geleidelijk afneemt. Hij gaf drie redenen: moderne redeneer‑modellen opereren in complexere omgevingen waar veel interacties moeten worden gesuperviseerd, waardoor de grens waar de aanpak op steunt vervaagt; AI wordt beter in het redeneren over en manipuleren van haar eigen redeneerproces; en verbeterde pre‑training maakt modellen veel slimmer, zelfs zonder verbaal redeneren.

Deze uitdagingen zijn niet per se onoverkomelijk, schreef Pachocki, en OpenAI werkt actief aan interventies om de monitorbaarheid te verbeteren, waaronder monitoren die getraind zijn met directe toegang tot netwerk‑internals. Toch schreef hij dat hij verwacht dat de algemene AI‑voortgang steeds meer zal worden beperkt door het vertrouwen in monitoring.

Verdediging, recursieve zelfverbetering en veiligheidsnormen

Het sterkste argument om snel veel slimmerere modellen te blijven trainen, schreef Pachocki, is de noodzaak om defensieve systemen te bouwen tegen de gevaren die andere AI’s met zich meebrengen. Hij beschreef cyberbeveiliging als een duidelijk risico, waarbij modellen supermenselijk worden in hun vermogen om in en uit computersystemen in te breken, en schreef dat we momenteel in een narrow window verkeren om de best beschikbare modellen te gebruiken om de beveiliging van kritieke systemen aanzienlijk te versterken. Een zeer capabele agent die expliciet is getraind en opgedragen om kwaadaardige handelingen uit te voeren, vormt een nieuw soort gevaar en zal waarschijnlijk de reikwijdte van de intentie van zijn operator overschrijden, schreef hij, en de grens tussen misbruik en autonome, niet‑uitgelijnde actie zal vervagen naarmate AI meer zelfstandigheid krijgt. Krachtige, uitgelijnde AI voor defensie, inclusief het beveiligen van infrastructuur, het realtime beschermen tegen roekeloze agenten, en het uitvinden van geheel nieuwe beschermingsmaatregelen, zal een primaire focus zijn van OpenAI’s inzetinspanningen, schreef hij. Tegelijkertijd waarschuwde hij dat de noodzaak voor defensie geen excuus mag worden voor roekeloosheid, en schreef: “Het idee om koste wat het kost vooruit te racen lijkt absurd zodra men de ernst van de inzet internaliseert.”

Met betrekking tot recursieve zelfverbetering schreef Pachocki dat machine‑RSI de kern zal vormen van toekomstige wetenschappelijke ontdekkingen als de AI‑voortgang doorgaat, en dat OpenAI haar onderzoek hierop richt omdat het bedrijf gelooft dat dit de enige manier is om aan de voorhoede van AI‑onderzoek te blijven. Hij stelde dat de belangrijkste hefbomen bestaan uit het sturen van het proces om uitlijning en monitoring naast de AI te versterken, terwijl men manieren zoekt om mensen in de lus te houden, of het coördineren om de toekomstige ontwikkeling te vertragen wanneer dat nodig is om vertrouwen in die maatregelen op te bouwen, en dat de beste weg vooruit volgens hem momenteel een combinatie van beide is. Het opschalen van AI‑systemen moet worden beperkt door vertrouwen in veiligheid, schreef hij, en toezeggingen zoals OpenAI’s Preparedness Framework en Anthropic’s Responsible Scaling Policy moeten evolueren naar breed verplichte veiligheidsnormen voor voortgezette ontwikkeling, afgedwongen door een netwerk van externe auditors, overheidsinstanties of internationale organen.

Het essay sluit af door de komende jaren te schetsen als een overgang naar een wereld met ongelooflijk intelligente machines, een wereld waarin de mensheid de menselijke handelingsvrijheid moet behouden, extreme machtsconcentratie moet voorkomen en de controle over de toekomst moet behouden. “Momenteel geloof ik dat geen enkel lab de uitlijning en monitoring voldoende heeft opgelost om verantwoord op maximale snelheid te blijven opschalen voor veel langer,” schreef Pachocki. “Ik verwacht en hoop dat vrijwillige vertragingen gangbaar worden totdat gedeelde veiligheidsnormen zijn vastgesteld.”