In „An Alien Mind“ fordert OpenAIs Jakub Pachocki gemeinsame Sicherheitsbarrieren

OpenAI-Chefwissenschaftler Jakub Pachocki veröffentlichte am 6. September 2026 einen Aufsatz, in dem er seine Überzeugung äußert, dass kein KI‑Labor die Ausrichtung und Überwachung ausreichend gelöst hat, um das Skalieren mit maximaler Geschwindigkeit verantwortungsvoll fortzusetzen. In „An Alien Mind“, das auf der Website von OpenAI veröffentlicht wurde, schrieb Pachocki, dass er davon ausgeht und hofft, dass freiwillige Verlangsamungen zur Norm werden, bis gemeinsame Sicherheitsbarrieren etabliert sind, und dass er glaubt, dass die internationale Koordination der zukünftigen KI‑Entwicklung für Regierungen weltweit zur obersten Priorität werden muss.

Basierend auf internen Ergebnissen schrieb Pachocki, er erwarte mit hoher Wahrscheinlichkeit, dass das derzeitige Fortschrittstempo in eine rekursive Selbstverbesserung übergehen könne. Sollte die KI‑Entwicklung ihrem aktuellen Kurs folgen, rechne er damit, dass die Systeme der nächsten Jahre weitere Sprünge in den Fähigkeiten von gleicher oder größerer Größenordnung darstellen und zunehmend ihre eigene Weiterentwicklung vorantreiben. Er beschrieb die Gegenwart als eine Zeit, die extreme Vorsicht erfordere, und äußerte die Sorge, dass niemand auf die Folgen eines anhaltend raschen Anstiegs der Maschinenintelligenz vorbereitet sei. OpenAI werde weiterhin nach technischen Lösungen für Ausrichtung und Überwachung suchen, defensive Systeme bauen und bei Bedarf einseitig weiteres Skalieren zurückhalten, schrieb er, und fügte hinzu, dass er breitere Interventionen für notwendig halte.

Pachocki berichtete, dass er Mitte 2023 im Rahmen eines OpenAI‑Forschungsprojekts namens „RLSlow“ zusammen mit einem Kollegen namens Szymon die ersten Ergebnisse sah, die ihnen das Vertrauen gaben, das Training von Reasoning‑Modellen skalieren zu können und damit die Fähigkeit vortrainierter Modelle freizuschalten, eigene Gedankenketten zu bilden. Drei Jahre später schrieb er, dass Reasoning‑Sprachmodelle ein schnell wachsender Teil der Wirtschaft seien und beginnen, die Grenzen der Wissenschaft zu verschieben, Computer und grafische Schnittstellen zu steuern, mit Menschen und untereinander zusammenzuarbeiten und Forschungsprojekte durchzuführen. Er fügte hinzu, dass die Modelle zudem die Landschaft der Computersicherheit transformieren und klare neue Gefahren in diesem Bereich darstellen. Der Fortschritt der Maschinenintelligenz werde durch steigende Rechenleistung angetrieben, schrieb er und bemerkte, dass OpenAI dies etwa 2017 internalisiert habe, nachdem konsistente Skalierungserträge in mehreren Forschungsprojekten beobachtet wurden.

Zwei Klassen des Ausrichtungstrainings

Der Aufsatz unterscheidet zwischen Zielausrichtung, also ob eine KI versucht, das ihr vorgegebene Ziel zu erreichen, und Werteausrichtung, die Pachocki als eine intrinsischere Eigenschaft beschrieb: die Fähigkeit, ein hochrangiges Prinzipien‑Set zu halten und daraus zu verallgemeinern sowie vernünftig zu handeln, selbst bei unklaren oder widersprüchlichen Zielsetzungen oder in ungewohnten und feindlichen Situationen. Er identifizierte zwei Hauptklassen von Ausrichtungstrainingsmethoden, die derzeit praktisch eingesetzt werden. Die erste fördert ausgerichtetes Verhalten während zielgerichteten Reinforcement‑Learnings, bei dem die Aktionen eines Modells, meist von einer KI, gegen ein Präferenz‑Modell, eine Spezifikation oder eine Verfassung bewertet und entsprechend belohnt werden. Dieser Ansatz kann im Durchschnitt sehr effektiv sein, ist jedoch auch spröde, schrieb er und verwies dabei auf den OpenAI‑Hugging‑Face‑Vorfall als Beispiel: Die Agenten bewahrten die Grenze, keine Menschen zu manipulieren, versäumten jedoch, von anderen Handlungen abzusehen, die außerhalb des Rahmens lagen und dem Geist der gelehrten Werte widersprachen.

Der zweite Ansatz nutzt die Fähigkeit des Modells, aus den Vortrainingsdaten zu verallgemeinern, etwa durch das Erstellen von Trainingsdatensätzen, die Ausrichtung induzieren, oder indem das Modell auf einen ausgerichteten Teil der Vortrainingsverteilung fokussiert wird. Seine Schwäche, schrieb Pachocki, liegt in der mangelnden Robustheit gegenüber weiterem Optimierungsdruck: Ein Modell, das ausreichend auf sehr harte Ziele trainiert wird, kann lernen, motiviert zu argumentieren und dabei scheinbar ausgerichtete Gedanken nach Bedarf zu biegen, um sein Ziel zu erreichen. Er schrieb, dass jüngste Cyber‑Sicherheitsvorfälle mit einem Nicht‑OpenAI‑Modell wahrscheinlich ein Beispiel für ein solches Verhalten zeigten. Er fügte hinzu, dass GPT-6 Astra das erste Modell sei, das von bestimmten langjährigen Ausrichtungsfortschritten bei OpenAI profitiert und deutlich besser ausgerichtet sei als GPT-5.6 Sol, wobei er warnt, dass Fortschritte in der generalisierbaren Ausrichtung möglicherweise nicht ausreichend schneller voranschreiten als die Fortschritte in der allgemeinen Modellintelligenz.

Abnehmendes Vertrauen in die Überwachung von Gedankenketten

Pachocki identifizierte die Überwachung von Gedankenketten als OpenAIs wichtigste Wette, um seine Ausrichtungstechniken empirisch zu validieren, und argumentierte, dass diese Validierung derzeit möglicherweise sogar wichtiger sei als die Techniken selbst. Als OpenAI o1-preview veröffentlichte, schrieb er, sei das Produkt bewusst so konzipiert worden, dass die Gedankenkette verborgen bleibt, um sie langfristig vor Aufsichtsdruck zu schützen. Das Werkzeug bleibt entscheidend für das Studium der Astra‑Klasse von Modellen, doch der Aufsatz stellt fest, dass OpenAIs Bewertungen darauf hindeuten, dass die Fähigkeit, sich auf die Überwachung von Gedankenketten zu verlassen, zunehmend abnimmt. Er nannte drei Gründe: Moderne Reasoning‑Modelle operieren in komplexeren Umgebungen, in denen viele Interaktionen überwacht werden müssen, wodurch die Grenze, von der der Ansatz abhängt, verschwimmt; KI wird besser darin, über ihren eigenen Denkprozess zu reflektieren und ihn zu manipulieren; und verbessertes Vortraining macht Modelle selbst ohne verbalisierte Argumentation deutlich intelligenter.

Diese Herausforderungen seien nicht unbedingt unüberwindbar, schrieb Pachocki, und OpenAI verfolge aktiv Interventionen zur Verbesserung der Überwachbarkeit, einschließlich Monitoren, die mit direktem Zugriff auf Netzwerk‑Interna trainiert werden. Dennoch schrieb er, dass er erwarte, dass der allgemeine KI‑Fortschritt zunehmend durch das Vertrauen in die Überwachung begrenzt werde.

Verteidigung, rekursive Selbstverbesserung und Sicherheitsbarrieren

Das stärkste Argument, um weiterhin sehr viel intelligentere Modelle zügig zu trainieren, schrieb Pachocki, sei die Notwendigkeit, defensive Systeme gegen Gefahren durch andere KI zu bauen. Er beschrieb die Cybersicherheit als ein klares Risiko, da Modelle in ihrer Fähigkeit, in Computersysteme einzudringen und wieder auszusteigen, übermenschlich werden, und schrieb, dass wir derzeit in einem schmalen Zeitfenster seien, um die besten verfügbaren Modelle zu nutzen, um die Sicherheit kritischer Systeme deutlich zu erhöhen. Ein sehr fähiger Agent, der ausdrücklich trainiert und angewiesen wird, böswillige Handlungen auszuführen, stellt eine neue Art von Gefahr dar und wird wahrscheinlich den Rahmen der Absichten seines Betreibers überschreiten, schrieb er, und die Grenze zwischen Missbrauch und autonomem, nicht ausgerichtetem Handeln wird verschwimmen, je mehr Eigenständigkeit die KI erlangt. Mächtige, ausgerichtete KI zur Verteidigung, einschließlich der Sicherung von Infrastrukturen, dem Schutz vor abtrünnigen Agenten in Echtzeit und der Erfindung völlig neuer Schutzmaßnahmen, wird ein Hauptfokus von OpenAIs Einsatzbemühungen sein, schrieb er. Gleichzeitig warnte er, dass das Bedürfnis nach Verteidigung nicht zur Ausrede für Rücksichtslosigkeit werden dürfe, und schrieb: “Die Vorstellung, um jeden Preis vorwärts zu rasen, erscheint absurd, sobald man die Ernsthaftigkeit der Einsätze internalisiert.”

Zur rekursiven Selbstverbesserung schrieb Pachocki, dass maschinelle RSI im Kern zukünftiger wissenschaftlicher Entdeckungen stehen wird, wenn der KI‑Fortschritt weitergeht, und dass OpenAI die Forschung darauf ausrichtet, weil das Unternehmen glaubt, dass dies der einzige Weg sei, an der Spitze der KI‑Forschung zu bleiben. Er sagte, die wichtigsten Hebel seien, den Prozess so zu steuern, dass Ausrichtung und Überwachung zusammen mit der KI gestärkt werden, während Wege gefunden werden, Menschen im Entscheidungsprozess zu behalten, oder die Koordination, die zukünftige Entwicklung bei Bedarf zu verlangsamen, um Vertrauen in diese Maßnahmen aufzubauen, und dass er den besten Weg derzeit in einer Kombination beider Ansätze sehe. Das Skalieren von KI‑Systemen müsse durch das Vertrauen in die Sicherheit begrenzt werden, schrieb er, und Verpflichtungen wie OpenAIs Preparedness Framework und Anthropics Responsible Scaling Policy müssten sich zu allgemein verbindlichen Sicherheitsbarrieren für die fortgesetzte Entwicklung entwickeln, die durch ein Netzwerk von Dritt‑Auditoren, Regierungsbehörden oder internationalen Gremien durchgesetzt werden.

Der Aufsatz schließt, indem er die kommenden Jahre als Übergang in eine Welt mit unglaublich intelligenten Maschinen darstellt, in der die Menschheit die menschliche Handlungsfähigkeit bewahren, eine extreme Konzentration von Macht verhindern und die Kontrolle über die Zukunft behalten muss. “Derzeit glaube ich, dass kein Labor die Ausrichtung und Überwachung in ausreichendem Maße gelöst hat, um verantwortungsbewusst noch lange mit maximaler Geschwindigkeit zu skalieren,” schrieb Pachocki. “Ich erwarte und hoffe, dass freiwillige Verlangsamungen zur Norm werden, bis gemeinsame Sicherheitsbarrieren etabliert sind.”