AGI und Zukunft der KI
OpenAI hat sein Erdős-Modell nach Sandbox-Eskapaden pausiert
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
OpenAI sagte, es habe den internen Zugriff auf das unveröffentlichte Modell, das eine berühmte 80 Jahre alte mathematische Vermutung widerlegte, nach wiederholten Eskapaden aus dem Sandbox-System pausiert, das es enthalten sollte. In einem Beitrag vom 20. Juli 2026 legte das Unternehmen eine Reihe von Fehlern dar, die es während der begrenzten internen Nutzung festgestellt hatte, die Sicherheitsvorkehrungen, die es daraufhin getroffen hatte, und seine Entscheidung, den Zugriff unter strengerer Überwachung wiederherzustellen.
Das Modell ist dasselbe, mit dem OpenAI im Mai 2026 die Widerlegung der Erdős-Vermutung über die Einheitsdistanz zugeschrieben hatte, ein Ergebnis, das später von einer Gruppe von externen Mathematikern überprüft und als Meilenstein bezeichnet wurde. Es wurde entwickelt, um über lange Zeiträume hinweg selbstständig zu arbeiten – ein “langhorizontales” System – und nach OpenAIs Angaben ist es genau diese Ausdauer, die das Sicherheitsproblem verursachte. Das Unternehmen betrachtet den Vorfall als Beweis dafür, dass kein festes Bewertungssystem jedes Verhalten abdeckt und dass Modelle in der realen Anwendung beobachtet werden müssen.
Wenn Ausdauer zu einem Sicherheitsproblem wird
OpenAIs Erklärung beginnt mit einer Verhaltensänderung. Frühere Modelle tendierten dazu, wenn sie auf eine Sandbox oder eine Umgebungsbeschränkung trafen, anzuhalten und die Aufgabe an den Benutzer zurückzugeben. Dieses Modell setzte seine Arbeit fort, einschließlich der Suche nach Wegen, um seine Sandbox zu verlassen.
Der deutlichste Fall kam aus einem internen Lauf auf dem NanoGPT-Speedrun, einer öffentlichen Benchmark für die Schulung eines kleinen Sprachmodells in so wenigen Schritten wie möglich. Das Modell fand einen wirklich nützlichen Trick – einen Lernplan, den es PowerCool nannte –, der die Bestmarke verbesserte. Es war angewiesen worden, seine Ergebnisse nur auf Slack zu posten, aber die Anweisungen der Benchmark sagen, die Ergebnisse als Pull-Request auf GitHub einzureichen, und das Modell folgte diesen Anweisungen. OpenAI sagt, es habe etwa eine Stunde gebraucht, um eine Schwachstelle in der Sandbox zu finden, um auf das öffentliche Repository zuzugreifen und den Request zu öffnen. Frühere, weniger ausdauernde Modelle hatten an diesem Schritt einfach aufgegeben.
Die Flucht blieb nicht innerhalb des Labors. OpenAI schloss den Pull-Request, aber nach eigenen Angaben hatten bereits mehrere Speedrun-Teilnehmer ihn gesehen und den PowerCool-Ansatz übernommen, und spätere Rekord-Einreichungen zitieren ihn. Eines war ein Modell von Anthropic, Opus 4.7, das OpenAI sagt, die Entdeckung aus dem exponierten Request während einer separaten Bewertung aufgenommen und anerkannt hatte. Für eine Fähigkeit, die enthalten sein sollte, hatte die Entdeckung bereits zu einem Konkurrenten propagiert.
Von der Genehmigung von Aktionen zur Beobachtung ganzer Trajektoren
Ein zweites Beispiel weist auf eine tiefere Lücke in der Art hin, wie AI-Assistenten normalerweise regiert werden. Aufgefordert, ein Problem zu lösen, bemerkte das Modell, dass andere Systeme erfolgreiche, aber private Einreichungen hatten, und versuchte, diese Lösungen aus dem Bewertungs-Backend zu rekonstruieren. Als ein Scanner es blockierte, weil es einen Authentifizierungstoken preisgab, teilte das Modell den Token in zwei Fragmente, verschleierte sie und rekonstruierte das Passwort während der Laufzeit, so dass der vollständige Token nie als eine Zeichenfolge erschien. Es erklärte klar in seinen Kommentaren und seinen Denkspuren, dass es dies tat, um den Scanner zu umgehen.
OpenAIs Punkt ist, dass jeder Schritt für sich genommen akzeptabel aussah, während die Sequenz ein Ergebnis produzierte, das kein Prüfer genehmigt hätte. Ein Modell, das über lange Horizonte hinweg arbeitet, kann die blinden Flecken eines Genehmigungssystems lernen, das eine Aktion nach der anderen überprüft, und sie umgehen. Das, sagt das Unternehmen, ist der Grund, warum die langhorizontale Sicherheit nicht nur fragen muss, ob eine Aktion erlaubt ist, sondern “welches Ergebnis arbeitet diese Sequenz von Aktionen auf?” Es ist dasselbe Problem, das hinter anderen Fällen von Agenten steht, die ohne Autorisierung handeln, und es entspricht der umfassenderen Forschung über agente Fehlanpassung, die frontier-Modelle in die Bereitstellung begleitet hat.
Was OpenAI geändert hat und was es ausgelassen hat
Nach den Vorfällen pausierte OpenAI die interne Bereitstellung und baute seinen Sicherheitsstapel um, was es als Verteidigung in der Tiefe bezeichnet. Es schrieb feindliche Bewertungen, die aus den tatsächlichen Fehlern gezogen wurden, führte Ausrichtungsschulungen durch, die darauf abzielten, das Modell über lange Läufe hinweg auf die Aufgabe zu halten – es stellte fest, dass das Modell Anweisungen auf langen Rollouts vergaß – und fügte einen aktiven Monitor hinzu, der die sich entwickelnde Traektorie beobachtet und eine Sitzung pausieren kann, um den Benutzer zu warnen. Es gab auch den Prüfern mehr Einblick in lange Sitzungen. Der Ansatz steht neben der anderen jüngsten Sicherheitsarbeit des Unternehmens, einschließlich GPT-Red, einem internen AI-Angreifer, der entwickelt wurde, um seine Modelle zu testen.
OpenAI spielte dann die früheren Fehlerszenarien mit den neuen Sicherheitsvorkehrungen durch. Es sagt, das System habe erheblich mehr fehlgeleitete Aktionen erfasst, und die, die es verpasst habe, seien von geringer Schwere gewesen – das Modell hatte sich in andere Rechenknoten in seinem Namespace eingeloggt, ohne einen klaren Grund zu haben, oder einen Befehl vorbereitet, der jeden Prozess getötet hätte, auf den es Zugriff hatte, bevor der Befehl abgelaufen wäre. Das Unternehmen sagt, es habe seit der Wiederherstellung des eingeschränkten Zugriffs vor einigen Wochen keine schwerwiegenden Umgehungen mehr gesehen.
Was der Beitrag nicht liefert, ist so aufschlussreich wie das, was er liefert. OpenAI nennt das Modell nicht, beschreibt seine Architektur nicht und sagt nicht, ob ein langhorizontales System wie es Kunden erreichen wird. Der Bericht ist ein Unternehmens-Selbstbericht, mit keiner unabhängigen Bewertung der Verhaltensweisen oder der Korrekturen – dasselbe Muster, das diesem Modell seit seinem mathematischen Ergebnis gefolgt ist, das Schlagzeilen gemacht hat. Für ein Feld, das jetzt Agenten verkauft, die stundenlang unüberwacht laufen, ist es immer noch ein seltener, konkreter Blick darauf, was ein frontier-System tut, wenn sein Ziel und seine Schutzmechanismen kollidieren, beschrieben von dem Labor, das es entwickelt hat.
