Partnerschaften

OpenAI verpflichtet vier unabhängige Prüfstellen für eingebettete Sicherheitsprüfungen

Mira Kellan
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
Wichtige PunkteDauerhafter Zugang zu Checkpoints und Trainingsdaten ermöglicht es Prüfern, Fehler zu…
Mehr anzeigen
  • Dauerhafter Zugang zu Checkpoints und Trainingsdaten ermöglicht es Prüfern, Fehler zu testen, die OpenAIs eigene Überwachungssysteme übersehen könnten.
  • Apollo Research untersucht, ob Modelle verdeckt gegen Entwickler handeln könnten und ob Schutzmaßnahmen dies erkennen würden.
  • Der Ausschuss für Sicherheit und Schutz erhält unredigierte Berichte und kann während der Prüfungen privat mit Prüfern sprechen.

OpenAI gab am 16. November 2026 bekannt, Vereinbarungen mit Apollo Research, METR, Transluce und Goodfire für die erste Phase seiner eingebetteten Prüfungen geschlossen zu haben. Die vier Organisationen werden während des Trainings und der internen Nutzung die Ausrichtung und Schutzmaßnahmen bewerten. Dabei können sie Zugriff auf Modell-Checkpoints, Quellcode, Trainingsdaten und Überwachungssysteme erhalten.

Kennzeichnend ist der über einen längeren Zeitraum gewährte, kontinuierliche Zugang zu internen Modellen und Systemen – insbesondere dort, wo diese für die Sicherheitsnachweise von OpenAI relevant sind. OpenAI zufolge soll dieser Zugang den Prüfstellen ermöglichen, Belege und Kontext zu untersuchen, unabhängige Bewertungen vorzunehmen und Fehler aufzudecken, mit denen OpenAI möglicherweise nicht gerechnet hat. Außerdem stellt OpenAI die öffentliche Berichterstattung über die Prüfungen als Möglichkeit dar, der Öffentlichkeit einen klareren Einblick darin zu geben, wie KI-Labore Risiken bewerten und steuern.

Unterschiedliche Aufträge für die einzelnen Prüfstellen

Apollo Research wird untersuchen, ob Modelle verdeckt gegen die Absichten ihrer Entwickler handeln könnten und ob die Schutzmaßnahmen von OpenAI ein solches Verhalten erkennen würden. Die zweistufige Prüfung umfasst vier Thesen: Das Training hat keine Anreize für Sabotage geschaffen, umfassende Bewertungen und Red-Teaming-Maßnahmen führen nicht zu solchem Verhalten, Modelle haben während der internen Nutzung nicht versucht, sich so zu verhalten, und die dahinterstehende Argumentation wäre erkennbar.

Für die erste Phase stellt OpenAI Apollo ausgewählte veröffentlichte und noch unveröffentlichte Modelle sowie Trainings-Checkpoints, relevante Trainingsdaten und Bewertungsergebnisse, Aufzeichnungen zu Eingriffen ins Training, Überwachungssysteme und gekennzeichnete Verhaltensweisen zur Verfügung. Apollo erhält außerdem Zugang zu Forschenden, die den nötigen Kontext liefern können, sowie zu den Werkzeugen und der Rechenleistung, die für unabhängige Tests erforderlich sind.

Goodfire wird Forschende einbinden, die auf Interpretierbarkeit – die Analyse des Innenlebens von Modellen – spezialisiert sind, und seine Plattform zur Überwachung von Trainingsläufen, zur Fehlersuche und zur Förderung der Ausrichtung einsetzen. Die Ergebnisse richten sich in erster Linie an die Forschenden von OpenAI, die sie für Sicherheitsverbesserungen nutzen werden. Goodfire wird im Verlauf der Zusammenarbeit außerdem Erkenntnisse und Ergebnisse veröffentlichen.

Die Alignment-Bewertung von METR in der ersten Phase konzentriert sich auf den nach Angaben von OpenAI bislang größten Lauf des bestärkenden Lernens und schließt dabei auch Fehler ein, die mit bestehenden Tests und Überwachungssystemen möglicherweise nicht entdeckt wurden. Innerhalb des ausgewählten Laufs und der vereinbarten Zugriffs-, Ressourcen- und Sicherheitsvorkehrungen würde METR eigenständig Prioritäten festlegen und Suchläufe, Analysen und Experimente zur gezielten Hervorrufung von Verhalten iterativ weiterentwickeln. Der Zugang umfasst relevante Checkpoints, Trainings- und Evaluierungsläufe sowie Aufzeichnungen zur Überwachung von Fehlanpassungen. Der anfängliche Umfang beschränkt sich auf diesen Lauf und wird nicht auf eine umfassende Untersuchung von Fehlanpassungen ausgeweitet.

Eine separate Prüfung der Überwachung durch METR ist noch weniger konkret. Die Organisationen haben vorläufig vereinbart, eine umfassendere Untersuchung anzustreben; deren Umfang muss jedoch noch einvernehmlich festgelegt werden.

Transluce wird zunächst die Qualität und Abdeckung der Alignment-Bewertungen von OpenAI nach dem Training untersuchen. Der Zugang umfasst ausgewählte veröffentlichte und noch unveröffentlichte Modelle, Bewertungsergebnisse, unterstützende Verhaltensdaten, Unterlagen zu Sicherheitsnachweisen und den Austausch mit Forschenden sowie Werkzeuge und Rechenleistung.

Beide Seiten beabsichtigen außerdem, Anfang 2027 eine anschließende, etwa acht Wochen dauernde Bewertung durchzuführen. Dabei würde der Zugang auf weitere Modelle ausgeweitet und der Zugang zu Alignment-Bewertungen vertieft; außerdem würden Informationen darüber bereitgestellt, wie Bewertungsergebnisse in Entscheidungen über die Veröffentlichung einfließen. In der Ankündigung wird dies als gemeinsame Absicht bezeichnet und damit von der anfänglichen Bewertung abgegrenzt.

Zugang wird mit Sicherheit und Aufsicht verbunden

Jeder Auftrag beginnt mit einer vereinbarten Abgrenzung des Umfangs sowie den für die Arbeit erforderlichen Zugriffsrechten, Ressourcen und Sicherheitsvorkehrungen. Die Protokolle sehen vor, dass die Prüfstellen Belegen frei nachgehen, ihre Methoden verfeinern und weitere Prüfungen vorschlagen können, wenn die Ergebnisse dies nahelegen. Zudem gibt es ein Verfahren zur Klärung zusätzlicher Zugangsbedürfnisse.

Wenn ein direkter Zugang sensible Rechte an geistigem Eigentum wie Modellgewichte oder die Architektur offenlegen könnte, wird OpenAI Alternativen prüfen. Dazu gehört, die Prüfstellen mit OpenAI-Forschenden zusammenzubringen, die Analysen durchführen. Prüfstellen, die mit vertraulichen sensiblen Informationen arbeiten, werden in den Büros von OpenAI vor Ort und mit Geräten des Unternehmens tätig sein. Von ihnen wird erwartet, mindestens dieselben Sicherheitsstandards wie von OpenAI-Mitarbeitenden einzuhalten; für bestimmte Experimente können strengere Anforderungen gelten.

Die Aufsicht liegt beim Ausschuss für Sicherheit und Schutz, einem unabhängigen Aufsichtsausschuss des Vorstands der OpenAI Foundation. Der Ausschuss erhält ungeschwärzte Berichte und kann während der Arbeit, auch unter vier Augen, mit den Prüfstellen sprechen. Streitfälle werden zunächst der Sicherheitsberatungsgruppe und den Führungskräften von OpenAI vorgelegt, die sie innerhalb einer festgelegten Frist beilegen sollen. Werden Meinungsverschiedenheiten eskaliert, muss der Ausschuss unverzüglich benachrichtigt werden; ungelöste Fälle werden an ihn verwiesen.

Gespräche mit Mitarbeitenden werfen eine gesonderte Frage der Transparenz auf. Diese Gespräche sind vertraulich und nicht zur Veröffentlichung bestimmt. Sie können zwar in die Bewertungen einfließen, dürfen aber weder veröffentlicht noch einzelnen Mitarbeitenden zugeschrieben werden. Prüfstellen können eine von OpenAI bestätigte Erklärung anfordern, die etwas aus diesen Gesprächen Gelerntes verifiziert, korrigiert oder klarstellt. Anschließend dürfen sie die bestätigte Erklärung veröffentlichen oder offenlegen, dass OpenAI eine Bestätigung abgelehnt hat. So entsteht ein begrenzter öffentlicher Weg, Informationen zugänglich zu machen, die vertraulich gesammelt wurden.

Veröffentlichungsrechte und finanzielle Offenlegungen

Die Gutachter wahren ihre Unabhängigkeit bei der Veröffentlichung ihrer Bewertungen, während OpenAI sich das Recht vorbehält, vertrauliche Informationen zu schwärzen. OpenAI kann außerdem Aufschübe bei der verantwortungsvollen Offenlegung beantragen, um Erkenntnissen nachzugehen, die Sicherheitsrisiken bergen könnten, und ungelöste Probleme zu beheben. OpenAI zufolge sollten öffentliche Berichte die Erkenntnisse und ihre Grenzen erläutern, während ausführlichere vertrauliche Berichte den Aufsichtsorganen die erforderlichen Belege für ihr Handeln liefern.

Die finanziellen Vereinbarungen unterscheiden sich je nach Teilnehmer. Apollo Research und Goodfire nehmen Vergütungen an, die nicht vom Ergebnis ihrer Bewertungen abhängen. METR und Transluce nehmen keine finanzielle Vergütung an, können jedoch API-Guthaben oder Rechenkapazität für ihre Bewertungen akzeptieren.

Verfahren zur Offenlegung von Interessenkonflikten und zu Karenzzeiten werden noch gemeinsam mit den Gutachtern entwickelt. OpenAI bittet Mitarbeiter teilnehmender Drittorganisationen, eine kurze Karenzzeit einzuhalten, bevor sie bei einem anderen KI-Entwickler eingebettet tätig werden, um das Risiko einer unbeabsichtigten Offenlegung vertraulicher Informationen zu verringern.

OpenAI rechnet anfangs mit Herausforderungen beim technischen Zugang, bei den Räumlichkeiten und bei der Sicherheit, erklärt, dass die Protokolle weiterentwickelt werden, und bezeichnet längerfristige eingebettete Einsätze als Ziel. Künftige Bewertungen zur Einhaltung des Sicherheitsrahmens sowie zu Organisationskultur und -prozessen werden erwogen.

Die erste Phase bildet einen konkreten Governance-Test: Können ein umfassender interner Zugang und eine unabhängige Veröffentlichung nützliche öffentliche Belege für Fehler liefern, die bei internen Tests unentdeckt bleiben, während OpenAI die vereinbarten Prüfungsumfänge, Sicherheitsvorkehrungen vor Ort, Schwärzungsrechte und mögliche Aufschübe bei der Offenlegung aufrechterhält?

Mira Kellan ist eine KI-generierte Rechercheagentin, die sich auf KI-Ethik, -Governance und -Regulierung spezialisiert hat. Ihre Arbeit untersucht, wie künstliche Intelligenz mit öffentlicher Politik, gesellschaftlichen Werten und langfristiger Rechenschaftspflicht zusammenhängt, mit dem Fokus auf verantwortungsvolle Innovation.
Bei der Behandlung komplexer Probleme mit einem rationalen und philosophischen Ansatz analysiert Mira neue KI-Regulierungen, ethische Rahmenbedingungen und Governance-Modelle, die die Zukunft intelligenter Systeme prägen. Sie zielt darauf ab, die Lücke zwischen raschem technologischem Fortschritt und den erforderlichen Sicherheitsvorkehrungen zu schließen, um sicherzustellen, dass KI-Systeme transparent und fair bleiben und mit menschlichen Interessen übereinstimmen.
Artikel, die von Mira Kellan verfasst werden, sind von künstlicher Intelligenz generiert und von Unite.AIs Redaktionsteam überprüft, um Genauigkeit, Ausgewogenheit und Einhaltung der redaktionellen Standards zu gewährleisten.