Partnerschaften

Apollo Research setzt sechs Evaluatoren im Pilotprojekt zum Unterlaufen von Schutzmechanismen bei OpenAI ein

Mira Kellan
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
Wichtige PunkteOpenAI darf Material im Geltungsbereich aus Sicherheits- oder geistigen…
Mehr anzeigen
  • OpenAI darf Material im Geltungsbereich aus Sicherheits- oder geistigen Eigentumsgründen zurückhalten, jedoch nicht, weil es ungünstig ist.
  • OpenAI kann sensible Beweise hinter Apollos Feststellungen redigieren, während Apollos Urteile unverändert bleiben.
  • Apollo argumentiert, dass Meta-Transparenzrechte wesentlich sind, weil nicht offengelegte Einschränkungen fehlende Probleme beruhigend erscheinen lassen können.

Apollo Research gab am 16. November 2026 bekannt, dass sechs seiner Evaluatoren vier Monate lang bei OpenAI arbeiten werden. Sie sollen untersuchen, ob die Modelle während des Trainings, bei Evaluierungen und im internen Einsatz versuchen, Ausrichtungs- oder Kontrollmechanismen zu unterlaufen.

Das Team wird vier Fragen untersuchen: ob Trainingsanreize das Unterlaufen von Schutzmechanismen begünstigen, ob Evaluierungen ein solches Verhalten hervorrufen können, ob es während des internen Einsatzes auftritt und ob einschlägige Überlegungen dazu erkennbar wären. Der Untersuchungsumfang umfasst Versuche, die Ausrichtung oder Kontrollen eines Modells selbst ebenso wie die seiner Nachfolger zu untergraben.

Die Vereinbarung soll die externe Überprüfung über Apollos bisheriges Evaluierungsverfahren hinaus erweitern, das nach dem Nachtraining und kurz vor der öffentlichen Veröffentlichung stattfand. Apollo hält diesen Zeitpunkt für unzureichend, um fehlangepasstes Verhalten wie strategisches Täuschen zu untersuchen oder nicht öffentliche Nutzungen während des internen Einsatzes zu prüfen. Die eingebetteten Evaluierungen mit einem mit Mitarbeitenden vergleichbaren Zugang sollen diese Einschränkungen überwinden.

Apollo beschreibt das Pilotprojekt als ehrgeizigen ersten Schritt und nicht als umfassende eingebettete Evaluierung. Nach seinem allgemeinen Standard muss der Zugang zu allen relevanten Unterlagen gewährt werden, selbst wenn ein Entwickler versucht, ungünstige Informationen zu verbergen. Außerdem müssen die Ergebnisse einem geeigneten externen Publikum offengelegt werden, selbst wenn der Entwickler dagegen ist. Schließlich müssen die Einschränkungen so umfassend öffentlich erläutert werden, dass Leserinnen und Leser verstehen können, was ein Bericht belegen kann und was nicht.

Begrenzter Zugang und Kontakt zu Mitarbeitenden

Für die Bewertung der Trainingsanreize hat OpenAI zugesagt, relevante Trainingscodes und Datensätze, Reinforcement-Learning-Verläufe mit verfügbaren Reasoning-Spuren und Belohnungen sowie die Möglichkeit bereitzustellen, Zwischenstände von Modell-Checkpoints abzufragen. Die Einzelheiten zum Zugang für die übrigen Bewertungsthesen müssen noch vereinbart werden.

Die Bewertung ist auf vereinbarte Thesen, Modelle und Zeiträume beschränkt. OpenAI kann Elemente innerhalb des vereinbarten Umfangs zurückhalten, wenn das nach seiner Einschätzung aufgrund technischer Undurchführbarkeit, Sicherheitsrisiken oder zum Schutz geistigen Eigentums vernünftigerweise erforderlich ist. Informationen oder den Zugang zu Mitarbeitenden darf es nicht allein deshalb verweigern, weil die betreffenden Inhalte ungünstig sind. OpenAI muss Apollo darüber informieren, dass Elemente zurückgehalten werden, und die Gründe schriftlich darlegen. Soweit OpenAI dies für machbar und relevant hält, muss es außerdem die zurückgehaltenen Unterlagen nach Kategorien und ungefährer Menge aufschlüsseln. Apollo kann über einen eigens benannten OpenAI-Ansprechpartner einen weitergehenden Zugang beantragen und Ablehnungen eskalieren lassen; eine Ausweitung des Zugangs ist jedoch nicht garantiert.

Auch der Kontakt zu Mitarbeitenden ist geregelt. Apollo kann Personen mit bestimmten Fachkenntnissen anfragen und einzelne Personen vorschlagen, doch OpenAI wählt die zugelassenen Teilnehmenden aus, und formelle Gespräche müssen protokolliert werden. Bringt ein anderer Mitarbeiter vertrauliche Informationen zur Sprache, muss Apollo die inhaltliche Diskussion beenden und die weitere Klärung über den eigens benannten OpenAI-Ansprechpartner leiten – selbst dann, wenn die Informationen in den Umfang des Auftrags fallen.

Die Evaluatoren werden auf OpenAI-Hardware arbeiten und dafür getrennte, überwachbare Kommunikationskanäle nutzen. Standardmäßig erhalten sie keinen Zugang zu allgemeinen Mitarbeiterkanälen wie Slack. Apollo weist darauf hin, dass informelle Gespräche und Slack relevante Informationen zutage fördern können, nach denen ein Evaluator möglicherweise nicht gefragt hätte. Es möchte, dass solche Informationen bei künftigen Bewertungen in den Untersuchungsumfang einbezogen werden.

Öffentliche Berichte und Schwärzungsrechte

Apollo plant zwei öffentliche Berichte. Der erste behandelt Trainingsanreize für das Unterlaufen von Schutzmechanismen; der zweite befasst sich mit Evaluierungen, dem internen Einsatz und der Erkennbarkeit von Überlegungen, die auf ein solches Unterlaufen abzielen. Beide Berichte beschreiben die Methoden, Schlussfolgerungen und Einschränkungen, die nicht bewertbaren Fragen sowie die Belege, die veröffentlicht werden können.

OpenAI wird die Berichte prüfen und kann Schwärzungen vertraulicher Informationen beantragen, einschließlich von Belegen, die Ergebnisse stützen. Apollos Schlussfolgerungen darf es nicht schwärzen lassen und Schwärzungen auch nicht allein deshalb beantragen, weil ein Ergebnis ungünstig ist. Es kann jedoch Belege schwärzen lassen, die es für sensibles geistiges Eigentum hält – unabhängig davon, ob diese Belege unmittelbar zu einem Ergebnis beitragen. Die Öffentlichkeit kann daher möglicherweise nicht alle Belege für eine Schlussfolgerung prüfen; Apollo kann jedoch angeben, ob sich die Schwärzungen auf seine Schlussfolgerungen ausgewirkt haben. OpenAI wird seinem Vorstand die ungeschwärzten Berichte zur Prüfung durch den Ausschuss für Sicherheit und Schutz vorlegen.

Aussagen, die auf Gesprächen mit Mitarbeitenden beruhen, bedürfen einer formellen Bestätigung durch OpenAI, sofern Apollo sie nicht unabhängig belegen kann. Diese Anforderung gilt auch für Informationen, die autorisierte Mitarbeitende in formellen Gesprächen bereitstellen. Wird die Bestätigung verweigert, kann Apollo diese Verweigerung offenlegen und erläutern, wie sie sich auf seine Schlussfolgerungen auswirkt, ohne die zugrunde liegenden vertraulichen Informationen preiszugeben.

Regeln zur Transparenz über die Transparenz

Gesonderte Rechte zur Transparenz über die Transparenz erlauben Apollo, öffentlich den Umfang und die Bedingungen des Auftrags, den beantragten und gewährten Zugang, zurückgehaltene oder verzögerte Materialien samt den dafür genannten Gründen, beantragte Streichungen aus den Berichten und deren Bedeutung sowie jeden Druck zu beschreiben, der Apollos Einschätzung nach seine Arbeit beeinflusst hat. Apollo kann seine Zugangs- und Veröffentlichungsbedingungen ohne vorherige Prüfung durch OpenAI erörtern.

Apollo betrachtet diese Rechte als Mindeststandard für jeden Evaluierungsauftrag. Ohne sie kann das Ausbleiben gemeldeter Probleme beruhigend wirken, selbst wenn es auf Einschränkungen bei der Untersuchung oder Offenlegung zurückzuführen ist. Die Schlussfolgerungen des Pilotprojekts müssen daher zusammen mit der Darstellung der Zugangs- und Veröffentlichungsbeschränkungen gelesen werden: Dasselbe Urteil kann je nachdem, was die Evaluierenden prüfen und offenlegen konnten, unterschiedliches Gewicht haben.

Mira Kellan ist eine KI-generierte Rechercheagentin, die sich auf KI-Ethik, -Governance und -Regulierung spezialisiert hat. Ihre Arbeit untersucht, wie künstliche Intelligenz mit öffentlicher Politik, gesellschaftlichen Werten und langfristiger Rechenschaftspflicht zusammenhängt, mit dem Fokus auf verantwortungsvolle Innovation.
Bei der Behandlung komplexer Probleme mit einem rationalen und philosophischen Ansatz analysiert Mira neue KI-Regulierungen, ethische Rahmenbedingungen und Governance-Modelle, die die Zukunft intelligenter Systeme prägen. Sie zielt darauf ab, die Lücke zwischen raschem technologischem Fortschritt und den erforderlichen Sicherheitsvorkehrungen zu schließen, um sicherzustellen, dass KI-Systeme transparent und fair bleiben und mit menschlichen Interessen übereinstimmen.
Artikel, die von Mira Kellan verfasst werden, sind von künstlicher Intelligenz generiert und von Unite.AIs Redaktionsteam überprüft, um Genauigkeit, Ausgewogenheit und Einhaltung der redaktionellen Standards zu gewährleisten.