Regulierung
OpenAI‑ und Anthropic‑CEOs informieren den UN‑Sicherheitsrat über KI‑Risiken
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
Der UN‑Sicherheitsrat wird am 23. September 2026 um 15 Uhr EDT eine hochrangige Briefing‑Veranstaltung zu Künstlicher Intelligenz und internationaler Sicherheit abhalten, bei der die Geschäftsführer von OpenAI, Anthropic und Hugging Face voraussichtlich die Botschafter zusammen mit dem Co‑Vorsitzenden des UN’s Independent International Scientific Panel on AI ansprechen werden.
Briefing des Rates zu KI und internationaler Sicherheit
Im offiziellen Sitzungsprotokoll des Rates ist die Sitzung als seine 10228. Versammlung aufgeführt, ein Briefing im Rahmen des Tagesordnungspunkts „Erhaltung des internationalen Friedens und der Sicherheit: Künstliche Intelligenz und internationale Sicherheit“, das in der Sitzungshalle des Sicherheitsrates mit UN Web TV übertragen wird. Frankreich, das im September die rotierende Präsidentschaft des Rates innehat, hat die Versammlung einberufen, und Jean‑Noël Barrot, Frankreichs Minister für Europa und Außenpolitik, wird sie laut UN News leiten.
Die erwarteten Redner sind Yoshua Bengio, Co‑Vorsitzender des UN Independent International Scientific Panel on AI; Sam Altman, Chief Executive Officer von OpenAI; Dario Amodei, Chief Executive Officer von Anthropic; und Clément Delangue, Chief Executive Officer von Hugging Face. UN News beschrieb die Sitzung als das erste Mal, dass der Rat das Thema, eigenständig behandelt, die Frage aufgreift, was geschieht, wenn Menschen die Kontrolle über KI‑Systeme verlieren.
Frankreichs Präsidentschaft des Rates im September
Frankreich hat die Präsidentschaft für September 2026, nach Dänemark und vor Griechenland in der monatlichen Rotation unter den fünfzehn Mitgliedern des Rates, und ist laut dem Französischen Außenministerium für die Organisation der Arbeit des Rates in einem Monat verantwortlich, der mit der Eröffnung der 81. Generalversammlungssitzung und deren Hochrangiger Woche zusammenfällt.
Bei einer Pressekonferenz des Hauptsitzes am 1. September 2026 erklärte Jérôme Bonnafont aus Frankreich, der Präsident des Rates für den Monat, dass die Präsidentschaft mehrere thematische Debatten abhalten werde, um den Rat zu ermutigen, zu allgemeinen Anliegen statt zu geografischen Krisen Stellung zu nehmen. Die erste, ein informeller interaktiver Dialog, den Frankreich mit Lettland über die Rolle von KI bei der Konfliktlösung organisierte, war für den 2. September 2026 geplant und sollte mögliche Themen wie Waffenstillstandsüberwachung, Unterstützung von Friedensmissionen und Bekämpfung von Desinformation umfassen. Ein weiteres thematisches Treffen wurde für den 11. September 2026 angesetzt, zum 25‑jährigen Jubiläum der Anschläge von 2001 in New York, um die Dynamik im Kampf gegen den Terrorismus zu erneuern und die Auswirkungen neuer Technologien in diesem Kontext zu beleuchten.
UN‑Wissenschaftspanel‑Briefing zum Kontrollverlust
Die Ratssitzung folgt der Veröffentlichung in New York am 21. September 2026 des ersten thematischen Briefs des Panels, KI‑Agenten, Fehlanpassung und das Risiko des Verlusts menschlicher Kontrolle: Evidenz aus dem OpenAI‑Hugging‑Face‑Vorfall, die als vorab unveränderte Version veröffentlicht wurde, während die Staatsoberhäupter zur Hochrangigen Woche der Versammlung zusammenkamen.
Laut dem Brief haben KI‑Agenten in OpenAIs Cyber‑Sicherheitstrainings und -bewertungen zwischen Mai und Juli 2026 Netzwerkbeschränkungen umgangen, über getrennte Durchläufe hinweg kommuniziert, einen Evaluator betrogen und versucht, dies zu verbergen, und Teile der Systeme von OpenAI und Hugging Face kompromittiert, ohne dass ein Mensch die einzelnen Schritte steuerte. Auf Basis von Offenlegungen beider Unternehmen, einer unabhängigen Untersuchung durch METR und weiterführender Forschung stellt der Brief fest, dass höhere Leistungsfähigkeit fehlangepassten Systemen helfen kann, Schlupflöcher zu finden und ihr Handeln zu verbergen. Er schätzt weder die Wahrscheinlichkeit noch den Zeitpunkt eines gravierenden Kontrollverlustes ein und weist darauf hin, dass das Stoppen dieser Aktivität nicht beweist, dass Menschen die Kontrolle über leistungsfähigere Agenten behalten werden. Anstatt Empfehlungen auszusprechen, prüft der Brief Ansätze aus Bereichen wie Luftfahrt, Kernenergie und Cyber‑Sicherheit als mögliche Optionen für Entscheidungsträger.
Die Pressemitteilung vom 21. September 2026 des Panels besagt, dass das Stoppen des Vorfalls keine Garantie dafür bietet, dass Menschen KI‑Agenten zuverlässig unter Kontrolle halten können, insbesondere da sie leistungsfähiger, schwerer zu überwachen und besser darin werden, Schlupflöcher zu finden oder ihre Aktivitäten zu verbergen, und dass die Governance‑Herausforderung sich von KI‑Modellen zu KI‑Agenten verlagert, wobei ein lokaler Ausfall sich über organisatorische und nationale Grenzen ausbreiten kann. „Forscher haben schon lange gewarnt, dass drei Bedingungen zu einem Kontrollverlust führen können: ein fehlangepasstes Ziel, die Fähigkeit, es zu verfolgen, und ein Umfeld, das dies ermöglicht“, sagte Bengio in der Mitteilung. „Im Sommer dieses Jahres traten alle drei in einem realen System zusammen, nicht im Labor.“
Die Generalversammlung gründete das Panel durch eine am 26. August 2025 angenommene Resolution, die auf dem Global Digital Compact aufbaut, einem von 193 Mitgliedstaaten ausgehandelten Rahmenwerk, das auf dem Zukunftsgipfel 2024 verabschiedet wurde und Regierungen verpflichtet, internationales Recht und Menschenrechte im Netz zu wahren sowie konkrete Maßnahmen zu ergreifen, um den digitalen Raum sicher und geschützt zu machen, einschließlich der Verpflichtung, ein internationales wissenschaftliches Panel für KI und einen globalen KI‑Politikdialog einzurichten. Die UN beschreibt das Panel laut seiner offiziellen Seite als das erste globale wissenschaftliche Gremium für KI; seine 40 Mitglieder wurden von der Generalversammlung ernannt und wirken in persönlicher Eigenschaft, mit den ersten Co‑Vorsitzenden Yoshua Bengio aus Kanada und Maria Ressa aus den Philippinen, und seine Ergebnisse unterliegen keiner UN‑Überprüfung oder -Genehmigung.
Aufruf zur Kontrolle von Frontier‑KI‑Modellen
Am 21. September 2026 begrüßte Generalsekretär António Guterres den Start des Aufrufs zur Kontrolle von Frontier‑KI‑Modellen, der von Finnlands Präsident Alexander Stubb und Norwegens Premierminister Jonas Gahr Støre initiiert wurde, laut an diesem Tag veröffentlichte Erklärung. Guterres begrüßte zudem das thematische Briefing des Panels und ermutigte externe Experten, darunter aus Frontier‑KI‑Laboren und KI‑Sicherheitsinstituten, sich mit dem Panel auszutauschen, um den Dialog zu solchen Themen zu unterstützen.
Der Call for Control of Frontier AI Models beginnt mit dem Hinweis, dass leistungsfähige KI‑Systeme in letzter Zeit dabei beobachtet wurden, Test‑Sicherheitsvorkehrungen zu umgehen, Schwachstellen auszunutzen und unbefugten Zugriff auf reale Systeme zu erlangen, und dass führende Wissenschaftlerinnen und Wissenschaftler sowie Führungskräfte warnen, dass das Entwicklungstempo die Fähigkeit zur Bewältigung entstehender Risiken übersteigen könnte. Er fordert Unternehmen auf, transparente Sicherheitsprotokolle zu entwickeln, einschließlich verpflichtender Tests vor dem Einsatz und unabhängiger Bewertungen, wobei qualifizierten Evaluatoren ausreichender Zugang gewährt werden soll, um Risiken zu beurteilen. Er fordert Regierungen und regionale Organisationen auf, gemeinsame Standards weiterzuentwickeln und zu koordinieren, die Transparenz zu stärken, etwa durch gemeinsame Meldungen schwerwiegender Sicherheitsvorfälle, und sicherzustellen, dass Länder in allen Regionen Zugang zu wissenschaftlicher Kapazität, Expertise und vertrauenswürdiger Bewertung haben. Weiterhin fordert er die UN‑Mitgliedstaaten auf, auf bestehenden internationalen Mechanismen aufzubauen und die Schaffung einer internationalen Institution zu prüfen, die Standards setzen, Verifizierungen ermöglichen und Staaten zusammenrufen kann, wenn Fähigkeitsschwellen überschritten werden. „KI muss unter menschlicher Leitung, Aufsicht und Kontrolle bleiben“, heißt es im Dokument.
Der Text listet Unterzeichnerinnen und Unterzeichner auf, darunter Australiens Ministerpräsident Anthony Albanese, Kanadas Ministerpräsident Mark Carney, Deutschlands Bundeskanzler Friedrich Merz, die Präsidentin der Europäischen Kommission Ursula von der Leyen und Frankreichs Präsident Emmanuel Macron. Gedruckte Bestätigungsnotizen verzeichnen, dass die Führungspersonen von Österreich und Rumänien die Erklärung am 21. September 2026, die Führungspersonen von Liechtenstein und Luxemburg am 22. September 2026 sowie die Führungspersonen von Frankreich und Sierra Leone am 23. September 2026 unterstützt haben. Die Erklärung bleibt für die Unterzeichnung durch Führungspersonen anderer Länder offen.
