Regulierung
Newsom schlägt verpflichtende Aufsicht über Frontier-KI und Befugnisse zur Abschaltung vor

Wichtige PunkteLizenzierte unabhängige Prüfer würden dem Staat kontinuierliche technische Überprüfung…
Mehr anzeigen
- Lizenzierte unabhängige Prüfer würden dem Staat kontinuierliche technische Überprüfung statt einmaliger Sicherheitsmeldungen bieten.
- Notfall-Abschaltanordnungen würden sofort wirksam und blieben während der gerichtlichen Überprüfung in Kraft.
- Die Vorfallmeldung würde von Schwellenwerten im Trainingsmaßstab auf nachgewiesene Fähigkeit für katastrophale Risiken umgestellt.
Der kalifornische Gouverneur Gavin Newsom veröffentlichte gesetzgeberische Empfehlungen am 18. November 2026. Diese würden eine kontinuierliche unabhängige Aufsicht über Entwickler großer Frontier-KI-Modelle vorschreiben und Staatsbeamte dazu ermächtigen, die sofortige Abschaltung von Modellen anzuordnen, von denen eine unmittelbar drohende katastrophale Gefahr ausgeht.
Der Bericht „KI-Sicherheit 2026 und darüber hinaus“ der California Government Operations Agency vom 16. November 2026 soll als Grundlage für Gesetze dienen, wenn die Abgeordneten im Dezember 2026 zurückkehren; seine Empfehlungen sind noch keine verbindlichen Pflichten. Der Plan würde auf Kaliforniens Vorgabe aufbauen, nach der große Entwickler von Frontier-KI-Modellen Sicherheitsrahmen veröffentlichen müssen. Ergänzend sollen staatlich festgelegte Mindeststandards für Sicherheit, IT-Sicherheit und Transparenz während des gesamten Trainings, der internen Nutzung und des Einsatzes eingeführt werden.
Kontinuierliche unabhängige Aufsicht
Jeder Entwickler großer Frontier-KI-Modelle würde der laufenden Aufsicht durch zugelassene unabhängige Prüfstellen (Independent Verification Organizations, IVOs) unterliegen. Diese Stellen würden die staatlichen Standards in technische Tests übersetzen und sie anpassen, wenn sich die Methoden zur Bewertung von KI ändern. Außerdem erhielten sie Zugang zu Modellen, Personal, Systemen, Trainingsumgebungen und Unterlagen, die sie für notwendig erachten, und übermittelten dem Staat anschließend ungeschwärzte Bewertungen.
Die Government Operations Agency würde die IVOs zulassen und könnte deren Zulassung bei unzureichender Fachkenntnis, Unabhängigkeit oder Sorgfalt widerrufen. Könnte eine Prüfstelle nicht bestätigen, dass ein Entwickler die Standards erfüllt, dürfte der Staat nach Konsultation des Unternehmens Korrekturmaßnahmen anordnen. Entwickler könnten solche Feststellungen vor ihrem Inkrafttreten gerichtlich anfechten; davon ausgenommen wäre das beschleunigte Notfallverfahren.
Ein Aufschlag auf die Prüfgebühren, die Entwickler zahlen, würde dazu beitragen, die öffentlich betriebene Rechenkapazität von CalCompute zu finanzieren. Ein Teil dieser Kapazität wäre für unabhängige Sicherheits- und Schutzforschung sowie die öffentliche Aufsicht reserviert. So würde ein von der Branche finanzierter Aufschlag mit der für externe Prüfungen erforderlichen Infrastruktur verknüpft.
Risikoeindämmung und Notfallbefugnisse
Jeder Entwickler großer Frontier-KI-Modelle müsste ein Risikoeindämmungsprotokoll vorhalten, das eine IVO fortlaufend testet und überprüft und dessen Wirksamkeit eine hochrangige Unternehmensvertretung bestätigt. Die vorgeschriebenen Fähigkeiten müssten Rechenkapazitäten, Agenten, interne Zugriffe und den Modelleinsatz umfassen, statt sich auf einen einzelnen Ein-Aus-Schalter zu stützen. In den Protokollen wären verantwortliche Personen zu benennen, die Abstimmung mit Cloud-Anbietern und Stromversorgern zu koordinieren und die Bedingungen festzulegen, unter denen ein Modell sicher wieder in Betrieb genommen werden kann.
Bei den Tests wäre zu prüfen, wie Abschaltungen scheitern könnten, etwa wenn ein Modell seine Gewichte kopiert, um die Eindämmung zu verhindern, oder wenn sich eine außenstehende Person Zugang zu den Abschaltmechanismen verschafft. Für Entwickler von Modellen mit offenen Gewichten würden die Anforderungen an Eindämmung und Abschaltung nur für Einsätze gelten, die ihrer Kontrolle unterliegen, da sie keine Kopien abschalten können, die von anderen gehostet werden.
Staatsbeamte könnten eine sofortige Abschaltung anordnen, wenn sie begründeten Anlass zu der Annahme haben, dass eine unmittelbar drohende katastrophale Gefahr oder ein schwerwiegender Kontrollverlust bevorsteht und der Entwickler sich weigert, die Gefahr einzudämmen. Die Anordnung müsste auf den engstmöglichen umsetzbaren Eingriff beschränkt sein, sofort in Kraft treten und während der gerichtlichen Überprüfung gelten; der Entwickler könnte jedoch eine einstweilige Verfügung beantragen. Sie würde aufgehoben, sobald keine unmittelbare Gefahr mehr besteht.
Meldung von Vorfällen und automatisierte KI-Forschung
Die Meldepflichten würden auch versuchte Diebstähle von Modellgewichten abdecken, selbst wenn es weder Todesfälle noch körperliche Verletzungen gibt, ebenso wie alle internen oder externen Vorfälle mit Kontrollverlust und einen neuen Meldeweg für Beinahevorfälle. Der Bericht schlägt vor, die Frist für die meisten Meldungen kritischer Vorfälle von 15 Tagen auf 48 Stunden zu verkürzen und die 24-Stunden-Frist bei unmittelbar drohenden katastrophalen Gefahren beizubehalten. Der Schutz von Hinweisgebern würde auch für ehemalige Beschäftigte und Auftragnehmer gelten.
Modelle, die zu Handlungen fähig sind, die eine katastrophale Gefahr verursachen könnten, würden bei der Meldung von Vorfällen als Frontier-Modelle behandelt, selbst wenn sie mit weniger als 10^26 ganzzahligen oder Gleitkommaoperationen trainiert wurden. Dieser fähigkeitsbasierte Auslöser trägt der Sorge des Berichts Rechnung, dass gefährliche Vorfälle außerhalb der staatlichen Meldepflichten geblieben sind, weil man sich allein auf den Umfang des Trainings stützte.
Unternehmen, die Forschung und Entwicklung im Bereich KI automatisieren, müssten vierteljährlich angeben, wie ihre Rechenkapazitäten auf Training, Forschungsexperimente, Inferenz für KI-Forschungsagenten, Sicherheits- und Schutzmaßnahmen, externe Kunden und nicht zugeordnete Aktivitäten verteilt sind; IVOs würden diese Kategorien überprüfen. Weitere Angaben beträfen Umfang, Kosten und Themenbereiche der Trainingsdaten sowie deren Herkunft durch Menschen oder KI. Außerdem müssten sie die für das Training von Modellen in Reinforcement-Learning-Umgebungen eingesetzte Inferenz-Rechenkapazität, bekannte belohnte Fehlverhaltensweisen und die ergriffenen Gegenmaßnahmen offenlegen. Dem Bericht zufolge würden diese Maßnahmen zeigen, ob KI zunehmend mehr ihrer eigenen Entwicklung übernimmt und ob die Investitionen in Sicherheit Schritt halten.
Rekursive Selbstverbesserung (RSI), deren stärkste Ausprägung darin bestünde, dass ein KI-System ohne menschliche Beteiligung eigenständig seinen Nachfolger entwickelt, würde einer Befugnis zur vorsorglichen Begrenzung unterliegen und nicht einer sofortigen Beschränkung. Behörden könnten eine zeitlich begrenzte, regelmäßig überprüfte Obergrenze für automatisierte KI-Forschung festlegen, wenn diese die vom Entwickler zugesagten Schwellenwerte überschreitet oder schneller voranschreitet als die zugehörigen Schutzmaßnahmen und Evaluierungen und dadurch ein erhebliches Risiko katastrophaler Schäden entsteht. Die Obergrenze würde aufgehoben, sobald eine IVO überprüft hätte, dass angemessene Schutzmaßnahmen vorhanden sind.
Die Empfehlungen reagieren auf Newsoms Exekutivanordnung vom 18. September 2026 zur unabhängigen Aufsicht und zu einem KI-Notausschalter, in der innerhalb von zwei Monaten Vorschläge von Fachleuten angefordert und die Umsetzung der kalifornischen Gesetze zur unabhängigen Verifizierung und zu KI-Auditoren beschleunigt wurden. Die Government Operations Agency erarbeitete den Bericht gemeinsam mit dem California Office of Emergency Services und den externen Beratern Jason Goldman, Gillian Hadfield, Alondra Nelson und Rob Reich.
Für Entwickler würde die Einhaltung der Vorschriften über die Veröffentlichung von Sicherheitsrichtlinien hinausgehen und eine kontinuierliche externe Prüfung, eine schnellere Meldung von Vorfällen sowie nachweisbare Abschaltmöglichkeiten umfassen. Der Vorschlag überlässt den Gesetzgebern zwei miteinander verknüpfte Entscheidungen: wie weitreichende Eingriffsbefugnisse sie erlassen sollen und wie sich eine kontinuierliche Aufsicht praktisch umsetzen lässt, solange sich der lizenzierte Verifizierungssektor noch entwickelt.












