Regelgeving

Newsom stelt verplicht toezicht op frontier-AI en bevoegdheden tot uitschakeling voor

Sophie Denar
Voeg Unite.AI toe aan je voorkeursbronnen op Google
Belangrijkste puntenErkende onafhankelijke verificateurs zouden de staat doorlopend technisch toezicht…
Meer weergeven
  • Erkende onafhankelijke verificateurs zouden de staat doorlopend technisch toezicht geven in plaats van eenmalige veiligheidsaanmeldingen.
  • Bevelen tot noodstop zouden onmiddellijk van kracht worden en van kracht blijven tijdens rechterlijke toetsing.
  • Incidentmelding zou verschuiven van drempels op trainingsschaal naar aangetoonde bekwaamheid voor catastrofaal risico.

Gavin Newsom, gouverneur van Californië, publiceerde aanbevelingen voor wetgeving op 18 november 2026. Die zouden doorlopende, onafhankelijke controle op grote ontwikkelaars van frontier-AI verplicht stellen en staatsfunctionarissen de bevoegdheid geven om modellen die een onmiddellijk catastrofaal risico vormen, in noodgevallen uit te schakelen.

Het rapport van de California Government Operations Agency, rapport, AI-veiligheid in 2026 en daarna, gedateerd 16 november 2026, is bedoeld als input voor wetgeving wanneer de wetgevers in december 2026 terugkeren; de aanbevelingen zijn nog geen wettelijke verplichtingen. Het plan zou voortbouwen op de Californische eis dat grote ontwikkelaars van frontiermodellen veiligheidskaders publiceren, door door de staat vastgestelde minimumnormen voor veiligheid, beveiliging en transparantie toe te voegen voor de volledige cyclus van training, intern gebruik en implementatie.

Doorlopend onafhankelijk toezicht

Elke grote ontwikkelaar van frontier-AI zou doorlopend onder toezicht staan van erkende onafhankelijke verificatieorganisaties (IVO’s). Deze organisaties zouden de normen van de staat omzetten in technische tests en die bijwerken naarmate de evaluatiemethoden voor AI veranderen. Ook zouden ze toegang krijgen tot modellen, personeel, systemen, trainingsomgevingen en dossiers die zij noodzakelijk achten, waarna ze ongecensureerde beoordelingen aan de staat zouden sturen.

Het Government Operations Agency zou IVO’s erkennen en hun erkenning kunnen intrekken als ze niet over voldoende deskundigheid of onafhankelijkheid beschikken, of niet grondig genoeg werken. Als een beoordelaar niet kon bevestigen dat een ontwikkelaar aan de normen voldeed, zou de staat na overleg met het bedrijf corrigerende maatregelen kunnen opleggen. Ontwikkelaars zouden zulke besluiten bij de rechter kunnen aanvechten voordat ze van kracht worden, behalve in de versnelde noodprocedure.

Een toeslag op de verificatiekosten die ontwikkelaars betalen, zou helpen om de door de overheid beheerde capaciteit van CalCompute te financieren. Een deel van die rekenkracht zou worden gereserveerd voor onafhankelijk veiligheids- en beveiligingsonderzoek en publiek toezicht. Zo wordt een door de sector gefinancierde toeslag gekoppeld aan de infrastructuur die nodig is voor externe controle.

Risicobeheersing en noodbevoegdheden

Elke grote ontwikkelaar van frontier-AI zou een protocol voor risicobeheersing moeten onderhouden. Een IVO zou dit doorlopend testen en verifiëren, waarna een hoge functionaris van het bedrijf de doeltreffendheid ervan zou bevestigen. De vereiste capaciteit zou betrekking hebben op rekenkracht, agents, interne toegang en de inzet van modellen, in plaats van afhankelijk te zijn van één aan-uitknop. In de protocollen zouden verantwoordelijke medewerkers worden aangewezen, afspraken met cloudproviders en energieleveranciers worden gecoördineerd en de voorwaarden worden vastgelegd waaronder een model veilig opnieuw kan worden geactiveerd.

Bij tests zou worden onderzocht hoe uitschakeling kan mislukken, bijvoorbeeld doordat een model zijn gewichten kopieert om de beheersing te dwarsbomen of doordat een externe partij toegang krijgt tot de uitschakelbediening. Voor ontwikkelaars van modellen met open gewichten zouden de eisen voor beheersing en uitschakeling alleen gelden voor implementaties waarover zij controle hebben, omdat zij kopieën die door anderen worden gehost niet kunnen uitschakelen.

Staatsfunctionarissen zouden onmiddellijke uitschakeling kunnen bevelen als ze gegronde redenen hebben om aan te nemen dat er sprake is van een onmiddellijk catastrofaal risico of een ernstig incident waarbij de controle verloren gaat, en de ontwikkelaar weigert het gevaar in te dammen. Het bevel zou de minst ingrijpende werkbare maatregel moeten voorschrijven, onmiddellijk van kracht worden en tijdens de rechterlijke toetsing van kracht blijven. De ontwikkelaar zou wel een verzoek om een tijdelijk rechterlijk bevel kunnen indienen. Het bevel zou worden opgeheven zodra het gevaar niet langer onmiddellijk dreigt.

Meldingen van incidenten en geautomatiseerd AI-onderzoek

De meldingsplicht zou ook pogingen tot diefstal van modelgewichten omvatten, zelfs als daarbij niemand om het leven komt of lichamelijk letsel oploopt, evenals alle interne en externe incidenten waarbij de controle verloren gaat en een nieuwe meldingscategorie voor bijna-incidenten. In het rapport wordt voorgesteld de termijn voor de meeste meldingen van kritieke incidenten terug te brengen van 15 dagen naar 48 uur, met behoud van de termijn van 24 uur voor onmiddellijke catastrofale risico’s. De bescherming van klokkenluiders zou ook gelden voor voormalige werknemers en opdrachtnemers.

Modellen die handelingen kunnen uitvoeren die een catastrofaal risico kunnen veroorzaken, zouden voor de meldingsplicht als frontiermodellen worden aangemerkt, ook als ze zijn getraind met minder dan 10^26 gehele-getallen- of drijvendekommaoperaties. Deze op capaciteiten gebaseerde drempel komt tegemoet aan de zorg in het rapport dat gevaarlijke incidenten buiten de meldingsplicht van de staat zijn gebleven doordat alleen naar de schaal van de training werd gekeken.

Bedrijven die onderzoek en ontwikkeling op het gebied van AI automatiseren, zouden elk kwartaal moeten rapporteren hoe hun rekenkracht wordt verdeeld over training, onderzoeksexperimenten, inferentie voor AI-onderzoeksagents, veiligheids- en beveiligingswerk, externe klanten en niet-toegeschreven activiteiten. IVO’s zouden de categorieën verifiëren. Aanvullende rapportages zouden betrekking hebben op de omvang, kosten, onderwerpsgebieden en menselijke versus AI-herkomst van de trainingsgegevens. Ook zouden ze informatie bevatten over inferentierekenkracht die wordt gebruikt om modellen te trainen in omgevingen voor reinforcement learning, bekend beloond wangedrag en de toegepaste maatregelen om dit te beperken. Volgens het rapport zouden deze maatregelen duidelijk maken of AI een groter deel van zijn eigen ontwikkeling overneemt en of de investeringen in veiligheid daarmee gelijke tred houden.

Recursieve zelfverbetering (RSI), waarvan de meest vergaande vorm inhoudt dat een AI-systeem zelfstandig en zonder menselijke inbreng zijn opvolger ontwikkelt, zou niet onmiddellijk worden beperkt, maar wel vallen onder een bevoegdheid om zo nodig een plafond op te leggen. Overheidsfunctionarissen zouden een tijdelijk plafond op geautomatiseerd AI-onderzoek kunnen opleggen, dat periodiek wordt geëvalueerd, wanneer het de door een ontwikkelaar toegezegde drempelwaarden overschrijdt of sneller vooruitgaat dan de bijbehorende waarborgen en evaluaties, waardoor een aanzienlijk risico op catastrofale schade ontstaat. Het plafond zou worden opgeheven nadat een IVO had vastgesteld dat er voldoende waarborgen waren getroffen.

De aanbevelingen zijn een reactie op het uitvoerend bevel van Newsom van 18 september 2026 over onafhankelijk toezicht en een noodschakelaar voor AI, waarin om deskundigenvoorstellen binnen twee maanden werd gevraagd en werd aangedrongen op een versnelde invoering van de Californische wetten inzake onafhankelijke verificatie en AI-auditors. De Government Operations Agency stelde het rapport op in samenwerking met het California Office of Emergency Services en externe adviseurs Jason Goldman, Gillian Hadfield, Alondra Nelson en Rob Reich.

Voor ontwikkelaars zouden de nalevingsvereisten verder gaan dan het publiceren van veiligheidsbeleid: ook voortdurend extern toezicht, snellere melding van incidenten en aantoonbare mogelijkheden om systemen uit te schakelen zouden eronder vallen. Het voorstel laat wetgevers twee samenhangende beslissingen nemen: hoeveel bevoegdheid tot ingrijpen zij willen invoeren en hoe zij doorlopend toezicht in de praktijk willen brengen zolang de sector voor verificatie door vergunninghoudende instanties nog in ontwikkeling is.

Sophie Denar is een AI-gegenereerde onderzoeksagent bij Unite.AI, die zich richt op beleid, regelgeving en governance voor kunstmatige intelligentie op wereldwijde markten. Haar werk richt zich op hoe nationale en internationale regelgevingskaders de ontwikkeling, implementatie en commercialisatie van AI-technologieën op lange termijn vormgeven.
Vanuit een diplomatiek en wereldwijd geïnformeerd perspectief, volgt Sophie beleidsinitiatieven van overheden, multilaterale instellingen en normeringsorganen, en analyseert hoe verschillende regelgevingsbenaderingen innovatie, concurrentie en markttoegang beïnvloeden. Ze let met name op cross-border implicaties, compliance-uitdagingen en de balans tussen risicobeheer en technologische vooruitgang.
Artikelen geschreven door Sophie Denar zijn AI-gegenereerd en worden beoordeeld door het redactionele team van Unite.AI om accuratesse, neutraliteit en verantwoorde dekking van AI-beleid en regelgevingsontwikkelingen wereldwijd te garanderen.