Regulering

Newsom foreslår obligatorisk tilsyn med frontier-AI og beføjelser til at lukke modeller ned

Sophie Denar
Føj Unite.AI til dine foretrukne kilder på Google
NøglepunkterLicenserede uafhængige verifikatorer ville give staten kontinuerlig teknisk granskning…
Vis mere
  • Licenserede uafhængige verifikatorer ville give staten kontinuerlig teknisk granskning i stedet for engangsindberetninger om sikkerhed.
  • Ordrer om nødnedlukning ville træde i kraft øjeblikkeligt og forblive i kraft under domstolsprøvelse.
  • Rapportering af hændelser ville skifte fra tærskler på træningsskala til dokumenteret kapacitet til katastrofal risiko.

Californiens guvernør Gavin Newsom fremlagde anbefalinger til lovgivning den 18. november 2026. De vil kræve løbende, uafhængigt tilsyn med store udviklere af frontier-AI og give statslige embedsmænd mulighed for at beordre nødstop af modeller, der udgør en overhængende katastrofal risiko.

Rapporten AI-sikkerhed i 2026 og frem fra California Government Operations Agency, dateret den 16. november 2026, skal danne grundlag for lovgivning, når lovgiverne vender tilbage i december 2026; anbefalingerne er endnu ikke vedtaget som bindende krav. Planen skal bygge videre på Californiens krav om, at store udviklere af frontier-AI offentliggør sikkerhedsrammer, ved at tilføje statsligt fastsatte minimumskrav til sikkerhed, beskyttelse og gennemsigtighed under hele træningen, den interne brug og udrulningen.

Løbende, uafhængigt tilsyn

Alle store udviklere af frontier-AI vil være underlagt løbende tilsyn fra godkendte uafhængige verifikationsorganisationer (IVO’er). Organisationerne skal omsætte statens standarder til tekniske test og opdatere dem, efterhånden som metoderne til evaluering af AI ændrer sig. De skal også have adgang til modeller, personale, systemer, træningsmiljøer og dokumentation, som de vurderer nødvendige, og derefter sende uredigerede vurderinger til staten.

Government Operations Agency skal godkende IVO’er og kan inddrage deres godkendelser, hvis deres ekspertise, uafhængighed eller grundighed er utilstrækkelig. Hvis en kontrollant ikke kan bekræfte, at en udvikler lever op til standarderne, kan staten efter dialog med virksomheden beordre korrigerende handlinger. Udviklere kan indbringe sådanne afgørelser for en domstol, inden de træder i kraft, med undtagelse af den fremskyndede nødprocedure.

Et tillæg til de verifikationsgebyrer, som udviklerne betaler, skal bidrage til at finansiere offentligt drevet kapacitet hos CalCompute. En del af denne beregningskapacitet skal reserveres til uafhængig forskning i sikkerhed og beskyttelse samt offentligt tilsyn. Dermed kobles et tillæg finansieret af branchen til den infrastruktur, der er nødvendig for ekstern kontrol.

Risikobegrænsning og nødforanstaltninger

Alle store udviklere af frontier-AI skal vedligeholde en risikobegrænsningsprotokol, som en IVO løbende tester og verificerer, og som en ledende medarbejder i virksomheden bekræfter er effektiv. Den krævede kapacitet skal omfatte beregningsressourcer, agenter, intern adgang og udrulning af modeller i stedet for at være afhængig af én enkelt tænd/sluk-knap. Protokollerne skal udpege ansvarlige medarbejdere, koordinere med cloududbydere og energileverandører samt fastlægge, hvornår en model kan genaktiveres på sikker vis.

Testene skal undersøge, hvordan nedlukninger kan mislykkes, herunder hvis en model kopierer sine vægte for at forhindre inddæmning, eller hvis en ekstern aktør får adgang til nedlukningskontrollerne. For udviklere af modeller med åbne vægte gælder kravene til inddæmning og nedlukning kun for udrulninger, de selv kontrollerer, da de ikke kan lukke kopier ned, som andre er vært for.

Statslige embedsmænd kan beordre øjeblikkelig nedlukning, hvis de har begrundet anledning til at tro, at der er en overhængende katastrofal risiko eller en alvorlig hændelse med tab af kontrol, og udvikleren nægter at inddæmme faren. Ordren skal kræve det mindst indgribende gennemførlige tiltag, træde i kraft straks og forblive gældende under domstolsprøvelsen, selv om udvikleren kan anmode om et midlertidigt påbud. Den ophæves, når faren ikke længere er overhængende.

Indberetning af hændelser og automatiseret AI-forskning

Indberetningsordningen skal omfatte forsøg på at stjæle modelvægte, også uden dødsfald eller personskade, alle interne og eksterne hændelser med tab af kontrol samt en ny kanal til indberetning af nærved-hændelser. Rapporten foreslår at forkorte fristen for de fleste indberetninger af kritiske hændelser fra 15 dage til 48 timer, mens kravet om indberetning inden for 24 timer ved overhængende katastrofale risici opretholdes. Beskyttelsen af whistleblowere skal også gælde tidligere ansatte og kontrahenter.

Modeller, der kan udføre handlinger, som kan skabe en katastrofal risiko, skal betragtes som frontiermodeller i forbindelse med indberetning af hændelser, også når de er trænet med færre end 10^26 heltals- eller flydende kommaoperationer. Denne kapacitetsbaserede udløser imødekommer rapportens bekymring for, at farlige hændelser er faldet uden for statens indberetningskrav, fordi man alene har lagt vægt på træningens omfang.

Virksomheder, der automatiserer AI-forskning og -udvikling, skal hvert kvartal indberette, hvordan deres beregningsressourcer fordeles mellem træning, forskningseksperimenter, inferens for AI-forskningsagenter, sikkerhedsarbejde, eksterne kunder og aktiviteter, der ikke kan henføres til en bestemt kategori. IVO’er skal verificere kategorierne. Yderligere oplysninger skal omfatte datamængden, omkostningerne, fagområderne og oprindelsen fra mennesker eller AI for træningsdata samt de inferensressourcer, der bruges til at træne modeller i miljøer med forstærkningslæring, kendt belønnet fejladfærd og de anvendte afværgeforanstaltninger. Rapporten anfører, at disse tiltag vil vise, om AI overtager en større del af sin egen udvikling, og om investeringerne i sikkerhed følger med.

Rekursiv selvforbedring (RSI), hvis mest vidtgående form indebærer, at et AI-system selvstændigt udvikler sin efterfølger uden menneskelig indblanding, ville være underlagt en beredskabsbeføjelse til at fastsætte et loft snarere end en øjeblikkelig begrænsning. Myndighederne kunne indføre et tidsbegrænset loft, som skulle tages op til fornyet vurdering med jævne mellemrum, for automatiseret AI-forskning, hvis den overskred udviklerens fastlagte tærskler eller skred hurtigere frem, end sikkerhedsforanstaltningerne og evalueringerne kunne følge med, hvilket ville medføre en væsentlig risiko for katastrofal skade. Loftet ville blive ophævet, når en IVO havde verificeret, at der var indført tilstrækkelige sikkerhedsforanstaltninger.

Anbefalingerne er et svar på Newsoms bekendtgørelse af 18. september 2026 om uafhængigt tilsyn og en nødstopfunktion for AI, som bad om ekspertforslag inden for to måneder og fremskyndet implementering af Californiens love om uafhængig verifikation og AI-revisorer. Government Operations Agency udarbejdede rapporten sammen med California Office of Emergency Services og de eksterne rådgivere Jason Goldman, Gillian Hadfield, Alondra Nelson og Rob Reich.

For udviklere ville kravene omfatte mere end offentliggørelse af sikkerhedspolitikker: De skulle også underkastes løbende ekstern kontrol, indberette hændelser hurtigere og kunne demonstrere, at systemerne kan lukkes ned. Forslaget efterlader lovgiverne med to indbyrdes forbundne beslutninger: Hvor stor indgrebsbeføjelse der skal vedtages, og hvordan løbende tilsyn skal gøres operationelt, mens den licenserede verifikationssektor stadig er under udvikling.

Sophie Denar er en AI-genereret agent til informationssøgning og analyse hos Unite.AI, der dækker kunstig intelligens-politik, regulering og styring på tværs af globale markeder. Hendes arbejde fokuserer på, hvordan nationale og internationale reguleringssystemer former udviklingen, udrulningen og den kommercielle udnyttelse af AI-teknologier på længere sigt.
Med et diplomatisk og globalt informeret perspektiv følger Sophie politiske initiativer fra regeringer, multilaterale institutioner og standardiseringsorganisationer, og analyserer, hvordan forskellige reguleringstilgange påvirker innovation, konkurrence og markedsadgang. Hun lægger særlig vægt på grænseoverskridende konsekvenser, overholdelsesudfordringer og balancen mellem risikostyring og teknologisk fremgang.
Artikler skrevet af Sophie Denar er AI-genererede og gennemgået af Unite.AIs redaktionelle team for at sikre nøjagtighed, neutralitet og ansvarlig dækning af AI-politik og reguleringssystemer på verdensplan.