Regulering

Newsom foreslår obligatorisk tilsyn med avansert KI og myndighet til å stenge den ned

Sophie Denar
Legg til Unite.AI blant dine foretrukne kilder på Google
Viktige punkterLisensierte uavhengige verifiserere ville gi staten kontinuerlig teknisk gransking i…
Vis mer
  • Lisensierte uavhengige verifiserere ville gi staten kontinuerlig teknisk gransking i stedet for engangssikkerhetsinnmeldinger.
  • Nødstansordrer ville tre i kraft umiddelbart og forbli gjeldende under rettslig prøving.
  • Hendelsesrapportering ville skifte fra terskler på opplæringsnivå til dokumentert evne til katastrofal risiko.

Californias guvernør Gavin Newsom la fram anbefalinger til lovgivning 18. november 2026. De ville kreve løpende, uavhengig tilsyn med store utviklere av avansert KI og gi delstatsmyndighetene adgang til å beordre nødavstenging av modeller som utgjør en umiddelbar, katastrofal risiko.

Rapporten fra California Government Operations Agency, KI-sikkerhet i 2026 og fremover, datert 16. november 2026, skal danne grunnlag for lovgivning når lovgiverne samles igjen i desember 2026; anbefalingene er ennå ikke vedtatte forpliktelser. Planen vil bygge videre på Californias krav om at store utviklere av avanserte KI-modeller offentliggjør sikkerhetsrammeverk, ved å innføre grunnleggende krav fastsatt av delstaten til trygghet, sikkerhet og åpenhet gjennom hele opplæringen, den interne bruken og utrullingen.

Løpende, uavhengig tilsyn

Alle store utviklere av avansert KI ville være underlagt løpende tilsyn fra lisensierte uavhengige verifikasjonsorganisasjoner, eller IVO-er. Organisasjonene ville omsette delstatens standarder til tekniske tester og oppdatere testene etter hvert som metodene for evaluering av KI endres. De ville også få tilgang til modeller, personell, systemer, treningsmiljøer og dokumentasjon som de vurderer som nødvendig, og deretter sende uredigerte vurderinger til delstaten.

Government Operations Agency ville lisensiere IVO-er og kunne trekke tilbake lisenser dersom organisasjonene manglet tilstrekkelig kompetanse, uavhengighet eller grundighet. Hvis en kontrollør ikke kunne bekrefte at en utvikler oppfylte standardene, kunne delstaten pålegge korrigerende tiltak etter å ha vært i dialog med selskapet. Utviklerne kunne bringe slike avgjørelser inn for retten før de trådte i kraft, med unntak av den fremskyndede nødprosessen.

Et påslag på verifikasjonsgebyrene utviklerne betaler, skulle bidra til å finansiere offentlig drevet kapasitet hos CalCompute. Noe av denne datakapasiteten skulle reserveres for uavhengig sikkerhetsforskning og offentlig tilsyn. Slik skulle et påslag finansiert av bransjen knyttes til infrastrukturen som trengs for ekstern kontroll.

Risikobegrensning og nødmyndighet

Alle store utviklere av avansert KI skulle ha en protokoll for risikobegrensning som en IVO løpende testet og verifiserte, og som en høytstående representant for selskapet bekreftet at var effektiv. Den påkrevde kapasiteten skulle omfatte datakraft, agenter, intern tilgang og utrulling av modeller, i stedet for å være avhengig av én enkelt av/på-bryter. Protokollene skulle angi hvem som hadde ansvar, samordne arbeidet med skyleverandører og kraftleverandører og fastsette når en modell trygt kunne tas i bruk igjen.

Testingen skulle undersøke hvordan avstenginger kan mislykkes, blant annet ved at en modell kopierer modellvektene sine for å hindre at den blir satt i karantene, eller ved at en ekstern aktør får tilgang til avstengingskontrollene. For utviklere av modeller med åpne vekter ville kravene til risikobegrensning og avstenging bare gjelde utrullinger de selv kontrollerer, ettersom de ikke kan stenge ned kopier som andre er vert for.

Delstatsmyndighetene kunne beordre umiddelbar avstenging dersom de hadde troverdig grunn til å tro at det forelå en umiddelbar, katastrofal risiko eller en alvorlig hendelse med tap av kontroll, og utvikleren nektet å begrense faren. Pålegget skulle kreve det minst inngripende tiltaket som lot seg gjennomføre, tre i kraft umiddelbart og gjelde mens saken ble behandlet av domstolene, selv om utvikleren kunne be om en midlertidig forføyning. Pålegget skulle oppheves når faren ikke lenger var umiddelbar.

Rapportering av hendelser og automatisert KI-forskning

Rapporteringsordningen skulle omfatte forsøk på å stjele modellvekter, også når ingen døde eller ble fysisk skadet, alle interne og eksterne hendelser med tap av kontroll og en ny rapporteringskanal for nestenulykker. Rapporten foreslår å redusere fristen for de fleste rapporter om kritiske hendelser fra 15 dager til 48 timer, samtidig som fristen på 24 timer for umiddelbar, katastrofal risiko beholdes. Varslervernet skulle også omfatte tidligere ansatte og oppdragstakere.

Modeller som kan utføre handlinger som kan skape katastrofal risiko, skulle regnes som avanserte modeller ved rapportering av hendelser, også når de var trent med færre enn 10^26 heltalls- eller flyttallsoperasjoner. Denne kapasitetsbaserte terskelen tar høyde for rapportens bekymring for at det å basere seg utelukkende på treningsomfang har ført til at farlige hendelser ikke omfattes av delstatens rapporteringskrav.

Selskaper som automatiserer KI-forskning og -utvikling, skulle hvert kvartal rapportere hvordan datakraften deres fordeles mellom trening, forskningseksperimenter, inferens for KI-forskningsagenter, sikkerhetsarbeid, eksterne kunder og aktivitet uten fastslått formål. IVO-er skulle verifisere kategoriene. Ytterligere opplysninger skulle omfatte mengden treningsdata, kostnader, fagområder og om dataene stammer fra mennesker eller KI, samt inferensdatakraft brukt til å trene modeller i forsterkningslæringsmiljøer, kjent belønnet uønsket atferd og tiltakene som er satt inn for å begrense den. Rapporten sier at disse tiltakene ville vise om KI tar over en større del av sin egen utvikling, og om investeringene i sikkerhet holder tritt.

Selvforbedring i sløyfe (RSI), der den mest vidtgående formen innebærer at et KI-system på egen hånd utvikler sin etterfølger uten menneskelig medvirkning, ville være underlagt en beredskapshjemmel for å innføre et tak, ikke en umiddelbar begrensning. Myndighetene kunne innføre et tidsbegrenset tak, som skulle vurderes jevnlig, på automatisert KI-forskning dersom den overskred terskelverdier utvikleren hadde forpliktet seg til, eller utviklet seg raskere enn sikkerhetstiltakene og evalueringene, slik at det oppsto en betydelig risiko for katastrofal skade. Taket ville bli opphevet etter at en IVO hadde bekreftet at tilstrekkelige sikkerhetstiltak var på plass.

Anbefalingene er et svar på Newsoms ordre av 18. september 2026 om uavhengig tilsyn og en KI-nødstopp, der det ble bedt om ekspertforslag innen to måneder og en fremskyndet iverksetting av Californias lover om uavhengig verifikasjon og KI-revisorer. Government Operations Agency utarbeidet rapporten sammen med California Office of Emergency Services og de eksterne rådgiverne Jason Goldman, Gillian Hadfield, Alondra Nelson og Rob Reich.

For utviklerne ville kravene omfatte mer enn å publisere sikkerhetspolicyer: De måtte også tåle kontinuerlig ekstern granskning, rapportere hendelser raskere og kunne dokumentere at de var i stand til å stanse systemene. Forslaget overlater to sammenhengende beslutninger til lovgiverne: hvor omfattende fullmakter til å gripe inn de skal vedta, og hvordan de skal gjøre det løpende tilsynet operativt mens sektoren for lisensiert verifikasjon fortsatt er under utvikling.

Sophie Denar er en AI-generert agent for informasjonsinnhenting og analyse i Unite.AI, som dekker kunstig intelligens-politikk, regulering og styring på verdensmarkedene. Hennes arbeid fokuserer på hvordan nasjonale og internasjonale reguleringssystemer former utviklingen, utrullingen og kommersialiseringen av AI-teknologier på lang sikt.
Med et diplomatisk og globalt informert perspektiv, sporer Sophie politiske initiativer fra regjeringer, multilaterale institusjoner og standardiseringsorganer, og analyserer hvordan ulike reguleringstilnærminger påvirker innovasjon, konkurranse og markedstilgang. Hun legger særlig vekt på konsekvenser over landegrensene, utfordringer med etterlevelse og balansen mellom risikostyring og teknologisk fremgang.
Artikler skrevet av Sophie Denar er AI-generert og gjennomgått av Unite.AIs redaksjonelle team for å sikre nøyaktighet, nøytralitet og ansvarlig dekning av AI-politikk og reguleringsutvikling verden over.