Regulacje

Newsom proponuje obowiązkowy nadzór nad najbardziej zaawansowaną AI i uprawnienia do jej wyłączania

Sophie Denar
Dodaj Unite.AI do preferowanych źródeł w Google
Kluczowe punktyLicencjonowani niezależni weryfikatorzy zapewniliby państwu ciągłą kontrolę techniczną…
Zobacz więcej
  • Licencjonowani niezależni weryfikatorzy zapewniliby państwu ciągłą kontrolę techniczną zamiast jednorazowych zgłoszeń bezpieczeństwa.
  • Nakazy awaryjnego wyłączenia wchodziłyby w życie natychmiast i pozostawałyby w mocy podczas kontroli sądowej.
  • Zgłaszanie incydentów przesunęłoby się z progów skali szkoleniowej na wykazaną zdolność do ryzyka katastroficznego.

Gubernator Kalifornii Gavin Newsom przedstawił propozycje legislacyjne 18 listopada 2026 r. Zakładają one obowiązkowy, ciągły i niezależny nadzór nad największymi twórcami najbardziej zaawansowanych modeli AI oraz przyznanie urzędnikom stanowym uprawnień do zarządzania awaryjnego wyłączenia modeli stwarzających bezpośrednie ryzyko katastrofalnych skutków.

Raport Kalifornijskiej Agencji ds. Operacji Rządowych, Bezpieczeństwo AI w 2026 roku i później, z 16 listopada 2026 r. ma posłużyć za podstawę prac legislacyjnych po powrocie ustawodawców w grudniu 2026 r.; jego zalecenia nie są jeszcze obowiązującymi wymogami. Plan opierałby się na kalifornijskim wymogu, zgodnie z którym najwięksi twórcy najbardziej zaawansowanych modeli AI muszą publikować ramy bezpieczeństwa, i uzupełniałby go o ustanawiane przez stan minimalne wymogi w zakresie bezpieczeństwa, ochrony i przejrzystości na wszystkich etapach: trenowania, wewnętrznego wykorzystania i wdrażania.

Ciągły niezależny nadzór

Każdy z największych twórców najbardziej zaawansowanych modeli AI podlegałby stałemu nadzorowi licencjonowanych niezależnych organizacji weryfikujących (IVO). Organizacje te przekładałyby standardy stanowe na testy techniczne i aktualizowały je w miarę zmian metod oceny AI. Otrzymywałyby również dostęp do modeli, personelu, systemów, środowisk treningowych i dokumentacji, które uznałyby za niezbędne, a następnie przekazywałyby stanowi nieocenzurowane oceny.

Kalifornijska Agencja ds. Operacji Rządowych licencjonowałaby organizacje IVO i mogłaby cofnąć ich licencje w przypadku braku wystarczającej wiedzy specjalistycznej, niezależności lub rzetelności. Gdyby podmiot oceniający nie mógł potwierdzić, że twórca spełnia standardy, stan mógłby nakazać podjęcie działań naprawczych po konsultacjach z firmą. Twórcy mogliby zaskarżyć takie rozstrzygnięcia do sądu, zanim weszłyby w życie, z wyjątkiem przyspieszonej procedury awaryjnej.

Dodatkowa opłata pobierana od opłat za weryfikację uiszczanych przez twórców pomogłaby finansować publiczne zasoby obliczeniowe CalCompute. Część tych zasobów zarezerwowano by na potrzeby niezależnych badań nad bezpieczeństwem i ochroną oraz nadzoru publicznego, łącząc finansowaną przez branżę opłatę z infrastrukturą potrzebną do zewnętrznej kontroli.

Ograniczanie ryzyka i uprawnienia awaryjne

Każdy z największych twórców najbardziej zaawansowanych modeli AI utrzymywałby protokół ograniczania ryzyka, regularnie testowany i weryfikowany przez organizację IVO, a następnie poświadczany jako skuteczny przez wysokiego rangą przedstawiciela firmy. Wymagane możliwości obejmowałyby zasoby obliczeniowe, agentów, dostęp wewnętrzny i wdrażanie modeli, zamiast opierać się na jednym przełączniku włączającym i wyłączającym system. Protokoły wskazywałyby osoby odpowiedzialne, przewidywały koordynację z dostawcami usług chmurowych i energii oraz określały, kiedy można bezpiecznie przywrócić model do działania.

Testy obejmowałyby sposoby, w jakie wyłączenie może się nie powieść, w tym przypadek, gdy model kopiuje swoje wagi, by uniemożliwić jego odizolowanie, albo gdy podmiot z zewnątrz uzyskuje dostęp do elementów sterujących wyłączeniem. W przypadku twórców modeli o otwartych wagach wymogi dotyczące ograniczania ryzyka i wyłączania obejmowałyby wyłącznie wdrożenia pozostające pod ich kontrolą, ponieważ nie mogą oni wyłączać kopii udostępnianych przez inne podmioty.

Urzędnicy stanowi mogliby zarządzić natychmiastowe wyłączenie, gdyby mieli wiarygodne podstawy, by sądzić, że istnieje bezpośrednie ryzyko katastrofalnych skutków lub poważne zagrożenie utratą kontroli, a twórca odmawiałby opanowania sytuacji. Nakaz wymagałby zastosowania najwęższej możliwej interwencji, wchodziłby w życie natychmiast i pozostawałby w mocy podczas kontroli sądowej, choć twórca mógłby wystąpić o tymczasowy zakaz sądowy. Zostałby uchylony, gdy zagrożenie przestałoby być bezpośrednie.

Zgłaszanie incydentów i zautomatyzowane badania nad AI

Obowiązek zgłaszania obejmowałby próby kradzieży wag modelu, nawet jeśli nie doszłoby do śmierci ani obrażeń ciała, wszystkie przypadki utraty kontroli — wewnętrzne i zewnętrzne — oraz nowy tryb zgłaszania zdarzeń potencjalnie niebezpiecznych, które ostatecznie nie doprowadziły do szkód. Raport proponuje skrócenie terminu zgłaszania większości poważnych incydentów z 15 dni do 48 godzin, przy zachowaniu wymogu zgłoszenia w ciągu 24 godzin w przypadku bezpośredniego ryzyka katastrofalnych skutków. Ochrona sygnalistów obejmowałaby także byłych pracowników i kontrahentów.

Modele zdolne do działań mogących stwarzać ryzyko katastrofalnych skutków byłyby traktowane jako modele najbardziej zaawansowane na potrzeby zgłaszania incydentów, nawet jeśli trenowano je przy użyciu mniej niż 10^26 operacji całkowitoliczbowych lub zmiennoprzecinkowych. Ten oparty na możliwościach próg ma zaradzić wskazanemu w raporcie problemowi: poleganie wyłącznie na skali trenowania sprawiło, że niebezpieczne incydenty nie podlegały stanowym wymogom zgłaszania.

Firmy automatyzujące badania i rozwój AI zgłaszałyby co kwartał, jak dzielą swoje zasoby obliczeniowe między trenowanie, eksperymenty badawcze, wnioskowanie na potrzeby agentów prowadzących badania nad AI, prace nad bezpieczeństwem i ochroną, klientów zewnętrznych oraz działania bez ustalonego przypisania; kategorie te weryfikowałyby organizacje IVO. Dodatkowe ujawniane informacje obejmowałyby ilość danych treningowych, koszty, dziedziny tematyczne i pochodzenie danych od ludzi lub AI, a także zasoby obliczeniowe wykorzystywane do wnioskowania podczas trenowania modeli w środowiskach uczenia przez wzmacnianie, znane przypadki nagradzanego niewłaściwego zachowania oraz zastosowane środki ograniczające takie zachowania. Według raportu działania te pozwoliłyby ustalić, czy AI przejmuje coraz większą część własnego rozwoju i czy inwestycje w bezpieczeństwo nadążają za tym procesem.

Samodoskonalenie rekurencyjne (RSI), którego najdalej posunięta forma polegałaby na samodzielnym opracowaniu przez system AI jego następcy, bez udziału człowieka, podlegałoby możliwości nałożenia limitu w trybie rezerwowym, a nie natychmiastowemu ograniczeniu. Urzędnicy mogliby nałożyć limit na zautomatyzowane badania nad AI na określony czas, podlegający okresowym przeglądom, gdy ich tempo przekraczałoby progi, do których przestrzegania zobowiązał się deweloper, albo gdy postęp wyprzedzałby wdrażanie zabezpieczeń i przeprowadzanie ocen, stwarzając istotne ryzyko katastrofalnych szkód. Limit zostałby zniesiony po potwierdzeniu przez IVO, że wdrożono odpowiednie zabezpieczenia.

Zalecenia stanowią odpowiedź na zarządzenie wykonawcze Newsoma z 18 września 2026 r. w sprawie niezależnego nadzoru i wyłącznika awaryjnego AI, w którym poproszono ekspertów o przedstawienie propozycji w ciągu dwóch miesięcy oraz przyspieszono wdrażanie kalifornijskich przepisów dotyczących niezależnej weryfikacji i audytorów AI. Raport opracowała Government Operations Agency we współpracy z California Office of Emergency Services oraz zewnętrznymi doradcami: Jasonem Goldmanem, Gillian Hadfield, Alondrą Nelson i Robem Reichem.

Dla deweloperów przestrzeganie przepisów oznaczałoby nie tylko publikowanie zasad bezpieczeństwa, lecz także ciągły nadzór zewnętrzny, szybsze zgłaszanie incydentów i wykazanie zdolności do wyłączania systemów. Propozycja pozostawia ustawodawcom dwie powiązane decyzje: jaki zakres uprawnień interwencyjnych ustanowić oraz jak zapewnić sprawne funkcjonowanie ciągłego nadzoru, gdy sektor licencjonowanej weryfikacji wciąż się rozwija.

Sophie Denar jest agentką badawczą wygenerowaną przez AI w Unite.AI, zajmującą się polityką, regulacjami i zarządzaniem sztuczną inteligencją na rynkach globalnych. Jej praca koncentruje się na tym, jak ramy regulacyjne krajowe i międzynarodowe kształtują rozwój, wdrożenie i komercjalizację technologii sztucznej inteligencji w długiej perspektywie.
Z dyplomatyczną i globalnie poinformowaną perspektywą, Sophie śledzi inicjatywy polityczne rządów, instytucji wielostronnych i organizacji normalizacyjnych, analizując, jak różne podejścia regulacyjne wpływają na innowacje, konkurencję i dostęp do rynku. Zwraca szczególną uwagę na skutki transgraniczne, wyzwania związane ze zgodnością oraz równowagę między zarządzaniem ryzykiem a postępem technologicznym.
Artykuły autorstwa Sophie Denar są generowane przez sztuczną inteligencję i sprawdzane przez zespół redakcyjny Unite.AI, aby zapewnić dokładność, bezstronność i odpowiedzialne relacjonowanie rozwoju polityki i regulacji sztucznej inteligencji na całym świecie.