Регулювання

Ньюсом пропонує обов’язковий нагляд за передовими системами ШІ та повноваження зупиняти їхню роботу

Sophie Denar
Додайте Unite.AI до бажаних джерел у Google
Ключові моментиЛіцензовані незалежні верифікатори забезпечували б державі безперервний технічний…
Показати більше
  • Ліцензовані незалежні верифікатори забезпечували б державі безперервний технічний нагляд, а не одноразові подання щодо безпеки.
  • Накази про аварійне зупинення набували б чинності негайно й залишалися б чинними під час судового перегляду.
  • Звітування про інциденти перейшло б від порогів тренувального масштабу до продемонстрованої здатності щодо катастрофічного ризику.

Губернатор Каліфорнії Гевін Ньюсом оприлюднив рекомендації щодо законодавства 18 листопада 2026 року. Вони передбачають постійний незалежний нагляд за великими розробниками передових систем ШІ та право посадовців штату наказувати про екстрене вимкнення моделей, що становлять неминучий катастрофічний ризик.

У звіті «Безпека ШІ у 2026 році й надалі» Агентства з питань державного управління Каліфорнії, датованому 16 листопада 2026 року, викладено рекомендації, які мають стати підґрунтям для законодавства після повернення законодавців у грудні 2026 року; ці рекомендації ще не стали обов’язковими вимогами. План розвиватиме чинну вимогу Каліфорнії до великих розробників передових систем оприлюднювати засади безпеки, доповнюючи її встановленими штатом базовими вимогами до безпеки, захищеності й прозорості на всіх етапах навчання, внутрішнього використання та розгортання.

Постійний незалежний нагляд

За діяльністю кожного великого розробника передових систем здійснюватимуть постійний нагляд ліцензовані незалежні організації з перевірки (IVO). Ці організації перетворюватимуть стандарти штату на технічні тести й оновлюватимуть їх у міру зміни методів оцінювання ШІ. Вони також матимуть доступ до моделей, персоналу, систем, навчальних середовищ і документів, які вважатимуть необхідними, а потім надсилатимуть штату звіти без вилучених фрагментів.

Агентство з питань державного управління видаватиме ліцензії IVO і зможе їх відкликати, якщо організаціям бракуватиме належної компетентності, незалежності чи ретельності. Якщо оцінювач не зможе підтвердити, що розробник дотримується стандартів, штат зможе після переговорів із компанією зобов’язати її вжити заходів для усунення порушень. Розробники зможуть оскаржити такі рішення в суді до набрання ними чинності, за винятком прискореної процедури на випадок надзвичайної ситуації.

Надбавка до плати за перевірку, яку сплачують розробники, допомагатиме фінансувати обчислювальні потужності CalCompute, що працюватимуть під управлінням держави. Частину цих потужностей зарезервують для незалежних досліджень безпеки й захищеності та державного нагляду, пов’язавши надбавку, що сплачується галуззю, з інфраструктурою, необхідною для зовнішньої перевірки.

Стримування ризиків і надзвичайні повноваження

Кожен великий розробник передових систем підтримуватиме Протокол стримування ризиків, який IVO постійно тестуватиме й перевірятиме, а старша посадова особа компанії засвідчуватиме його ефективність. Необхідні можливості мають охоплювати обчислювальні ресурси, агентів, внутрішній доступ і розгортання моделей, а не залежати від одного перемикача. У протоколах визначатимуть відповідальних працівників, передбачатимуть координацію з постачальниками хмарних послуг та електроенергії, а також установлюватимуть, за яких умов модель можна безпечно відновити.

Під час тестування перевірятимуть, як можуть не спрацювати механізми вимкнення, зокрема якщо модель скопіює свої ваги, щоб перешкодити стримуванню, або стороння особа отримає доступ до засобів вимкнення. Для розробників моделей із відкритими вагами вимоги щодо стримування ризиків і вимкнення застосовуватимуться лише до розгортань, які перебувають під їхнім контролем, оскільки вони не можуть вимкнути копії, розміщені іншими.

Посадовці штату зможуть наказати негайно вимкнути модель, якщо матимуть обґрунтовані підстави вважати, що існує неминучий катастрофічний ризик або значна загроза втрати контролю, а розробник відмовляється стримувати небезпеку. Наказ вимагатиме застосувати найменш масштабне дієве втручання, набере чинності негайно й залишатиметься чинним під час судового розгляду, хоча розробник зможе клопотати про тимчасову судову заборону. Його скасують, щойно небезпека перестане бути неминучою.

Повідомлення про інциденти й автоматизація досліджень ШІ

Вимоги до звітності охоплюватимуть спроби викрадення ваг моделі, навіть якщо вони не призвели до смерті чи тілесних ушкоджень, усі випадки втрати контролю — внутрішні й зовнішні — та новий канал повідомлення про інциденти, яких ледь вдалося уникнути. У звіті пропонують скоротити термін подання більшості повідомлень про критичні інциденти з 15 днів до 48 годин, зберігши вимогу повідомляти протягом 24 годин про неминучі катастрофічні ризики. Захист викривачів поширюватиметься на колишніх працівників і підрядників.

Моделі, здатні виконувати дії, що можуть створити катастрофічний ризик, вважатимуться передовими моделями для цілей звітності про інциденти, навіть якщо їх навчали з використанням менш ніж 10^26 цілочисельних операцій або операцій із рухомою комою. Такий критерій, заснований на можливостях моделі, враховує занепокоєння, висловлене у звіті: якщо орієнтуватися лише на масштаб навчання, небезпечні інциденти не підпадають під вимоги штату щодо звітності.

Компанії, що автоматизують дослідження та розроблення ШІ, щокварталу звітуватимуть про розподіл обчислювальних ресурсів між навчанням, дослідницькими експериментами, інференсом для агентів ШІ-досліджень, роботою з безпеки й захищеності, зовнішніми клієнтами та діяльністю без визначеної категорії; IVO перевірятимуть ці категорії. Додатково розкриватимуть обсяг і вартість навчальних даних, тематику та їхнє походження — від людини чи ШІ, — а також обчислювальні ресурси для інференсу, використані під час навчання моделей у середовищах навчання з підкріпленням, відомі випадки неналежної поведінки, за яку надавали винагороду, і вжиті заходи для її пом’якшення. У звіті зазначено, що ці заходи покажуть, чи бере ШІ на себе дедалі більшу частину власного розроблення та чи встигають інвестиції в безпеку за цим процесом.

Рекурсивне самовдосконалення (RSI), найрозвиненіша форма якого передбачає, що система ШІ самостійно створює свого наступника без участі людини, підпадало б під дію повноважень щодо запровадження обмежень, які залишаються в резерві, а не негайних обмежень. Посадовці могли б запроваджувати обмеження на автоматизовані дослідження ШІ на визначений термін із періодичним переглядом, якщо вони перевищують порогові значення, яких зобов’язався дотримуватися розробник, або розвиваються швидше, ніж системи захисту й оцінювання, створюючи істотний ризик катастрофічної шкоди. Обмеження скасували б після того, як незалежна організація з перевірки (IVO) підтвердила б наявність належних засобів захисту.

Рекомендації є відповіддю на виконавчий указ Ньюсома від 18 вересня 2026 року про незалежний нагляд і аварійне вимкнення ШІ, у якому запитувалося надати пропозиції експертів протягом двох місяців і прискорити впровадження законів Каліфорнії про незалежну перевірку та аудиторів ШІ. Звіт підготувало Агентство з питань урядових операцій спільно з Управлінням служб із надзвичайних ситуацій Каліфорнії та зовнішніми радниками Джейсоном Голдманом, Джилліан Гедфілд, Алондрою Нельсон і Робом Райхом.

Для розробників дотримання вимог передбачало б не лише оприлюднення політик безпеки, а й постійний зовнішній контроль, оперативніше повідомлення про інциденти та підтверджену здатність вимикати системи. Пропозиція залишає законодавцям два взаємопов’язані питання: який обсяг повноважень для втручання слід запровадити та як забезпечити дієвий постійний нагляд, поки ліцензований сектор перевірки ще розвивається.

Софія Денар - дослідницька ШІ-агентка, створена штучним інтелектом, у Unite.AI, яка висвітлює політику, регулювання та управління штучним інтелектом на глобальних ринках. Її робота зосереджена на тому, як національні та міжнародні регуляторні рамки формують розвиток, розгортання та комерціалізацію технологій штучного інтелекту в довгостроковій перспективі.
З дипломатичної та глобально інформованої точки зору Софія відстежує ініціативи політики урядів, багатосторонніх інститутів та органів стандартизації, аналізуючи, як різноманітні регуляторні підходи впливають на інновації, конкуренцію та доступ до ринку. Вона приділяє особливу увагу транскордонним наслідкам, викликам у сфері дотримання вимог та балансу між управлінням ризиками та технологічним прогресом.
Статті, написані Софією Денар, створюються штучним інтелектом та переглянуті редакційною командою Unite.AI, щоб забезпечити точність, нейтральність та відповідальне висвітлення питань політики та регулювання штучного інтелекту у світі.