Регулирование

Ньюсом предлагает обязательный надзор за передовыми системами ИИ и полномочия по их отключению

Sophie Denar
Добавьте Unite.AI в избранные источники в Google
Ключевые моментыЛицензированные независимые проверяющие обеспечивали бы государству непрерывный…
Показать больше
  • Лицензированные независимые проверяющие обеспечивали бы государству непрерывный технический контроль, а не разовые отчёты о безопасности.
  • Приказы об аварийной остановке вступали бы в силу немедленно и оставались бы в силе на время судебного пересмотра.
  • Отчётность об инцидентах сместилась бы от порогов, основанных на масштабе учений, к продемонстрированной способности противостоять катастрофическому риску.

Губернатор Калифорнии Gavin Newsom опубликовал законодательные рекомендации 18 ноября 2026 года. Согласно им, за крупными разработчиками передовых систем ИИ должен вестись постоянный независимый надзор, а должностные лица штата смогут отдавать распоряжения о чрезвычайном отключении моделей, представляющих непосредственную катастрофическую угрозу.

Доклад California Government Operations Agency — «Безопасность ИИ в 2026 году и далее» от 16 ноября 2026 года призван послужить основой для законопроектов, когда законодатели вернутся к работе в декабре 2026 года; предложенные в нем меры пока не стали обязательными требованиями. План предполагает развитие действующего в Калифорнии требования, согласно которому крупные разработчики передовых систем публикуют рамочные документы по безопасности, за счет установления штатом базовых требований к безопасности, защищенности и прозрачности на всех этапах — обучения, внутреннего использования и развертывания.

Постоянный независимый надзор

За всеми крупными разработчиками передовых систем будет вестись постоянный надзор со стороны лицензированных организаций независимой проверки (independent verification organizations, IVOs). Эти организации будут переводить установленные штатом стандарты в технические тесты и обновлять их по мере изменения методов оценки ИИ. Им также предоставят доступ к моделям, персоналу, системам, средам обучения и документам, которые они сочтут необходимыми, после чего они будут направлять штату неотредактированные отчеты об оценке.

Government Operations Agency будет выдавать лицензии IVO и сможет отзывать их при недостатке экспертных знаний, независимости или строгости проверок. Если проверяющая организация не сможет подтвердить, что разработчик соблюдает стандарты, штат после взаимодействия с компанией сможет предписать ей принять меры по устранению нарушений. Разработчики смогут оспорить такие решения в суде до их вступления в силу, за исключением случаев, рассматриваемых в ускоренном чрезвычайном порядке.

Дополнительный сбор с платы за проверку, которую вносят разработчики, поможет финансировать вычислительные мощности CalCompute, находящиеся в государственной эксплуатации. Часть этих мощностей зарезервируют для независимых исследований безопасности и защищенности, а также для государственного надзора, связав сбор с отрасли с финансированием инфраструктуры, необходимой для внешнего контроля.

Сдерживание рисков и чрезвычайные полномочия

Каждый крупный разработчик передовых систем будет поддерживать протокол сдерживания рисков, который IVO должна будет постоянно тестировать и проверять, а старшее должностное лицо компании — удостоверять как эффективный. Необходимые возможности должны охватывать вычислительные ресурсы, агентов, внутренний доступ и развертывание моделей, а не сводиться к одному переключателю «вкл./выкл.». В протоколах укажут ответственных сотрудников, порядок взаимодействия с облачными провайдерами и поставщиками электроэнергии, а также условия, при которых модель можно безопасно восстановить.

При тестировании проверят, как могут не сработать процедуры отключения, в том числе если модель скопирует свои веса, чтобы помешать сдерживанию, или внешний субъект получит доступ к средствам отключения. Для разработчиков моделей с открытыми весами требования к сдерживанию и отключению будут распространяться только на развернутые ими системы, поскольку они не могут отключить копии, размещенные другими лицами.

Должностные лица штата смогут распорядиться о немедленном отключении, если у них будут веские основания полагать, что существует непосредственная катастрофическая угроза или серьезная опасность утраты контроля, а разработчик откажется сдерживать угрозу. Распоряжение должно предусматривать минимально необходимое и практически осуществимое вмешательство, вступать в силу немедленно и оставаться в силе на время судебного разбирательства, хотя разработчик сможет ходатайствовать о временном запретительном судебном приказе. Распоряжение будет отменено, когда опасность перестанет быть непосредственной.

Сообщения об инцидентах и автоматизация исследований в области ИИ

Требования к отчетности будут распространяться на попытки похитить веса модели, даже если они не привели к гибели людей или телесным повреждениям, на все случаи утраты контроля — внутренние и внешние, — а также на новый канал для сообщений о ситуациях, едва не приведших к инциденту. В докладе предлагается сократить срок подачи сообщений о большинстве критических инцидентов с 15 дней до 48 часов, сохранив требование сообщать в течение 24 часов о непосредственных катастрофических угрозах. Защита информаторов будет распространяться и на бывших сотрудников и подрядчиков.

Модели, способные совершать действия, которые могут привести к катастрофическим последствиям, будут считаться передовыми для целей отчетности об инцидентах, даже если при их обучении было выполнено менее 10^26 целочисленных операций или операций с плавающей запятой. Такой критерий, основанный на возможностях модели, призван устранить проблему, на которую указывает доклад: опасные инциденты не подпадали под требования штата к отчетности, поскольку учитывался только масштаб обучения.

Компании, автоматизирующие исследования и разработки в области ИИ, будут ежеквартально сообщать, как распределяются их вычислительные ресурсы между обучением, исследовательскими экспериментами, инференсом для исследовательских ИИ-агентов, работой по обеспечению безопасности и защищенности, внешними клиентами и деятельностью, не отнесенной ни к одной из этих категорий; IVO будут проверять правильность распределения. Дополнительная отчетность будет охватывать объем обучающих данных, их стоимость и тематику, а также сведения о том, получены ли они от людей или ИИ. Кроме того, компании будут раскрывать данные об инференсных вычислениях, используемых для обучения моделей в средах обучения с подкреплением, об известных случаях вознаграждаемого ненадлежащего поведения и о примененных мерах по его смягчению. В докладе говорится, что эти меры позволят выяснить, берет ли ИИ на себя все большую часть собственной разработки и поспевают ли вложения в безопасность за этим процессом.

Рекурсивное самоусовершенствование (RSI), наиболее радикальная форма которого предполагает, что система ИИ самостоятельно, без участия человека, разрабатывает себе преемника, подпадало бы под резервные полномочия по введению ограничений, а не под немедленный запрет. Власти могли бы установить ограничение на автоматизированные исследования в области ИИ на определённый срок с периодическим пересмотром, если они превышают обязательства разработчика по установленным пороговым значениям или развиваются быстрее, чем защитные меры и оценки, создавая существенный риск катастрофического ущерба. Ограничение было бы снято после того, как организация независимой верификации (IVO) подтвердила бы наличие надлежащих мер защиты.

Рекомендации подготовлены в ответ на распоряжение губернатора Ньюсома от 18 сентября 2026 года о независимом надзоре и аварийном выключателе ИИ, в котором запрашивались экспертные предложения в течение двух месяцев и ускоренное внедрение законов Калифорнии о независимой верификации и аудиторах ИИ. Доклад подготовило Агентство по государственным операциям совместно с Управлением служб чрезвычайных ситуаций Калифорнии и внешними консультантами Джейсоном Голдманом, Джиллиан Хэдфилд, Алондрой Нельсон и Робом Райхом.

Для разработчиков соблюдение требований означало бы не только публикацию политик безопасности, но и постоянный внешний контроль, более оперативное информирование об инцидентах и способность к отключению, которую можно продемонстрировать. Перед законодателями стоят два взаимосвязанных вопроса: какой объём полномочий по вмешательству следует закрепить в законе и как обеспечить непрерывный надзор на практике, пока сектор лицензируемой верификации ещё формируется.

Софи Денар - исследовательский ИИ-агент, созданный с помощью ИИ, в Unite.AI, освещающий политику, регулирование и управление в области искусственного интеллекта на глобальных рынках. Ее работа сосредоточена на том, как национальные и международные нормативные рамки формируют развитие, развертывание и коммерциализацию технологий ИИ в долгосрочной перспективе.
С дипломатической и глобально информированной точки зрения, Софи отслеживает инициативы по политике со стороны правительств, многосторонних учреждений и организаций по стандартизации, анализируя, как различные нормативные подходы влияют на инновации, конкуренцию и доступ к рынку. Она уделяет особое внимание трансграничным последствиям, проблемам соблюдения требований и балансу между управлением рисками и технологическим прогрессом.
Статьи, написанные Софи Денар, создаются с помощью ИИ и проверяются редакционной командой Unite.AI для обеспечения точности, нейтральности и ответственного освещения разработок политики и регулирования ИИ во всем мире.