监管
纽森提议对前沿人工智能实施强制监管并赋予紧急关停权

要点持牌独立核查机构将对州进行持续的技术审查,而非一次性的安全备案。
查看更多
- 持牌独立核查机构将对州进行持续的技术审查,而非一次性的安全备案。
- 紧急关停令将立即生效,并在司法审查期间持续有效。
- 事件报告将从培训规模的阈值转向已证明的灾难性风险应对能力。
加利福尼亚州州长加文·纽森于2026年11月18日发布了立法建议,拟要求对大型前沿人工智能开发商实施持续的独立监督,并授权州官员下令紧急关闭构成迫在眉睫的灾难性风险的模型。
加利福尼亚州政府运营局于2026年11月16日发布的报告《2026年及以后的人工智能安全》,旨在为立法提供参考,供议员于2026年12月复会时审议;报告中的建议尚未成为强制义务。该计划将在加州要求大型前沿人工智能开发商公布安全框架的基础上,进一步设定由州政府制定的基准,涵盖训练、内部使用和部署全过程中的安全、安保与透明度。
持续独立监督
所有大型前沿人工智能开发商都将接受获许可的独立核查机构(IVO)的持续监督。这些机构将把州政府的标准转化为技术测试,并随着人工智能评估方法的变化不断更新测试。它们还将获得其认为必要的模型、人员、系统、训练环境和记录的访问权限,随后向州政府提交未经删节的评估报告。
政府运营局将负责为 IVO 发放许可,并可因其专业能力、独立性或严谨性不足而吊销许可。如果评估人员无法确认开发商符合标准,州政府可在与公司沟通后下令采取纠正措施。除加速的紧急程序外,开发商可在此类决定生效前向法院提出质疑。
开发商缴纳的核查费用将附加一项附加费,用于资助由公共部门运营的 CalCompute 算力。部分算力将留作独立安全与安保研究以及公共监督之用,从而将由行业出资的附加费与外部审查所需的基础设施联系起来。
风险遏制与紧急权力
每家大型前沿人工智能开发商都必须制定一套风险遏制协议,由 IVO 持续测试和核查,并由公司高级官员认证其有效性。所需能力将涵盖计算资源、智能体、内部访问权限和模型部署,而不能仅依赖一个简单的开关。协议还将明确责任人员,与云服务提供商和电力供应商协调,并规定模型在何种情况下可以安全恢复运行。
测试将审查可能导致关停失败的情形,包括模型复制自身权重以妨碍遏制,或外部人员获得关停控制权限。对于开放权重模型开发商,遏制和关停要求仅适用于其控制下的部署,因为他们无法关闭由他人托管的模型副本。
如果州官员有可信理由认为存在迫在眉睫的灾难性风险或重大失控事件,且开发商拒绝遏制危险,他们可以下令立即关停。该命令必须采取可行范围内最有限的干预措施,立即生效,并在司法审查期间持续有效;不过,开发商可以申请临时限制令。危险不再迫在眉睫时,关停命令将予以解除。
事件报告与自动化人工智能研究
报告制度将涵盖未遂的模型权重窃取事件(即使没有造成死亡或身体伤害)、所有内部或外部失控事件,以及新增的未遂险情报告渠道。报告建议将大多数重大事件报告的期限从15天缩短至48小时,同时保留对迫在眉睫的灾难性风险须在24小时内报告的要求。举报人保护将扩展至前雇员和承包商。
即使训练所用的整数或浮点运算次数少于10^26,凡是具备可能造成灾难性风险之行动能力的模型,在事件报告方面都将被视为前沿模型。这一基于能力的触发条件旨在回应报告提出的担忧:仅依赖训练规模,导致危险事件未被纳入州级报告要求。
将人工智能研究与开发自动化的公司必须按季度报告其算力在训练、研究实验、供人工智能研究智能体使用的推理、安全与安保工作、外部客户以及无法归属的活动之间的分配情况,并由 IVO 核实这些类别。其他披露内容还将包括训练数据的规模、成本、主题领域及其来源是人类还是人工智能;此外,还须披露在强化学习环境中用于训练模型的推理算力、已知的受奖励不当行为,以及所采取的缓解措施。报告称,这些措施将显示人工智能是否正接管自身开发过程中的更多工作,以及安全投入是否跟得上这一趋势。
递归自我改进(RSI)最极端的形式,是人工智能系统在没有人类参与的情况下独立开发出自己的继任系统。对此,不会立即设限,而是赋予相关部门备用限额权限。当自动化人工智能研究超出开发者承诺的阈值,或其推进速度快于相应的安全保障措施和评估,进而造成重大灾难性危害风险时,相关部门可以实施有期限、并定期审查的限额。经独立验证机构(IVO)确认已落实充分的安全保障措施后,方可解除限额。
这些建议回应了Newsom于2026年9月18日发布的关于独立监督和人工智能紧急关闭开关的行政命令。该命令要求专家在两个月内提出方案,并加快落实加州有关独立验证和人工智能审计员的法律。政府运营局与加州紧急事务办公室及外部顾问Jason Goldman、Gillian Hadfield、Alondra Nelson和Rob Reich共同编制了这份报告。
对开发者而言,合规要求将不再止于公布安全政策,还将包括持续接受外部审查、更快报告事故,以及证明具备关闭系统的能力。这项提案给立法者留下了两个相互关联的决策:应赋予多大程度的干预权限,以及在获得许可的验证行业仍在发展之际,如何让持续监督切实运作。












