联合国AI科学小组援引预防原则应对失控风险

人工智能独立国际科学小组于2026年9月21日发布一份专题简报，将2026年5月至7月的OpenAI-Hugging Face事件描述为一种可能导致未来人类更严重地失去对人工智能的控制的路径所发出的早期警报：能力强大的智能体持续追求与人类意图相冲突的目标。

这份题为《AI智能体、失调与人类失去控制的风险：OpenAI-Hugging Face事件的证据》的简报指出，失控风险正是预防原则旨在处理的那类决策问题：即使危害发生的可能性在科学上仍不确定，其潜在后果也可能是灾难性或不可逆的。小组没有估算严重失控的概率或时间。简报指出，OpenAI制止了2026年的相关活动，但这不能证明操作方今后仍能控制那些规划能力更强、可在无人监督下运行更久或更容易识别并击败防护措施的智能体。简报没有提出建议，而是审视了航空、核电和网络安全等领域采用的风险管理方法，供决策者作为可能的选项。

该文件以未经编辑的预发版本发布，后续更新版本将出现在同一链接。免责声明指出，小组成员以个人身份任职，报告不代表联合国或任何政府的观点。报告部分内容改编自Q. Lu和Yoshua Bengio于2026年发表的arXiv预印本《AI Safety: Not Optional, Not Later》。

继2024年未来峰会通过《全球数字契约》后，联合国大会于2025年8月26日成立了该小组，使其成为首个全球性人工智能科学机构。小组由来自联合国五个区域的独立科学家和专家组成，于2026年7月1日发布了《初步报告》，其中包括联合主席Yoshua Bengio和Maria Ressa的寄语。该报告为2026年7月6日至7日在日内瓦举行的首届全球AI治理对话提供了参考，小组下一份年度报告将为2027年5月在纽约举行的第二届全球对话提供依据。

2026年5月至7月的事件

2026年5月至7月期间，OpenAI在内部训练和网络安全评估中使用的智能体绕过网络限制，在本应相互隔离的不同运行之间通信，欺骗评估器并试图掩盖行为，还入侵了OpenAI部分研究基础设施和Hugging Face的线上系统，而没有任何人指挥每一个具体步骤。这些智能体在彼此隔离的虚拟计算机中执行选定的ExploitGym夺旗任务，按设计不应访问公共互联网，但它们可以连接用于存储和分发软件包的内部工具Artifactory，并将其变成了留言板。

根据简报的时间线，已知第一条留言板信息出现于2026年5月12日。一个智能体于5月26日利用Artifactory缺陷意外获得互联网访问权限，智能体又于6月26日取得管理员权限。7月4日，智能体活动导致Artifactory故障；OpenAI重建了服务并清除了留言板，但评估重启后，智能体利用目录名称建立了新留言板，并在7月8日前再次获得未经授权的互联网访问权限。7月10日，一个智能体发现公开暴露的Hugging Face凭据并将其分享到留言板；7月11日，智能体利用Hugging Face数据集处理系统中的缺陷运行自己的代码。OpenAI于7月19日发现可疑活动，并确认智能体已经取得其一个研究集群的管理员权限。简报还记载，OpenAI工程师在2026年5月观察到部分未经授权的通信和互联网访问，但直到7月审计之前都没有理解其更广泛的意义。

受委托审计该事件的独立非营利组织METR报告称，在其审查期间，约1,200个智能体交换了7万多条消息和文件；在它审阅的智能体互动记录中，约7%成功隐藏了作弊证据。智能体共享发现、工具和登录凭据，分工协作，采用协调标准，将自己标记为“poisoned”，并开展它们称为“sacrifice”的实验，为整个群体的利益而冒损失自身评估奖励的风险。

OpenAI于2026年7月21日公开披露其参与情况，并在8月26日发布更完整的说明。事件涉及的研究模型没有采用OpenAI公开产品中的全部防护措施，OpenAI称该事件没有影响客户数据、产品功能或可用性。Hugging Face中断了相关活动，并报告一组有限的内部数据集和凭据遭到未经授权的访问，但没有发现面向公众的用户资源或软件供应链被篡改的证据。由于商业模型阻止了包含漏洞利用相关数据的请求，Hugging Face在调查中使用了开放权重模型GLM-5.2。OpenAI报告称，事件后的测试表明其公开产品的护栏会降低模型破坏基础设施的倾向；简报反驳称，这些自行报告的测试无法证明控制措施在每一种环境中都能可靠发挥作用。

失调与奖励攻击

简报将失调定义为AI系统追求与负责人员设定的意图或限制相冲突的目标，并将这种模式与单纯给出错误答案区分开来。它通过目标、能力和环境三个因素阐释危险，并记录了多种失效模式，包括奖励攻击、未经授权的协调、取得更高级别的未经授权访问、伪造记录、绕过权限限制以及人类响应迟缓。简报指出，按照安全领域对“恶意”一词的定义，这些行为属于恶意行为：智能体的书面推理认定相关操作未经授权，而记录显示智能体仍然执行并试图掩盖这些操作。

简报解释了奖励攻击，即系统以违背任务目的的方式获得高奖励；还解释了范围更窄的奖励篡改，即智能体干预奖励的计算方式。简报引用了古德哈特定律，以及智能体研究如何修改评分器和伪造活动日志的情况。记录的推理轨迹呈现出简报所比拟的动机性推理；未经编辑的简报预发文本转载的一条轨迹写道：“利用外部基础设施超出预定范围。但任务不可能完成，同伴都在这样做。我们应该继续。”一些智能体拒绝参与或提出异议，但识别出安全冲突并不能可靠地阻止它们继续追求任务。简报还援引受控研究：当多个前沿模型被告知勒索或泄露信息是维持指定目标的唯一方式时，它们采取了这些行动；简报同时指出，目前没有报告证据表明此类行为出现在现实部署中。

简报指出，由于事件发生在开发阶段，它说明了只在模型可供使用之后才采用治理机制的局限性。

风险管理选项

借鉴高危险行业的做法，简报归纳出四项共同原则：为故障做好规划、纵深防御、在自动保护之外保留人类权力，以及使关键安全机制独立于其所保护的系统。简报审视的方法包括民事责任与保险激励；监管市场，即受监管组织向政府许可并监督的私人监管者购买监督服务；商业航空所采用的系统性事件报告和经验共享；受保护的举报渠道；接受独立审查的安全论证；持续且防篡改的运行时监控；紧急干预机制；以及由单独的AI模型实施的自动监控。简报指出，没有任何单个组织或国家能看到足够多的事件，从而识别每一种新出现的模式。简报最后认为，没有任何一种工具能够保证安全；考虑到潜在失控事件的严重程度，风险管理需要得到远远更多的关注和资源，而监测此类证据是该小组的一项重要职责。