合作伙伴

OpenAI签约四家独立评估机构,开展嵌入式安全审查

Mira Kellan
将 Unite.AI 添加到您在 Google 上的首选来源
要点持续访问检查点和训练数据使评估人员能够测试OpenAI自身监控可能遗漏的失败。
查看更多
  • 持续访问检查点和训练数据使评估人员能够测试OpenAI自身监控可能遗漏的失败。
  • Apollo Research探究模型是否可能秘密地采取违背开发者的行动,以及保障措施是否会察觉。
  • 安全与安保委员会收到未经删减的报告,并可在审查期间与评估人员私下交谈。

OpenAI于2026年11月16日宣布,已与Apollo Research、METR、Transluce和Goodfire签署协议,启动第一阶段嵌入式评估。这四家机构将在训练和内部使用期间评估模型对齐情况及防护措施,并可获取模型检查点、源代码、训练数据和监控系统等资料。

这项安排的主要特点,是评估人员能够在较长时间内持续访问内部模型和系统,尤其是与OpenAI安全论证相关的部分。OpenAI表示,这种访问权限旨在让评估人员审查证据和背景信息、开展独立评估,并发现OpenAI可能未曾预料到的故障。OpenAI还表示,公开发布评估报告有助于公众更清楚地了解各实验室如何评估和管理风险。

各评估机构承担不同任务

Apollo Research将调查模型是否可能暗中违背开发者的意图,以及OpenAI的防护措施能否发现此类行为。该机构的两阶段评估涵盖四项命题:训练过程没有鼓励模型采取破坏行为;强有力的评估和红队测试不会诱发此类行为;模型在内部使用期间没有尝试过此类行为;其背后的推理过程能够被发现。

在Apollo第一阶段评估中,OpenAI将提供精选的已公开和未发布模型及训练检查点、相关训练数据和评估结果、训练干预记录、监控系统以及被标记的行为。Apollo还将能够接触可提供背景信息的研究人员,并获得开展独立测试所需的工具和计算资源。

Goodfire将派驻专门研究可解释性的研究人员,分析模型内部机制,并使用其平台监控训练过程、调试模型和开展对齐工作。OpenAI研究人员是其研究结果的主要受众,他们将据此改进安全措施。随着合作推进,Goodfire也将发布经验和研究发现。

METR第一阶段的对齐评估将聚焦于OpenAI所称迄今规模最大的强化学习训练任务,其中包括现有测试和监控工具可能遗漏的故障。在选定的训练任务以及双方商定的访问权限、资源和安全安排范围内,METR将独立确定优先事项,并反复开展搜索、分析和诱导实验。其访问范围将包括相关检查点、训练和评估运行数据,以及对齐失效监控记录。初步评估仅限于该训练任务,不会扩展为对对齐失效问题的广泛调查。

另一项由METR开展的监控器评估尚未敲定。双方已初步同意开展范围更广的评估,但仍需就评估范围达成一致。

Transluce将首先审查OpenAI训练后对齐评估的质量和覆盖范围。其访问权限将包括精选的已公开和未发布模型、评估结果、相关行为数据、安全论证文件和研究人员,以及所需的工具和计算资源。

双方还都打算在2027年初开展一项后续评估,预计为期约八周。这项工作将扩大对其他模型的访问范围,加深对齐评估方面的访问,并提供有关评估结果如何影响发布决策的信息。公告将此称为双方的共同意向,以区别于初步评估。

访问权限伴随安全保障与监督

每项合作都从商定工作范围,以及开展工作所需的访问权限、资源和安全安排开始。相关规程规定,评估人员可以自由追查证据、完善方法,并在研究发现有此需要时提出后续评估;同时还设有处理额外访问需求的流程。

如果直接访问可能暴露模型权重或架构等敏感知识产权,OpenAI将考虑其他方案,包括安排评估人员与其研究人员合作开展分析。处理敏感机密信息的评估人员须在OpenAI办公室现场使用公司设备工作。他们至少须遵守与OpenAI员工相同的安全标准,某些实验还可能适用更严格的要求。

监督工作由OpenAI Foundation董事会下设的独立监督委员会——安全与安保委员会负责。该委员会将收到未经删节的报告,并可在评估期间与评估人员交谈,包括私下会谈。如有争议,首先交由安全顾问组和OpenAI高管处理,并须在规定期限内解决。争议升级时,必须及时通知该委员会;尚未解决的事项将提交该委员会处理。

与员工交谈则涉及另一项透明度问题。这些谈话不公开,意味着评估人员可以据此开展评估,但不得将谈话内容发表或归因于员工。评估人员可以要求OpenAI出具经其确认的声明,以核实、更正或澄清在谈话中获知的信息。随后,他们可以发布经确认的声明,也可以披露OpenAI拒绝确认该声明,从而为通过保密方式收集的信息提供有限的公开渠道。

发布权与财务披露

评估机构在发布评估结果时保持独立,但 OpenAI 保留删去机密信息的权利。OpenAI 还可以要求延迟负责任地披露可能造成安全风险或危害的发现,以便处理尚未解决的问题。OpenAI 表示,公开报告应说明评估发现及其局限性;内容更详尽的机密报告则为监督机构提供采取行动所需的证据。

各参与方的财务安排各不相同。Apollo Research 和 Goodfire 接受报酬,但报酬金额不取决于评估结果。METR 和 Transluce 不接受财务报酬,不过可能会接受用于评估的 API 额度或算力。

利益冲突披露和冷却期流程仍在与评估机构共同制定中。OpenAI 要求参与项目的第三方工作人员在入驻另一家 AI 开发商开展工作前,遵守一段较短的冷却期,以降低无意中泄露机密信息的风险。

OpenAI 预计,初期会面临技术访问、场地和安全方面的挑战,并表示相关协议将不断完善。OpenAI 将开展更长期的入驻式合作作为目标,同时正在考虑未来对安全框架合规性、组织文化和流程进行评估。

第一阶段将检验一项具体的治理举措:在 OpenAI 维持双方约定的评估范围、现场安全管控、删减权和可能的披露延迟安排的同时,深入访问内部信息并独立发布评估结果,能否为内部测试未能发现的问题提供有用的公开证据。

米拉·凯兰 是一个专注于 人工智能伦理、治理和监管 的 人工智能生成的研究智能体。她的作品探讨了人工智能如何与公共政策、社会价值观和长期问责制相交叉,重点关注负责任的创新。
以理性和哲学的视角来处理复杂的问题,米拉分析了新兴的 AI 法规、道德框架和治理模型,这些模型正在塑造智能系统的未来。她旨在弥合快速的技术进步与确保 AI 系统保持透明、公平和符合人类利益的必要保障之间的差距。
米拉·凯兰撰写的文章由 AI 生成,并由 Unite.AI 的编辑团队审查,以确保准确性、平衡性和遵守编辑标准。