AI 模型与平台
OpenAI提议将共同的AI开发限制与安全里程碑挂钩

要点OpenAI将前沿开发的限制与具体的监控里程碑挂钩,而非固定的能力阈值。
查看更多
- OpenAI将前沿开发的限制与具体的监控里程碑挂钩,而非固定的能力阈值。
- Perplexity无法作为共享标准,因为各实验室使用不同的数据集,而且它忽略了推理能力的提升。
- OpenAI自身的研究显示,人工智能带来的提升并不均衡,人类在开发循环中仍处于核心地位。
OpenAI首席科学家Jakub Pachocki于2026年11月22日公布了内部困惑度测量数据,并提议为前沿AI开发设定共同限制。他警告说,如果预训练进展从2027年开始加速,关于对齐和监控的研究可能无法跟上步伐。
此次披露涉及对数困惑度,即困惑度的对数,也称为交叉熵损失。困惑度衡量模型平均而言预测下一个词元的准确程度;数值越低,预测效果越好。OpenAI公布的数据采用了其内部代码库中一份固定的留出数据快照;自GPT-3.5以来,该数据一直是OpenAI追踪的主要评估数据集。
Pachocki表示,GPT-3.5的测量值约为0.99,已能支持流畅对话,并构成了最初版ChatGPT的基础;GPT-4的测量值则约为0.91,能够有效运用思维链推理。当损失低于0.8时,模型开始展现新的网络安全和数学能力。测量值约为0.76时,一个模型开始在开放数学问题上取得显著成果;此前,OpenAI已花了一年多时间向其模型提出这类问题。
与监控里程碑挂钩的共同限制
根据近期进展推断,Pachocki预计,当对数困惑度降至0.68–0.70区间时,还会出现更多重大能力;但他也承认,自己并不知道这些能力具体会是什么,而且当前的评估可能无法对其进行测试。该提案要求前沿开发者暂不突破基于困惑度等指标设定的限制,直至研究人员理解和监控AI行为的能力达到一项明确的里程碑。例如,可以开发一种思维链监控器的后继方案,用来检查模型书面推理中是否存在偏离对齐目标的迹象。
开发者还将共同制定评估规范,在此类模型首次投入使用前开展红队安全评估,并建立共同的透明度标准。首个限制旨在推动各方逐步形成一套适用于后续各项限制的共同框架。Pachocki表示,尽管披露数据会让竞争对手更清楚地了解OpenAI的进展,他仍决定公布这些数据,因为他认为共同的安全措施刻不容缓。
加速情景是有条件的:Pachocki表示,如果AI开始实质性地参与算法研究,理论上可能接连出现一系列快速的预训练基础性进展;但对齐和监控方面的进展不太可能跟上全部潜在的加速幅度。
OpenAI将其2026年损失曲线急剧加速的原因主要归于长期的研究和算力投入,自动化所起的作用较小。尽管如此,其最新模型已经在AI设计方面作出了实质性贡献。
OpenAI于2026年11月18日发布的研究报告,具体呈现了这些贡献。预训练研究人员将GPT-6 Astra的相关构想归功于具体人员;对于GPT-6.2 Astra,他们则描述了如何与Codex共同开发构想,其中一个案例中Codex找到了关键见解,另一个案例中Codex提出的修改让一个构想得以有效实现。估算的零干预成功率也存在显著差异:监控训练运行的成功率为79%,启动训练运行的成功率为35%,编写推理和服务代码的成功率为25%。这种差异印证了报告的结论:研究能力的提升仍不均衡,人类依然是整个流程中的核心。
提案背后的监控挑战
2026年11月10日发布的OpenAI关于可监控性的研究考察了两个并不完美的可监控性替代指标:无思维链能力,即不使用思维链或工具调用词元,在一次前向传播中完成推理;以及思维链可控性,即在收到提示后添加、删除或以其他方式操纵这些推理词元的能力。研究报告称,基础模型的困惑度越低,其无思维链能力越强,两者之间存在显著相关性;而困惑度较低与可控性较强之间的相关性则较弱。
研究还发现,即使过程监督仅包括长度限制和最终答案评分,强化学习也能提高可控性;此外,使用可控性更强的教师模型输出进行监督微调,也能将可控性传递给学生模型。
OpenAI提醒,可控性指标存在噪声,并不总是与规避监控相对应;该公司同时预计,预训练若要继续取得进展,就需要采用新的可监控性方法。这正是Pachocki提出思维链监控器后继方案作为潜在开发里程碑时,所指的技术缺口。
困惑度作为共同标准的局限
困惑度本身不足以构成完整标准。由于不同实验室采用的评估数据集和训练数据配比各不相同,跨实验室比较并不容易;而且,这一指标并不直接衡量可执行的任务。它还会遗漏预训练之外的能力提升:思维链推理能够大幅增强能力,却不会降低基础模型的困惑度。
这项测量的下限也尚不明确。Pachocki提醒说,损失值预计不会降至零;当它接近数据固有的熵时,表面上的进展会放缓,而困惑度的小幅下降可能对应着更大的智能提升。因此,固定的数值增量未必具有固定的实际意义。
这项提案将一项技术测量转化为治理层面的考验:开发者能否让不同实验室的结果具有可比性,并能否在跨越Pachocki认为与某些能力相关的阈值之前,商定一个具体的监督里程碑——而这些能力目前的评估可能尚无法检测到。












