AI 模型与平台

元的COCONUT：一种不需要语言的AI方法

发布于 2024年12月16日

更新于 2026年5月20日

作者

Alex McFarland

将 Unite.AI 添加到您在 Google 上的首选来源

当研究人员首次发现大型语言模型（LLM）可以通过链式思维提示“思考”一步一步地进行时，这是一个突破性的时刻——终于，我们可以窥视这些黑盒的推理过程。但是，如果我告诉你，迫使AI模型用自然语言思考可能会阻碍它们呢？

这就是Meta和UC San Diego的研究人员通过他们的新COCONUT（连续思维链）方法所揭示的内容。

想象一下，你试图解决一个复杂的数学问题，同时被迫大声说出每一步。令人恼火，对吧？现在你已经接近了解决语言模型面临的核心挑战。

当我们让AI模型通过自然语言推理时：

它们生成的大多数令牌只是语言粘合剂——像“因此”、“下一步”和“因此”这样的词，它们不添加任何推理价值
关键决策点被迫提交特定的词语
模型在维护语法一致性上花费了大量计算努力，而不是实际问题解决

研究人员在他们的神经成像研究中发现了有趣的东西：当人类处理复杂的推理任务时，我们的大脑语言中心往往出奇地安静。然而，我们一直在构建迫使它们将每一步推理转化为语言的AI系统。

想想你如何解决一个谜题。你的思维可能同时探索多种可能性，保持模糊的假设，只有当分享解决方案时才将你的想法凝结成语言。但是，传统的链式思维方法迫使AI模型将每个中间步骤用语言表达出来，造成了“语言瓶颈”。

这种见解引发了一个令人信服的问题：如果我们可以让AI模型用它们的“语言”——它们的隐藏状态的连续、高维空间——进行推理，而不是迫使它们将一切翻译成令牌呢？

理解COCONUT的创新

想象一下，你的思维过程和大声说出你的想法之间的差异。这种差异——语言化思维和神经活动之间的差异——正是Meta的研究人员通过COCONUT所利用的。

COCONUT的真正突破在于，它让AI模型可以像人类一样以两种不同的方式思考。当你解决一个复杂的谜题时，你不会在脑海中讲述每一步，对吧？相反，你：

吸收问题：你接受信息（比如阅读谜题规则）
默默思考：你的大脑在不用语言的情况下探索多种可能性
分享解决方案：只有当你与他人分享你的思考时，你才会用语言表达出来

COCONUT为AI模型提供了这种自然的灵活性。它不像传统方法那样迫使它们“大声说出”每一个想法（像传统方法那样），而是让它们在自己的自然神经空间中思考——研究人员称之为“潜在空间”。

模型平滑地在两种模式之间切换：

当它需要理解问题或给出答案时，它使用常规语言
但是对于实际的思考过程？它使用纯粹的神经模式，不受语言的约束

图片：Meta

训练之旅

COCONUT最令人着迷的方面之一是其训练课程。使其特殊的是它如何映射自然学习进度。想想我们如何教授复杂的技能——你不会一下子把某人扔进深水区。你逐渐构建，随着他们掌握每个级别而增加复杂性。

研究人员采取了这种方法来训练COCONUT：

阶段1：基础

首先，模型像其他AI一样学习——通过传统的链式思维推理。这给它提供了一个坚实的基础理解。

阶段2：过渡

这里是事情变得有趣的地方。逐渐地，书面推理步骤被连续的想法所取代。想象一下，慢慢地移除训练轮，让模型发展自己的内部思维模式。

阶段3：平衡

最后，模型学会了无缝地在深度思考的潜在空间和用清晰的语言表达其见解之间切换。

在训练过程中，模型发展出了没有人明确编程的能力——比如同时考虑多个推理路径。这种出现的行为尤其令人兴奋，因为它表明我们可能正在接近更自然的AI推理形式。正是这些意外的发展往往会带来最大的突破。

还记得我之前提到的那些神经成像研究吗？它们显示，人类的大脑在处理复杂的推理任务时往往不会大量激活语言中心。COCONUT似乎正在发展类似的模式——在其自然的神经空间中深入思考，只有在需要时才将其转化为语言。

数字讲述了一个故事

研究中还有一些关键发现：

数学单词问题（GSM8k）：在这里，COCONUT实现了34.1%的准确率。虽然这低于传统的链式思维（42.9%），但它明显优于基线方法。
逻辑推理（ProntoQA）：COCONUT实现了99.8%的准确率，略高于传统链式思维的98.8%。但这里有一个关键点——它只使用了9个令牌，而传统链式思维使用了92.5个。
复杂规划（ProsQA）：最令人印象深刻的结果来自这个高级推理测试。COCONUT实现了97%的准确率，而传统方法只达到77.5%。而且，它做到了这一点，效率非常高——14.2个令牌，而传统方法使用了49.4个。

这些结果令人振奋的原因不仅仅是数字本身——而是它们揭示了不同类型的思考。虽然COCONUT可能仍然在数学推理方面找到自己的立足点，但它在需要复杂逻辑规划和推理的任务中表现出色。

COCONUT代表了对AI系统如何推理的根本性重新思考，并使我们更接近更自然、更高效、更强大的AI形式。从语言推理到连续思考的旅程是朝着更有能力和更高效的AI系统迈出的一步。规划和推理。COCONUT代表了对AI系统如何推理的根本性重新思考，并使我们更接近更自然、更高效、更强大的AI形式。从语言推理到连续思考的旅程是朝着更有能力和更高效的AI系统迈出的一步。