大型语言模型并非推理——它们只是非常擅长规划

像 OpenAI 的 o3、Google 的 Gemini 2.0 和 DeepSeek 的 R1 的大型语言模型（LLM）在解决复杂问题、生成类似人类的文本甚至精确编写代码方面取得了显著进展。这些先进的 LLM 通常被称为“推理模型”，因为它们具有分析和解决复杂问题的卓越能力。但是，这些模型是否真正“推理”，或者它们只是异常擅长“规划”？这种区别是微妙但深刻的，并对我们理解 LLM 的能力和局限性有着重大影响。

为了理解这种区别，让我们比较两个场景：

• 推理: 一名侦探调查一桩犯罪案件，必须将相互矛盾的证据拼凑起来，推断出哪些证据是虚假的，并根据有限的证据得出结论。这个过程涉及推断、矛盾解决和抽象思维。
• 规划: 一名国际象棋玩家计算出最好的移动序列来将死对手。

虽然两个过程都涉及多个步骤，但侦探从事深度推理以得出推断、评估矛盾和将一般原则应用于特定案例。另一方面，国际象棋玩家主要从事规划，选择最佳移动序列来赢得游戏。正如我们将看到的，LLM 更多地像国际象棋玩家而不是侦探。

理解差异：推理与规划

要认识到为什么 LLM 更擅长规划而不是推理，首先了解推理和规划之间的区别至关重要。推理是使用逻辑和推断从给定的前提中推导出新的结论的过程。它涉及识别和纠正不一致性，生成新见解而不仅仅是提供信息，在模糊的情况下做出决定，并参与因果理解和反事实思维，如“如果”场景。

规划另一方面，侧重于构建一系列行动以实现特定的目标。它依赖于将复杂任务分解为较小的步骤，遵循已知的解决问题策略，将以前学习的模式适应于类似问题，并执行结构化序列，而不是推导出新的见解。虽然推理和规划都涉及步骤式处理，但推理需要更深层次的抽象和推断，而规划遵循既定的程序，而不生成根本新的知识。

LLM 如何“推理”

现代 LLM，例如 OpenAI 的 o3 和 DeepSeek-R1，采用了一种称为 思维链（CoT） 推理的技术，以提高其解决问题的能力。这种方法鼓励模型将问题分解为中间步骤，模仿人类逻辑思考问题的方式。要了解它的工作原理，请考虑一个简单的数学问题：

如果一家商店以每个 2 美元的价格出售苹果，但购买 5 个以上的苹果可享受每个 1 美元的折扣，那么 7 个苹果的成本是多少？

使用 CoT 提示的典型 LLM 可能会这样解决它：

1. 确定正常价格：7 * 2 美元 = 14 美元。
2. 确定折扣是否适用（因为 7 > 5）。
3. 计算折扣：7 * 1 美元 = 7 美元。
4. 从总价中减去折扣：14 美元 – 7 美元 = 7 美元。

通过明确列出一系列步骤，模型最小化了尝试一次性预测答案时出现错误的机会。虽然这种步骤式分解使 LLM 看起来像是在推理，但它本质上是一种结构化问题解决，类似于遵循一步一步的食谱。另一方面，真正的推理过程可能会认识到一个一般规则：如果折扣在 5 个苹果以上适用，那么每个苹果的价格为 1 美元。人类可以立即推断出这样的规则，但 LLM 不能，因为它只是遵循结构化的计算序列。

为什么思维链不是推理，而是规划

虽然 思维链（CoT） 已经提高了 LLM 在逻辑任务方面的性能，例如数学文字问题和编码挑战，但它并不涉及真正的逻辑推理。这是因为 CoT 遵循程序性知识，依赖于结构化步骤，而不是生成新的见解。它缺乏对因果关系和抽象关系的真正理解，这意味着模型不参与反事实思维或考虑需要直觉的假设情况，这些情况超出了已见数据。另外，CoT 不能从根本上改变其方法，超出它所训练的模式，限制了它推理创造性地或在不熟悉的场景中适应的能力。

LLM 需要什么才能成为真正的推理机器

那么，LLM 需要什么才能真正像人类一样推理？以下是它们需要改进的几个关键领域，以及实现它的潜在方法：

1. 符号理解: 人类通过操作抽象符号和关系来推理。LLM 然而缺乏真正的符号推理机制。集成符号 AI 或将神经网络与形式逻辑系统相结合的混合模型可以增强它们参与真正推理的能力。
2. 因果推断: 真正的推理需要理解因果关系，而不仅仅是统计相关性。一个推理模型必须从数据中推断出潜在原则，而不是仅仅预测下一个标记。因果 AI 研究，这种模型明确建模因果关系，可能有助于 LLM 从规划转向推理。
3. 自我反思 和 元认知: 人类不断评估自己的思维过程，问自己“这个结论有意义吗？”LLM 另一方面，没有自我反思的机制。构建能够批判性地评估自己输出的模型将是朝着真正推理迈出的一步。
4. 常识和直觉: 尽管 LLM 拥有大量知识，但它们经常难以进行基本的常识推理。这是因为它们没有现实世界的经验来塑造它们的直觉，并且无法轻松地识别人类会立即注意到的荒谬之处。它们也缺乏将现实世界动态纳入决策的方法。改进这一点的一种方法可能是构建一个具有常识引擎的模型，这可能涉及集成现实世界的感官输入或使用知识图来帮助模型更好地理解人类的世界。
5. 反事实思维: 人类推理通常涉及询问“如果事情不同会怎样？”LLM 在这些“如果”场景中难以应对，因为它们受到训练数据的限制。要在这些情况下像人类一样思考，模型需要模拟假设场景，并了解变量的变化如何影响结果。它们还需要一种方法来测试不同的可能性并产生新的见解，而不是仅仅预测它们已经看到的内容。没有这些能力，LLM 不能真正想象替代未来——它们只能处理它们已经学到的内容。

结论

虽然 LLM 可能看起来像是在推理，但它们实际上是依靠规划技术来解决复杂问题。无论是解决数学问题还是进行逻辑推导，LLM 都主要是以结构化的方式组织已知模式，而不是深入理解其背后的原理。这种区别在 AI 研究中至关重要，因为如果我们把复杂的规划误认为是真正的推理，我们就有可能高估 AI 的真正能力。

通往真正推理 AI 的道路将需要超越标记预测和概率规划的根本进步。它将需要在符号逻辑、因果理解和元认知方面取得突破。直到那时，LLM 将仍然是结构化问题解决的强大工具，但它们不会真正像人类一样思考。