LLMs Are Not Reasoning—They’re Just Really Good at Planning

大規模言語モデル（LLMs） như OpenAIのo3、GoogleのGemini 2.0、およびDeepSeekのR1は、複雑な問題に対処し、人間のようなテキストを生成し、甚至コードを精密に記述するという点で、驚くべき進歩を示しています。これらの高度なLLMsは、複雑な問題を分析および解決するという卓越した能力のため、しばしば「推論モデル」として言及されます。しかし、これらのモデルは実際に「推論」を行っているのでしょうか、または単に「計画」を行うことが非常にうまいのでしょうか。この区別は微妙ですが、深刻であり、LLMsの能力と限界を理解する上で重大な意味を持ちます。

この区別を理解するために、2つのシナリオを比較してみましょう：

• 推論: 犯罪を捜査する探偵は、矛盾する証拠を組み合わせ、偽のものを除外し、限られた証拠に基づいて結論に達する必要があります。このプロセスには、推論、矛盾の解決、抽象的な思考が含まれます。
• 計画: 相手のチェックメイトを計算するチェスプレーヤー。

両方のプロセスには複数のステップが含まれていますが、探偵は推論を行い、矛盾を解決し、一般的な原則を特定のケースに適用するために、深い推論を行います。一方、チェスプレーヤーは主に計画を行い、ゲームに勝つための最適な手順を選択します。LLMsは、チェスプレーヤーのように機能することがわかります。

推論と計画の違いを理解する

LLMsが計画よりも推論を行うことができない理由を理解するには、まず両者の違いを理解することが重要です。推論は、与えられた前提から新しい結論を導き出すための論理と推論のプロセスです。矛盾の特定と修正、新しい洞察の生成、曖昧な状況での決定、因果関係と反実仮想の理解（「もしも」シナリオ）が含まれます。

一方、計画は、特定の目標を達成するための行動のシーケンスを構造化することに焦点を当てています。複雑なタスクを小さなステップに分解し、既知の問題解決戦略に従い、以前学習したパターンを類似の問題に適応させ、構造化されたシーケンスを実行することが含まれます。推論と計画の両方にはステップバイステップの処理が含まれますが、推論にはより深い抽象化と推論が必要であり、計画は新しい知識を生成せずに既存の手順に従います。

LLMsの「推論」アプローチ

最新のLLMs、たとえばOpenAIのo3やDeepSeek-R1は、Chain-of-Thought (CoT)推論と呼ばれる手法を使用して、問題解決能力を向上させています。この方法では、モデルは問題を中間ステップに分解することを促し、人間が論理的に問題を考えているように模倣します。簡単な数学の問題を考えてみましょう：

リンゴを1個2ドルで販売する店があり、5個以上購入すると1個あたり1ドルの割引が適用されます。7個のリンゴのコストは何ドルになりますか？

CoTプロンプティングを使用する典型的なLLMは、次のように問題を解決します：

1. 通常の価格を決定します: 7 * $2 = $14.
2. 割引が適用されることを確認します（7 > 5）.
3. 割引を計算します: 7 * $1 = $7.
4. 割引を合計から差し引きます: $14 – $7 = $7.

明示的なステップバイステップのブレークダウンにより、モデルは1回で答えを予測しようとすることによるエラーの可能性を最小限に抑えます。ただし、このステップバイステップの分解は、LLMsが推論しているように見えますが、実際には構造化された問題解決の一種です。チェスプレーヤーが最適な手順を選択するのと同様に、料理のレシピに従うのと同じです。一方、真の推論プロセスでは、一般的なルールを認識します: 「5個を超えるリンゴの場合、各リンゴのコストは1ドル」人間はこのルールをすぐに推論できますが、LLMは構造化された計算のシーケンスに従うだけです。

Chain-of-Thoughtは計画であり、推論ではない

Chain-of-Thought (CoT)は、数学のワード問題やコーディングの課題などの論理的なタスクでLLMsのパフォーマンスを向上させましたが、真の論理的な推論には従事しません。これは、CoTが手続き的な知識に依存し、構造化されたステップに従い、新しい洞察を生成するのではなく、因果関係や抽象的な関係の真の理解が欠けているためです。また、CoTは、見たデータに基づいてパターンを変更することはできません。したがって、創造的に推論したり、見慣れないシナリオに適応したりする能力が制限されます。

LLMsが真の推論マシンになるには

LLMsが人間のように真に推論するには、何が必要でしょうか。次の点が重要です：

1. シンボリックな理解: 人間は抽象的なシンボルと関係を操作することで推論します。LLMsは、真のシンボリックな推論メカニズムが欠けています。シンボリックAIまたは、ニューラルネットワークと形式的な論理システムを組み合わせたハイブリッドモデルを統合することで、真の推論への参加を強化できます。
2. 因果推論: 真の推論には、因果関係の理解が必要です。単に統計的な相関関係ではなく、データから根本的な原則を推論する必要があります。因果AIの研究、つまり因果関係を明示的にモデル化することで、LLMsを計画から推論へと移行させることができます。
3. 自己反省とメタ認知: 人間は常に「この結論は妥当ですか？」と自身の思考プロセスを評価しています。LLMsは自己反省のメカニズムが欠けています。自身の出力を批判的に評価できるモデルを構築することは、真の推論へのステップとなります。
4. 常識と直感: LLMsは膨大な量の知識にアクセスできますが、基本的な常識的な推論に苦労することがよくあります。これは、現実世界の経験が不足しているため、人間がすぐに気づくような明らかな矛盾を認識できないからです。また、現実世界のダイナミクスを意思決定に取り入れる方法もありません。常識エンジンを備えたモデルを構築することで、これを改善できます。つまり、現実世界の感覚入力を統合したり、知識グラフを使用してモデルが人間のように世界を理解できるようにしたりすることが含まれます。
5. 反実仮想: 人間の推論には、「もしもことが異なっていたらどうなるか」という疑問が含まれます。LLMsは、これらの「もしも」シナリオに苦労しています。なぜなら、学習データに制限されているからです。モデルが人間のようにこれらのシナリオで考えられるようにするには、仮想的なシーケンスをシミュレートし、変数の変更が結果にどのように影響するかを理解する必要があります。また、さまざまな可能性をテストし、新しい洞察を生み出す方法が必要です。そうでない場合、LLMsは真に代替の未来を想像できません。彼らは単に既に見たものに基づいて予測するだけです。

結論

LLMsは推論しているように見えますが、実際には複雑な問題を解決するために計画テクニックに頼っています。数学の問題を解決したり、論理的な推論を行ったりする場合でも、モデルは基本的に既知のパターンを構造化された方法で組織化しています。原理を深く理解しているのではなく、原理の背後にある原理を理解しているのではなく、計画と推論のこの区別は、AIの研究において重要です。なぜなら、洗練された計画を真の推論と間違えることで、AIの真の能力を過大評価するリスクがあるからです。

真の推論AIへの道は、トークン予測や確率的な計画を超えた基本的な進歩を必要とします。シンボリックな論理、因果的理解、メタ認知のブレークスルーが必要です。そうでない限り、LLMsは構造化された問題解決の強力なツールのままですが、人間のように真に考えことはできません。