言語モデルが「妄想」を止めるための「禅」の方法

ChatGPTにランダムな答えを事実検証するように指示すると、モデルはより深く考え、より多くの正しい答えを出すことができます。最初の「ランダム」な答えが実際の質問に関係がない場合でもです。

中国からの新しい論文では、ChatGPTのような言語モデルが「妄想」を止めるための非常に低コストな方法を開発しました。つまり、モデルにまったく無関係な質問の答えを事前に検証させるというものです。

LLMの「妄想」を止めるために「自由な心」を与えることができる無関係な質問の例。ソース

この「禅のスラップ」は、ファインチューニング、プロンプトクラフト、並列サンプリングなどの他の方法よりも非常に安価なパフォーマンスの向上方法です。また、オープンソースとクローズドソースのモデル両方で機能し、複数のLLMアーキテクチャに共通する基本的な特性の発見を示しています。

著者らは、この方法によるスケールの経済性について説明しています。

「最小限の追加の事前知識で実装するために、VFはプロンプトにランダム/無関係な答えを提供するだけで十分です。検証プロセスは、通常のCoTパスよりも出力トークンが少なく、場合によっては明示的な検証のみのプロセスがないため、非常に少ない追加のテスト時間計算が必要です。」

このアプローチは、Verification-First（VF）と呼ばれ、数学的推論を含むさまざまなタスクでレスポンスを改善することができました。

このテクニックが機能する理由の1つは、言語モデルが人間の心理学の傾向を吸収し、適応させる方法に基づいている可能性があります。直接の質問はモデルを「防御的」にし、「神経質」にさせるかもしれませんが、他の人の仕事を検証するように求められると、モデルはこれらの「生存本能」を関与させない可能性があります。

基本的な考え方は、答えを検証することは、最初から答えを生成するよりも少ない労力がかかり、標準的な連鎖的思考を補完する別の推論パスをトリガーする可能性があるということです。

モデルに与えられた答えを批判するように求める（つまり、モデルが作成に関与していない答え）ことも、妄想を避けるのに役立つ批判的思考を活性化する可能性があります。

研究者らは、このプロセスを逆方向の推論パスと表現しています。

提案された答えから問題への逆方向の推論パス。

研究者らは、中央の概念をIter-VFに具体化しました。これは、答えを反復的に改良するためのシーケンシャルな時間テストスケーリング方法です。

新しい論文は、「LLMに最初に検証させることは、ほぼ無料のランチである」と題されています。北京の清華大学電子工学部の2人の研究者によって書かれました。

方法

新しい研究の背後にある中心的な考えは、言語モデルの通常の推論フローを反転させることです。モデルに問題を最初から解くように求めるのではなく、候補の答え（通常は不正確または任意のもの）を与え、答えが妥当かどうかを確認するように求めます。

これにより、モデルは逆方向に推論し、提案された答えから問題に向かって後方に作業します。検証が完了したら、モデルは通常の問題を解決するために進みます。

この逆転は、論文によると、無用なミスを減らし、より反省的な推論モードを促進し、LLMが隠れた構造を見つけ、誤った仮定を避けるのに役立つと主張しています。

以下の例のように、モデルに明らかに間違った推測（「10」）を検証するように求めるだけでも、モデルを欠陥のある論理から回復させ、標準的な連鎖的思考プロンプティングよりも優れたパフォーマンスを実現するのに役立ちます。

推測された答えを最初に検証するようにモデルに指示すると、モデルは矛盾を検出して問題に対処し、正しい結果をもたらします。

実際の問題の多くの場合、モデルに検証するための推測を提供することは容易ではありません。特に、問題がオープンエンドである場合（たとえば、コードを書くまたはAPIを呼び出す場合）です。したがって、方法は、モデルが通常の方法で最善の答えを提供し、その答えを検証のためにモデルに戻します。

モデルが自分の前の出力を検証するように求められると、論理の欠陥を検出して正しいソリューションを書き直します。

このアプローチは、上記に述べたIter-VFを構成します。モデルはこのサイクルを繰り返し、各回で答えを改良します。再トレーニングやカスタムツールは必要ありません。Iter-VFは、他の自己修正戦略とは異なり、各ステップで最も最近の答えのみを考慮します。これにより、自己修正戦略の潜在的な欠点である、長い推論チェーンの混乱を回避できます。

データとテスト

著者らは、4つのドメインでこの方法を評価しました。一般的な推論タスク、時間依存タスク、オープンエンド問題（たとえば、コード作成やAPI呼び出し）、およびクローズドソースの商用LLMです。

テストには、GSM8KとMATH500を使用しました。これらは数学問題のベンチマークです。また、GPQA-Diamondを使用しました。これは大学院レベルの科学問題のベンチマークです。

各ケースで、モデルはランダムな推測（たとえば、数値的な答えの場合は「1」）またはランダムにシャッフルされた多肢選択肢を受け取りました。特定の調整や事前知識は追加されませんでした。比較のベースラインは、標準的なゼロショット連鎖的思考プロンプティングでした。

テストは、Qwen2.5とLlama3のインストラクションチューニングモデル全範囲で実行されました。パラメータ数は1Bから72Bでした。使用されたQwenモデルは、Qwen2.5-1.5B-Instruct、Qwen2.5-3B-Instruct、Qwen2.5-14B-Instruct、およびQwen2.5-72B-Instructでした。Llama3のバリアントは、Llama3.2-1B-Instruct、Llama3.2-3B-Instruct、Llama3.1-8B-Instruct、およびLlama3.3-70B-Instructでした。

以下の図に示すように、Verification-Firstプロンプティングによる改善は、すべてのモデルサイズで安定しており、1Bパラメータから72Bパラメータまで一貫した利益が見られます。

Qwen2.5とLlama3ファミリーのすべてのモデルサイズで、Verification-FirstプロンプティングはGSM8K、MATH500、GPQA-Diamondで標準的な連鎖的思考プロンプティングを一貫して上回りました。

計算量の多い数学ベンチマーク（GSM8KやMATH500）では、不正解の答えを検証することが、最初から解くよりも優れた推論をもたらします。GPQA-Diamondでは、依存関係が多いので、利点は小さくなりますが、安定しています。

Verification-Firstの計算コストは、以下の表に示すように、標準的な連鎖的思考プロンプティングに比べて約20〜50%の出力トークンが追加されました。

GSM8K、MATH500、GPQAベンチマークで、各プロンプティング方法の平均出力トークン数。

これは、複数のサンプルされた完了や再帰的な計画を必要とする戦略に比べて、余裕を持ってコストを抑えることができました。

以下のグラフでは、方法が推測された答えの質に対する感度を示しています。驚くべきことに、推測が極めて単純（「1」）であったり、ありそうもない（「2025」）であったり、またはランダムな多肢選択肢であったりしても、Verification-Firstは標準的なプロンプティングを上回ります。

GSM8K、MATH500、GPQAで、Verification-Firstプロンプティングによる正解の増加。

正解が与えられた場合、正解率はさらに高くなりますが、方法は、推測された答え自体の情報ではなく、単に検証行為によって推進されることが示唆されています。

Iter-VFは、再トレーニングやタスク固有の適応を必要としない4つのテスト時間スケーリング戦略と比較されました。 自己修正では、モデルは過去の推論ステップを反映して答えを修正するように求められました。 PHPでは、過去の答えが入力として追加されましたが、使用方法についての指示は提供されませんでした。

さらに、自己一貫性では、複数の推論パスがサンプリングされ、最終的な答えは多数決によって選択されました。最後に、ベストオブNでは、複数の出力が独立して生成され、検証プロンプトを使用してランク付けされ、最高スコアの回答が選択されました。

Iter-VFの2つのバリアントが実装されました。1つは、「1」で初期化され、もう1つは標準的なCoT出力でシードされました。

MATH500で、増加する出力予算に対する精度とトークンの効率。

Iter-VFは、利用可能なコンピューティングリソースが低い場合に、他のすべての方法を上回りました。これは、Iter-VFが答えを検証する方法によるものであり、最初の答えがどれほど良いかによるものではありません（両方のVFとCoTのバリアントは、すぐに同等の精度に達しました）。

PHPは、以前の答えをヒントとして再利用したにもかかわらず、悪い結果をもたらしました。恐らく、LLMはこれらのヒントをうまく利用できなかったためです。

Iter-VFは、PHPや自己修正と異なり、各ステップで最も最近の答えのみを考慮します。これにより、自己修正の潜在的な欠点である、長い推論チェーンの混乱を回避できます。

並列方法（自己一貫性やベストオブN）では、混乱を避けることができますが、改善は遅く、より慎重でした。

(注：結果セクションは、包括的ですが、読みにくく冗長です。この時点でほとんどの残りのカバレッジを省略し、詳細については読者にソースペーパーを参照することにしています。)

このアプローチは、GPT-5 NanoやGPT-5 Miniなどのクローズドコマーシャルモデルでも機能しました。これらのモデルは、完全な推論トレースを隠し、最終的な答えのみを返します。

GPT-5モデルにIter-VFを適用した場合の、MATH500とGPQAの精度。

結論

新しい論文は結果セクションから不明瞭になりますが、AIモデルのクラスの普遍的な特性の発見は、依然として興味深い発展です。LLMを頻繁に使用する人は、モデルの欠点を回避するためのトリックの集団を直感的に開発しているはずです。各欠点は時間の経過とともに明らかになり、パターンが現れます。誰もが、このような一般化されたトリックを見つけることを希望します。

LLMのコンテキストウィンドウを実装および更新する際の最大の問題の1つは、セッションの進捗を保持することと、必要に応じて新しい方向に進む能力とのバランスを取ることです。新しい論文で提示された場合、LLMを再焦点化し、リセットする「優しい」しかし「一貫した」呼びかけの例が見られます。将来のプロジェクトがこの方法を適応させ、進化させるかどうかを見てみることが興味深いことになります。

研究者らは、新しい方法の純粋な経済性を強調しています。これは、わずか12カ月前ではあまり重要ではなかった考慮事項です。現在、ハイパースケールAIの影響により、以前は「純粋な研究」時代には無視されていたリソースの節約が、現在は重要で不可欠なものとなっています。

* 論文の英語の水準が一部で読者を混乱させる可能性があるため、通常の引用数を含めることが制限されています。したがって、重要な洞察を要約することをお勧めし、詳細については読者にソースペーパーを参照することにしています。

2025年12月4日（木）に初めて公開されました。