会話の中で迷う言語モデル

マイクロソフトリサーチとSalesforceの新しい論文では、最も優れた大規模言語モデル（LLM）でも、指示が段階的に与えられる場合、パフォーマンスが低下することがわかりました。著者らは、6つのタスクで、プロンプトが複数のターンに分割された場合、パフォーマンスが平均39%低下することを発見しました。

シングルターン会話（左）が最も優れた結果をもたらしますが、エンドユーザーにとっては非自然です。マルチターン会話（右）では、最高ランクのLLMでも、会話の効果的な勢いを失います。ソース：https://arxiv.org/pdf/2505.06120

さらに、信頼性が大幅に低下し、ChatGPT-4.1やGemini 2.5 Proなどの著名モデルは、同じタスクがどのように表現されるかによって、ほぼ完璧な回答と明らかな失敗を繰り返すようになります。また、出力の一貫性は、プロセスで半分以上低下する可能性があります。

この動作を調査するために、論文では、シャーディングという方法を導入しています。これは、完全に指定されたプロンプトを小さな断片に分割し、それらを会話の中で1つずつリリースするものです。

最も基本的な意味では、これは、レストランで包括的な単一の注文を出すことと同じです。ウェイターはただ注文を確認するだけで済みます。あるいは、問題に対処するために共同で取り組むことです。

レストラン会話の2つの極端なバージョン（新しい論文からのものではなく、説明のためにのみ使用）。

強調するために、上記の例は、おそらく、顧客を否定的な光で見せています。しかし、2列目のアイデアは、問題セットを明確化するトランザクション的な交換を表しています。これは、タスクに取り組むための合理的で妥当な方法です。

このセットアップは、新しい研究のドリップフィード、シャーディングアプローチと反映されています。著者らは、LLMはしばしば長すぎる回答を生成し、さらに、自分の洞察に依存し続けることが多いことを指摘しています。これらの洞察が誤りまたは無関係であることが示されてもです。この傾向は、他の要因と組み合わせて、システムが交換を完全に失う原因となります。

実際、研究者らは、多くの人が経験的に発見したことを指摘しています。つまり、会話を戻すための最良の方法は、LLMと新しい会話を始めることです。

‘LLMとの会話が予想される結果に至らなかった場合、同じ情報を繰り返す新しい会話を開始することで、継続的な会話よりもはるかに優れた結果が得られる可能性があります。

‘これは、現在のLLMが会話の中で迷うことがあり、実験により、モデルとの会話を継続することは無駄であることが示されたためです。さらに、LLMはランダム性を持ったテキストを生成するため、新しい会話は改善された結果につながる可能性があります。

著者らは、AutogenやLangChainなどのエージェントシステムが、エンドユーザーとLLMの間の解釈レイヤーとして機能し、LLMに通信する前に、単一のまとまりのあるクエリに凝縮するのに十分な「シャーディング」された回答を集めることで、結果を改善できる可能性があることを認めています。

しかし、著者らは、別の抽象レイヤーは必要ではなく、またはソースLLMに直接組み込まれるべきであると主張しています。

‘LLMにマルチターン機能は必要ないという議論がある。エージェントフレームワークがユーザーとのやり取りを処理し、LLMを単一ターン演算者としてのみ使用できるからである。言い換えると、エージェントフレームワークがLLMとユーザーの間でやり取りを調整できる場合、LLMにネイティブのマルチターンサポートが必要か?

しかし、提案を彼らの例の配列にわたってテストした後、彼らは結論付けます。

‘エージェントのようなフレームワークに頼ることは制限的なものであり、LLMはネイティブにマルチターンインタラクションをサポートするべきであると主張します。

この興味深い新しい論文は、LLMはマルチターン会話の中で迷うというタイトルで、マイクロソフトリサーチとSalesforceの4人の研究者によって書かれました。

断片的な会話

新しい方法は、従来のシングルターン指示を小さな断片に分割し、LLMとの会話中に重要な時点で導入されるように設計されています。この構造は、ChatGPTやGoogle Geminiなどのシステムで見られるように、探索的で、往復する会話スタイルを反映しています。

各元の指示は、単一の自己完結型プロンプトであり、タスクを完了するために必要なすべての情報を1回で提供します。シャーディングされたバージョンは、これを複数の小さな部分に分割し、各シャードが情報の1つを追加します。

ペアの指示（a）完全なプロンプトを1回で提供し、（b）そのシャーディングされたバージョンを使用して、未指定のマルチターン会話をシミュレートします。意味的に、各バージョンは同じ情報を提供します。

最初のシャードは、タスクの主な目的を常に導入し、残りは明確化する詳細を提供します。これらは一緒に、元のプロンプトと同じコンテンツを提供しますが、会話の中で自然に複数のターンに分散します。

各シミュレートされた会話は、3つのコンポーネント間で展開します。アシスタント（評価対象のモデル）、ユーザー（完全な指示をシャーディングされた形式でアクセスできるシミュレートされたエージェント）、およびシステム（交換を監督および評価する）。

会話は、ユーザーが最初のシャードを明らかにし、アシスタントが自由に応答することから始まります。システムは、その応答をいくつかのカテゴリの1つ（たとえば、明確化の要求または完全な回答の試み）に分類します。

モデルが回答を試みる場合、別のコンポーネントは、評価のためにのみ関連するスパンを抽出します。各新しいターンで、ユーザーは追加のシャードを明らかにし、別の応答を促します。交換は、モデルが回答を正しく得るか、または残りのシャードがない場合まで続きます。

シャーディングされた会話のシミュレーションの図。評価されるモデルは赤で強調表示されます。

初期テストでは、モデルはまだ共有されていない情報について尋ねることが多いため、シャードを固定順序で明らかにするというアイデアは放棄されました。代わりに、シミュレーターは、会話の進行状況に基づいて、次に明らかにするシャードを決定するために使用されました。

ユーザーシミュレーターは、GPT-4o-miniを使用して実装され、完全な指示と会話履歴へのフルアクセスを与えられ、各ターンで次に明らかにするシャードを決定するように指示されました。

ユーザーシミュレーターはまた、各シャードを再表現して会話の流れを維持しましたが、意味を変更しませんでした。これにより、シミュレーションは実際の会話の「やり取り」を反映しながら、タスク構造を制御することができました。

会話が始まる前に、アシスタントにはタスクを完了するために必要な基本情報（データベーススキーマやAPIリファレンスなど）のみが提供されます。指示が分割されることは通知されず、会話を特定の方法で処理するように誘導されることもありません。これは故意に設計されています。実際の使用では、モデルはほとんどの場合、プロンプトが不完全または時間の経過とともに更新されることは通知されません。このコンテキストを省略することで、シミュレーションはモデルがより現実的なコンテキストでどのように動作するかを反映します。

GPT-4o-miniは、モデルの応答を分類する方法と、応答から最終的な回答を抽出する方法を決定するために使用されました。これにより、シミュレーションが柔軟性を維持しながら、手作業で数百の会話を確認した後、著者らは、5％未満の会話に問題があり、2％未満の会話で結果が変更されたことを発見し、このエラー率はプロジェクトのパラメータ内で十分に低いと判断しました。

シミュレーションシナリオ

著者らは、モデルの動作をさまざまな条件下でテストするために、5つのタイプのシミュレーションを使用しました。各シミュレーションは、指示の部分がどのように、いつ明らかにされるかを変化させたものです。

フル設定では、モデルは単一のターンで完全な指示を受け取ります。これは標準的なベンチマーク形式を表し、パフォーマンスの基準線として機能します。

シャーディング設定では、指示が複数の部分に分割され、1つずつ提供され、より現実的な未指定の会話をシミュレートします。これは、モデルのマルチターン入力の処理方法をテストするために使用される主な設定です。

コンカット設定では、シャードは1つのリストとして結合され、単一のターン構造を維持しながら、単語を維持します。これにより、会話の断片化の影響とコンテンツの喪失または再表現の影響を分離できます。

リキャップ設定はシャーディングと同じように実行されますが、モデルが最終的な回答を提供する前に、すべての前のシャードが繰り返される最終的なターンが追加され、コンテキストのサマリープロンプトが回復するかどうかをテストします。

最後に、スノーボール設定では、シャーディング設定を拡張し、すべての前のシャードを各ターンで繰り返します。これにより、会話が進むにつれて、完全な指示が常に表示され、モデルのマルチターン能力のより寛容なテストが可能になります。

シャーディングされた指示に基づくシミュレーションの種類。完全に指定されたプロンプトは、小さな部分に分割され、シングルターン（フル、コンカット）またはマルチターン（シャーディング、リキャップ、スノーボール）会話をシミュレートするために使用できます。情報がどのくらいの速さで明らかにされるかによって異なります。

タスクとメトリック

6つの生成タスクが、プログラミングと自然言語の両方のドメインをカバーするために選択されました。コード生成のプロンプトは、HumanEvalとLiveCodeBenchから取得されました。テキストからSQLへのクエリは、Spiderから取得されました。APIコールは、Berkeley Function Calling Leaderboardのデータを使用して構築されました。基本的な数学の問題は、GSM8Kから提供されました。表形式のキャプション付けタスクは、ToTToに基づいていました。マルチドキュメントの要約は、Summary of a Haystackデータセットから導き出されました。

モデルのパフォーマンスは、3つの主要なメトリックを使用して測定されました。平均パフォーマンス、適性、信頼性です。

平均パフォーマンスは、モデルの全体的なパフォーマンスを、複数の試行を通じて測定しました。適性は、モデルの最高の結果を、トップスコアの出力を基に反映しました。信頼性は、結果の変動を測定し、大きなギャップは、より一貫性のない動作を示しました。

すべてのスコアは、一貫性を保つために0から100のスケールに設定され、各指示に対して計算され、全体的なモデルのパフォーマンスの画像を提供するために平均化されました。

実験で使用された6つのシャーディングされたタスク。プログラミングと自然言語の生成の両方をカバーしています。各タスクは、完全に指定された指示とそのシャーディングされたバージョンで示されます。各タスクから90〜120の指示が既存のベンチマークから適応されました。

対象者とテスト

初期のシミュレーション（推定コスト5,000ドル）では、6つのタスクにわたる600の指示がシャーディングされ、3つの会話タイプ（フル、コンカット、シャーディング）をシミュレートするために使用されました。各モデル、指示、シミュレーションの組み合わせに対して10の会話が実行され、合計で20万以上のシミュレーションが実行されました。これにより、全体的なパフォーマンスと、適性や信頼性などのより深い尺度を捉えることが可能になりました。

15のモデルがテストされ、幅広いプロバイダーとアーキテクチャをカバーしました。OpenAIのモデルには、GPT-4o（2024年11月20日版）、GPT-4o-mini（2024年7月18日版）、GPT-4.1（2025年4月14日版）、およびo3（2025年4月16日版）が含まれました。

Anthropicのモデルは、Claude 3 Haiku（2024年3月7日版）とClaude 3.7 Sonnet（2025年2月19日版）でした。これらはAmazon Bedrock経由でアクセスされました。

Googleのモデルは、Gemini 2.5 Flash（プレビュー2024年4月17日版）とGemini 2.5 Pro（プレビュー2024年3月25日版）でした。

Metaのモデルは、Llama 3.1-8B-InstructとLlama 3.3-70B-Instructでした。また、Llama 4 Scout-17B-16EもTogether AI経由で使用されました。

その他のエントリは、OLMo 2 13B、Phi-4、およびCommand-Aでした。これらは、OllamaまたはCohere API経由でローカルにアクセスされました。また、Deepseek-R1もAmazon Bedrock経由で使用されました。

「思考」モデルの2つ（o3とR1）については、トークン制限が10,000に引き上げられ、より長い推論チェーンを収容するために調整されました。

6つのタスク（コード、データベース、アクション、データからテキスト、数学、要約）に対する各モデルの平均パフォーマンススコア。フル、コンカット、シャーディングの3つのシミュレーションタイプの結果が示されています。モデルは、フル設定の平均スコアに基づいて並べ替えられ、シェーディングはフル設定からのパフォーマンス低下の程度を反映しています。

これらの結果について、著者らは次のように述べています。

‘高レベルでは、すべてのモデルは、フルとシャーディングされたパフォーマンスを比較したときに、すべてのタスクでパフォーマンスが低下することがわかります。平均で-39%の低下です。これを会話の中で迷うと呼びます。シングルターン会話で優れたパフォーマンス（90%以上）を達成するモデルは、同じタスクで、より現実的な未指定のマルチターン会話では苦労します。

コンカットのスコアは、フルの平均95%で、シャーディングされた設定でのパフォーマンス低下は、情報の喪失によって説明できないことを示しています。小さいモデル（Llama3.1-8B-Instruct、OLMo-2-13B、Claude 3 Haiku）では、コンカットの下でより大きな低下が見られ、より大きなモデルよりも再表現に対してより脆弱であることを示しています。

著者らは次のように述べています。

‘驚くことに、より優れたモデル（Claude 3.7 Sonnet、Gemini 2.5、GPT-4.1）は、小さいモデル（Llama3.1-8B-Instruct、Phi-4）と同様に、会話の中で迷います。平均低下は30〜40%です。これは、一部はメトリックの定義によるものです。小さいモデルはフルの設定で絶対的なスコアが低いため、低下の余地が少ないからです。

‘簡単に言えば、どれほど強力なLLMのシングルターン性能であっても、マルチターン設定では大きなパフォーマンス低下が見られます。

初期テストでは、一部のモデルが特定のタスクでより優れており、Command-Aがアクションで、Claude 3.7 SonnetとGPT-4.1がコードで、Gemini 2.5 Proがデータからテキストで良好な結果を示したことを示しました。これは、マルチターン能力がドメインによって異なることを示しています。「思考」モデルの場合（o3とDeepseek-R1）、全体的なパフォーマンスは改善されませんでした。長い回答が導入されたため、会話を混乱させる傾向がありました。

信頼性

適性と信頼性の関係は、シングルターンシミュレーションでは明らかでしたが、マルチターン条件下では崩壊しました。適性はわずかに低下しましたが、信頼性は2倍に増加しました。GPT-4.1やGemini 2.5 Proなどのモデルは、フル形式のプロンプトでは安定性が高かったものの、指示が断片化されると、Llama3.1-8B-InstructやOLMo-2-13Bなどの弱いモデルと同様に、非常に不安定になりました。

適性と信頼性の概要（a）と、15モデルの実験からの信頼性の結果（b）および、指示を1〜8のシャードに分割した場合の結果（c）

モデルの回答は、同じタスクで50点以上変動することが多く、まったく新しい情報が追加されていなかったにもかかわらず、パフォーマンスの低下は、スキルの欠如によるものではなく、モデルの安定性の低下によるものであることを示しています。

論文では次のように述べています。

‘より優れたモデルは、マルチターン適性がわずかに高い傾向がありますが、すべてのモデルは同等の信頼性レベルを示します。言い換えると、マルチターンで、すべてのテストモデルは非常に高い信頼性を示します。固定の指示に対するシミュレートされた実行の最良と最悪の間で、平均50ポイントのパフォーマンス低下を示します。

シャーディングの数が増えるにつれて、信頼性が低下するかどうかをテストするために、著者らは、各指示を1〜8のシャードに分割することを含む、段階的なシャーディング実験を実行しました（上の画像の右端の列を参照）。

ターンの数が増えるにつれて、信頼性が低下し、ターンの数がわずかに増加するだけで、モデルが不安定になることを確認しました。適性はほぼ変化しませんでしたが、問題は一貫性にあることを強調しました。

温度制御

別の実験では、信頼性の低下が単にランダム性の副産物であるかどうかをテストするために、アシスタントとユーザーシミュレーターの温度設定を3つの値（1.0、0.5、0.0）で変化させました。

シングルターン形式（フルとコンカット）では、アシスタントの温度を低減すると、信頼性が最大80%向上しましたが、シャーディング設定では、同じ介入がほとんど効果がありませんでした。

フル、コンカット、シャーディングの設定で、アシスタントとユーザーの温度のさまざまな組み合わせの信頼性スコア。低い値は、応答の一貫性を示します。

アシスタントとユーザーの両方の温度をゼロに設定した場合でも、信頼性の低下は高く残り、GPT-4oは30%の変動を示しました。これは、マルチターン会話での不安定性は、ランダムなノイズだけではなく、モデルの断片化された入力の処理方法における構造的な弱点であることを示しています。

影響

著者らは、シングルターンの強力なパフォーマンスが、マルチターンの信頼性を保証しないこと、およびマルチターン能力がLLMの重要な機能であることを強調しています。

また、信頼性の低下は、サンプリングのアーティファクトではなく、入力の進化に応じて現在のモデルが情報を処理する方法における基本的な制限であると示唆しています。

さらに、エージェントフレームワークが依存する持続的な推論を、モデルのマルチターン能力の低下がもたらす懸念について言及しています。

著者らは、結果がマルチターン会話でのLLMの不安定性を過小評価していると示唆しています。テストの理想的な条件（ユーザーシミュレーターが指示へのフルアクセスを持ち、シャードを最適な順序で明らかにできたこと、アシスタントが各ターン後にすぐに評価されたことなど）を考慮すると、実際の使用では信頼性のギャップがさらに大きくなる可能性があります。

結論として、次のように述べています。

‘私たちが行ったシミュレーションは、LLMのマルチターン能力のためのベニグナテスト環境を表していると信じています。シミュレーションの過度に単純化された条件のため、実験で観察された低下は、LLMの信頼性の低下と、LLMが実際の状況で会話の中で迷う頻度の低下を過小評価していると考えられます。

結論

LLMと相当な時間を過ごした人は、ここで説明されている問題を実践的な経験から認識するでしょう。ほとんどの人は、LLMの会話が「迷った」場合、会話をやり直すことで、LLMが「再開」し、以前の長くてイライラする会話で話し合われた内容に執着しないことを期待しています。

問題を解決するために、さらに多くのコンテキストを提供するだけでは十分ではないかもしれません。また、論文が問題を解決するよりも、むしろ問題を提起することが多いことも注目に値します。

* この用語は、AIにおける従来の「シャーディング」の意味とは無関係です。

† 著者による強調部分。

2025年5月12日初出。