Chaitanya Pathak, LEAPS by Analytticaのチーフプロダクト＆テクノロジー担当官 Chaitanya Pathak LEAPS by Analytticaのチーフプロダクト＆テクノロジー担当官

RAG Evolution – Agentic RAGの入門

RAG（Retrieval-Augmented Generation）とは何か？Retrieval-Augmented Generation（RAG）は、大規模言語モデル（LLM）と外部データの取得を組み合わせて、生成された応答の品質と関連性を向上させる技術です。従来のLLMは、事前トレーニングされた知識ベースを使用しますが、RAGパイプラインは実行時には外部データベースまたはドキュメントに照会して関連情報を取得し、より正確でコンテキストに富んだ応答を生成します。これは、質問が複雑、具体的、または特定の時期に基づいている場合に特に役立ちます。モデルの応答は、最新のドメイン固有の情報で情報を提供し、豊かです。 現在のRAG LANDSCAPE大規模言語モデルは、情報へのアクセスと処理方法を完全に変革しました。ただし、内部の事前入力知識のみに頼ることは、特に複雑な質問の場合、回答の柔軟性を制限する可能性があります。Retrieval-Augmented Generationは、この問題を解決するために、LLMが外部ソースからのデータを取得して分析することを可能にします。情報検索と自然言語処理、特にLLMとRAGの分野における最近の進歩は、効率性と洗練度の新たな境界を開いています。これらの進歩は、以下の広い枠組みで評価できます。 強化された情報検索：RAGシステムの情報検索の改善は、効率的に機能する上で非常に重要です。最近の研究では、精密検索の改善のためにさまざまなベクトル、再ランキングアルゴリズム、ハイブリッド検索方法が開発されています。 セマンティックキャッシング：これは、コンピューターコストを削減するための主要な方法の1つであり、同時に一貫した応答を維持することができます。つまり、現在のクエリへの応答が、そのセマンティックおよびプラグマティックコンテキストとともにキャッシュされ、スピードの向上と一貫した情報の提供につながります。 マルチモーダル統合：テキストベースのLLMおよびRAGシステムに加えて、このアプローチでは、視覚やフレームワークの他のモダリティもカバーします。これにより、より幅広いソースマテリアルへのアクセスが可能になり、応答はますます洗練され、正確性が高まります。 従来のRAGアーキテクチャの課題RAGはさまざまなニーズに対応するために進化していますが、従来のRAGアーキテクチャにはまだ課題があります。 要約：大量のドキュメントを要約することは難しい場合があります。ドキュメントが長い場合、従来のRAG構造は重要な情報を省略する可能性があります。なぜなら、トップKのピースのみを取得するからです。 ドキュメントの比較：有効なドキュメントの比較はまだ課題です。RAGフレームワークは、各ドキュメントからランダムにトップKのチャンクを選択するため、不完全な比較につながることがあります。 構造化データの分析：構造化された数値データのクエリ（例：従業員が次に休暇を取るタイミングを決定する）を処理することは難しいです。精密なデータポイントの取得と分析は、これらのモデルでは正確ではありません。 複数パーツを含むクエリの処理：複数パーツを含む質問に答えることはまだ制限されています。例えば、複数の地域で休暇パターンを調べることは、K個のピースに制限されているため、完全な調査を行うことは困難です。 Agentic RAGへの移行Agentic RAGは、複雑な質問に答えるために、計画、多段階の推論、外部ツールの統合が必要な場合に、知能エージェントを使用します。これらのエージェントは、熟練した研究者の役割を果たします。多数のドキュメントをナビゲートし、データを比較し、発見を要約し、包括的で正確な応答を生成します。エージェントの概念は、従来のRAGフレームワークに組み込まれており、アジェンティックRAGの作成につながります。これらのエージェントは、基本的な情報取得と生成以外の追加のタスクと推論を実行し、RAGパイプラインのさまざまなコンポーネントをオーケストレートおよび制御します。3つの主要なAgentic戦略ルーターは、クエリをタイプに応じて適切なモジュールまたはデータベースにルーティングします。ルーターは、大規模言語モデルを使用して、リクエストのコンテキストに基づいて、どのエンジンに送信するかを動的に決定します。これにより、パイプラインの精度と効率が向上します。クエリ変換は、ユーザーのクエリを最適な情報を提供するために、またはデータベースが提供するものに最もよく一致するように、再表現するプロセスです。これには、再表現、拡張、または複雑な質問をより扱いやすい小さなサブ質問に分解することが含まれます。複雑なクエリに答えるために、サブクエリエンジンが必要です。これにより、複数のデータソースを使用して複雑なクエリに答えることができます。まず、複雑な質問を各データソース用のより単純な質問に分解します。次に、すべての中間的な答えを収集し、最終的な結果を合成します。Agentic RAGパイプラインのレイヤー ルーティング：質問は、関連性に基づいて、適切な知識ベースの処理にルーティングされます。例：ユーザーが特定のカテゴリの本の推奨事項を取得したい場合、クエリはそのカテゴリの本に関する知識ベースにルーティングされます。 クエリプランニング：クエリはサブクエリに分解され、それぞれの個別のパイプラインに送信されます。エージェントは、年など、すべてのアイテムに対してサブクエリを生成し、それぞれの知識ベースに送信します。 ツールの使用：言語モデルは、APIまたは外部ツールと通信します。通信が必要なプラットフォーム、時期、内容について理解しています。例：ユーザーが特定の日付の天気予報をリクエストした場合、LLMは天気APIと通信し、ロケーションと日付を特定し、APIからの返信を解析して正しい情報を提供します。 ReActは、計画、ツールの使用、観察を伴う思考と行動の反復プロセスです。例：エンドツーエンドの旅行プランを設計する場合、システムはユーザーの要望を考慮し、ルート、観光名所、レストラン、宿泊施設に関する詳細をAPIを通じて取得し、結果を正確性と関連性に基づいてチェックし、ユーザーのプロンプトとスケジュールに応じた詳細な旅行プランを生成します。 動的クエリの計画：エージェントは、順番にではなく、複数のアクションまたはサブクエリを同時に実行し、結果を集約します。例：2社の財務結果を比較し、特定の指標の差を決定したい場合、エージェントは両社のデータを並行して処理し、結果を集約します。LLMCompilerは、このような並行関数呼び出しの効率的なオーケストレーションを可能にするフレームワークの1つです。 Agentic RAGとLLMaIndex LLMaIndexは、RAGパイプラインの非常に効率的な実装を表します。このライブラリは、生成的なAIモデルに構造化された組織データを統合するための欠けていたピースを埋め、ツールのデータ処理と取得のための利便性を提供し、さまざまなデータソースへのインターフェースを提供します。LLMaIndexの主なコンポーネントは以下に説明されています。...