検索の再定義: エマージング コンベーショナル エンジンの出現により、旧来のLLMとコンテキストのない伝統的な検索エンジンの限界を超える

コンベーショナル検索エンジンの出現は、オンラインでの情報検索方法を再定義し、伝統的なキーワード検索からより自然で会話的なインタラクションへと移行しています。大量言語モデル（LLM）とリアルタイムのウェブデータを組み合わせることで、これらの新しいシステムは、旧来のLLMと標準的な検索エンジンに共通する主要な問題に対処しています。この記事では、LLMとキーワードベースの検索に伴う課題を検討し、コンベーショナル検索エンジンが約束のある解決策を提供する方法を探ります。

LLMの古い知識と信頼性の課題

大量言語モデル（LLM）は、情報へのアクセスと解釈方法を大幅に進歩させましたが、リアルタイムの更新を提供できないという重大な制限があります。これらのモデルは、書籍、記事、ウェブサイトのテキストを含む広範なデータセットでトレーニングされています。ただし、このトレーニング データは、収集された時点での知識のみを反映しているため、LLMは自動的に新しい情報で更新することはできません。更新するには、LLMを再トレーニングする必要がありますが、これはリソースとコストがかかり、環境への影響についても懸念が生じます。
LLMの静的な性質により、回答の不正確さが生じることがあります。最近の出来事や開発についてのクエリに直面した場合、これらのモデルは古いまたは不完全な情報に基づいて回答を生成する可能性があります。これにより、「ハルシネーション」が発生し、モデルは誤ったまたは捏造された事実を生成し、提供された情報の信頼性を損ないます。さらに、LLMは膨大なトレーニング データを持っているにもかかわらず、現在の出来事または新興トレンドの完全なコンテキストを理解するのに苦労し、関連性と有効性が制限されます。
LLMの別の重大な欠点は、出典またはソースの透明性の欠如です。伝統的な検索エンジンとは異なり、LLMは出典を指定せずに集約された情報に基づいて回答を生成します。この出典の欠如は、ユーザーが情報の正確性を確認する能力を妨げるだけでなく、コンテンツの追跡可能性も制限し、提供された回答の信頼性を判断することが困難になります。

伝統的なウェブ検索エンジンのコンテキストと情報過負荷の課題

伝統的なウェブ検索エンジンは、幅広い情報へのアクセスを提供する上で依然として重要ですが、いくつかの課題に直面しています。これらの課題は、結果の品質と関連性に影響します。ウェブ検索の主要な課題の1つは、コンテキストを理解することです。検索エンジンはキーワードのマッチングに大きく依存しており、結果はコンテキストに関連していないことがよくあります。これにより、ユーザーは、クエリに直接対処していない膨大な情報の洪水に直面することになり、最も関連性の高い回答を見つけることが困難になります。検索エンジンはアルゴリズムを使用して結果をランク付けしますが、個人のニーズや好みに基づいてパーソナライズされた回答を提供することができません。このパーソナライゼーションの欠如により、ユーザーの特定のコンテキストまたは意図と一致しない汎用的な結果が生成される可能性があります。さらに、検索エンジンはSEOスパムやリンクファームの操作に対して脆弱です。これらの実践により、関連性のないまたは低品質のコンテンツが検索ランキングのトップに表示される可能性があり、ユーザーは誤解を招くまたは偏った情報にさらされる可能性があります。

コンベーショナル検索エンジンの出現

コンベーショナル検索エンジンは、オンラインでの情報の検索とやりとりの方法において、パラダイム シフトを表しています。伝統的な検索エンジンとは異なり、コンベーショナル検索エンジンは、キーワードのマッチングとアルゴリズムによるランキングに頼るのではなく、先進的な言語モデルを使用して、ユーザーのクエリを自然で人間のような方法で理解し、応答します。このアプローチは、ユーザーが会話に参加するのではなく、リンクのリストを提示するのではなく、より直感的で効率的な方法で情報を見つけることを目的としています。
コンベーショナル検索エンジンは、クエリのコンテキストを処理して解釈するために、LLMの力を利用します。これにより、より正確で関連性の高い回答が可能になります。これらのエンジンは、ユーザーとダイナミックにやり取りし、検索を絞り込むためのフォローアップの質問を行い、必要に応じて追加情報を提供します。こうして、ユーザー エクスペリエンスが向上し、取得される情報の品質が大幅に改善されます。
コンベーショナル検索エンジンの主な利点の1つは、リアルタイムの更新とコンテキストの理解を提供できることです。情報検索機能と生成モデルを統合することで、これらのエンジンはウェブからの最新のデータを取得して統合し、回答が最新で正確であることを保証します。これにより、伝統的なLLMの主要な制限の1つが解決されます。
さらに、コンベーショナル検索エンジンは、伝統的な検索エンジンが欠如している透明性を提供します。ユーザーを信頼できるソースに直接接続し、関連するコンテンツへの明確な引用とリンクを提供します。これにより、信頼が育まれ、ユーザーが受け取る情報を検証することが容易になり、情報消費に対するより情報に基づいたアプローチが促進されます。

コンベーショナル検索エンジン vs. 検索強化生成（RAG）

現在、一般的に使用されているAIを活用した情報検索システムの1つは、RAGと呼ばれます。コンベーショナル検索エンジンはRAGと類似性を持っていますが、特に目的において重要な違いがあります。両方のシステムは、正確でコンテキストに基づいた回答を提供するために、情報検索と生成言語モデルを組み合わせます。外部ソースからのリアルタイム データを抽出し、生成プロセスに統合して、生成された回答が最新で包括的であることを保証します。
ただし、RAGシステム（Bingなど）は、精密な情報を提供するために、取得したデータと生成された出力を統合します。ただし、ユーザーが検索を体系的に絞り込むことを可能にするフォローアップ機能はありません。一方、コンベーショナル検索エンジン（SearchGPTなど）は、ユーザーと会話します。先進的な言語モデルを使用して、クエリを自然に理解して応答し、フォローアップの質問と追加情報を提供して検索を絞り込みます。

実世界の例

以下は、コンベーショナル検索エンジンの2つの実世界の例です。

• Perplexity: Perplexityは、ユーザーがオンラインの情報と自然にコンテキストをとってやり取りできるコンベーショナル検索エンジンです。検索を特定のプラットフォームに絞り込むための「Focus」オプションや、フォローアップの質問を提案する「Related」機能などを提供しています。Perplexityは、基本的なバージョンではスタンドアロンLLM機能を提供し、有料のPerplexity Proでは、GPT-4やClaude 3.5などの先進的なモデルと、クエリの絞り込みやファイルのアップロードの強化を提供します。
• SearchGPT: OpenAIは最近、SearchGPTを導入しました。これは、コンベーショナル能力を持つLLMとリアルタイムのウェブ更新を組み合わせたツールです。これにより、ユーザーはより直感的で簡単な方法で関連性の高い情報にアクセスできます。伝統的な検索エンジンとは異なり、SearchGPTは圧倒的な情報の洪水や非個人的なエクスペリエンスを提供するのではなく、簡潔な回答を提供し、会話的にユーザーとやり取りします。必要に応じてフォローアップの質問を行い、追加情報を提供します。SearchGPTの重要な機能の1つは、その透明性です。ユーザーを信頼できるソースに直接接続し、関連するコンテンツへの明確な引用とリンクを提供します。これにより、ユーザーは情報を検証し、トピックをより包括的に調査できます。

まとめ

コンベーショナル検索エンジンは、オンラインでの情報検索方法を再定義しています。リアルタイムのウェブ データと先進的な言語モデルを組み合わせることで、これらの新しいシステムは、旧来のLLMとキーワードベースの検索の多くの限界を解決します。より現在で正確な情報を提供し、信頼できるソースへの直接リンクを提供することで透明性を高めます。SearchGPTやPerplexity.aiなどのコンベーショナル検索エンジンが進化するにつれて、より直感的で信頼性の高い検索方法が提供され、従来の方法の限界を超えています。