LLMのホールユーションを克服するためにRetrieval Augmented Generation (RAG)を使用する

大規模言語モデル (LLM)は、言語の処理と生成方法を革命的に変えているが、完璧ではない。人間が雲の中に形を見たり、月に顔を見たりするように、LLMも「ホールユーション」を起こすことがあり、正確でない情報を作成する。この現象は、LLMのホールユーションと呼ばれ、LLMの使用が拡大するにつれて、ますます大きな懸念事項となっている。ミスはユーザーを混乱させ、場合によっては会社に法的な問題をもたらす可能性もある。例えば、2023年、空軍の退役軍人ジェフリー・バトル（The Aerospace Professor）は、マイクロソフトに対して訴訟を起こした。彼は、マイクロソフトのChatGPTを搭載したBing検索が、彼の名前を検索したときに事実的に不正確で有害な情報を表示することがあることを発見した。検索エンジンは、彼を有罪判決を受けたジェフリー・レオン・バトルと混同していた。ホールユーションに対処するために、Retrieval-Augmented Generation (RAG)が有望な解決策として登場した。外部データベースからの知識を組み込むことで、LLMの出力の精度と信頼性を高める。RAGがLLMをより正確で信頼性の高いものにする方法を詳しく見ていこう。また、RAGがLLMのホールユーション問題に対処できるかどうかも議論する。

LLMホールユーションの理解：原因と例

LLM、ChatGPT、ChatGLM、Claudeを含む、広範なテキストデータセットでトレーニングされたモデルは、事実的に不正確な出力を生成する「ホールユーション」と呼ばれる現象に陥ることがある。ホールユーションは、LLMが事実の正確性に関係なく、基本的な言語ルールに基づいて意味のある応答を生成するようにトレーニングされているため発生する。

Tidioの研究によると、72%のユーザーはLLMが信頼できるものであると考えているが、75%のユーザーはAIから少なくとも1回不正確な情報を受け取ったことがある。GPT-3.5やGPT-4のような最も有望なLLMモデルでも、時々不正確または無意味なコンテンツを生成することがある。

ここでは、一般的なLLMホールユーションの種類を簡単に紹介する：

一般的なAIホールユーションの種類:

1. ソースの混同: モデルがさまざまなソースからの詳細を結合し、矛盾や捏造されたソースにつながる。
2. 事実の誤り: LLMは、特にインターネットの固有の不正確さを考慮すると、事実的に不正確なコンテンツを生成することがある。
3. 無意味な情報: LLMは、次の単語を確率に基づいて予測するため、文法的に正しいが無意味なテキストを生成し、ユーザーをコンテンツの権威について誤解させることがある。

昨年、2人の弁護士は、ChatGPTによって生成された情報に基づいて、実在しない6つの事件を法的な文書に引用したため、処分を受ける可能性がある。この例は、LLMによって生成されたコンテンツに批判的視点でアプローチすることの重要性を強調し、信頼性を確保するために検証の必要性を示唆している。創造的な能力は、物語作りなどのアプリケーションに利益をもたらすが、学術研究、医療および財務分析レポートの作成、法的なアドバイスなどの事実に厳密に従わなければならないタスクでは課題をもたらす。

LLMホールユーションの解決策：Retrieval Augmented Generation (RAG)の仕組み

2020年、LLMの研究者は、外部データソースを組み込むことでLLMのホールユーションを軽減する技術であるRetrieval Augmented Generation (RAG)を導入した。従来のLLMと異なり、RAGベースのLLMモデルは、質問に答えたりテキストを生成したりする前に、外部データベースから関連情報を動的に取得することで、事実的に正確な応答を生成する。

RAGプロセスの詳細:

RAGプロセスのステップ: ソース

ステップ1：検索

システムは、ユーザーのクエリに関連する情報を特定の知識ベースで検索する。例えば、誰かが最後のサッカー・ワールドカップの勝者について尋ねた場合、システムは最も関連性の高いサッカー情報を探す。

ステップ2：拡張

元のクエリは、見つかった情報で拡張される。サッカーの例では、「サッカー・ワールドカップの勝者は誰ですか？」というクエリが、「アルゼンチンがサッカー・ワールドカップに勝った」という具体的な詳細で更新される。

ステップ3：生成

拡張されたクエリを使用して、LLMは詳細で正確な応答を生成する。私たちの場合、システムはアルゼンチンがワールドカップに勝ったという情報に基づいて応答を構築する。

この方法により、不正確さが軽減され、LLMの応答がより信頼性が高く、正確なデータに基づくものになる。

RAGによるホールユーションの軽減：利点と欠点

RAGは、生成プロセスを修正することでホールユーションを軽減することを示している。このメカニズムにより、RAGモデルはより正確で最新の情報を提供できる。

もちろん、Retrieval Augmented Generation (RAG)についてより一般的に議論することで、その利点と限界をさまざまな実装でより深く理解できる。

RAGの利点:

• 情報検索の改善: RAGは、大規模なデータソースから正確な情報を迅速に検索できる。
• コンテンツの改善: ユーザーのニーズに合った明確で一致したコンテンツを生成する。
• 柔軟性: ユーザーは、特定の要件に合わせてRAGを調整できるため、独自のデータソースを使用することで有効性が高まる。

RAGの課題:

• 特定のデータの必要性: クエリのコンテキストを正確に理解して関連性の高い情報を提供することは困難である。
• スケーラビリティ: モデルを大規模なデータセットとクエリに対応させながらパフォーマンスを維持することは難しい。
• 継続的な更新: 知識データセットを最新の情報で自動的に更新することはリソースが大量に必要である。

RAG以外の代替手法

RAG以外にも、LLMのホールユーションを軽減するためのいくつかの有望な方法がある：

• G-EVAL： 信頼できるデータセットと生成されたコンテンツの正確性を相互参照して信頼性を高める。
• SelfCheckGPT： 自動的に自身のエラーをチェックして修正することで、出力を正確で一貫性のあるものに保つ。
• プロンプトエンジニアリング： ユーザーが正確で関連性の高い応答を導き出すための入力プロンプトを設計するのに役立つ。
• ファインチューニング： モデルを特定のタスクに合わせたデータセットで調整して、ドメイン固有のパフォーマンスを向上させる。
• LoRA (Low-Rank Adaptation)： モデルのパラメータの一部をタスク固有の適応に変更することで、効率性を高める。

RAGとその代替手法の探求は、LLMの精度と信頼性を高めるためのダイナミックで多面的なアプローチを強調している。進化するにつれて、RAGのような技術における継続的なイノベーションは、LLMのホールユーションの固有の課題に対処するために不可欠である。

最新のAIと機械学習の開発、包括的な分析、ニュースについては、unite.aiを訪問してください。