LLM の Hallucination を Retrieval Augmented Generation (RAG) で克服する

大規模言語モデル (LLM) は、言語の処理と生成を革命的に変えているが、完全ではない。人間が雲の中に形を見たり、月に顔を見たりするように、LLM も “hallucination” を起こすことがあり、正確でない情報を作成する。この現象は、LLM の hallucination と呼ばれ、LLM の使用が拡大するにつれて、より大きな懸念事項となっている。

ミスはユーザーを混乱させ、場合によっては企業に法的な問題を引き起こすこともある。例えば、2023 年には、空軍の退役軍人 Jeffery Battle (The Aerospace Professor として知られている) が、Microsoft (MSFT ) の ChatGPT パワードの Bing 検索が事実的に不正確で有害な情報を提供することがあるという理由で、Microsoft に対して訴訟を起こした。検索エンジンは彼を有罪判決を受けた Jeffery Leon Battle と混同していた。

LLM の hallucination を克服するために、Retrieval-Augmented Generation (RAG) が有望な解決策として登場した。RAG は、外部データベースからの知識を組み込むことで、LLM の出力の精度と信頼性を高める。RAG が LLM をより正確で信頼性の高いものにする方法を詳しく見てみよう。

LLM の Hallucination の理解：原因と例

LLM、ChatGPT、ChatGLM、Claude を含む、は広範なテキスト データセットでトレーニングされているが、事実的に不正確な出力を生成することはないわけではない。hallucination は、LLM が事実の正確性に関係なく、意味のある応答を生成するようにトレーニングされているため起こる。

Tidio の調査によると、72% のユーザーは LLM が信頼できるものであると考えているが、75% のユーザーは AI から少なくとも 1 回不正確な情報を受け取ったことがある。最も有望な LLM モデルである GPT-3.5 や GPT-4 も、時々不正確または無意味なコンテンツを生成することがある。

ここでは、LLM の hallucination の一般的なタイプを簡単に紹介する。

一般的な AI の Hallucination のタイプ

1. ソースの混同：モデルがさまざまなソースからの詳細を結合して、矛盾や虚構のソースを生み出す。
2. 事実の誤り：LLM は事実的に不正確なコンテンツを生成することがあり、特にインターネットの不正確さのため。
3. 無意味な情報：LLM は次の単語を確率に基づいて予測するため、文法的に正しいが意味のないテキストを生成することがあり、ユーザーをコンテンツの権威について誤解させる。

去年、2 人の弁護士は、ChatGPT によって生成された情報に基づいて、6 つの不存在する事件を法的な文書に引用したため、制裁を受ける可能性がある。この例は、LLM によって生成されたコンテンツに批判的視点でアプローチすることの重要性を強調し、信頼性を確保するために検証の必要性を示唆している。創造的な能力は、物語作りなどのアプリケーションに利点があるが、学術研究、医療および金融分析の報告、法的なアドバイスなどのタスクでは事実に厳密に従う必要があるため、課題となる。

LLM の Hallucination の解決策：Retrieval Augmented Generation (RAG) のしくみ

2020 年、LLM の研究者は、LLM の hallucination を軽減するために、Retrieval-Augmented Generation (RAG) という技術を導入した。従来の LLM と異なり、RAG は外部データ ソースからの知識を組み込むことで、質問やテキスト生成の際に事実的に正確な応答を生成する。

RAG のプロセスの分解

RAG プロセスのステップ：ソース

ステップ 1：検索

システムは、ユーザーのクエリに関連する情報を特定の知識ベースで検索する。例えば、最後のサッカー ワールドカップの勝者について尋ねられた場合、サッカーに関する最も関連のある情報を探す。

ステップ 2：拡張

元のクエリは、見つかった情報で拡張される。サッカーの例では、「サッカー ワールドカップの勝者は誰ですか？」というクエリが「アルゼンチンがサッカー ワールドカップに勝った」という具体的な詳細で更新される。

ステップ 3：生成

拡張されたクエリを使用して、LLM は詳細で正確な応答を生成する。私たちの場合、アルゼンチンがワールドカップに勝ったという情報に基づいて、応答を構築する。
この方法により、不正確さが軽減され、LLM の応答がより信頼性が高く、正確なデータに基づくものになる。

RAG を使用して Hallucination を軽減することのメリットとデメリット

RAG は、生成プロセスを修正することで hallucination を軽減することを示している。このメカニズムにより、RAG モデルはより正確で最新の情報を提供できる。
確かに、Retrieval Augmented Generation (RAG) をより一般的に議論することで、その利点と限界をさまざまな実装でより広く理解できる。

RAG の利点

• 情報検索の改善：RAG は大規模なデータ ソースから正確な情報を迅速に検索できる。
• コンテンツの改善：ユーザーが必要とするものに合った明確で一致したコンテンツを作成する。
• 柔軟性：ユーザーは、独自のデータ ソースを使用したり、有効性を高めたりするなど、RAG を特定の要件に合わせて調整できる。

RAG の課題

• 特定のデータの必要性：クエリのコンテキストを正確に理解して、関連性の高い情報を提供することは難しい。
• スケーラビリティ：大規模なデータセットとクエリを処理するためのモデルの拡張は、パフォーマンスを維持しながら行うことが難しい。
• 継続的な更新：知識データセットを最新の情報で自動的に更新することは、リソースの面で難しい。

RAG の代替案の探求

RAG 以外に、LLM の研究者が hallucination を軽減するために使用できる他の有望な方法がいくつかある：

• G-EVAL：生成されたコンテンツの正確性を信頼できるデータセットで検証して、信頼性を高める。
• SelfCheckGPT：自身のエラーを自動的にチェックして修正して、出力を正確で一貫性のあるものにする。
• プロンプト エンジニアリング：ユーザーが正確で関連のある応答を導き出すための入力プロンプトを設計するのに役立つ。
• ファインチューニング：モデルを特定のタスクに合わせて調整して、ドメイン固有のパフォーマンスを向上させる。
• LoRA (Low-Rank Adaptation)：モデルのパラメータの一部をタスクに合わせて変更して、効率を高める。

RAG とその代替案の探求は、LLM の精度と信頼性を向上させるためのダイナミックで多面的なアプローチを強調している。進化するにつれて、RAG などの技術の継続的なイノベーションは、LLM の固有の課題に対処するために不可欠である。

AI と機械学習の最新の進展、包括的な分析、ニュースについて最新情報を入手するには、unite.ai を訪問してください。