RAFT – ドメイン固有の質問回答のためのファインチューニングとRAGアプローチ

大規模言語モデルが専門ドメインに応用されるにつれ、効率的で効果的な適応技術の必要性はますます重要になってきています。そこで登場したのがRAFT（Retrieval Augmented Fine Tuning）です。RAG（Retrieval Augmented Generation）とファインチューニングの強みを組み合わせた、ドメイン固有の質問回答タスクに特化した新しいアプローチです。

ドメイン適応の課題

LLMは大量のデータで事前トレーニングされていますが、医療研究、法的文書、または企業固有の知識ベースなどの専門ドメインで優れたパフォーマンスを発揮する能力は、しばしば限定されています。この制限は、事前トレーニングデータがこれらの専門ドメインのニュアンスや複雑さを十分に表現していないため生じます。この課題に対処するために、研究者は従来、2つの主要なテクニックを採用してきました。RAGとファインチューニングです。

Retrieval-Augmented Generation (RAG)

RAG

RAGは、LLMが推論中に外部の知識源にアクセスして利用できるようにするテクニックです。

これは、生成プロセスにリアルタイムのデータ取得を統合することで実現し、モデル出力の正確性と最新性を高めます。RAGは、ドキュメントの取得、モデル出力の生成、さらに出力を精査するという3つの基本的なステップで構成されています。

RAGの取得プロセスは、ユーザーのクエリから始まります。LLMはクエリを分析して関連情報を外部データベースから取得し、モデルが回答を生成するためのデータプールを提示します。生成フェーズでは、この入力データを統合して回答を生成します。増強ステップでは、回答をさらに精査して、関連性や連続性を高めます。

RAGモデルは、正確性、関連性、最新性を評価するさまざまな指標を使用して評価できます。

ファインチューニング

supervised-fine-tuning

ファインチューニングは、事前トレーニングされたLLMを特定のタスクまたはドメインに適応させるために、さらに小規模なタスク固有のデータセットでトレーニングすることを伴います。このアプローチにより、モデルはパターンを学習し、出力を目的のタスクまたはドメインに合わせることができます。ファインチューニングにより、モデルのパフォーマンスが向上する可能性がありますが、外部の知識源を効果的に組み込んだり、推論時の取得の不完全性を考慮したりすることが、しばしば困難です。

RAFTアプローチ

RAFT

RAFTは、Retrieval-Aware Fine-Tuningの略で、言語モデルがドメイン固有のタスク、特にオープンブック試験で優れたパフォーマンスを発揮できるようにするための革新的なトレーニング方法です。RAFTは、質問と関連および非関連ドキュメントの組み合わせ、関連テキストから導かれた思考の連なり式の回答を含むトレーニングデータを準備することで、従来のファインチューニングから逸脱しています。この方法は、モデルの情報を思い出すだけでなく、提供されたコンテキストから回答を導き出す能力を向上させることを目的としています。

本質的に、RAFTは言語モデルを、ドキュメントからの読み取りと知識抽出を伴うタスクにさらに熟達させることを目的としています。オラクルドキュメント（回答を含む）とディストラクタードキュメント（回答を含まない）でトレーニングすることで、モデルは関連情報をより効果的に識別して利用することを学習します。

RAFTのトレーニングプロセスでは、データの一部にオラクルドキュメントを含め、残りのデータにはディストラクタードキュメントのみを含めることが含まれます。ファインチューニングにより、モデルは内部の知識（記憶に似たもの）に頼る時と、コンテキストから情報を抽出する時を学習します。

RAFTのトレーニングレジームは、推論プロセスの生成も強調しています。これは、回答を形成するのにも役立ち、人間が読んだ資料を引用して回答を正当化するように、回答を正当化するための根拠を提供します。このアプローチは、モデルをRAG（Retrieval Augmented Generation）設定に準備させ、トップkの取得ドキュメントを考慮する必要があるだけでなく、使用されるリトリーバーに依存しないトレーニングを可能にし、さまざまなリトリーバーシステムへの柔軟な適用を可能にします。

このアプローチは、複数の目的を果たします:

1. オープンブック試験の設定を模倣して、提供されたコンテキストから関連情報を識別して利用するようにモデルをトレーニングします。
2. 関連のない情報を無視するモデルの能力を高め、効果的なRAGの重要なスキルです。
3. 回答がコンテキストにないシナリオにモデルを公開し、必要に応じて内部の知識に頼るようにします。

RAFTのもう1つの重要な側面は、トレーニングプロセスに思考の連なり式の推論を組み込むことです。質問と回答のペアを単に提供するのではなく、RAFTは関連ドキュメントからの逐語的引用を含む詳細な推論の説明を生成します。これらの説明は、思考の連なり式の形式で提示され、モデルを回答に到達するために必要な論理的なステップを導きます。

モデルをこれらの推論の連なりでトレーニングすることで、RAFTは強力な推論能力の開発を促進し、外部の知識源を効果的に活用するモデルの理解を高めます。

評価と結果

RAFTの論文の著者は、PubMed（生物医学研究）、HotpotQA（オープンドメイン質問回答）、Gorilla APIBench（コード生成）などのさまざまなデータセットで広範な評価を実施しました。彼らの結果は、RAFTが一貫して、RAGを使用したドメイン固有のファインチューニングやGPT-3.5を上回ることを示しました。

RAFT improves RAG performance

たとえば、HuggingFaceデータセットでは、RAFTは74%の精度を達成し、ドメイン固有のファインチューニング（DSF）よりも31.41%、GPT-3.5 with RAGよりも44.92%の改善を示しました。同様に、HotpotQAデータセットでは、RAFTはDSFと比較して28.9%の精度向上を示しました。

RAFTの重要な利点の1つは、取得の不完全性に対する堅牢性です。関連および非関連ドキュメントの組み合わせでモデルをトレーニングすることで、RAFTはモデルが関連情報を識別して優先する能力を高め、取得モジュールが最適でない結果を返す場合でも有効に機能します。

著者は、オラクルドキュメントのみでファインチューニングすることは、ディストラクタードキュメントを含む構成と比較して、一般的に劣るパフォーマンスにつながることを実証しました。この発見は、モデルをさまざまな取得シナリオに露出させるトレーニングの重要性を強調し、実際のアプリケーションへの準備を確実にします。

実用的な応用と将来の方向性

RAFTテクニックは、幅広い実用的な応用に重大な影響を与えます。以下がその例です:

1. 質問回答システム: RAFTは、モデルが学習した知識と外部の知識源の両方を利用する、高度な精度とドメイン固有の質問回答システムを構築するために使用できます。
2. 企業の知識管理: 大規模な知識ベースを持つ組織は、RAFTを使用してカスタマイズされた質問回答システムを開発し、従業員が関連情報に迅速にアクセスして利用できるようにすることができます。
3. 医療および科学研究: RAFTは、最新の研究結果や文献へのアクセスが科学的理解の進歩に不可欠な分野、たとえば生物医学研究で特に有益です。
4. 法律および金融サービス: RAFTは、これらの分野の専門家が関連する法的文書や財務報告書に基づいて、正確でコンテキストに応じた回答を提供するのに役立ちます。

この分野の研究が続くにつれて、RAFTテクニックのさらなる進歩と改良が期待できます。将来の潜在的な方向性には、以下が含まれます:

1. 特定のドメインまたはドキュメント構造に最適化された、より効率的で効果的な取得モジュールの探索。
2. 画像や表などのマルチモーダル情報をRAFTフレームワークに統合して、コンテキストの理解を高める。
3. トレーニング中に生成される思考の連なり式の説明をより効果的に利用できる、特別な推論アーキテクチャの開発。
4. 質問回答以外の自然言語タスク、たとえば要約、翻訳、または対話システムへのRAFTの適応。

結論

RAFTは、ドメイン固有の質問回答における言語モデルの分野で重要な進歩を表しています。RAGとファインチューニングの強みを調和させたRAFTは、LLMに外部の知識源を効果的に活用する能力を与え、さらにドメイン固有のパターンや好みに合わせた出力を生成できるようにします。

革新的なトレーニングデータのキュレーション、思考の連なり式の推論の組み込み、取得の不完全性への堅牢性を備えたRAFTは、専門ドメインでのLLMの全潜在能力を解放するための強力なソリューションを提供します。

ドメイン固有の自然言語処理能力の需要が拡大するにつれて、RAFTのようなテクニックは、より正確でコンテキストに応じて適応性の高い言語モデルを実現し、人間と機械のコミュニケーションが真正にシームレスでドメインに依存しない未来への道を切り開く役割を果たすことになります。