人工知能
RAFT – ドメイン特有の質問回答に向けたファインチューニングとRAGアプローチ
大規模言語モデルの応用が専門分野に拡大するにつれて、効率的で効果的な適応技術の必要性はますます重要になってきます。そこで、RAFT（Retrieval Augmented Fine Tuning）という新しいアプローチが登場しました。RAFTは、RAG（Retrieval Augmented Generation）とファインチューニングの強みを組み合わせ、ドメイン特有の質問回答タスクに特化したアプローチです。
ドメイン適応の課題
大規模言語モデルの前処理では、医療研究、法的文書、または企業固有の知識ベースなどの専門分野で高いパフォーマンスを発揮することができません。これは、前処理データがこれらの専門分野のニュアンスや複雑さを十分に表現していないためです。この課題に対処するために、研究者は従来、2つの主要な手法を使用してきました。RAGとファインチューニングです。
Retrieval-Augmented Generation (RAG)
RAG
RAGは、大規模言語モデルが外部知識源を利用できるようにする手法です。
これは、実時間のデータ取得を生成プロセスに組み込むことで実現され、モデルの出力がより正確で最新になることを目指しています。RAGは、3つの主要なステップで構成されます。取得、生成、増強です。
RAGの取得プロセスは、ユーザーのクエリから始まります。大規模言語モデルはクエリを分析し、関連する情報を外部データベースから取得し、モデルが回答を生成するためのデータプールを提示します。生成段階では、この入力データを基に回答を生成します。増強段階では、回答をさらに洗練し、コンテキストや関連性を調整します。
RAGモデルは、精度、関連性、最新性を評価するためのさまざまなメトリックを使用して評価できます。
ファインチューニング
supervised-fine-tuning
ファインチューニングは、事前トレーニングされた大規模言語モデルのパフォーマンスを向上させるために、タスク固有のデータセットでさらにトレーニングすることを伴います。このアプローチにより、モデルはタスク固有のパターンを学習し、出力を目的のタスクやドメインに合わせることができます。ただし、ファインチューニングでは、外部知識源を効果的に組み込んだり、取得の不完全性を考慮したりすることが難しい場合があります。
RAFTアプローチ
RAFT
RAFTは、Retrieval-Aware Fine-Tuningの略称で、大規模言語モデルのドメイン特有のタスク、特にオープンブック試験でのパフォーマンスを向上させるために設計された革新的なトレーニング方法です。RAFTは、トレーニングデータを準備する際に、質問と関連するドキュメント、および関連するテキストから派生した回答の連鎖を組み込むことで、標準的なファインチューニングから逸脱しています。
このアプローチは、モデルが情報を思い出すだけでなく、提供されたコンテキストから情報を抽出して推論する能力を向上させることを目指しています。
トレーニングデータの準備
RAFTのトレーニングプロセスでは、トレーニングデータの一部に、回答を直接含むオラクルドキュメントと、回答を含まないディストラクタードキュメントを含めることが含まれます。ファインチューニングでは、モデルが内部知識（記憶に似たもの）に頼る時と、コンテキストから情報を抽出する時を学習することを促します。
RAFTのトレーニングレジームでは、推論プロセスの生成も強調されています。これは、回答を形成するだけでなく、回答を正当化するための情報源を引用することにも役立ちます。このアプローチにより、モデルはRAG設定でトップkの取得ドキュメントを考慮するだけでなく、使用されるリトリーバーに依存しないトレーニングを受けることができます。
このアプローチは、以下の目的を達成することを目的としています。
- モデルは、提供されたコンテキストから関連する情報を特定して利用することを学習します。これは、オープンブック試験の設定を模倣しています。
- モデルは、関連しない情報を無視する能力を向上させ、効果的なRAGの重要なスキルになります。
- モデルは、回答がコンテキストにないシナリオで内部知識に頼ることを学習します。
RAFTのもう一つの重要な側面は、トレーニングプロセスへの推論連鎖の組み込みです。質問と回答のペアを提供するのではなく、関連するドキュメントからの逐語的引用を含む詳細な推論説明を生成します。これらの説明は、モデルが正しい回答に到達するために必要な論理的なステップを導く連鎖形式で提示されます。
これらの推論連鎖でモデルをトレーニングすることで、RAFTは強力な推論能力の開発と、外部知識源を効果的に活用する能力の向上を促します。
評価と結果
RAFTの著者は、PubMed（生物医学研究）、HotpotQA（オープンドメイン質問回答）、およびGorilla APIBench（コード生成）などのさまざまなデータセットで広範な評価を実施しました。結果は、RAFTが一貫してベースライン、たとえばドメイン特有のファインチューニング（RAGを使用または未使用）やRAGを使用したGPT-3.5などの大規模モデルを上回ったことを示しています。
RAFT improves RAG performance
たとえば、HuggingFaceデータセットでは、RAFTは74%の精度を達成し、ドメイン特有のファインチューニング（DSF）よりも31.41%、RAGを使用したGPT-3.5よりも44.92%の改善を示しました。同様に、HotpotQAデータセットでは、RAFTはDSFと比較して28.9%の精度向上を示しました。
RAFTの重要な利点の1つは、取得の不完全性に対する頑健性です。関連するドキュメントと関連しないドキュメントの混合でモデルをトレーニングすることで、RAFTはモデルが関連する情報を特定して優先する能力を向上させます。取得モジュールが最適でない結果を返す場合でもです。
著者は、オラクルドキュメントのみでファインチューニングすることは、関連するドキュメントと関連しないドキュメントの両方を含む構成と比較して、一般的に劣るパフォーマンスにつながることを実証しました。これは、モデルをさまざまな取得シナリオにさらすトレーニングの重要性を強調しています。これにより、モデルはさまざまな実世界のアプリケーションに適応できるようになります。
実用的な応用と将来の方向性
RAFTテクニックは、以下のような幅広い実用的な応用に重大な影響を及ぼします。
- 質問回答システム：RAFTは、高度な精度とドメイン特有の質問回答システムを構築するために使用できます。これは、モデルの学習した知識と外部知識源の両方を活用します。
- 企業の知識管理：大規模な知識ベースを持つ組織は、RAFTを使用してカスタマイズされた質問回答システムを開発できます。これにより、従業員は関連する情報に迅速にアクセスして利用できます。
- 医療および科学研究：RAFTは、医療研究のような分野で特に有価値です。ここでは、最新の研究結果や文献へのアクセスが科学的理解の進歩に不可欠です。
- 法務および金融サービス：RAFTは、これらの分野の専門家が関連する法的文書または財務報告書に基づいて、正確でコンテキストに応じた回答を提供するのに役立ちます。
この分野の研究が続行されると、RAFTテクニックのさらなる進歩と改良が期待できます。将来的な方向性の可能性は以下のとおりです。
- 特定のドメインやドキュメント構造に最適化された、より効率的で効果的な取得モジュールの探索。
- RAFTフレームワークへの多モーダル情報（画像や表など）の統合によるコンテキスト理解の向上。
- トレーニング中に生成される推論連鎖をより効果的に活用できる、特殊な推論アーキテクチャの開発。
- 質問回答を超えた自然言語タスク（要約、翻訳、対話システムなど）へのRAFTの適用。
結論
RAFTは、大規模言語モデルのドメイン特有の質問回答における重要なブレークスルーを表しています。RAGとファインチューニングの強みを調和させ、RAFTは大規模言語モデルに外部知識源を効果的に活用し、出力をドメイン特有のパターンと好みに合わせる能力を提供します。
革新的なトレーニングデータの作成、推論連鎖の組み込み、取得の不完全性への頑健性を備えたRAFTは、専門分野での大規模言語モデルの潜在能力を解き放つための強力なソリューションを提供します。
ドメイン特有の自然言語処理能力の需要が増加するにつれて、RAFTのようなテクニックは、より正確でコンテキストに応じた適応性の高い言語モデルの開発を可能にする上で重要な役割を果たすことになります。これにより、人間と機械のコミュニケーションが真正にシームレスでドメインに依存しない未来が実現されます。
