大規模言語モデルにおける古い事実を新鮮に保つための3つの方法

現在、大規模言語モデル（LLM） seperti GPT3、ChatGPT、BARDは、誰もがそのようなツールが社会にとって良いのか悪いのか、そしてAIの未来にとって何を意味するのかについて意見を持っています。Googleの新しいモデルBARDは、複雑な質問に誤った回答を返しました（少し）。「ジェームズ・ウェッブ宇宙望遠鏡から9歳の子どもに伝えることができる新しい発見は何ですか？」と聞かれたとき、チャットボットは3つの回答を返しました。そのうち2つは正しく、1つは誤りでした。誤った回答は、最初の「太陽系外惑星」の画像がジェームズ・ウェッブ宇宙望遠鏡によって撮影されたというものでしたが、実際には誤りでした。つまり、モデルには不正確な事実が内部の知識ベースに保存されていたということです。大規模言語モデルが有効に機能するためには、これらの事実を更新したり、新しい知識で拡張したりする方法が必要です。

まず、大規模言語モデル内部で事実がどのように保存されているかを見てみましょう。大規模言語モデルは、伝統的な意味ではデータベースやファイルのように情報や事実を保存しません。代わりに、膨大な量のテキストデータで訓練され、データ内のパターンや関係を学習しました。これにより、質問に対して人間のような回答を生成できますが、特定の保存場所にはありません。質問に答える際、モデルは入力を受けて訓練に基づいて回答を生成します。言語モデルの知識や情報は、明示的にモデルに保存されているのではなく、訓練データで学習したパターンの結果です。Transformersアーキテクチャは、ほとんどの現代的なLLMの基礎となっており、内部の事実のエンコードを使用して質問に答えます。

したがって、大規模言語モデルの内部メモリ内の事実が間違っている場合や古い場合、新しい情報をプロンプトで提供する必要があります。プロンプトとは、LLMに送信されるテキストで、クエリとサポート証拠（新しい事実や修正された事実）が含まれます。以下に、3つのアプローチ方法を示します。

1. 大規模言語モデルのエンコード事実を修正する方法の1つは、外部の知識ベースを使用してコンテキストに関連する新しい事実を提供することです。この知識ベースは、API呼び出しによる関連情報の取得や、SQL、No-SQL、またはベクターデータベースの検索になる可能性があります。さらに、データエンティティやその関係を保存するノウハッジからより高度な知識を抽出できます。ユーザーが問い合わせる情報に応じて、関連するコンテキスト情報を取得してLLMに追加の事実として提供できます。これらの事実は、学習プロセスを改善するために、トレーニング例のようにフォーマットできます。たとえば、モデルが回答を提供する方法を学習するために、質問と回答のペアのバッチを渡すことができます。

2. 大規模言語モデルを拡張するもう1つの方法は、実際にトレーニングデータを使用してファインチューニングすることです。つまり、知識ベースから特定の事実を取得するのではなく、知識ベースをサンプリングしてトレーニングデータセットを作成します。監督学習技術を使用して、この追加の知識で新しいLLMバージョンをトレーニングできます。このプロセスは通常、高価で、OpenAIでファインチューンされたモデルを構築して維持するには数千ドルかかります。ただし、コストは時間の経過とともに低くなることが予想されます。

3. もう1つのオプションは、強化学習（RL）などの方法を使用して、人間のフィードバックでエージェントをトレーニングし、質問に答えるポリシーを学習することです。この方法は、特定のタスクに特化した小規模なモデルを構築するのに非常に効果的です。たとえば、OpenAIがリリースした有名なChatGPTは、人間のフィードバックと強化学習を組み合わせた監督学習でトレーニングされました。

まとめると、この分野は非常に進化しています。主要な企業はすべてこの分野に参入し、差別化を示そうとしています。近々、小売、ヘルスケア、銀行などの分野で、人間のような回答を生成し、言語のニュアンスを理解できる大規模言語モデルツールが登場するでしょう。これらのLLMツールは、企業データと統合されて、正しいデータを正しい人に正しいタイミングで提供することで、アクセスを効率化できます。