最近の数年間で、大規模言語モデル（LLM）は、自然言語処理（NLP）におけるブレークスルーにより、AI開発者から注目を集めています。これらのモデルは、テキスト生成と理解において新しいベンチマークを設定しています。しかし、テキスト生成における進歩にもかかわらず、テキストの物語と一致する画像を生成することはまだ課題です。この課題に対処するために、開発者は「生成的なボケン」というビジョンと言語の生成アプローチを導入しました。このアプローチは、テキストと画像の出力を調和させるためのギャップを埋めます。

MiniGPT-5の基礎は、記述不要の多様なデータ生成に重点を置いた2段階のトレーニング戦略です。トレーニングデータには包括的な画像の説明が必要ありません。さらに、モデルは、画像生成のためのボケンの有効性を高めるクラス分類器フリーのガイダンスシステムを組み込んでいます。初期段階では、MiniGPT-5フレームワークは、MMDialogデータセットでトレーニングされたDivterモデルと比較して、強力なパフォーマンスと大幅な改善を示しています。また、VISTデータセットで実施された人間の評価では、一貫して多様なベンチマークで比較可能で、場合によっては優れた多様な出力を提供する能力を示しています。

MiniGPT5：紹介

最近のLLMフレームワークの開発と、それらのフレームワークに基づくアプリケーションにより、マルチメディア機能の統合は、最先端のコンテンツ作成ツールから最先端の多様なダイアログエージェントまで、幅広いアプリケーションを支える重要な進歩を遂げています。継続的な研究と開発により、言語とビジョンモデルは、テキストと視覚データを無шовに生成することができるようになりました。LLMが多様なデータを無шовに生成する能力は、電子商取引、メディア、仮想現実を含むさまざまなドメインでの相互作用を強化するのに役立ちます。

最終的には、モデルは、テキストと視覚の両方のモダリティを使用して、論理的かつ一貫した方法で合成、認識、応答することが目標です。これは、情報の流れを調和させ、論理的かつ一貫した物語を作成する上で重要な役割を果たします。テキストと視覚のモダリティを統合する必要性は、LLMにおけるより流暢で、統合的で、対話的な多様な相互作用の必要性によって推進されています。ただし、LLMにおける統合的で対話的な多様な相互作用を実現することは、複数の課題があります。

1. 現在のLLMはテキスト生成とテキスト-画像ペアの処理において非常に効率的で有能ですが、画像生成においては満足のいくパフォーマンスを提供しません。
2. これらのビジョンと言語モデルの開発は、トピックに焦点を当てたデータに大きく依存しており、モデルが生成されたテキストを対応する画像と一致させることを困難にします。
3. 最後に、ダウンストリームタスクを実行するときにLLMのメモリ要件が増加するため、より効果的な戦略が必要です。

MiniGPT-5フレームワークは、上記の課題に対処するために、「生成的なボケン」という概念を導入する、言語とビジョンの統合生成アルゴリズム技術です。MiniGPT-5フレームワークは、特殊な視覚トークンを使用して、LLMと安定した拡散技術を組み合わせた、新しい多様なデータ生成アプローチを提案します。提案された2段階のトレーニング方法は、記述不要の基礎段階の重要性と、モデルが効率的なパフォーマンスを提供できるようにすることを強調しています。

しかし、MiniGPT-5モデルが現在存在するフレームワークと異なるのは、MiniGPT-5フレームワークの一般的な段階がドメイン固有の注釈を含まないことです。さらに、生成されたテキストと対応する画像が調和していることを保証するために、MiniGPT-5フレームワークは、クラス分類器フリーのガイダンスと生成的なボケンを使用する、デュアル損失戦略を展開します。MiniGPT-5フレームワークは、パラメータ効率的な戦略を使用して、トレーニング効率を最適化し、メモリ制約に対処します。

簡単にまとめると、MiniGPT-5フレームワーク

1. 多様なエンコーダを使用する方法を提案します。これは、従来のLLMよりも歴史的に効果的であることが証明された、新しい一般的な方法です。安定した拡散技術と組み合わせた生成トークンを使用して、言語と視覚の統合出力を生成します。
2. 記述不要の多様な出力の生成のための2段階のトレーニング戦略を提案します。トレーニング中にクラス分類器フリーのガイダンスを含めることで、生成されたデータの品質をさらに改善します。

MiniGPT-5モデルは、以下の分野での以前の研究と作業から着想を得ています。

• テキストから画像の生成：テキストの説明を視覚的な表現に変換するために、テキストから画像のモデルを使用します。

• MLLMsまたは多様な大規模言語モデル：事前トレーニングされたLLMモデルを使用して、多様なデータの生成におけるそのアプリケーションと有効性を探索します。
• 多様な生成と大規模言語モデル：LLMの機能を拡張して、言語と視覚のデータ生成を無шовに統合します。

MiniGPT-5：方法、構造、フレームワーク

多様なデータ生成能力を持つ大規模言語モデルを実現するために、MiniGPT-5モデルは、テキストから画像の生成モデルと事前トレーニングされた多様な大規模言語モデルを統合することを目的としたフレームワークを導入します。MiniGPT-5フレームワークはさらに、「生成的なボケン」という特殊な視覚トークンを導入します。これにより、開発者はドメイン間の差異に対処するために、生の画像で直接トレーニングすることができます。多様なデータ生成の品質をさらに高めるために、MiniGPT-5フレームワークは、クラス分類器フリーの戦略と、先進的な2段階のトレーニング方法を導入します。MiniGPT-5フレームワークの詳細を見てみましょう。

多様な入力段階

最近のLLMの開発により、LLMの多様な理解能力が光に照らされ、画像をシーケンシャル入力として処理できるようになりました。MiniGPT-5フレームワークは、視覚的な特徴を出力するために、特別に設計された生成的なボケンを使用して、LLMの多様な理解能力を多様なデータ生成能力に拡張します。さらに、MiniGPT-5フレームワークは、多様な出力学習のためのパラメータ効率的なファインチューニング技術と、LLMフレームワークを使用します。

多様なエンコーディング

MiniGPT-5フレームワークの事前トレーニングされた視覚エンコーダは、各入力画像を特徴に変換し、各テキストトークンをベクトルに埋め込み、入力プロンプト特徴はこれらの埋め込みを結合することで生成されます。

大規模言語モデルへのボケンの追加

従来の大規模言語モデルの語彙は、テキストトークンのみで構成されています。したがって、MiniGPT-5フレームワークの開発者は、生成的なモデルの語彙に特殊なトークンを追加する必要がありました。フレームワークは、これらの特殊なボケンの隠れ出力状態を使用して、後の画像生成を行います。ボケンの挿入は、ボケンの位置で表されます。

PEFTまたはパラメータ効率的なファインチューニング

PEFTまたはパラメータ効率的なファインチューニングは、LLMをトレーニングするための重要な概念ですが、多様な設定でのPEFTの応用はまだ大幅に未探索です。MiniGPT-5フレームワークは、MiniGPT-4フレームワークのエンコーダー上でパラメータ効率的なファインチューニングを使用して、モデルをトレーニングし、ゼロショットまたは新しい環境での全体的なパフォーマンスを向上させます。

多様な出力生成

生成的なモデルをボケンと正確に合わせるために、MiniGPT-5フレームワークは、次元のマッピングモジュールを構成し、潜在的な拡散モデル損失やテキスト空間損失などの監督損失を組み込みます。潜在的な拡散監督損失は、視覚的な特徴を直接トークンに合わせ、テキスト空間損失は、モデルがトークンの正しい位置を学習するのに役立ちます。MiniGPT-5フレームワークの生成的なボケンは、画像によって直接導かれるため、画像の包括的な説明は必要ありません。結果として、記述不要の学習が実現します。

テキスト空間生成

MiniGPT-5フレームワークは、テキスト空間でボケンとテキストを同時に生成するために、因果的言語モデリング方法に従います。トレーニング段階では、開発者はボケンをグラウンドトゥルース画像の位置に追加し、テキスト生成中にボケンを予測するようにモデルをトレーニングします。

ボケン特徴のマッピングによる画像生成

テキスト空間を生成した後、フレームワークは、隠れ出力状態を、テキストから画像の生成モデルのテキスト条件特徴空間に合わせます。フレームワークは、デュアルレイヤーのMLPモデル、学習可能なデコーダ特徴シーケンス、および4層のエンコーダデコーダトランスフォーマモデルを含む、特徴マッピングモジュールをサポートします。

潜在的な拡散モデルまたはLDMを使用した画像生成

必要な画像を生成するために、フレームワークは、ノイズ除去プロセスで、特徴を条件入力として使用します。さらに、フレームワークは、ガイダンスとして潜在的な拡散モデルまたはLDMを使用します。トレーニング段階では、グラウンドトゥルース画像は、事前トレーニングされたVAEを使用して潜在的な特徴に変換され、潜在的なノイズ特徴は、ノイズを追加することによって取得されます。

MiniGPT-5フレームワークの包括的なアプローチにより、開発者は視覚的な要素とテキストの生成を、特殊なトークン、事前トレーニングされたモデルの機能、革新的なトレーニング技術を使用して、調和させることができます。

MiniGPT-5：トレーニングと結果

MiniGPT-5フレームワークで作業している開発者は、画像とテキストのドメイン間の大きなドメインシフトにより、限定されたテキストと画像のデータセットで直接トレーニングすると、画像の品質が低下し、配置が不正になる可能性があることを観察しました。この問題を緩和するために、開発者は2つの異なるトレーニング戦略を採用しました。

1. 拡散プロセス中に生成的なトークンの有効性を高めるクラス分類器フリーのガイダンス技術を包含することです。
2. 2段階に分割された2番目の戦略です。
   1. 主に粗い特徴を合わせることに重点を置いた初期の事前トレーニング段階です。
   2. 特徴の学習を促進するファインチューニング段階です。

CFGまたはクラス分類器フリーのガイダンス

多様な生成のためのCFGを最初に使用するアイデアは、生成された画像とテキストの間の整合性と論理性を高めるために、テキストから画像の拡散プロセス中に導入されました。この方法は、条件付き生成と無条件生成の両方でトレーニングすることで、条件付きドロップアウトを使用して、生成モデルが強化された条件付き結果を達成できることを観察しています。

2段階のトレーニング戦略

画像とテキストの生成間のドメインシフトが大きいため、MiniGPT-5フレームワークは、トレーニングのために2段階の戦略を使用します。

1. UASまたはユニモーダル同期段階です。
2. MLSまたは多様な学習段階です。

初期段階では、フレームワークは、画像生成特徴とボケン特徴を、シングルテキスト画像ペアのデータセットで合わせます。ここで、各データサンプルにはテキストと画像が1つずつ含まれ、テキストは通常画像のキャプションです。この段階では、フレームワークは、LLMがボケンを生成するために、キャプションをLLMの入力として使用します。

UASが正常に実行されると、モデルは単一のテキスト記述に対して画像を生成できますが、言語と視覚の統合生成、テキスト画像ペア、複雑な推論には苦労します。この障害に対処するために、開発者は、VISTなどの統合されたビジョンと言語のデータセットを使用して、PEFTパラメータでMiniGPT-5フレームワークをさらにファインチューニングしました。この段階では、フレームワークは、データセットから3つの異なるタスクを構築します。

1. テキストのみの生成：次の画像が与えられたときに関連するテキストを生成します。
2. 画像のみの生成：次のテキストが与えられたときに関連する画像を生成します。
3. 多様な生成：与えられたコンテキストを使用して、テキスト画像ペアを生成します。

MiniGPT-5：ベンチマークと結果

そのパフォーマンスを多様な生成において包括的に評価するために、MiniGPT-5開発チームは、Divter、GILL、ファインチューニングされたユニモーダル生成モデルなどの他の有名なベースラインモデルと比較します。比較は以下の表に示されています。

MiniGPT-5フレームワークは、多様な出力がコンテキストに応じて意味的である可能性がある一方で、現実との差異がある可能性があることを認識しています。したがって、MiniGPT-5フレームワークは、モデルを評価して評価するために、人間の入力を組み込みます。全体として、MiniGPT-5フレームワークの多様なタスクの有効性は、3つの観点から評価されます。

1. 言語の連続性：生成されたコンテンツが与えられたコンテキストと無шовに一致するかどうかを評価します。
2. 画像の品質：生成された画像の関連性と明瞭性を評価します。
3. 多様な整合性：テキストと画像の統合出力が初期のコンテキストと一致するかどうかを判断します。

VIST最終ステップの評価

最初の実験段階では、MiniGPT-5フレームワークは、対応する画像を生成することを目的としています。以下の表は、この設定からの結果をまとめています。

表から見られるように、MiniGPT-5フレームワークは、3つの設定すべてで、ファインチューニングされたSD2フレームワークを上回っています。これは、MiniGPT-5パイプラインの有効性を強調しています。

上の図は、MiniGPT-5フレームワークとファインチューニングされたMiniGPT-4フレームワークのパフォーマンスを、S-BERT、Rouge-L、Meteorのパフォーマンスメトリックで比較しています。結果は、生成的なボケンを使用しても、多様な理解タスクのパフォーマンスに悪影響がないことを示しています。また、MiniGPT-5フレームワークは、多様な入力プロンプトを使用して、高品質で一貫性のある画像を生成できることを示しています。

上の表は、VISTのデータセットで多様な生成タスクを実行する3つのフレームワークのパフォーマンスを比較しています。結果は、MiniGPT-5フレームワークが他の2つのベースラインモデルよりも70%以上のケースで優れています。また、CC3Mバリデーションデータセットでの単一画像の生成の結果は、MiniGPT-5フレームワークが現在のベースラインであるGILLフレームワークよりも優れていることを示しています。

結論

この記事では、生成的なボケンを使用して、言語とビジョンの統合生成を実現する、MiniGPT-5というアルゴリズム技術について説明しました。MiniGPT-5フレームワークの主要なコンポーネントとアーキテクチャ、および現在のベースラインモデルと最先端モデルと比較して大幅な改善を示す結果について説明しました。MiniGPT-5は、多様なコンテンツとデータ生成の分野で新しいベンチマークを設定し、以前のモデルが同様の問題を解決しようとしたときに直面した課題を解決することを目指しています。