AIモデルとプラットフォーム
MiniGPT-5:生成用vokenによるテキストと画像の交互生成
要点MiniGPT-5は、単一のモデル内でテキスト生成と画像生成を橋渡しするために生成的ボークンを導入します。
もっと見る
- MiniGPT-5は、単一のモデル内でテキスト生成と画像生成を橋渡しするために生成的ボークンを導入します。
- その2段階トレーニング戦略は、まず説明なしで特徴を整列させ、その後インタリーブデータで微調整を行います。
- このフレームワークは、マルチモーダル一貫性と画像品質に関する人間評価においてベースラインモデルを上回ります。
最近の数年間で、大規模言語モデル(LLM)は、自然言語処理(NLP)におけるブレークスルーにより、AI開発者から注目を集めています。これらのモデルは、テキスト生成と理解において新しいベンチマークを設定しています。しかし、テキスト生成における進歩にもかかわらず、テキストの物語と一致する画像を生成することはまだ課題です。この課題に対処するために、開発者は「生成的なvoken」というビジョンと言語の生成アプローチを導入しました。このアプローチは、テキストと画像の出力を調和させるためのギャップを埋めます。
MiniGPT-5の基礎は、記述不要のマルチモーダルデータ生成に重点を置いた2段階のトレーニング戦略です。トレーニングデータには包括的な画像の説明が必要ありません。さらに、モデルは、画像生成のためのvokenの有効性を高めるクラス分類器フリーのガイダンスシステムを組み込んでいます。初期段階では、MiniGPT-5フレームワークは、MMDialogデータセットでトレーニングされたDivterモデルと比較して、強力なパフォーマンスと大幅な改善を示しています。また、VISTデータセットで実施された人間の評価では、一貫して多様なベンチマークで比較可能で、場合によっては優れたマルチモーダル出力を提供する能力を示しています。
MiniGPT5:紹介
近年のLLMフレームワークの進歩と、それらのフレームワークに基づくアプリケーションにより、マルチメディア機能の統合は、最先端のコンテンツ作成ツールから最先端のマルチモーダル対話エージェントまで、幅広いアプリケーションを支える重要な進歩を遂げています。継続的な研究と開発により、言語とビジョンモデルは、テキストと視覚データをシームレスに生成することができるようになりました。LLMがマルチモーダルデータをシームレスに生成する能力は、電子商取引、メディア、仮想現実を含むさまざまなドメインでの相互作用を強化するのに役立ちます。

最終的には、モデルは、テキストと視覚の両方のモダリティを使用して、論理的かつ一貫した方法で合成、認識、応答することが目標です。これは、情報の流れを調和させ、論理的かつ一貫した物語を作成する上で重要な役割を果たします。テキストと視覚のモダリティを統合する必要性は、LLMにおけるより流暢で、統合的で、対話的なマルチモーダルな相互作用の必要性によって推進されています。ただし、LLMにおける統合的で対話的なマルチモーダルな相互作用を実現することは、複数の課題があります。
- 現在のLLMはテキスト生成とテキスト-画像ペアの処理において非常に効率的で有能ですが、画像生成においては満足のいくパフォーマンスを提供しません。
- これらのビジョンと言語モデルの開発は、トピックに焦点を当てたデータに大きく依存しており、モデルが生成されたテキストを対応する画像と一致させることを困難にします。
- 最後に、ダウンストリームタスクを実行するときにLLMのメモリ要件が増加するため、より効果的な戦略が必要です。
MiniGPT-5フレームワークは、上記の課題に対処するために、「生成的なvoken」という概念を導入する、言語とビジョンの統合生成アルゴリズム技術です。MiniGPT-5フレームワークは、特殊な視覚トークンを使用して、LLMとStable Diffusionの技術を組み合わせた、新しいマルチモーダルデータ生成アプローチを提案します。提案された2段階のトレーニング方法は、記述不要の基礎段階の重要性と、データが限られる状況でもモデルが効率的に機能するよう準備することを強調しています。

しかし、MiniGPT-5モデルが現在存在するフレームワークと異なるのは、MiniGPT-5フレームワークの一般的な段階がドメイン固有の注釈を含まないことです。さらに、生成されたテキストと対応する画像が調和していることを保証するために、MiniGPT-5フレームワークは、クラス分類器フリーのガイダンスと生成的なvokenを使用する、デュアル損失戦略を展開します。MiniGPT-5フレームワークは、パラメータ効率的な戦略を使用して、トレーニング効率を最適化し、メモリ制約に対処します。
簡単にまとめると、MiniGPT-5フレームワーク
- マルチモーダルエンコーダを使用する方法を提案します。これは、従来のLLMよりも歴史的に効果的であることが証明された、新しい一般的な方法です。Stable Diffusionの技術と組み合わせた生成トークンを使用して、言語と視覚の統合出力を生成します。
- 記述不要のマルチモーダル出力の生成のための2段階のトレーニング戦略を提案します。トレーニング中にクラス分類器フリーのガイダンスを含めることで、生成されたデータの品質をさらに改善します。
MiniGPT-5モデルは、以下の分野での以前の研究と作業から着想を得ています。
- テキストから画像の生成:テキストの説明を視覚的な表現に変換するために、テキストから画像のモデルを使用します。
- MLLMsまたはマルチモーダル大規模言語モデル:事前トレーニングされたLLMモデルを使用して、マルチモーダルデータの生成における用途と有効性を探索します。
- マルチモーダル生成と大規模言語モデル:LLMの機能を拡張して、言語と視覚のデータ生成をシームレスに統合します。
MiniGPT-5:方法、構造、フレームワーク
マルチモーダルデータ生成能力を持つ大規模言語モデルを実現するために、MiniGPT-5モデルは、テキストから画像の生成モデルと事前トレーニングされたマルチモーダル大規模言語モデルを統合することを目的としたフレームワークを導入します。MiniGPT-5フレームワークはさらに、「生成的なvoken」という特殊な視覚トークンを導入します。これにより、開発者はドメイン間の差異に対処するために、生の画像で直接トレーニングすることができます。マルチモーダルデータ生成の品質をさらに高めるために、MiniGPT-5フレームワークは、クラス分類器フリーの戦略と、先進的な2段階のトレーニング方法を導入します。MiniGPT-5フレームワークの詳細を見てみましょう。
マルチモーダル入力段階
最近のLLMの開発により、LLMのマルチモーダルな理解能力が光に照らされ、画像をシーケンシャル入力として処理できるようになりました。MiniGPT-5フレームワークは、視覚的な特徴を出力するために、特別に設計された生成的なvokenを使用して、LLMのマルチモーダルな理解能力をマルチモーダルデータ生成能力に拡張します。さらに、MiniGPT-5フレームワークは、マルチモーダル出力学習のためのパラメータ効率的なファインチューニング技術と、LLMフレームワークを使用します。
マルチモーダルエンコーディング
MiniGPT-5フレームワークの事前トレーニングされた視覚エンコーダは、各入力画像を特徴に変換し、各テキストトークンをベクトルに埋め込み、入力プロンプト特徴はこれらの埋め込みを結合することで生成されます。
大規模言語モデルへのvokenの追加
従来の大規模言語モデルの語彙は、テキストトークンのみで構成されています。したがって、MiniGPT-5フレームワークの開発者は、生成的なモデルの語彙に特殊なトークンを追加する必要がありました。フレームワークは、これらの特殊なvokenの隠れ出力状態を使用して、後の画像生成を行います。テキストの間に挿入される画像の位置は、vokenの位置によって表されます。
PEFTまたはパラメータ効率的なファインチューニング
PEFTまたはパラメータ効率的なファインチューニングは、LLMをトレーニングするための重要な概念ですが、マルチモーダルな設定でのPEFTの応用はまだ大幅に未探索です。MiniGPT-5フレームワークは、MiniGPT-4フレームワークのエンコーダー上でパラメータ効率的なファインチューニングを使用して、モデルをトレーニングし、ゼロショットまたは新しい環境での全体的なパフォーマンスを向上させます。
マルチモーダル出力生成
生成的なモデルをvokenと正確に合わせるために、MiniGPT-5フレームワークは、次元のマッピングモジュールを構成し、潜在拡散モデル損失やテキスト空間損失などの教師あり学習の損失を組み込みます。潜在拡散教師あり学習の損失は、視覚的な特徴を直接トークンに合わせ、テキスト空間損失は、モデルがトークンの正しい位置を学習するのに役立ちます。MiniGPT-5フレームワークの生成的なvokenは、画像によって直接導かれるため、画像の包括的な説明は必要ありません。結果として、記述不要の学習が実現します。
テキスト空間生成
MiniGPT-5フレームワークは、テキスト空間でvokenとテキストを同時に生成するために、因果的言語モデリング方法に従います。トレーニング段階では、開発者はvokenをグラウンドトゥルース画像の位置に追加し、テキスト生成中にvokenを予測するようにモデルをトレーニングします。
voken特徴のマッピングによる画像生成
テキスト空間を生成した後、フレームワークは、隠れ出力状態を、テキストから画像の生成モデルのテキスト条件特徴空間に合わせます。フレームワークは、デュアルレイヤーのMLPモデル、学習可能なデコーダ特徴シーケンス、および4層のエンコーダデコーダトランスフォーマモデルを含む、特徴マッピングモジュールをサポートします。
潜在拡散モデルまたはLDMを使用した画像生成
必要な画像を生成するために、フレームワークは、ノイズ除去プロセスで、特徴を条件入力として使用します。さらに、フレームワークは、ガイダンスとして潜在拡散モデルまたはLDMを使用します。トレーニング段階では、グラウンドトゥルース画像は、事前トレーニングされたVAEを使用して潜在特徴に変換され、ノイズを加えた潜在特徴は、ノイズを追加することによって取得されます。
MiniGPT-5フレームワークの包括的なアプローチにより、開発者は視覚的な要素とテキストの生成を、特殊なトークン、事前トレーニングされたモデルの機能、革新的なトレーニング技術を使用して、調和させることができます。
MiniGPT-5:トレーニングと結果
MiniGPT-5フレームワークで作業している開発者は、画像とテキストのドメイン間の大きなドメインシフトにより、限定されたテキストと画像のデータセットで直接トレーニングすると、画像の品質が低下し、テキストと画像の整合性が損なわれる可能性があることを観察しました。この問題を緩和するために、開発者は2つの異なるトレーニング戦略を採用しました。
- 拡散プロセス中に生成的なトークンの有効性を高めるクラス分類器フリーのガイダンス技術を包含することです。
- 2段階に分割された2番目の戦略です。
- 主に粗い特徴を合わせることに重点を置いた初期の事前トレーニング段階です。
- 特徴の学習を促進するファインチューニング段階です。
CFGまたはクラス分類器フリーのガイダンス
マルチモーダル生成のためのCFGを最初に使用するアイデアは、生成された画像とテキストの間の整合性と論理性を高めるために、テキストから画像の拡散プロセス中に導入されました。この方法は、条件付き生成と無条件生成の両方でトレーニングすることで、条件情報をランダムに除く処理(conditioning dropout)を使用して、生成モデルが強化された条件付き結果を達成できることを観察しています。
2段階のトレーニング戦略
画像とテキストの生成間のドメインシフトが大きいため、MiniGPT-5フレームワークは、トレーニングのために2段階の戦略を使用します。
- UASまたは単一モダリティ整合段階です。
- MLSまたはマルチモーダル学習段階です。
初期段階では、フレームワークは、画像生成特徴とvoken特徴を、シングルテキスト画像ペアのデータセットで合わせます。ここで、各データサンプルにはテキストと画像が1つずつ含まれ、テキストは通常画像のキャプションです。この段階では、フレームワークは、LLMがvokenを生成するために、キャプションをLLMの入力として使用します。
UASが正常に実行されると、モデルは単一のテキスト記述に対して画像を生成できますが、言語と視覚の統合生成、テキスト画像ペア、複雑な推論には苦労します。この障害に対処するために、開発者は、VISTなどの統合されたビジョンと言語のデータセットを使用して、PEFTパラメータでMiniGPT-5フレームワークをさらにファインチューニングしました。この段階では、フレームワークは、データセットから3つの異なるタスクを構築します。
- テキストのみの生成:次の画像が与えられたときに関連するテキストを生成します。
- 画像のみの生成:次のテキストが与えられたときに関連する画像を生成します。
- マルチモーダル生成:与えられたコンテキストを使用して、テキスト画像ペアを生成します。
MiniGPT-5:ベンチマークと結果
そのパフォーマンスをマルチモーダル生成において包括的に評価するために、MiniGPT-5開発チームは、Divter、GILL、ファインチューニングされたユニモーダル生成モデルなどの他の有名なベースラインモデルと比較します。比較は以下の表に示されています。

MiniGPT-5フレームワークは、マルチモーダル出力がコンテキストに応じて意味的である可能性がある一方で、現実との差異がある可能性があることを認識しています。したがって、MiniGPT-5フレームワークは、モデルの性能を評価するために、人間による評価も取り入れます。全体として、MiniGPT-5フレームワークのマルチモーダルタスクの有効性は、3つの観点から評価されます。
- 言語の連続性:生成されたコンテンツが与えられたコンテキストとシームレスに一致するかどうかを評価します。
- 画像の品質:生成された画像の関連性と明瞭性を評価します。
- マルチモーダルな整合性:テキストと画像の統合出力が初期のコンテキストと一致するかどうかを判断します。
VIST最終ステップの評価
最初の実験段階では、MiniGPT-5フレームワークは、対応する画像を生成することを目的としています。以下の表は、この設定からの結果をまとめています。

表から見られるように、MiniGPT-5フレームワークは、3つの設定すべてで、ファインチューニングされたSD2フレームワークを上回っています。これは、MiniGPT-5パイプラインの有効性を強調しています。

上の図は、MiniGPT-5フレームワークとファインチューニングされたMiniGPT-4フレームワーク(リンクに関する注記:英語原文のリンク先はGPT-4とAGIの記事であり、MiniGPT-4の技術文書ではありません)のパフォーマンスを、S-BERT、Rouge-L、Meteorのパフォーマンスメトリックで比較しています。結果は、生成的なvokenを使用しても、マルチモーダルな理解タスクのパフォーマンスに悪影響がないことを示しています。また、MiniGPT-5フレームワークは、幅広いデータについて長い文脈のマルチモーダル入力プロンプトを利用し、元のモデルのマルチモーダル理解能力を損なわずに、高品質で一貫性のある画像を生成できることを示しています。

上の表は、5,000サンプルについて、マルチモーダルな整合性、画像品質、言語の連続性という観点から3つのフレームワークの生成性能を比較しています。結果は、MiniGPT-5フレームワークが他の2つのベースラインモデルよりも70%以上のケースで優れています。下の表は、CC3M検証データセットでの単一画像生成を示しています。データの制約により、Stable Diffusionを利用した場合のvokenの整合には課題が見られました。それでも、すべての評価指標での結果は、MiniGPT-5フレームワークが現在のベースラインであるGILLフレームワークよりも優れていることを示しています。


結論
この記事では、生成的なvokenを使用して、言語とビジョンの統合生成を実現する、MiniGPT-5というアルゴリズム技術について説明しました。MiniGPT-5フレームワークの主要なコンポーネントとアーキテクチャ、および現在のベースラインモデルと最先端モデルと比較して大幅な改善を示す結果について説明しました。MiniGPT-5は、マルチモーダルコンテンツとデータ生成の分野で新しいベンチマークを設定し、以前のモデルが同様の問題を解決しようとしたときに直面した課題を解決することを目指しています。












