オープンAIのDALL-E 3の詳細な解説

生成AIの世界では、最新の動向を追うことが欠かせません。画像生成ではStable DiffusionとMidjourneyが話題の中心でした。しかし、その状況が変わろうとしています。

大手テクノロジー企業Microsoft (MSFT )の支援を受けるOpenAIは、2023年9月20日にDALL·E 3を発表しました。

DALL-E 3は単に画像を作るだけでなく、思い描いたとおりにアイデアを形にするツールです。しかも非常に高速です。アイデアを入力すると、すぐに画像が出来上がります。

この記事では、DALL-E 3の仕組み、ほかのツールとの違い、そして役立つ理由を詳しく紹介します。デザイナー、アーティスト、豊富なアイデアを持つ人にとって、注目に値するツールです。

DALL·E 3は、DALL·E 2よりも文脈をよく理解します。以前のバージョンが見落としたり無視したりしていた細部まで捉え、依頼内容に忠実で、想像したものに近い画像を生成します。

さらにDALL·E 3はChatGPTと統合されました。アイデアを伝えるとChatGPTがプロンプトを調整し、DALL·E 3が画像にします。気に入らなければ、ChatGPTにプロンプトの修正と再生成を頼めます。月額20ドルでGPT-4、DALL·E 3、そのほかの機能を利用できます。

MicrosoftのBing Chatは、OpenAIのChatGPTより先にDALL·E 3を導入しました。大企業だけでなく誰でも無料で使え、Bing ChatとBing Image Creatorへの統合によって利用しやすくなっています。

拡散モデルの台頭

過去3年間、画像を扱うAIでは拡散モデルが台頭し、特に画像生成が大きく進歩しました。それ以前は、リアルな画像を生成する主流技術は敵対的生成ネットワーク（GAN）でした。

GANs

しかしGANには、大量のデータや計算能力が必要で、扱いが難しいという課題がありました。

そこで、より安定して効率的な代替手段として拡散モデルが登場しました。GANとは異なり、データにノイズを加えてランダムな状態にし、その逆の過程によってノイズから意味のあるデータを復元します。この方法は効果的で、必要な資源も少なく、AIコミュニティで注目されています。

転機となったのは2020年頃です。革新的な論文やOpenAIのCLIP技術が登場し、拡散モデルの能力が大きく進歩しました。文章からリアルな画像を作るテキスト画像生成が飛躍的に向上し、その進歩は画像だけでなく作曲や生物医学研究にも及んでいます。

現在、拡散モデルは学術的な研究対象にとどまらず、実社会でも活用されています。

生成モデリングと自己注意層：DALL-E 3

出典

重要な進歩の一つが生成モデリングの発展です。自己回帰型生成モデリングや拡散過程といったサンプリングに基づく手法が、テキスト画像モデルの性能を大幅に改善しました。画像生成を個別の段階に分けることで、問題を扱いやすくし、ニューラルネットワークによる学習も容易にしています。

自己注意層の利用も重要です。これらの層を積み重ねることで、畳み込みに伴う暗黙の空間的な帰納バイアスを必要とせずに画像を生成できます。Transformerのスケーリング特性はよく理解されており、テキスト画像モデルの規模拡大と安定した改善につながっています。

画像生成の課題と解決策

進歩があっても、画像生成を意図どおりに制御することは課題です。入力した文章に十分忠実でないなど、プロンプトへの追従に問題がありました。その対策として、訓練データ内の文章と画像の組み合わせの質を高める、キャプション改善などの手法が提案されています。

キャプション改善という新しい手法

画像の説明文であるキャプションを改善すると、より正確なテキスト画像モデルを訓練できます。高性能な画像キャプション生成器によって、詳細で正確な説明を作ります。改善したキャプションで学習したDALL-E 3は、人が撮影した写真や制作した作品に近い、優れた結果を実現しています。

合成データによる訓練

合成データで訓練する考え方自体は新しくありません。今回の独自性は、詳細な説明を作る新しい画像キャプションシステムにあります。生成モデルの訓練に合成キャプションを使うことで、プロンプトに正確に従う能力が向上しました。

DALL-E 3の評価

DALL-E 2やStable Diffusion XLとの複数の比較評価で、DALL-E 3は、特にプロンプトへの追従が求められるタスクで優れた性能を示しました。

各種評価におけるテキスト画像モデルの比較

自動評価とベンチマークによって、その能力を示す明確な根拠が得られ、最先端のテキスト画像生成器としての位置づけを強めています。

DALL-E 3のプロンプトと能力

DALL-E 3は、より論理的で洗練された方法で画像を作成します。生成された画像には、プロンプトに沿った正確さと想像力が組み合わされています。

以前のバージョンより、場面内に物を自然に配置し、手の指の本数まで含めて人の特徴を正確に描くことが得意です。細部も改善され、より高い解像度によって、リアルで専門的な仕上がりを実現しています。

文字の描画能力も大幅に向上しました。以前のDALL-Eが意味のない文字列を出していたのに対し、DALL-E 3は、場合によっては読みやすく整った文字や、きれいなロゴを生成できます。

複雑で微妙な指示への理解も進みました。複数の要素や具体的な指示を含む詳細な説明にも従い、一貫した構図の画像を生成します。以下は、実際に試したプロンプトと結果です。

オーガニックティーの商品シリーズのパッケージをデザインしてください。商品名と説明を入れるスペースを設けてください。

文章プロンプトに基づくDALL-E 3の画像（左側のポスターにはスペルの誤りがあります）