最近のテキストから3D生成のためのAIフレームワークの進歩は、生成モデルにおいて重要な里程標を示しています。これにより、さまざまな実世界のシナリオで3Dアセットを作成するための新しい可能性が開けられました。デジタル3Dアセットは現在、複雑な環境やオブジェクトと対話するための包括的な視覚化とインタラクションを可能にするため、デジタル存在において不可欠な役割を果たしています。これらの3D生成AIフレームワークは、アニメーション、建築、ゲーム、拡張現実と仮想現実、そしてさらに多くの分野で応用されています。また、オンライン会議、小売、教育、そしてマーケティングでも広く使用されています。

しかし、テキストから3D生成フレームワークの進歩にもかかわらず、3Dテクノロジーの広範な使用は大きな問題を引き起こします。高品質の3D画像やメディアコンテンツを生成するには、まだ多くの時間、労力、リソース、そして熟練した専門知識が必要です。これらの要件を満たしたとしても、テキストから3D生成は詳細で高品質の3Dモデルをレンダリングすることに失敗することがよくあります。この問題は、スコア蒸留サンプリング（SDS）メソッドを使用するフレームワークで特に顕著です。この記事では、SDSメソッドを使用するモデルの著しい欠点について議論し、インターバルスコアマッチング（ISM）メソッドを使用するLucidDreamerフレームワークを紹介します。さらに、モデルのアーキテクチャと、最先端のテキストから3D生成フレームワークとの比較についても説明します。では、始めましょう。

LucidDreamer3D: インターバルスコアマッチングを用いた3D生成の紹介

3D生成モデルの話題となっている理由は、その幅広い応用と、実時間で3Dコンテンツを生成する能力にあると考えられます。実用的応用が広範囲にわたるため、開発者は多くの3Dコンテンツ生成アプローチを提案していますが、テキストから3D生成フレームワークは、テキスト記述のみを使用して想像力豊かな3Dモデルを生成する能力で他から際立っています。テキストから3D生成フレームワークは、事前トレーニングされたテキストから画像の拡散モデルを使用して、強力な画像を生成し、ニューラルパラメータ化された3Dモデルをトレーニングすることによってこれを実現します。こうして、テキストと一致する3D画像を一貫してレンダリングする能力がもたらされます。この3D画像を一貫してレンダリングする能力は、基本的にスコア蒸留サンプリングに基づいています。SDSは、2Dの結果を3Dのものに変換するための核となるメカニズムとして機能し、画像を使用せずに3Dモデルをトレーニングすることを可能にします。

しかし、SDSメソッドを使用する3D生成AIフレームワークは、歪みや過度の平滑化の問題に苦しんでいます。これは、高忠実度の3D生成の実用的応用を妨げる要因となっています。

LucidDreamerフレームワークは、過度の平滑化の問題に対処するために、ISMまたはインターバルスコアマッチングアプローチを実装しています。この新しいアプローチには、2つの効果的なメカニズムがあります。まず、ISMアプローチはDDIM逆変換メソッドを使用して、疑似グラウンドトゥルースの不一致によって引き起こされる平均化効果を軽減し、可逆な拡散トラジェクトリを生成します。次に、3Dモデルによって生成された画像を疑似グラウンドトゥルースと一致させるのではなく、拡散トラジェクトリの2つの間隔ステップ間で一致させることで、高再構築エラーを回避します。ISMをSDSよりも使用することで、常に高性能を発揮し、非常にリアルで詳細な出力が生成されます。

全体として、LucidDreamerフレームワークは、3D生成AIに以下の貢献を目指しています。

1. テキストから3D生成フレームワークの基本概念であるSDSの詳細な分析を提供し、その主な限界である低品質の疑似グラウンドトゥルースと、生成された出力の過度の平滑化の原因を説明します。
2. SDSアプローチの限界に対抗するために、LucidDreamerフレームワークはインターバルベースのマッチングと可逆な拡散トラジェクトリを使用する、新しいアプローチであるISMを導入します。ISMは、高度にリアルで詳細な出力を生成することでSDSを上回ります。
3. ISMメソッドを3Dガウシアンスプラッティングと統合することで、既存の方法を超える3Dコンテンツ生成の最先端のパフォーマンスを達成します。

SDSの限界

SDSは、テキストから3D生成モデルの最も人気のあるアプローチの1つであり、潜在的なポスト先行分布の条件付きポストを潜在的な空間で探します。SDSアプローチは、事前トレーニングされたDDPMを使用して条件付きポストをモデル化し、DDPMによって条件付きポストの3D表現を蒸留することを目指します。これは、KLダイバージェンスの最小化によって達成されます。さらに、SDSアプローチはDDPトレーニングのための加重ノイズ削減スコアマッチングオブジェクトを再利用します。SDSアプローチの主な目的は、3Dモデルのビューを、DDPMによって1ステップで推定された疑似グラウンドトゥルースと一致させることです。しかし、開発者は、蒸留プロセスがDDPMの重要な側面を無視し、蒸留プロセス中に低品質の出力が生成されることを観察しています。

しかし、望ましくない状況での更新方向は、最終的に過度に平滑化された結果につながります。さらに、DDPMコンポーネントは入力に敏感であり、入力のわずかな変更でも疑似グラウンドトゥルースの特徴が大きく変化します。さらに、カメラポーズや入力のノイズコンポーネントのランダム性は、蒸留中に変動を加える可能性があります。入力の最適化は、特徴の平均化された結果につながります。SDSアプローチは、すべての時間間隔に対して1ステップ予測で疑似グラウンドトゥルースを取得し、1ステップDDPMコンポーネントの限界を考慮していません。したがって、SDSコンポーネントを使用して3Dアセットや画像を蒸留することは、最も理想的なアプローチではない可能性があります。

LucidDreamer: 方法と動作

LucidDreamerフレームワークはISMアプローチを導入しますが、テキストから3D生成モデルの学習や、拡散モデル、そして可微分3D表現フレームワークからの学習も組み込んでいます。したがって、LucidDreamerフレームワークのアーキテクチャと方法について詳細に説明しましょう。

インターバルスコアマッチング（ISM）

テキストから3D生成フレームワークの大多数が直面している過度の平滑化や低品質出力の問題は、SDSアプローチの使用によるものです。SDSアプローチは、3D表現と、しばしば低品質で一貫性のない疑似グラウンドトゥルースを一致させることを目指しています。SDSの問題に対処するために、LucidDreamerフレームワークは、ISMまたはインターバルスコアマッチングという新しいアプローチを導入します。ISMには2つの動作ステージがあります。最初のステージでは、ISMコンポーネントは、カメラポーズやノイズのランダム性に関係なく、蒸留中により一貫した疑似グラウンドトゥルースを取得します。2番目のステージでは、フレームワークは、高品質の疑似グラウンドトゥルースを生成します。

SDSのもう1つの大きな限界は、すべての時間間隔に対して1ステップ予測で疑似グラウンドトゥルースを生成することです。これにより、高品質の疑似グラウンドトゥルースを保証することが難しくなります。同様に、SDSオブジェクトは、DDPMによって1ステップで推定された疑似グラウンドトゥルースと、3Dモデルのビューを一致させることを目指しています。ただし、蒸留プロセスは、DDPMコンポーネントの重要な側面、つまり低品質で一貫性のない特徴を持つ疑似グラウンドトゥルースを生成することを無視しています。

全体として、ISMコンポーネントは、以前の方法に比べていくつかの利点を提供します。まず、ISMは一貫した高品質の疑似グラウンドトゥルースを提供するため、より高忠実度の蒸留出力が生成され、より細かい構造や豊かな詳細が実現されます。これにより、大規模なガイダンススケールの必要性がなくなり、3Dコンテンツ作成の柔軟性が向上します。2番目に、SDSアプローチからISMアプローチへの移行は、DDIM逆変換のためにわずかな計算オーバーヘッドが発生するものの、全体的な効率性を損なうことはありません。

上記の図は、ISMアプローチの動作と、LucidDreamerフレームワークのアーキテクチャの概要を示しています。フレームワークは、事前トレーニングされたテキストから3Dジェネレータを使用して、プロンプトで3Dガウシアンスプラッティング（3D表現）を初期化します。次に、事前トレーニングされた2D DDPMコンポーネントを使用して、DDIM逆変換でランダムなビューをノイズの無条件ラテントトラジェクトリに変換し、次に間隔スコアで更新します。ISMコンポーネントの最適化の核心は、3D表現を、高品質で一貫した特徴を持つ疑似グラウンドトゥルースに向かって更新することに焦点を当てています。これは、ISMがSDSアプローチの基本的な目的と一致しながら、既存の方法を改良することを可能にします。

DDIM逆変換

LucidDreamerフレームワークは、3D表現と一致するより一貫した疑似グラウンドトゥルースを生成することを目指しています。したがって、3D表現を生成するのではなく、LucidDreamerフレームワークは、DDIM逆変換アプローチを使用して、ノイズの潜在的な3D表現を予測し、反復的に可逆なノイズ潜在的なトラジェクトリを予測します。さらに、DDIM逆変換の可逆性により、LucidDreamerフレームワークは、すべての時間間隔に対して疑似グラウンドトゥルースの一貫性を大幅に高めることができます。

高度な生成パイプライン

LucidDreamerフレームワークは、ISMに加えて、テキストから3D生成の視覚的な品質に影響を与える要因を探るために、高度なパイプラインを導入します。ここでは、3Dガウシアンスプラッティング（3DGS）を3D生成および3D点群生成モデルの初期化として使用します。

3Dガウシアンスプラッティング

既存の研究は、トレーニングのバッチサイズとレンダリング解像度を増やすと、視覚的な品質が大きく向上することを示しています。ただし、テキストから3D生成に採用されている大多数の学習可能な3D表現は、時間とメモリを大量に消費します。一方で、3Dガウシアンスプラッティングアプローチは、最適化とレンダリングの両方で効率的な結果を提供し、LucidDreamerフレームワークの高度な生成パイプラインが、制限された計算リソースでさえも大きなバッチサイズと高解像度のレンダリングを実現できるようにします。

初期化

最先端のテキストから3D生成フレームワークの大多数は、3D表現を、円、ボックス、またはシリンダーなどの限られた幾何学で初期化します。これにより、非軸対称オブジェクトでは望ましくない出力が生成されることがあります。一方で、LucidDreamerフレームワークは3Dガウシアンスプラッティングを3D表現として導入するため、人間の入力で粗い初期化を生成するために、テキストからポイント生成フレームワークに自然に適応できます。初期化戦略は、収束速度を大幅に向上させます。

LucidDreamer: 実験と結果

テキストから3D生成

上記の図は、LucidDreamerモデルが生成した結果を、元の安定拡散アプローチと比較しています。次の図は、さまざまなファインチューニングチェックポイントで生成された結果について説明しています。

LucidDreamerフレームワークは、入力テキストとセマンティックキューを使用して、高度に一貫した3Dコンテンツを生成する能力を示しています。さらに、ISMを使用することで、LucidDreamerフレームワークは、過度の平滑化や過剰な彩度などの一般的な問題を回避しながら、繊細でよりリアルな画像を生成します。また、一般的なオブジェクトだけでなく、創造的な創作も生成することができます。

ISMの汎用性

ISMの汎用性を評価するために、明示的な表現と暗黙的な表現の両方で、ISMとSDSの比較が行われ、結果は次の図に示されています。

定性的比較

LucidDreamerフレームワークの定性的効率を分析するために、現在のSoTAベースラインモデルと比較され、公平な比較を確保するために、蒸留にはStable Diffusion 2.1フレームワークを使用し、結果は次の図に示されています。フレームワークは、高忠実度で幾何学的に正確な結果を提供し、リソースと時間を大幅に削減します。

さらに、包括的な評価を提供するために、開発者はユーザー研究も実施しました。評価では、28個のプロンプトが選択され、各プロンプトで異なるテキストから3D生成アプローチを使用してオブジェクトを生成し、ユーザーが入力プロンプトとの一致度と忠実度に基づいて結果をランク付けしました。

LucidDreamer: アプリケーション

LucidDreamerフレームワークは、テキストから3D生成タスクの広範な分野で優れたパフォーマンスを示しているため、ゼロショットアバターエネレーション、パーソナライズドテキストから3D生成、ゼロショット2Dおよび3D編集などの潜在的なアプリケーションが多数あります。

左上の画像は、LucidDreamerのゼロショット2Dおよび3D編集タスクにおける潜在的なアプリケーションを示しています。左下の画像は、LoRAを使用したパーソナライズドテキストから3D出力の生成能力を示しています。右側の画像は、3Dアバターの生成能力を示しています。

最終的な考察

この記事では、ISMメソッドを使用するLucidDreamerフレームワークについて説明し、過度の平滑化の問題を解決するために導入された新しいアプローチについて説明しました。また、SDSまたはスコア蒸留サンプリングが、テキストから3D生成モデルの大多数で使用されているにもかかわらず、生成された画像の過度の平滑化につながることを示しました。LucidDreamerフレームワークは、ISMまたはインターバルスコアマッチングアプローチを導入することでこの問題に対処し、高忠実度でよりリアルな3D画像を生成します。結果と評価は、LucidDreamerフレームワークの広範な3D生成タスクに対する有効性を示し、既存の最先端の3D生成モデルのパフォーマンスを上回っていることを示しています。フレームワークの優れたパフォーマンスは、幅広い実用的アプリケーションの道を開きます。