Die jüngsten Fortschritte in text-zu-3D-Generierungsframeworks haben einen bedeutenden Meilenstein in generativen Modellen markiert. Sie eröffnen neue Möglichkeiten für die Erstellung von 3D-Assets in zahlreichen realen Szenarien. Digitale 3D-Assets haben nun einen unverzichtbaren Platz in unserer digitalen Präsenz, ermöglichen eine umfassende Visualisierung und Interaktion mit komplexen Umgebungen und Objekten, die unsere realen Erfahrungen widerspiegeln. Diese 3D-Generierungsframeworks werden in verschiedenen Bereichen eingesetzt, darunter Animation, Architektur, Gaming, erweiterte und virtuelle Realität und vieles mehr. Sie werden auch umfassend in Online-Konferenzen, Einzelhandel, Bildung und Marketing eingesetzt.

Dennoch stellt die umfassende Verwendung von 3D-Technologien ein großes Problem dar. Die Erstellung von hochwertigen 3D-Bildern und Medieninhalten erfordert immer noch erhebliche Zeit, Anstrengung, Ressourcen und Fachwissen. Selbst wenn diese Anforderungen erfüllt sind, scheitert die Text-zu-3D-Generierung oft daran, detaillierte und hochwertige 3D-Modelle zu rendern. Dieses Problem der Renderung und der schlechten 3D-Generierung ist in Frameworks, die die Score-Distillation-Sampling-(SDS)-Methode verwenden, besonders verbreitet. In diesem Artikel werden wir die bemerkenswerten Mängel diskutieren, die in Modellen, die die SDS-Methode verwenden, beobachtet wurden, und wie diese Mängel Inkonsistenzen und niedrige Qualität der Aktualisierungsrichtungen verursachen, was zu einem Überglättungseffekt auf der generierten Ausgabe führt. Wir werden auch das LucidDreamer-Framework vorstellen, einen neuen Ansatz, der die Interval-Score-Matching-(ISM)-Methode verwendet, um das Überglättungsproblem zu überwinden. Wir werden die Architektur des Modells und seine Leistung im Vergleich zu aktuellen text-zu-3D-Generierungsframeworks untersuchen. Also, los geht’s.

LucidDreamer3D: Eine Einführung in die 3D-Generierung mit Interval Score Matching

Ein wichtiger Grund, warum 3D-Generierungsmodelle im Mittelpunkt der generativen KI-Industrie stehen, ist ihre breite Anwendbarkeit in verschiedenen Bereichen und Branchen sowie ihre Fähigkeit, 3D-Inhalte in Echtzeit zu produzieren. Aufgrund ihrer weitreichenden praktischen Anwendungen haben Entwickler zahlreiche Ansätze für die Erstellung von 3D-Inhalten vorgeschlagen, von denen sich die text-zu-3D-Generierungsframeworks aufgrund ihrer Fähigkeit, ausschließlich Textbeschreibungen zur Erstellung von imaginativen 3D-Modellen zu verwenden, hervorheben. Text-zu-3D-Generierungsframeworks erreichen dies, indem sie ein vorge trainiertes text-zu-Bild-Diffusionsmodell als starkes Bild vor der Überwachung der Ausbildung eines neuronalen parameterisierten 3D-Modells verwenden, was die konsistente Renderung von 3D-Bildern ermöglicht, die dem Text entsprechen. Diese Fähigkeit, konsistente 3D-Bilder zu rendern, basiert auf der Verwendung der Score-Distillation-Sampling im Wesentlichen und ermöglicht es der SDS, als Kernmechanismus zu fungieren, um 2D-Ergebnisse von Diffusionsmodellen in ihre 3D-Gegenstücke umzuwandeln, was die Ausbildung von 3D-Modellen ohne die Verwendung von Trainingsbildern ermöglicht. Trotz ihrer Effektivität leiden 3D-Generierungsframeworks, die die SDS-Methode verwenden, oft unter Verzerrungen und Überglättungsproblemen, die die praktische Umsetzung von hochwertiger 3D-Generierung behindern.

Um die Überglättungsprobleme zu bekämpfen, implementiert das LucidDreamer-Framework einen ISM- oder Interval-Score-Matching-Ansatz, einen neuen Ansatz, der zwei wirksame Mechanismen verwendet. Erstens verwendet der ISM-Ansatz die DDIM-Inversionsmethode, um den Mittelungseffekt zu mildern, der durch inkonsistente Pseudo-Grundwahrheiten verursacht wird, indem er eine invertierbare Diffusionsbahn erzeugt. Zweitens entspricht der ISM-Ansatz nicht die von dem 3D-Modell gerenderten Bilder mit den Pseudo-Grundwahrheiten, sondern entspricht sie zwischen zwei Intervallschritten in der Diffusionsbahn, was hilft, einen hohen Rekonstruktionsfehler zu vermeiden, indem eine einstufige Rekonstruktion vermieden wird. Die Verwendung von ISM anstelle von SDS führt zu konsistenter hoher Leistung mit hochrealistischen und detaillierten Ausgaben.

Insgesamt zielt das LucidDreamer-Framework darauf ab, folgende Beiträge zur 3D-Generierungs-KI zu leisten

1. Bietet eine tiefe Analyse der SDS, des grundlegenden Konzepts in text-zu-3D-Generierungsframeworks, und identifiziert seine wichtigsten Einschränkungen von niedriger Qualität der Pseudo-Grundwahrheiten und liefert eine Erklärung für den Überglättungseffekt, der von diesen 3D-Generierungsframeworks erlebt wird.
2. Um die Einschränkungen, die durch den SDS-Ansatz verursacht werden, zu überwinden, führt das LucidDreamer-Framework Interval-Score-Matching ein, einen neuen Ansatz, der intervallbasiertes Matching und invertierbare Diffusionsbahnen verwendet, um SDS zu übertreffen und hochrealistische und detaillierte Ausgaben zu produzieren.
3. Erreicht eine Spitzenleistung, indem es die ISM-Methode mit 3D-Gaussian-Splatting integriert, um bestehende Methoden für die 3D-Inhalterstellung mit geringen Trainingskosten zu übertreffen.

SDS-Einschränkungen

Wie bereits erwähnt, ist SDS einer der beliebtesten Ansätze für text-zu-3D-Generierungsmodelle und sucht Modus für bedingte Posterior im latenten Raum von DDPM. Der SDS-Ansatz verwendet auch ein vorge trainiertes DDPM, um die bedingte Posterior zu modellieren, und zielt darauf ab, die 3D-Darstellungen für die bedingte Posterior zu destillieren, die durch die Minimierung der folgenden KL-Divergenz erreicht wird. Darüber hinaus verwendet der SDS-Ansatz auch das gewichtete Denoising-Score-Matching-Objekt für die DDP-Ausbildung. Das primäre Ziel des SDS-Ansatzes kann auch als Entsprechen der Ansicht des 3D-Modells mit der Pseudo-Grundwahrheit angesehen werden, die durch das DDPM in einem einzigen Schritt geschätzt wird, obwohl der Destillationsprozess oft wichtige Aspekte des DDPM-Komponenten übersehen kann, und die folgende Abbildung zeigt, wie ein vorge trainiertes DDPM dazu neigt, Pseudo-Grundwahrheiten mit inkonsistenten Merkmalen vorherzusagen und niedrige Qualität während des Destillationsprozesses zu produzieren.

Die Aktualisierungsrichtungen unter unerwünschten Umständen werden jedoch auf 3D-Darstellungen aktualisiert, die letztendlich zu überglätteten Ergebnissen führen. Darüber hinaus ist es erwähnenswert, dass die DDPM-Komponente eingabesensitiv ist und die Merkmale der Pseudo-Grundwahrheit sich erheblich ändern, selbst bei geringen Änderungen der Eingabe. Zudem kann die Zufälligkeit in beiden der Kameraposition und dem Rauschanteil der Eingaben zu Fluktuationen beitragen, die während der Destillation unvermeidlich sind. Die Optimierung der Eingabe für inkonsistente Pseudo-Grundwahrheiten führt zu durchschnittlichen Merkmalen. Was noch wichtiger ist, ist, dass der SDS-Ansatz Pseudo-Grundwahrheiten mit einer einzigen Schrittvorhersage für alle Zeitintervalle erhält und die Einschränkungen einer einzigen Schritt-DDPM-Komponente nicht berücksichtigt, die nicht in der Lage sind, hochwertige Ausgaben zu produzieren, was darauf hinweist, dass die Destillation von 3D-Assets oder Bildern mit einer SDS-Komponente möglicherweise nicht der beste Ansatz ist.

LucidDreamer: Methodik und Funktionsweise

Das LucidDreamer-Framework führt den ISM-Ansatz ein, aber es baut auch auf den Erkenntnissen aus anderen Frameworks auf, einschließlich text-zu-3D-Generierungsmodellen, Diffusionsmodellen und differenzierbaren 3D-Darstellungsframeworks. Mit diesem Hintergrund lassen Sie uns nun die Architektur und Methodik des LucidDreamer-Frameworks genauer betrachten.

Interval-Score-Matching oder ISM

Die Überglättung und die niedrige Qualität der Ausgaben, die von den meisten text-zu-3D-Generierungsframeworks erlebt werden, können dem Einsatz des SDS-Ansatzes zugeschrieben werden, der darauf abzielt, die Pseudo-Grundwahrheit mit den 3D-Darstellungen zu entsprechen, die inkonsistent und oft von minderwertiger Qualität sind. Um die Probleme, die durch SDS verursacht werden, zu überwinden, führt das LucidDreamer-Framework ISM oder Interval-Score-Matching ein, einen neuen Ansatz, der zwei Funktionsstufen hat. In der ersten Stufe erhält die ISM-Komponente konsistentere Pseudo-Grundwahrheiten während der Destillation, unabhängig von der Zufälligkeit in Kamerapositionen und Rauschen. In der zweiten Stufe generiert das Framework Pseudo-Grundwahrheiten mit besserer Qualität.

Eine weitere wichtige Einschränkung von SDS ist die Erzeugung von Pseudo-Grundwahrheiten mit einer einzigen Schrittvorhersage für alle Zeitintervalle, was es schwierig macht, hochwertige Pseudo-Grundwahrheiten zu garantieren, und es bildet die Grundlage, um die visuelle Qualität der Pseudo-Grundwahrheiten zu verbessern. In ähnlicher Weise kann das SDS-Objekt als Entsprechen der Ansicht des 3D-Modells mit der Pseudo-Grundwahrheit angesehen werden, die durch das DDPM in einem einzigen Schritt geschätzt wird, obwohl der Destillationsprozess einen wichtigen Aspekt des DDPM-Komponenten übersehen kann, nämlich die Erzeugung von niedriger Qualität und inkonsistenten Pseudo-Grundwahrheiten während des Destillationsprozesses.

Insgesamt verspricht die ISM-Komponente mehrere Vorteile gegenüber früheren Methoden, die in text-zu-3D-Generierungsmodellen verwendet werden. Erstens kann die ISM dank ihrer Fähigkeit, konsistente Pseudo-Grundwahrheiten von hoher Qualität zu liefern, hochwertige Destillationsausgaben mit feineren Strukturen und reicheren Details produzieren, was die Notwendigkeit für eine große Leitungsgröße eliminiert und die Flexibilität für die Erstellung von 3D-Inhalten erhöht. Zweitens hat der Übergang vom SDS-Ansatz zum ISM-Ansatz einen geringen Rechenaufwand, insbesondere da der ISM-Ansatz nicht auf die Gesamteffizienz verzichtet, obwohl er zusätzliche Rechenkosten für DDIM-Inversionen erfordert.

Die obige Abbildung zeigt die Funktionsweise des ISM-Ansatzes und bietet einen Überblick über die Architektur des LucidDreamer-Frameworks. Das Framework initialisiert zunächst die Gaussian-Splatting, also die 3D-Darstellungen, mithilfe eines vorge trainierten text-zu-3D-Generators mit einem Prompt. Es wird dann mit einem vorge trainierten 2D-DDPM-Komponenten kombiniert, um zufällige Ansichten zu störenden latenten Trajektionen mithilfe von DDIM-Inversionen zu aktualisieren und dann mit dem Intervall-Score zu aktualisieren. Dank seiner Architektur konzentriert sich der Kern der Optimierung der ISM-Komponente auf die Aktualisierung der 3D-Darstellungen in Richtung von Pseudo-Grundwahrheiten, die von hoher Qualität und konsistenten Merkmalen sind, aber rechenfreundlich. Dieses Prinzip ermöglicht es der ISM, mit den grundlegenden Zielen des SDS-Ansatzes zu übereinstimmen, während sie die bestehende Methode verfeinert.

DDIM-Inversion

Das LucidDreamer-Framework zielt darauf ab, konsistentere Pseudo-Grundwahrheiten in Übereinstimmung mit den 3D-Darstellungen zu produzieren. Daher verwendet das LucidDreamer-Framework anstelle der Erzeugung von 3D-Darstellungen den DDIM-Inversionsansatz, um latente 3D-Darstellungen vorherzusagen und eine invertierbare latente Traektorie in iterativer Weise vorherzusagen. Darüber hinaus ist es aufgrund der Invertierbarkeit der DDIM-Inversion, dass das LucidDreamer-Framework die Konsistenz der Pseudo-Grundwahrheit für alle Zeitintervalle erheblich erhöhen kann.

Erweiterte Generierungs-Pipeline

Das LucidDreamer-Framework führt auch eine erweiterte Pipeline ein, um die Faktoren zu untersuchen, die die visuelle Qualität der text-zu-3D-Generierung beeinflussen, und führt 3D-Gaussian-Splatting oder 3DGS als 3D-Generierungs- und 3D-Punktwolken-Generierungsmodelle für die Initialisierung ein.

3D-Gaussian-Splatting

Bestehende Arbeiten haben gezeigt, dass die Erhöhung der Batch-Größe und der Render-Auflösung während der Ausbildung die visuelle Qualität erheblich verbessert. Allerdings sind die meisten lernbaren 3D-Darstellungen, die für die text-zu-3D-Generierung verwendet werden, zeitaufwändig und speicherintensiv. Andererseits bietet der 3D-Gaussian-Splatting-Ansatz effiziente Ergebnisse in Bezug auf Optimierung und Rendering, was es der erweiterten Generierungs-Pipeline im LucidDreamer-Framework ermöglicht, eine große Batch-Größe sowie eine hochauflösende Rendering zu erreichen, auch wenn es mit begrenzten Rechenressourcen arbeitet.

Initialisierung

Die meisten state-of-the-art-text-zu-3D-Generierungsframeworks initialisieren ihre 3D-Darstellungen mit begrenzten Geometrien wie Kreisen, Boxen oder Zylindern, was oft zu unerwünschten Ausgaben bei nicht-axialsymmetrischen Objekten führt. Andererseits kann das LucidDreamer-Framework, da es 3D-Gaussian-Splatting als 3D-Darstellungen einführt, natürlicherweise auf mehrere text-zu-Punkt-Generierungsframeworks umgestellt werden, um eine grobe Initialisierung mit menschlichen Eingaben zu generieren. Die Initialisierungsstrategie beschleunigt letztendlich die Konvergenzgeschwindigkeit erheblich.

LucidDreamer: Experimente und Ergebnisse

Text-zu-3D-Generierung

Die obige Abbildung zeigt die Ergebnisse, die vom LucidDreamer-Modell mit dem ursprünglichen stabilen Diffusionsansatz generiert wurden, während die folgende Abbildung die generierten Ergebnisse auf verschiedenen fein abgestimmten Checkpoints diskutiert.

Wie zu sehen ist, ist das LucidDreamer-Framework in der Lage, hochkonsistente 3D-Inhalte mithilfe des Eingabetextes und semantischer Hinweise zu generieren. Darüber hinaus generiert das LucidDreamer-Framework mit der Verwendung von ISM intrikate und realistischere Bilder, während es gemeinsame Probleme wie Überverglättung oder Überverglättung vermeidet und sich hervorragend für die Erstellung von allgemeinen Objekten sowie für kreative Kreationen eignet.

ISM-Verallgemeinerung

Um die Verallgemeinerung von ISM zu bewerten, wird ein Vergleich zwischen ISM und SDS in expliziten und impliziten Darstellungen durchgeführt, und die Ergebnisse werden in der folgenden Abbildung gezeigt.

Qualitative Vergleich

Um die qualitative Effizienz des LucidDreamer-Frameworks zu analysieren, wird es mit aktuellen SoTA-Baseline-Modellen verglichen, und um einen fairen Vergleich zu gewährleisten, wird das Stable-Diffusion-2.1-Framework für die Destillation verwendet, und die Ergebnisse werden in der folgenden Abbildung gezeigt. Wie zu sehen ist, liefert das Framework hochwertige und geometrisch genaue Ergebnisse, während es weniger Ressourcen und Zeit verbraucht.

Darüber hinaus führen die Entwickler auch eine Benutzerstudie durch, um eine umfassendere Bewertung durchzuführen. Die Bewertung wählt 28 Prompts aus und verwendet verschiedene text-zu-3D-Generierungsansätze für jeden Prompt, um Objekte zu generieren. Die Ergebnisse wurden dann von den Benutzern auf der Grundlage des Grades der Übereinstimmung mit dem Eingabeprompt und ihrer Treue bewertet.

LucidDreamer: Anwendungen

Aufgrund seiner außergewöhnlichen Leistung bei einer Vielzahl von text-zu-3D-Generierungsaufgaben hat das LucidDreamer-Framework mehrere potenzielle Anwendungen, darunter Zero-Shot-Avatar-Generierung, personalisierte text-zu-3D-Generierung und Zero-Shot-2D- und 3D-Bearbeitung.

Das obere linke Bild zeigt das Potenzial von LucidDreamer bei Zero-Shot-2D- und 3D-Bearbeitungsaufgaben, während die unteren linken Bilder die Fähigkeit des Frameworks zeigen, personalisierte text-zu-3D-Ausgaben mit LoRA zu generieren, und das rechte Bild zeigt die Fähigkeit des Frameworks, 3D-Avatare zu generieren.

Final Thoughts

In diesem Artikel haben wir über LucidDreamer gesprochen, einen neuen Ansatz, der die Interval-Score-Matching-Methode verwendet, um das Überglättungsproblem zu überwinden, und haben die Modellarchitektur und ihre Leistung im Vergleich zu aktuellen text-zu-3D-Generierungsframeworks diskutiert. Wir haben auch darüber gesprochen, wie SDS oder Score-Distillation-Sampling, ein gemeinsamer Ansatz, der in den meisten state-of-the-art-text-zu-3D-Generierungsmodellen implementiert wird, oft zu einer Überglättung der generierten Bilder führt, und wie das LucidDreamer-Framework diesen Problem durch die Einführung eines neuen Ansatzes, der Interval-Score-Matching-Methode, begegnet, um hochwertige und realistischere 3D-Bilder zu generieren. Die Ergebnisse und die Bewertung zeigen die Effektivität des LucidDreamer-Frameworks bei einer Vielzahl von 3D-Generierungsaufgaben und wie das Framework bereits besser als aktuelle state-of-the-art-3D-Generierungsmodelle performt. Die außergewöhnliche Leistung des Frameworks ermöglicht eine Vielzahl von praktischen Anwendungen, wie bereits diskutiert.