In den letzten Jahren hat es eine rasante Entwicklung in der Leistung, Effizienz und generativen Fähigkeiten neuer, innovativer AI-Generativmodelle gegeben, die umfangreiche Datensätze und 2D-Diffusionsgenerierungspraktiken nutzen. Heute sind generative AI-Modelle extrem fähig, verschiedene Formen von 2D- und bis zu einem gewissen Grad 3D-Medieninhalten wie Text, Bildern, Videos, GIFs und mehr zu generieren.

In diesem Artikel werden wir über das Zero123++-Framework sprechen, ein image-konditioniertes Diffusions-Generativmodell, das darauf abzielt, 3D-konsistente Multi-View-Bilder unter Verwendung eines einzelnen View-Inputs zu generieren. Um den Vorteil, der durch vorherige vorgefertigte Generativmodelle gewonnen wird, zu maximieren, implementiert das Zero123++-Framework zahlreiche Trainings- und Konditionierungsschemata, um den Aufwand zu minimieren, der zum Feintuning von Standard-Diffusions-Bildmodellen erforderlich ist. Wir werden uns tiefer mit der Architektur, der Funktionsweise und den Ergebnissen des Zero123++-Frameworks auseinandersetzen und seine Fähigkeit analysieren, konsistente Multi-View-Bilder hoher Qualität aus einem einzelnen Bild zu generieren. Also los geht’s.

Zero123 und Zero123++: Eine Einführung

Das Zero123++-Framework ist ein image-konditioniertes Diffusions-Generativmodell, das darauf abzielt, 3D-konsistente Multi-View-Bilder unter Verwendung eines einzelnen View-Inputs zu generieren. Das Zero123++-Framework ist eine Fortsetzung des Zero123- oder Zero-1-to-3-Frameworks, das die Zero-Shot-Neue-Ansicht-Bildsynthese-Technik nutzt, um Open-Source-Single-Image-zu-3D-Konversionen zu ermöglichen. Obwohl das Zero123++-Framework vielversprechende Leistungen liefert, weisen die von dem Framework generierten Bilder sichtbare geometrische Inkonsistenzen auf, und dies ist der Hauptgrund, warum die Lücke zwischen 3D-Szenen und Multi-View-Bildern noch immer besteht.

Das Zero-1-to-3-Framework dient als Grundlage für mehrere andere Frameworks, einschließlich SyncDreamer, One-2-3-45, Consistent123 und mehr, die zusätzliche Schichten zum Zero123-Framework hinzufügen, um konsistentere Ergebnisse bei der Generierung von 3D-Bildern zu erzielen. Andere Frameworks wie ProlificDreamer, DreamFusion, DreamGaussian und mehr folgen einem optimierungsbasierten Ansatz, um 3D-Bilder zu erhalten, indem sie ein 3D-Bild aus verschiedenen inkonsistenten Modellen destillieren. Obwohl diese Techniken effektiv sind und zufriedenstellende 3D-Bilder generieren, könnten die Ergebnisse durch die Implementierung eines Basis-Diffusionsmodells, das in der Lage ist, konsistente Multi-View-Bilder zu generieren, verbessert werden. Daher nimmt das Zero123++-Framework das Zero-1-to-3- und feintuningt ein neues Multi-View-Basis-Diffusionsmodell von Stable Diffusion.

Im Zero-1-to-3-Framework wird jede neue Ansicht unabhängig generiert, und dieser Ansatz führt zu Inkonsistenzen zwischen den generierten Ansichten, da Diffusionsmodelle eine Stichproben-Natur haben. Um dieses Problem zu lösen, nutzt das Zero123++-Framework einen Tiling-Layout-Ansatz, bei dem das Objekt von sechs Ansichten in ein einzelnes Bild umgeben wird, und stellt sicher, dass die richtige Modellierung für die gemeinsame Verteilung der Multi-View-Bilder des Objekts erfolgt.

Ein weiteres großes Problem, mit dem Entwickler, die an dem Zero-1-to-3-Framework arbeiten, konfrontiert sind, ist, dass es die Fähigkeiten, die von Stable Diffusion angeboten werden, nicht voll ausschöpft, was letztendlich zu Ineffizienz und zusätzlichen Kosten führt. Es gibt zwei Hauptgründe, warum das Zero-1-to-3-Framework die Fähigkeiten von Stable Diffusion nicht voll ausschöpfen kann

1. Wenn mit Bildbedingungen trainiert wird, schließt das Zero-1-to-3-Framework die lokalen oder globalen Konditionierungsmechanismen, die von Stable Diffusion angeboten werden, nicht effektiv ein.
2. Während des Trainings verwendet das Zero-1-to-3-Framework eine reduzierte Auflösung, ein Ansatz, bei dem die Ausgabeauflösung unter der Trainingsauflösung reduziert wird, was die Qualität der Bildgenerierung für Stable-Diffusion-Modelle verringern kann.

Um diese Probleme zu lösen, implementiert das Zero123++-Framework eine Reihe von Konditionierungstechniken, die die Nutzung der Ressourcen, die von Stable Diffusion angeboten werden, maximieren und die Qualität der Bildgenerierung für Stable-Diffusion-Modelle aufrechterhalten.

Verbesserung der Konditionierung und Konsistenz

In einem Versuch, die Bildkonditionierung und die Konsistenz der Multi-View-Bilder zu verbessern, hat das Zero123++-Framework verschiedene Techniken implementiert, mit dem primären Ziel, vorherige Techniken aus dem vorgefertigten Stable-Diffusion-Modell wiederzuverwenden.

Multi-View-Generierung

Die unverzichtbare Qualität der Generierung konsistenter Multi-View-Bilder liegt in der korrekten Modellierung der gemeinsamen Verteilung mehrerer Bilder. Im Zero-1-to-3-Framework wird die Korrelation zwischen Multi-View-Bildern ignoriert, da für jedes Bild die Bedingungsmarginalverteilung unabhängig und separat modelliert wird. Im Zero123++-Framework haben die Entwickler jedoch einen Tiling-Layout-Ansatz gewählt, bei dem 6 Bilder in ein einzelnes Bild/Fenster für konsistente Multi-View-Generierung gekachelt werden, und der Prozess wird in dem folgenden Bild demonstriert.

Darüber hinaus wurde festgestellt, dass Objekt-Orientierungen tendenziell entambiguisieren, wenn das Modell auf Kameraposen trainiert wird, und um diese Entambiguisierung zu verhindern, trainiert das Zero-1-to-3-Framework auf Kameraposen mit Elevationswinkeln und relativer Azimut zum Eingabebild. Um diesen Ansatz umzusetzen, ist es notwendig, den Elevationswinkel der Ansicht des Eingabebilds zu kennen, der dann verwendet wird, um die relative Pose zwischen den neuen Eingabeansichten zu bestimmen. Um diesen Elevationswinkel zu kennen, fügen Frameworks oft ein Elevations-Schätzungsmodul hinzu, und dieser Ansatz führt oft zu zusätzlichen Fehlern in der Pipeline.

Rauschplan

Der skalierte lineare Zeitplan, der ursprüngliche Rauschplan für Stable Diffusion, konzentriert sich hauptsächlich auf lokale Details, aber wie im folgenden Bild zu sehen ist, hat er sehr wenige Schritte mit niedrigem SNR oder Signal-Rausch-Verhältnis.

Diese Schritte mit niedrigem Signal-Rausch-Verhältnis treten früh während der Entrauschungsphase auf, einer Phase, die für die Bestimmung der globalen, niedrigen Frequenzstruktur entscheidend ist. Die Reduzierung der Anzahl der Schritte während der Entrauschungsphase, entweder während der Interferenz oder des Trainings, führt oft zu einer größeren strukturellen Variation. Obwohl diese Konfiguration ideal für die Generierung von Einzelbildern ist, begrenzt sie die Fähigkeit des Frameworks, die globale Konsistenz zwischen verschiedenen Ansichten sicherzustellen. Um diese Hürde zu überwinden, feintuningt das Zero123++-Framework ein LoRA-Modell auf dem Stable-Diffusion-2-v-Prädiktionsframework, um eine Spielzeugaufgabe auszuführen, und die Ergebnisse werden unten demonstriert.

Mit dem skalierten linearen Rauschplan überfittet das LoRA-Modell nicht, sondern blegt das Bild nur leicht. Im Gegensatz dazu generiert das LoRA-Modell, wenn es mit dem linearen Rauschplan arbeitet, ein leeres Bild erfolgreich, unabhängig vom Eingabeprompt, was die Auswirkung des Rauschplans auf die Fähigkeit des Frameworks zeigt, sich an neue Anforderungen global anzupassen.

Skalierte Referenz-Aufmerksamkeit für lokale Bedingungen

Die einzelne View-Eingabe oder die Konditionsbilder im Zero-1-to-3-Framework werden im Merkmalsbereich mit den verrauschten Eingaben verkettet, um für die Bildkonditionierung zu rauschen.

Diese Verkettung führt zu einer falschen pixelweisen räumlichen Übereinstimmung zwischen dem Zielbild und der Eingabe. Um eine ordnungsgemäße lokale Konditions-Eingabe bereitzustellen, nutzt das Zero123++-Framework eine skalierte Referenz-Aufmerksamkeit, ein Ansatz, bei dem ein Entschärfungs-UNet-Modell auf einem zusätzlichen Referenzbild ausgeführt wird, gefolgt von der Anfügung von Wertematrizen und Selbst-Aufmerksamkeitsschlüsseln vom Referenzbild zu den jeweiligen Aufmerksamkeitsschichten, wenn die Modell-Eingabe entschärft wird, und dies wird im folgenden Bild demonstriert.

Der Referenz-Aufmerksamkeitsansatz ist in der Lage, das Diffusionsmodell zu leiten, um Bilder zu generieren, die eine ähnliche Textur mit dem Referenzbild und semantischen Inhalt ohne Feinabstimmung aufweisen. Mit Feinabstimmung liefert der Referenz-Aufmerksamkeitsansatz überlegene Ergebnisse, wenn das Latent skaliert wird.

Globale Konditionierung: FlexDiffuse

Im ursprünglichen Stable-Diffusion-Ansatz sind die Text-Embeddings die einzige Quelle für globale Embeddings, und der Ansatz nutzt das CLIP-Framework als Text-Encoder, um Kreuzbefragungen zwischen den Text-Embeddings und den Modell-Latenten durchzuführen. Als Ergebnis können Entwickler die Ausrichtung zwischen den Text-Räumen und den resultierenden CLIP-Bildern nutzen, um globale Bildkonditionierungen durchzuführen.

Das Zero123++-Framework schlägt vor, eine trainierbare Variante des linearen Leitmechanismus zu nutzen, um die globale Bildkonditionierung in das Framework mit minimaler Feinabstimmung einzubringen, und die Ergebnisse werden im folgenden Bild demonstriert. Wie zu sehen ist, ist die Qualität des von dem Framework generierten Inhalts ohne die Anwesenheit einer globalen Bildkonditionierung für sichtbare Bereiche, die dem Eingabebild entsprechen, zufriedenstellend. Die Qualität des von dem Framework generierten Bilds für unsichtbare Bereiche verschlechtert sich jedoch erheblich, was hauptsächlich auf die Unfähigkeit des Modells zurückzuführen ist, die globalen Semantiken des Objekts abzuleiten.

Modellarchitektur

Das Zero123++-Framework wird mit dem Stable-Diffusion-2v-Modell als Grundlage unter Verwendung der verschiedenen Ansätze und Techniken trainiert, die in diesem Artikel erwähnt werden. Das Zero123++-Framework wird auf dem Objaverse-Datensatz vorgefertigt, der mit zufälliger HDRI-Beleuchtung gerendert wird. Das Framework nutzt auch den phasenweisen Trainingsplan-Ansatz, der im Stable-Diffusion-Bild-Variationen-Framework verwendet wird, um den Feinabstimmungsaufwand weiter zu minimieren und so viel wie möglich von der vorherigen Stable-Diffusion zu erhalten.

Die Funktionsweise oder Architektur des Zero123++-Frameworks kann weiter in sequenzielle Schritte oder Phasen unterteilt werden. Die erste Phase sieht das Feinabstimmung der KV-Matrizen der Kreuz-Aufmerksamkeitsschichten und der Selbst-Aufmerksamkeitsschichten von Stable Diffusion mit AdamW als Optimizer, 1000 Warm-up-Schritten und dem Cosinus-Lernrate-Plan vor, der bei 7×10-5 maximiert. In der zweiten Phase verwendet das Framework eine sehr konservative konstante Lernrate mit 2000 Warm-up-Sätzen und verwendet den Min-SNR-Ansatz, um die Effizienz während des Trainings zu maximieren.

Zero123++: Ergebnisse und Leistungsvergleich

Qualitative Leistung

Um die Leistung des Zero123++-Frameworks auf der Grundlage der generierten Qualität zu bewerten, wird es mit SyncDreamer und Zero-1-to-3-XL verglichen, zwei der besten State-of-the-Art-Frameworks für die Inhaltsgenerierung. Die Frameworks werden mit vier Eingabebildern mit unterschiedlichem Umfang verglichen. Das erste Bild ist eine elektrische Spielzeugkatze, die direkt aus dem Objaverse-Datensatz stammt und eine große Unsicherheit am hinteren Ende des Objekts aufweist. Das zweite Bild ist ein Feuerlöscher, und das dritte Bild ist ein Hund, der auf einer Rakete sitzt, der von dem SDXL-Modell generiert wurde. Das letzte Bild ist eine Anime-Illustration. Die erforderlichen Elevations-Schritte für die Frameworks werden durch die Verwendung der Elevations-Schätzungsmethode des One-2-3-4-5-Frameworks und der Entfernung des Hintergrunds durch das SAM-Framework erreicht. Wie zu sehen ist, generiert das Zero123++-Framework konsistente Multi-View-Bilder hoher Qualität und kann sich auf out-of-Domain-2D-Illustrationen und AI-generierte Bilder gleichermaßen gut verallgemeinern.

Quantitative Analyse

Um das Zero123++-Framework quantitativ mit den State-of-the-Art-Frameworks Zero-1-to-3 und Zero-1-to-3-XL zu vergleichen, bewerten die Entwickler den Learned Perceptual Image Patch Similarity (LPIPS)-Score dieser Modelle auf dem Validierungs-Teil-Datensatz, einem Teil des Objaverse-Datensatzes. Um die Leistung des Modells bei der Multi-View-Bildgenerierung zu bewerten, kacheln die Entwickler die Ground-Truth-Referenzbilder und 6 generierte Bilder jeweils und berechnen dann den LPIPS-Score. Die Ergebnisse werden unten demonstriert und wie zu sehen ist, erreicht das Zero123++-Framework die beste Leistung auf dem Validierungs-Teil-Set.

Text-zu-Multi-View-Bewertung

Um die Fähigkeit des Zero123++-Frameworks bei der Text-zu-Multi-View-Inhaltsgenerierung zu bewerten, verwenden die Entwickler zunächst das SDXL-Framework mit Text-Prompts, um ein Bild zu generieren, und verwenden dann das Zero123++-Framework auf dem generierten Bild. Die Ergebnisse werden im folgenden Bild demonstriert und wie zu sehen ist, liefert das Zero123++-Framework im Vergleich zum Zero-1-to-3-Framework, das keine konsistente Multi-View-Generierung garantieren kann, konsistente, realistische und detaillierte Multi-View-Bilder durch die Implementierung des Text-zu-Bild-zu-Multi-View-Ansatzes oder Pipelines.

Zero123++-Tiefen-ControlNet

Zusätzlich zum Basis-Zero123++-Framework haben die Entwickler auch das Depth-ControlNet Zero123++ veröffentlicht, eine tiefenkontrollierte Version des ursprünglichen Frameworks, die mit der ControlNet-Architektur aufgebaut wird. Die normalisierten linearen Bilder werden in Bezug auf die nachfolgenden RGB-Bilder gerendert und ein ControlNet-Framework wird trainiert, um die Geometrie des Zero123++-Frameworks unter Verwendung von Tiefenwahrnehmung zu kontrollieren.

Schlussfolgerung

In diesem Artikel haben wir über Zero123++ gesprochen, ein image-konditioniertes Diffusions-Generativmodell, das darauf abzielt, 3D-konsistente Multi-View-Bilder unter Verwendung eines einzelnen View-Inputs zu generieren. Um den Vorteil, der durch vorherige vorgefertigte Generativmodelle gewonnen wird, zu maximieren, implementiert das Zero123++-Framework zahlreiche Trainings- und Konditionierungsschemata, um den Aufwand zu minimieren, der zum Feintuning von Standard-Diffusions-Bildmodellen erforderlich ist. Wir haben auch die verschiedenen Ansätze und Verbesserungen diskutiert, die das Zero123++-Framework implementiert, um Ergebnisse zu erzielen, die mit denen der aktuellen State-of-the-Art-Frameworks vergleichbar sind oder diese sogar übertreffen.

Trotz seiner Effizienz und Fähigkeit, konsistente Multi-View-Bilder hoher Qualität zu generieren, hat das Zero123++-Framework noch einige Verbesserungspotenziale, mit potenziellen Forschungsbereichen wie einem

• Zwei-Stufen-Verfeinerungsmodell, das die Unfähigkeit von Zero123++ lösen könnte, globale Anforderungen an die Konsistenz zu erfüllen.
• Weitere Skalierungen, um die Fähigkeit von Zero123++ zu verbessern, Bilder noch höherer Qualität zu generieren.