De recente vooruitgang in tekst-naar-3D-generatieve AI-kaders heeft een belangrijke mijlpaal gemarkeerd in generatieve modellen. Ze openen de weg voor nieuwe mogelijkheden om 3D-middelen te creëren in tal van echte scenario’s. Digitale 3D-middelen nemen nu een onmisbare plaats in in onze digitale aanwezigheid, waardoor we complexe omgevingen en objecten kunnen visualiseren en ermee kunnen interacteren die onze echte wereldervaringen weerspiegelen. Deze 3D-generatieve AI-kaders worden toegepast in verschillende domeinen, waaronder animatie, architectuur, gaming, augmented en virtuele realiteit, en veel meer. Ze worden ook op grote schaal gebruikt in online conferenties, retail, onderwijs en marketing.

Er is echter een groot probleem bij het uitgebreide gebruik van 3D-technologieën. Het genereren van hoge-kwaliteit 3D-afbeeldingen en mediainhoud vereist nog steeds veel tijd, moeite, middelen en gespecialiseerde expertise. Zelfs met deze vereisten, faalt tekst-naar-3D-generatie vaak om gedetailleerde en hoge-kwaliteit 3D-modellen te renderen. Dit probleem van rendering en lage kwaliteit 3D-generatie komt vaker voor in kaders die de Score Distillation Sampling (SDS)-methode gebruiken. In dit artikel zullen we de opvallende tekortkomingen bespreken die worden waargenomen in modellen die de SDS-methode gebruiken, die inconsistenties en lage kwaliteit bijwerken en resulteren in een over-uitvloeiingseffect op de gegenereerde uitvoer. We zullen ook de LucidDreamer-kader introduceren, een novelle aanpak die de Interval Score Matching (ISM)-methode gebruikt om het over-uitvloeiingsprobleem te overwinnen. We zullen het modelonderzoek en de prestaties tegenover de state-of-the-art tekst-naar-3D-generatieve kaders onderzoeken. Laten we dus beginnen.

LucidDreamer3D: Een inleiding tot 3D-generatie met Interval Score Matching

Een belangrijke reden waarom 3D-generatie-modellen het gespreksonderwerp zijn van de generatieve AI-industrie, is vanwege hun wijdverspreide toepassingen in verschillende domeinen en industrieën, en hun vermogen om 3D-inhoud in real-time te produceren. Vanwege hun wijdverspreide praktische toepassingen, hebben ontwikkelaars verschillende benaderingen voor 3D-inhoudgeneratie voorgesteld, waarvan tekst-naar-3D-generatie-kaders zich onderscheiden van de rest vanwege hun vermogen om alleen tekstbeschrijvingen te gebruiken om imaginative 3D-modellen te genereren. Tekst-naar-3D-generatie-kaders bereiken dit door een vooraf getrainde tekst-naar-afbeeldingsdiffusiemodel te gebruiken als een sterk beeld voordat de training van een neuronale parameterized 3D-model wordt gedaan, waardoor 3D-afbeeldingen consistent kunnen worden gegenereerd die overeenkomen met de tekst. Deze mogelijkheid om constante 3D-afbeeldingen te renderen is gebaseerd op het gebruik van de Score Distillation Sampling, en stelt de SDS in staat om als de kernmechanisme te fungeren om 2D-resultaten van diffusiemodellen om te zetten in hun 3D-tegenhangers, waardoor het trainen van 3D-modellen zonder het gebruik van trainingsafbeeldingen mogelijk wordt. Ondanks hun effectiviteit, lijden 3D-generatieve AI-kaders die de SDS-methode gebruiken, vaak aan vertekening en over-uitvloeiingsproblemen die de praktische implementaties van hoge kwaliteit 3D-generatie belemmeren.

Om de over-uitvloeiingsproblemen aan te pakken, implementeert de LucidDreamer-kader de ISM- of Interval Score Matching-benadering, een novelle benadering die twee effectieve mechanismen gebruikt. Ten eerste gebruikt de ISM-benadering de DDIM-inversiemethode om het gemiddelde effect te mitigeren dat wordt veroorzaakt door pseudo-Grondwaarheid-inconsistenties door een omkeerbare diffusietraject te produceren. Ten tweede, in plaats van de afbeeldingen die door het 3D-model worden gegenereerd, te matchen met de pseudo-Grondwaarheden, matcht de ISM-methode ze tussen twee intervalstappen in de diffusietraject, waardoor het een hoge reconstructiefout kan vermijden door een enkele reconstructie te vermijden. Het gebruik van ISM in plaats van SDS resulteert in consistent hoge prestaties met hoogwaardige en gedetailleerde uitvoer.

Over het algemeen heeft de LucidDreamer-kader de volgende bijdragen aan 3D-generatieve AI

1. Biedt een diepgaande analyse van SDS, het fundamentele concept in tekst-naar-3D-generatie-kaders, en identificeert de belangrijkste beperkingen van lage kwaliteit pseudo-Grondwaarheden, en biedt een verklaring voor het over-uitvloeiingseffect dat wordt waargenomen in deze 3D-generatie-kaders.
2. Om de beperkingen van de SDS-benadering te counteren, introduceert de LucidDreamer-kader Interval Score Matching, een novelle benadering die interval-gebaseerde matching en omkeerbare diffusietrajecten gebruikt om SDS te overtreffen door hoogwaardige en gedetailleerde uitvoer te produceren.
3. Bereikt state-of-the-art-prestaties door ISM te integreren met 3D-Gaussian Splatting om bestaande methoden voor 3D-inhoudgeneratie te overtreffen met lage trainingskosten.

SDS-beperkingen

Zoals eerder vermeld, is SDS een van de meest populaire benaderingen voor tekst-naar-3D-generatie-modellen, en het zoekt modi voor conditionele post-prior in de latent ruimte van DDPM. De SDS-benadering gebruikt ook een vooraf getrainde DDPM om de conditionele posterior te modelleren, en streeft ernaar de 3D-representaties voor conditionele posterior te destilleren door de volgende KL-divergentie te minimaliseren. Bovendien gebruikt de SDS-benadering ook de gewogen denoising score matching-objectief voor DDP-training. Het primaire doel van de SDS-benadering kan ook worden gezien als het matchen van het zicht van het 3D-model met de pseudo-grondwaarheid die in één stap wordt geschat door de DDPM. Echter, ontwikkelaars hebben opgemerkt dat het destillatieproces vaak belangrijke aspecten van DDPM overslaat, en de volgende figuur toont aan hoe een vooraf getrainde DDPM de neiging heeft om pseudo-grondwaarheden met inconsistentie te voorspellen, en lage kwaliteit uitvoer produceert tijdens het destillatieproces.

Echter, bijwerken van richtingen onder ongewenste omstandigheden worden bijgewerkt naar 3D-representaties die uiteindelijk leiden tot over-uitgevlakte resultaten. Bovendien is het de moeite waard om op te merken dat de DDPM-component invoer-gevoelig is, en de kenmerken van de pseudo-grondwaarheid veranderen aanzienlijk, zelfs met de geringste verandering in de invoer. Bovendien kan de randomiteit in zowel de camera-houding als de ruiscomponent van de invoer bijdragen aan de fluctuaties die onvermijdelijk zijn tijdens het destillatieproces. Optimaliseren van de invoer voor inconsistentie pseudo-Grondwaarheden resulteert in uitkomsten met kenmerken. Wat meer is, de SDS-benadering verkrijgt pseudo-grondwaarheden met een enkele stap voorspelling voor alle tijdsintervallen, en negeert de beperkingen van een enkele stap-DDPM-component die niet in staat zijn om hoge kwaliteit uitvoer te produceren, wat aangeeft dat het destilleren van 3D-middelen of afbeeldingen met de SDS-component mogelijk niet de meest ideale benadering is.

LucidDreamer: Methodologie en werking

De LucidDreamer-kader introduceert de ISM-benadering, maar het bouwt ook voort op de kennis van andere kaders, waaronder tekst-naar-3D-generatie-modellen, diffusie-modellen en differentieerbare 3D-representatie-kaders. Met dat gezegd hebbende, laten we een gedetailleerd onderzoek doen naar de architectuur en methodologie van de LucidDreamer-kader.

Interval Score Matching of ISM

De over-uitvloeiing en lage kwaliteit uitvoer problemen die worden waargenomen in de meeste tekst-naar-3D-generatie-kaders, kunnen worden toegeschreven aan hun gebruik van de SDS-benadering die ernaar streeft om de pseudo-grondwaarheid te matchen met de 3D-representaties die inconsistent en vaak van lage kwaliteit zijn. Om de problemen die worden waargenomen in SDS aan te pakken, introduceert de LucidDreamer-kader ISM of Interval Score Matching, een novelle benadering die twee werkbare fasen heeft. In de eerste fase, verkrijgt de ISM-component meer consistente pseudo-grondwaarheden tijdens het destillatieproces, ongeacht de randomiteit in camera-houdingen en ruis. In de tweede fase, genereert de kader pseudo-grondwaarheden met betere kwaliteit.

Een andere belangrijke beperking van SDS is het genereren van pseudo-grondwaarheden met een enkele stap voorspelling voor alle tijdsintervallen, wat het moeilijk maakt om hoge kwaliteit pseudo-grondwaarheden te garanderen, en het vormt de basis voor het verbeteren van de visuele kwaliteit van de pseudo-grondwaarheden. Op een soortgelijke manier kan het SDS-objectief worden gezien als het matchen van het zicht van het 3D-model met de pseudo-grondwaarheid die in één stap wordt geschat door de DDPM, hoewel het destillatieproces een kritisch aspect van de DDPM-component overslaat, namelijk dat het lage kwaliteit pseudo-grondwaarheden met inconsistentie produceert tijdens het destillatieproces.

Over het algemeen belooft de ISM-component verschillende voordelen boven voorgaande methoden die worden gebruikt in tekst-naar-3D-generatie-modellen. Ten eerste, dankzij de mogelijkheid van ISM om consistent hoge kwaliteit pseudo-grondwaarheden te produceren, is het in staat om hoge kwaliteit destillatie-uitvoer te produceren met fijne structuren en rijke details, waardoor de noodzaak voor grote schaalbegeleiding wordt geëlimineerd, en de flexibiliteit voor 3D-inhoudcreatie wordt verbeterd. Ten tweede, het overschakelen van de SDS-benadering naar de ISM-benadering heeft een marginale computationele overhead, vooral omdat de ISM-benadering de algehele efficiëntie niet compromitteert, zelfs als het extra computationele kosten vraagt voor DDIM-inversies.

De bovenstaande figuur toont de werking van de ISM-benadering en biedt een overzicht van de architectuur van de LucidDreamer-kader. De kader initialiseert eerst de Gaussian Splatting, namelijk de 3D-representaties, met behulp van een vooraf getrainde tekst-naar-3D-generator met een prompt. Vervolgens wordt het geïntegreerd met een vooraf getrainde 2D DDPM-component om willekeurige views te storen in lawaaierige onvoorwaardelijke latent trajecten met behulp van DDIM-inversies, en vervolgens bijgewerkt met de interval score. Dankzij de architectuur, richt de kern van het optimaliseren van de ISM-component zich op het bijwerken van de 3D-representaties naar pseudo-grondwaarheden die van hoge kwaliteit en consistent zijn, maar computationeel vriendelijk. Dit principe is wat ISM in staat stelt om te aligneren met de fundamentele doelstellingen van de SDS-benadering, terwijl het bestaande methoden verfijnt.

DDIM-inversie

De LucidDreamer-kader streeft ernaar om meer consistente pseudo-grondwaarheden te produceren in overeenstemming met de 3D-representaties. Daarom, in plaats van 3D-representaties te produceren, gebruikt de LucidDreamer-kader de DDIM-inversie-benadering om ruis latent 3D-representaties te voorspellen, en voorspelt een omkeerbare ruis latent traject in een iteratieve manier. Bovendien is het vanwege de omkeerbaarheid van DDIM-inversie dat de LucidDreamer-kader in staat is om de consistentie van de pseudo-grondwaarheid aanzienlijk te verhogen voor alle tijdsintervallen.

Geavanceerde generatiepijplijn

De LucidDreamer-kader introduceert ook een geavanceerde pijplijn, naast ISM, om de factoren te onderzoeken die de visuele kwaliteit van tekst-naar-3D-generatie beïnvloeden, en introduceert 3D-Gaussian Splatting of 3DGS als 3D-generatie- en 3D-puntenwolkgeneratie-modellen voor initialisatie.

3D-Gaussian Splatting

Bestaande werken hebben aangetoond dat het verhogen van de batchgrootte en renderresolutie voor training de visuele kwaliteit aanzienlijk verbetert. Echter, de meeste leerbare 3D-representaties die worden gebruikt voor tekst-naar-3D-generatie, zijn tijdrovend en geheugenintensief. Aan de andere kant, biedt de 3D-Gaussian Splatting-benadering efficiënte resultaten in zowel optimalisatie als rendering, waardoor de geavanceerde generatiepijplijn in de LucidDreamer-kader in staat is om grote batchgroottes en hoge resolutie rendering te bereiken, zelfs bij beperkte computationele middelen.

Initialisatie

De meeste state-of-the-art tekst-naar-3D-generatie-kaders initialiseren hun 3D-representaties met beperkte geometrieën zoals cirkels, dozen of cilinders, wat vaak ongewenste uitvoer oplevert voor niet-axiale symmetrische objecten. Aan de andere kant, aangezien de LucidDreamer-kader 3D-Gaussian Splatting introduceert als 3D-representaties, kan de kader natuurlijk worden aangepast aan verschillende tekst-naar-punt-generatie-kaders om een grove initialisatie te genereren met menselijke invoer. De initialisatie-strategie verhoogt uiteindelijk de convergentiesnelheid aanzienlijk.

LucidDreamer: Experimenten en resultaten

Tekst-naar-3D-generatie

De bovenstaande figuur toont de resultaten die zijn gegenereerd door de LucidDreamer-model met de oorspronkelijke stabiele diffusie-benadering, terwijl de volgende figuur spreekt over de gegenereerde resultaten op verschillende gefinetuneerde checkpoints.

Zoals te zien is, is de LucidDreamer-kader in staat om hoogwaardige 3D-inhoud te genereren met behulp van de invoertekst en semantische hints. Bovendien, met het gebruik van ISM, genereert de LucidDreamer-kader intrigerende en realistischere afbeeldingen, terwijl het gemeenschappelijke problemen zoals over-verzadiging of over-uitvloeiing vermijdt, en uitblinkt in het genereren van zowel gewone objecten als creatieve creaties.

ISM-algemene toepasbaarheid

Om de ISM-algemene toepasbaarheid te evalueren, wordt een vergelijking uitgevoerd tussen de ISM- en SDS-methoden in zowel expliciete als impliciete representaties, en de resultaten worden getoond in de volgende afbeelding.

Kwalitatieve vergelijking

Om de kwalitatieve efficiëntie van de LucidDreamer-kader te analyseren, wordt het vergeleken met de huidige SoTA-baseline-modellen, en om een eerlijke vergelijking te garanderen, wordt de Stable Diffusion 2.1-kader gebruikt voor destillatie, en de resultaten worden getoond in de volgende afbeelding. Zoals te zien is, levert de kader hoogwaardige en geometrisch nauwkeurige resultaten, terwijl het minder middelen en tijd verbruikt.

Bovendien, om een meer uitgebreide evaluatie te bieden, voeren ontwikkelaars ook een gebruikersonderzoek uit. De evaluatie selecteert 28 prompts en gebruikt verschillende tekst-naar-3D-generatie-benaderingen op elke prompt om objecten te genereren. De resultaten werden vervolgens gerangschikt door de gebruikers op basis van de mate van overeenstemming met de invoertekst en de trouw.

LucidDreamer: Toepassingen

Vanwege de uitzonderlijke prestaties op een breed scala aan tekst-naar-3D-generatie-taken, heeft de LucidDreamer-kader verschillende potentiële toepassingen, waaronder zero-shot avatar-generatie, gepersonaliseerde tekst-naar-3D-generatie en zero-shot 2D- en 3D-bewerking.

De bovenste linkerafbeelding toont het potentieel van LucidDreamer in zero-shot 2D- en 3D-bewerkingstaken, terwijl de onderste linkerafbeeldingen het vermogen van de kader tonen om gepersonaliseerde tekst-naar-3D-uitvoer te genereren met LoRA, terwijl de rechterafbeelding het vermogen van de kader toont om 3D-avatars te genereren.

Slotgedachten

In dit artikel hebben we gesproken over LucidDreamer, een novelle benadering die de Interval Score Matching-methode gebruikt om het over-uitvloeiingsprobleem te overwinnen, en hebben we het modelonderzoek en de prestaties tegenover de state-of-the-art tekst-naar-3D-generatie-kaders besproken. We hebben ook gesproken over hoe SDS of Score Distillation Sampling, een gemeenschappelijke benadering die wordt geïmplementeerd in de meeste state-of-the-art tekst-naar-3D-generatie-modellen, vaak resulteert in over-uitvloeiing van de gegenereerde afbeeldingen, en hoe de LucidDreamer-kader deze problemen aanpakt door een nieuwe benadering te introduceren, de ISM- of Interval Score Matching-benadering, om hoogwaardige en realistischere 3D-afbeeldingen te genereren. De resultaten en evaluatie tonen de effectiviteit van de LucidDreamer-kader op een breed scala aan 3D-generatie-taken, en hoe de kader al beter presteert dan de huidige state-of-the-art 3D-generatieve modellen. De uitzonderlijke prestaties van de kader maken de weg vrij voor een breed scala aan praktische toepassingen, zoals eerder besproken.