I recenti progressi nei framework di generazione testo-3D hanno segnato un importante traguardo nei modelli generativi. Essi aprono la strada a nuove possibilità nella creazione di asset 3D in numerosi scenari del mondo reale. Gli asset digitali 3D occupano ora un posto indispensabile nella nostra presenza digitale, consentendo una visualizzazione e un’interazione complete con ambienti e oggetti complessi che riflettono le nostre esperienze nel mondo reale. Questi framework di generazione 3D vengono applicati in vari domini, tra cui animazione, architettura, gaming, realtà aumentata e virtuale e molto altro. Vengono inoltre utilizzati ampiamente in conferenze online, retail, istruzione e marketing.

Tuttavia, nonostante la promessa di questi progressi nei framework di generazione testo-3D, l’utilizzo estensivo delle tecnologie 3D presenta un problema importante. La generazione di immagini e contenuti multimediali 3D di alta qualità richiede ancora notevoli tempo, sforzo, risorse e competenze specialistiche. Anche quando queste esigenze vengono soddisfatte, la generazione testo-3D spesso non riesce a rendere modelli 3D dettagliati e di alta qualità. Questo problema di rendering e generazione 3D di bassa qualità è più diffuso nei framework che utilizzano il metodo Score Distillation Sampling (SDS). Questo articolo discuterà le carenze significative osservate nei modelli che utilizzano il metodo SDS, che introducono incongruenze e direzioni di aggiornamento di bassa qualità, risultando in un effetto di sovrasmussamento sull’output generato. Introdurremo inoltre il framework LucidDreamer, un approccio innovativo che utilizza il metodo Interval Score Matching (ISM) per superare il problema di sovrasmussamento. Esploreremo l’architettura del modello e le sue prestazioni rispetto ai framework di generazione testo-3D attuali.

LucidDreamer3D : Un’introduzione alla Generazione 3D tramite Interval Score Matching

Un motivo importante per cui i modelli di generazione 3D sono stati il punto di discussione dell’industria dell’intelligenza artificiale generativa è a causa delle loro ampie applicazioni in vari domini e settori, e della loro capacità di produrre contenuti 3D in tempo reale. A causa delle loro ampie applicazioni pratiche, gli sviluppatori hanno proposto numerosi approcci per la generazione di contenuti 3D, tra cui i framework di generazione testo-3D, che si distinguono per la loro capacità di utilizzare solo descrizioni testuali per generare modelli 3D immaginativi. I framework di generazione testo-3D raggiungono questo obiettivo utilizzando un modello di diffusione di immagini pre-addestrato come immagine forte prima di supervisionare l’addestramento di un modello 3D parametrizzato neuralmente, consentendo così la renderizzazione di immagini 3D in modo coerente che si allineano con il testo. Questa capacità di renderizzare immagini 3D costanti si basa sull’utilizzo fondamentale del metodo Score Distillation Sampling, e consente al SDS di agire come meccanismo principale per portare i risultati 2D dai modelli di diffusione ai loro omologhi 3D, abilitando così l’addestramento di modelli 3D senza l’utilizzo di immagini di addestramento. Nonostante la loro efficacia, i framework di intelligenza artificiale generativa 3D che utilizzano il metodo SDS spesso soffrono di problemi di distorsione e sovrasmussamento che ostacolano le implementazioni pratiche della generazione 3D ad alta fedeltà.

Per affrontare i problemi di sovrasmussamento, il framework LucidDreamer implementa un approccio Interval Score Matching (ISM), un approccio innovativo che utilizza due meccanismi efficaci. In primo luogo, l’approccio ISM impiega il metodo di inversione DDIM per mitigare l’effetto di mediazione causato dalle incongruenze della pseudo-verità di base producendo una traiettoria di diffusione invertibile. In secondo luogo, anziché far corrispondere le immagini renderizzate dal modello 3D con le pseudo-verità di base, il metodo ISM le fa corrispondere tra due passaggi di intervallo nella traiettoria di diffusione, aiutando così a evitare errori di ricostruzione elevati evitando la ricostruzione in un solo passo. L’utilizzo di ISM anziché SDS risulta in prestazioni costantemente elevate con output realistici e dettagliati.

Nel complesso, il framework LucidDreamer mira a fare le seguenti contribuzioni nell’intelligenza artificiale generativa 3D

1. Fornisce un’analisi approfondita del SDS, il concetto fondamentale nei framework di generazione testo-3D, e identifica le sue limitazioni principali di pseudo-verità di base di bassa qualità, e fornisce una spiegazione per l’effetto di sovrasmussamento riscontrato in questi framework di generazione 3D.
2. Per contrastare le limitazioni poste dall’approccio SDS, il framework LucidDreamer introduce l’Interval Score Matching, un approccio innovativo che utilizza l’abbinamento basato su intervalli e traiettorie di diffusione invertibili per superare il SDS producendo output realistici e dettagliati.
3. Raggiunge le prestazioni attuali integrando il metodo ISM con lo Splatting Gaussiano 3D per superare i metodi esistenti per la generazione di contenuti 3D con bassi costi di addestramento.

Limitazioni del SDS

Come menzionato in precedenza, il SDS è uno degli approcci più popolari per i modelli di generazione testo-3D, e cerca modi per il post-priori condizionale nello spazio latente del DDPM. L’approccio SDS adotta inoltre un modello DDPM pre-addestrato per modellare il post-priori condizionale, e mira a distillare le rappresentazioni 3D per il post-priori condizionale che viene raggiunto minimizzando la seguente divergenza KL. Inoltre, l’approccio SDS riutilizza l’obiettivo di matching del punteggio di denoising pesato per l’addestramento DDP. L’obiettivo principale dell’approccio SDS può anche essere visto come far corrispondere la vista del modello 3D con la pseudo-verità di base stimata in un solo passo dal DDPM. Tuttavia, gli sviluppatori hanno osservato che il processo di distillazione spesso trascura aspetti chiave del DDPM, e la seguente figura dimostra come un modello DDPM pre-addestrato tenda a prevedere pseudo-verità di base con caratteristiche inconsistenti, e produce output di bassa qualità durante il processo di distillazione.

Tuttavia, le direzioni di aggiornamento in circostanze indesiderabili vengono aggiornate alle rappresentazioni 3D che alla fine portano a risultati sovrasmussati. Inoltre, è degno di nota che il componente DDPM è sensibile all’input, e le caratteristiche della pseudo-verità di base cambiano significativamente anche con il minimo cambiamento nell’input. Inoltre, la casualità sia nella posa della telecamera che nel componente di rumore degli input potrebbe aggiungere alle fluttuazioni che sono inevitabili durante la distillazione. Ottimizzare l’input per pseudo-verità di base inconsistenti risulta in esiti mediati. Ciò che è più importante è che l’approccio SDS ottiene pseudo-verità di base con una previsione in un solo passo per tutti gli intervalli di tempo, e non tiene conto delle limitazioni di un componente DDPM a un solo passo che non è in grado di produrre output di alta qualità, il che indica che la distillazione di asset o immagini 3D con il componente SDS potrebbe non essere l’approccio più ideale.

LucidDreamer : Metodologia e Funzionamento

Il framework LucidDreamer introduce l’approccio ISM, ma si basa anche sulle conoscenze acquisite da altri framework, tra cui modelli di generazione testo-3D, modelli di diffusione e framework di rappresentazione 3D differenziabili. Detto questo, analizziamo in dettaglio l’architettura e la metodologia del framework LucidDreamer.

Interval Score Matching o ISM

I problemi di sovrasmussamento e di output di bassa qualità riscontrati nella maggior parte dei framework di generazione testo-3D possono essere attribuiti all’utilizzo dell’approccio SDS che mira a far corrispondere la pseudo-verità di base con le rappresentazioni 3D che è inconsistente e spesso di qualità scadente. Per contrastare i problemi riscontrati nel SDS, il framework LucidDreamer introduce l’ISM o Interval Score Matching, un approccio innovativo che ha due fasi di lavoro. Nella prima fase, il componente ISM ottiene pseudo-verità di base più coerenti durante la distillazione, indipendentemente dalla casualità nelle pose della telecamera e nel rumore. Nella seconda fase, il framework genera pseudo-verità di base di migliore qualità.

Un’altra limitazione significativa del SDS è la generazione di pseudo-verità di base con una previsione in un solo passo per tutti gli intervalli di tempo, che rende difficile garantire pseudo-verità di base di alta qualità, e costituisce la base per migliorare la qualità visiva delle pseudo-verità di base. In un senso simile, l’obiettivo del SDS può essere visto come far corrispondere la vista del modello 3D con la pseudo-verità di base stimata dal DDPM in un solo passo, sebbene il processo di distillazione trascuri un aspetto critico del componente DDPM, ovvero produce pseudo-verità di base di bassa qualità con caratteristiche inconsistenti durante il processo di distillazione.

Nel complesso, il componente ISM promette di offrire diversi vantaggi rispetto ai metodi precedenti utilizzati nei modelli di generazione testo-3D. In primo luogo, grazie alla capacità dell’ISM di fornire pseudo-verità di base di alta qualità in modo coerente, è in grado di produrre output di distillazione ad alta fedeltà con strutture più fini e dettagli più ricchi, eliminando così la necessità di una guida su larga scala e aumentando la flessibilità per la creazione di contenuti 3D. In secondo luogo, il passaggio dall’approccio SDS all’approccio ISM ha un sovraccarico computazionale marginale, specialmente poiché l’approccio ISM non compromette l’efficienza complessiva, anche se richiede costi computazionali aggiuntivi per le inversioni DDIM.

La figura sopra dimostra il funzionamento dell’approccio ISM e fornisce una panoramica dell’architettura del framework LucidDreamer. Il framework inizia inizializzando lo Splatting Gaussiano, ovvero le rappresentazioni 3D, utilizzando un generatore testo-3D pre-addestrato con un prompt. Viene quindi incorporato con un componente DDPM 2D pre-addestrato per disturbare viste casuali in traiettorie latenti non condizionali rumorose utilizzando inversioni DDIM, e quindi aggiornato con il punteggio di intervallo. Grazie alla sua architettura, il nucleo dell’ottimizzazione del componente ISM si concentra sull’aggiornamento delle rappresentazioni 3D verso pseudo-verità di base di alta qualità e coerenti con le caratteristiche, ma amichevoli dal punto di vista computazionale. Questo principio è ciò che consente all’ISM di allinearsi con gli obiettivi fondamentali dell’approccio SDS, raffinando il metodo esistente.

Inversione DDIM

Il framework LucidDreamer mira a produrre pseudo-verità di base più coerenti allineate con le rappresentazioni 3D. Pertanto, anziché produrre rappresentazioni 3D, il framework LucidDreamer impiega l’approccio di inversione DDIM per prevedere rappresentazioni latenti 3D rumorose, e prevede una traiettoria latente rumorosa invertibile in modo iterativo. Inoltre, è a causa dell’invertibilità dell’inversione DDIM che il framework LucidDreamer è in grado di aumentare notevolmente la coerenza della pseudo-verità di base per tutti gli intervalli di tempo.

Pipeline di Generazione Avanzata

Il framework LucidDreamer introduce inoltre una pipeline avanzata oltre all’ISM per esplorare i fattori che influenzano la qualità visiva della generazione testo-3D, e introduce lo Splatting Gaussiano 3D o 3DGS come modello di generazione 3D e modello di generazione di nuvole di punti 3D per l’inizializzazione.

Splatting Gaussiano 3D

Lavori esistenti hanno indicato che l’aumento della dimensione del batch e della risoluzione di rendering per l’addestramento migliora notevolmente la qualità visiva. Tuttavia, la maggior parte delle rappresentazioni 3D apprendibili adottate per la generazione testo-3D sono dispendiose in termini di tempo e memoria. D’altra parte, l’approccio di Splatting Gaussiano 3D fornisce risultati efficienti sia nell’ottimizzazione che nel rendering, consentendo alla pipeline di generazione avanzata del framework LucidDreamer di raggiungere grandi dimensioni del batch e rendering ad alta risoluzione anche quando opera con risorse computazionali limitate.

Inizializzazione

La maggior parte dei framework di generazione testo-3D attuali inizializza le proprie rappresentazioni 3D con geometrie limitate come cerchi, scatole o cilindri, che spesso risultano in output indesiderati su oggetti non simmetrici assialmente. D’altra parte, poiché il framework LucidDreamer introduce lo Splatting Gaussiano 3D come rappresentazioni 3D, il framework può adottare naturalmente diversi framework generativi testo-punto per generare un’inizializzazione grossolana con input umani. La strategia di inizializzazione aumenta notevolmente la velocità di convergenza.

LucidDreamer : Esperimenti e Risultati

Generazione Testo-3D

La figura sopra dimostra i risultati generati dal modello LucidDreamer con l’approccio di diffusione stabile originale, mentre la figura successiva discute i risultati generati su diversi checkpoint di fine-tuning.

Come si può vedere, il framework LucidDreamer è in grado di generare contenuti 3D coerenti con l’input testuale e gli indizi semantici. Inoltre, con l’utilizzo dell’ISM, il framework LucidDreamer genera immagini più realistiche e dettagliate, evitando problemi comuni come la sovrasaturazione o il sovrasmussamento, e si distingue nella generazione di oggetti comuni e nella creazione di contenuti creativi.

Generalizzabilità dell’ISM

Per valutare la generalizzabilità dell’ISM, viene condotto un confronto tra l’ISM e il SDS in entrambe le rappresentazioni esplicite e implicite, e i risultati sono dimostrati nell’immagine seguente.

Confronto Qualitativo

Per analizzare l’efficacia qualitativa del framework LucidDreamer, viene confrontato con i modelli di base attuali, e per garantire un confronto equo, utilizza il framework di diffusione stabile 2.1 per la distillazione, e i risultati sono dimostrati nell’immagine seguente. Come si può vedere, il framework fornisce risultati ad alta fedeltà e geometricamente precisi, consumando meno risorse e tempo.

Inoltre, per fornire una valutazione più completa, gli sviluppatori conducono anche uno studio sugli utenti. La valutazione seleziona 28 prompt e utilizza diversi approcci di generazione testo-3D su ogni prompt per generare oggetti. I risultati vengono quindi classificati dagli utenti in base al grado di allineamento con il prompt di input e alla fedeltà.

LucidDreamer : Applicazioni

Grazie alle sue prestazioni eccezionali in una vasta gamma di compiti di generazione testo-3D, il framework LucidDreamer ha diverse potenziali applicazioni, tra cui la generazione di avatar zero-shot, la generazione testo-3D personalizzata e la modifica 2D e 3D zero-shot.

L’immagine in alto a sinistra dimostra il potenziale del LucidDreamer nei compiti di modifica 2D e 3D zero-shot, mentre le immagini in basso a sinistra dimostrano la capacità del framework di generare output testo-3D personalizzati con LoRA, mentre l’immagine a destra mostra la capacità del framework di generare avatar 3D.

Pensieri Finali

In questo articolo, abbiamo discusso del LucidDreamer, un approccio innovativo che utilizza il metodo Interval Score Matching per superare il problema di sovrasmussamento, e abbiamo discusso l’architettura del modello e le sue prestazioni rispetto ai framework di generazione testo-3D attuali. Abbiamo anche discusso di come il SDS, un approccio comune implementato nella maggior parte dei modelli di generazione testo-3D, spesso risulti in un sovrasmussamento delle immagini generate, e di come il framework LucidDreamer contrasti questo problema introducendo un nuovo approccio, l’Interval Score Matching, per generare immagini 3D ad alta fedeltà e più realistiche. I risultati e la valutazione indicano l’efficacia del framework LucidDreamer in una vasta gamma di compiti di generazione 3D, e di come il framework abbia già prestazioni migliori dei modelli generativi 3D attuali. Le prestazioni eccezionali del framework aprono la strada a una vasta gamma di applicazioni pratiche, come già discusso.