I modelli di intelligenza artificiale generativa sono stati un argomento di discussione all’interno dell’industria dell’IA da un po’ di tempo. Il recente successo dei modelli generativi 2D ha aperto la strada ai metodi che utilizziamo per creare contenuti visivi oggi. Sebbene la comunità dell’IA abbia ottenuto risultati notevoli con i modelli generativi 2D, la generazione di contenuti 3D rimane una sfida importante per i framework di intelligenza artificiale generativa. Ciò è particolarmente vero poiché la domanda di contenuti generati 3D raggiunge un livello senza precedenti, trainata da una vasta gamma di giochi visivi, applicazioni, realtà virtuale e persino cinema. È importante notare che, sebbene esistano framework di intelligenza artificiale generativa 3D che forniscono risultati accettabili per determinate categorie e compiti, non sono in grado di generare efficientemente oggetti 3D. Questa carenza può essere attribuita alla mancanza di dati 3D estensivi per l’addestramento dei framework. Recentemente, gli sviluppatori hanno proposto di sfruttare la guida offerta da modelli di intelligenza artificiale generativa di testo-immagine pre-addestrati, un approccio che ha mostrato risultati promettenti.

In questo articolo, discuteremo il framework DreamCraft3D, un modello gerarchico per la generazione di contenuti 3D che produce oggetti 3D coerenti e di alta qualità. Il framework DreamCraft3D utilizza un’immagine di riferimento 2D per guidare la fase di scultura della geometria, migliorando la texture con un focus sulla risoluzione dei problemi di coerenza incontrati dai framework o metodi attuali. Inoltre, il framework DreamCraft3D impiega un modello di diffusione dipendente dalla vista per la distillazione del punteggio di campionamento, aiutando a scolpire la geometria che contribuisce a una resa coerente.

Esamineremo più da vicino il framework DreamCraft3D per la generazione di contenuti 3D. Inoltre, esploreremo il concetto di sfruttamento di modelli di testo-immagine (T2I) pre-addestrati per la generazione di contenuti 3D e esamineremo come il framework DreamCraft3D intenda utilizzare questo approccio per generare contenuti 3D realistici.

DreamCraft3D: Introduzione

DreamCraft3D è una pipeline gerarchica per la generazione di contenuti 3D. Il framework DreamCraft3D tenta di sfruttare un framework di intelligenza artificiale generativa di testo-immagine (T2I) di stato dell’arte per creare immagini 2D di alta qualità utilizzando un prompt di testo. L’approccio consente al framework DreamCraft3D di massimizzare le capacità dei modelli di diffusione 2D di stato dell’arte per rappresentare le semantiche visive descritte nel prompt di testo, mantenendo al contempo la libertà creativa offerta da questi framework di intelligenza artificiale generativa 2D. L’immagine generata viene quindi trasformata in 3D con l’aiuto di fasi di miglioramento della texture geometrica e di scultura della geometria, e le tecniche specializzate vengono applicate in ogni fase con l’aiuto della decomposizione del problema.

Per la geometria, il framework DreamCraft3D si concentra fortemente sulla struttura 3D globale e sulla coerenza multi-vista, facendo così spazio a compromessi sui dettagli delle texture nelle immagini. Una volta che il framework risolve i problemi relativi alla geometria, si concentra sull’ottimizzazione delle texture coerenti e realistiche implementando una diffusione 3D consapevole che avvia l’approccio di ottimizzazione 3D. Ci sono due considerazioni chiave per le due fasi di ottimizzazione, ovvero la scultura della geometria e il miglioramento della texture.

Tutto considerato, sarebbe sicuro descrivere il DreamCraft3D come un framework di intelligenza artificiale generativa che sfrutta una pipeline di generazione di contenuti 3D gerarchica per trasformare essenzialmente le immagini 2D nelle loro controparti 3D, mantenendo al contempo la coerenza 3D olistica.

Sfruttamento di Modelli di Testo-Immagine (T2I) Pre-addestrati

L’idea di sfruttare modelli di testo-immagine (T2I) pre-addestrati per la generazione di contenuti 3D è stata introdotta per la prima volta dal framework DreamFusion nel 2022. Il framework DreamFusion ha tentato di applicare una perdita di campionamento di distillazione del punteggio (SDS) per ottimizzare il framework 3D in modo che le renderizzazioni in punti di vista casuali si allineassero con le distribuzioni di immagini condizionate dal testo, come interpretate da un framework di diffusione di testo-immagine efficiente. Sebbene l’approccio DreamFusion abbia fornito risultati decenti, c’erano due problemi principali, la sfocatura e la sovrasaturazione. Per affrontare questi problemi, lavori recenti implementano strategie di ottimizzazione stage-wise per migliorare la perdita di diffusione 2D, il che alla fine porta a immagini 3D generate di migliore qualità e più realistiche.

Tuttavia, nonostante il recente successo di questi framework, non sono in grado di eguagliare la capacità dei framework generativi 2D di sintetizzare contenuti complessi. Inoltre, questi framework sono spesso affetti dal problema di “Janus”, una condizione in cui le renderizzazioni 3D che appaiono plausibili individualmente mostrano incoerenze stilistiche e semantiche quando esaminate nel loro complesso.

Per affrontare i problemi riscontrati in lavori precedenti, il framework DreamCraft3D esplora la possibilità di utilizzare una pipeline di generazione di contenuti 3D gerarchica olistica e cerca ispirazione dal processo artistico manuale in cui un concetto viene prima delineato in un bozzetto 2D, dopo di che l’artista scolpisce la geometria grezza, raffina i dettagli geometrici e dipinge texture ad alta fedeltà. Seguendo lo stesso approccio, il framework DreamCraft3D divide i compiti di generazione di contenuti 3D o di immagini esaurienti in vari passaggi gestibili.

Nella prima fase, il framework DreamCraft3D dispiega la scultura della geometria per produrre forme geometriche 3D coerenti e plausibili utilizzando l’immagine 2D come riferimento. Inoltre, la fase non solo utilizza la perdita di SDS per le perdite fotometriche e le nuove viste alla vista di riferimento, ma il framework introduce anche una serie di strategie per promuovere la coerenza geometrica. Il framework mira a sfruttare lo Zero-1-to-3, un modello di traduzione di immagini condizionato dalla vista, per utilizzare l’immagine di riferimento per modellare la distribuzione delle nuove viste. Inoltre, il framework passa anche dalla rappresentazione di superficie implicita alla rappresentazione di mesh per il raffinamento geometrico da grossolano a fine.

La seconda fase del framework DreamCraft3D utilizza un approccio di distillazione del punteggio di avvio per migliorare le texture dell’immagine, poiché i modelli di diffusione condizionati dalla vista attualmente addestrati su un numero limitato di dati 3D spesso lottano per eguagliare le prestazioni o la fedeltà dei modelli di diffusione 2D. Grazie a questa limitazione, il framework DreamCraft3D adatta il modello di diffusione in base alle immagini multi-vista dell’istanza 3D che viene ottimizzata, e questo approccio aiuta il framework ad aumentare le texture 3D mantenendo al contempo la coerenza multi-vista. Quando il modello di diffusione si addestra su queste renderizzazioni multi-vista, fornisce una migliore guida per l’ottimizzazione della texture 3D, e questo approccio aiuta il framework DreamCraft3D a raggiungere un livello di dettaglio della texture incredibile, mantenendo al contempo la coerenza della vista.

Come può essere osservato nelle immagini sopra, il framework DreamCraft3D è in grado di produrre immagini 3D creative con texture realistiche e strutture geometriche intricate. Nella prima immagine, è il corpo di Son Goku, un personaggio anime mescolato con la testa di un cinghiale selvatico in corsa, mentre la seconda immagine ritrae un Beagle vestito con l’abito di un detective. Ecco alcuni esempi aggiuntivi.

DreamCraft3D: Funzionamento e Architettura

Il framework DreamCraft3D tenta di sfruttare un framework di intelligenza artificiale generativa di testo-immagine (T2I) di stato dell’arte per creare immagini 2D di alta qualità utilizzando un prompt di testo. L’approccio consente al framework DreamCraft3D di massimizzare le capacità dei modelli di diffusione 2D di stato dell’arte per rappresentare le semantiche visive descritte nel prompt di testo, mantenendo al contempo la libertà creativa offerta da questi framework di intelligenza artificiale generativa 2D. L’immagine generata viene quindi trasformata in 3D con l’aiuto di fasi di miglioramento della texture geometrica e di scultura della geometria, e le tecniche specializzate vengono applicate in ogni fase con l’aiuto della decomposizione del problema. L’immagine seguente riassume brevemente il funzionamento del framework DreamCraft3D.

Esaminiamo più da vicino le considerazioni chiave per le fasi di miglioramento della texture e della scultura della geometria.

Scultura della Geometria

La scultura della geometria è la prima fase in cui il framework DreamCraft3D tenta di creare un modello 3D in modo che si allinei con l’aspetto dell’immagine di riferimento alla stessa vista di riferimento, assicurando al contempo la massima plausibilità anche sotto angoli di vista diversi. Per assicurare la massima plausibilità, il framework utilizza la perdita di SDS per incoraggiare la resa di immagini plausibili per ogni vista campionata individuale che un modello di diffusione pre-addestrato può riconoscere. Inoltre, per sfruttare efficacemente la guida dall’immagine di riferimento, il framework penalizza le differenze fotometriche tra l’immagine di riferimento e le immagini renderizzate alla vista di riferimento, e la perdita viene calcolata solo all’interno della regione di primo piano della vista. Inoltre, per incoraggiare la sparsità della scena, il framework implementa anche una perdita di maschera che renderizza il silhouette. Nonostante ciò, mantenere l’aspetto e le semantiche coerenti attraverso le viste posteriori rimane una sfida, ed è per questo che il framework impiega approcci aggiuntivi per produrre geometria dettagliata e coerente.

Prior di Diffusione 3D Consapevole

I metodi di ottimizzazione 3D che utilizzano solo la supervisione per vista sono sotto-determinati, il che è il motivo principale per cui il framework DreamCraft3D utilizza lo Zero-1-to-3, un modello di diffusione condizionato dalla vista, poiché lo Zero-1-to-3 offre una maggiore consapevolezza della vista in quanto è stato addestrato su una scala più ampia di asset di dati 3D. Inoltre, lo Zero-1-to-3 è un modello di diffusione fine-tunato che hallucina l’immagine in relazione alla posa della camera data l’immagine di riferimento.

Addestramento Progressivo della Vista

Derivare viste gratuite direttamente in 360 gradi potrebbe portare ad artifact geometrici o incongruenze come una gamba extra sulla sedia, un evento che potrebbe essere attribuito all’ambiguità insita in un’unica immagine di riferimento. Per affrontare questo ostacolo, il framework DreamCraft3D amplia le viste di addestramento in modo progressivo, dopo di che la geometria ben stabilita viene gradualmente propagata per ottenere risultati in 360 gradi.

Annealing del Passo di Tempo di Diffusione

Il framework DreamCraft3D impiega una strategia di annealing del passo di tempo di diffusione per allinearsi con la progressione da grossolano a fine dell’ottimizzazione 3D. All’inizio del processo di ottimizzazione, il framework dà priorità al campionamento di un passo di diffusione più grande, al fine di fornire la struttura globale. Mentre il framework procede con il processo di addestramento, linearmente anneala l’intervallo di campionamento nel corso di centinaia di iterazioni. Grazie alla strategia di annealing, il framework riesce a stabilire una geometria globale plausibile durante i primi passaggi di ottimizzazione prima di raffinare i dettagli strutturali.

Miglioramento Strutturale Dettagliato

Il framework DreamCraft3D ottimizza inizialmente una rappresentazione di superficie implicita per stabilire una struttura grossolana. Il framework utilizza quindi questo risultato e lo accoppia con una griglia tetraedrica deformabile o DMTet per inizializzare una rappresentazione di mesh 3D testurizzata, che disentangle l’apprendimento della texture e della geometria. Quando il framework completa il miglioramento strutturale, il modello è in grado di preservare i dettagli ad alta frequenza ottenuti dall’immagine di riferimento raffinando le texture esclusivamente.

Miglioramento della Texture utilizzando il Campionamento di Punteggio di Avvio

Sebbene la fase di scultura della geometria si concentri sull’apprendimento di una geometria dettagliata e coerente, essa può sfocare leggermente la texture, il che potrebbe essere il risultato della dipendenza del framework da un modello di priori 2D che opera a una risoluzione grossolana, insieme alla limitata nitidezza offerta dal modello di diffusione 3D. Inoltre, problemi di texture comuni, tra cui la sovrasaturazione e la sovrasmussazione, sorgono a causa di una guida di classificazione gratuita su larga scala.

Il framework utilizza una perdita di distillazione del punteggio variabile (VSD) per aumentare il realismo delle texture. Il framework opta per un modello di diffusione stabile durante questa fase per ottenere gradienti ad alta risoluzione. Inoltre, il framework mantiene la griglia tetraedrica fissa per promuovere la resa realistica e ottimizzare la struttura complessiva della mesh. Durante la fase di apprendimento, il framework DreamCraft3D non utilizza lo Zero-1-to-3, poiché ha un effetto negativo sulla qualità delle texture, e queste texture incoerenti potrebbero essere ricorrenti, portando a output 3D bizzarri.

Eserimenti e Risultati

Per valutare le prestazioni del framework DreamCraft3D, viene confrontato con gli attuali framework di stato dell’arte e vengono analizzati i risultati qualitativi e quantitativi.

Confronto con i Modelli di Riferimento

Per valutare le prestazioni, il framework DreamCraft3D viene confrontato con 5 framework di stato dell’arte, tra cui DreamFusion, Magic3D, ProlificDreamer, Magic123 e Make-it-3D. Il benchmark di test comprende 300 immagini di input che sono un mix di immagini del mondo reale e generate dal framework di diffusione stabile. Ogni immagine nel benchmark di test ha un prompt di testo, una mappa di profondità prevista e una maschera alfa per il primo piano. Il framework ottiene i prompt di testo per le immagini del mondo reale da un framework di didascalia di immagini.

Analisi Qualitativa

L’immagine seguente confronta il framework DreamCraft3D con i modelli di riferimento attuali, e come può essere visto, i framework che si basano sull’approccio di testo-3D spesso affrontano problemi di coerenza multi-vista.

Da un lato, c’è il framework ProlificDreamer che offre texture realistiche, ma non riesce a generare un oggetto 3D plausibile. I framework come il Make-it-3D che si basano sui metodi di immagine-3D riescono a creare viste frontali di alta qualità, ma non riescono a mantenere la geometria ideale per le immagini. Le immagini generate dal framework Magic123 offrono una migliore regolarizzazione geometrica, ma generano texture geometriche e dettagli eccessivamente saturate e lisciate. In confronto a questi framework, il framework DreamCraft3D che utilizza un metodo di distillazione del punteggio di avvio non solo mantiene la coerenza semantica, ma migliora anche la diversità di immaginazione.

Analisi Quantitativa

Nel tentativo di generare immagini 3D convincenti che non solo assomiglino all’immagine di riferimento di input, ma trasmettano anche semantiche da diverse prospettive in modo coerente, le tecniche utilizzate dal framework DreamCraft3D vengono confrontate con i modelli di riferimento e il processo di valutazione impiega quattro metriche: PSNR e LPIPS per la misurazione della fedeltà alla vista di riferimento, la distanza contestuale per la valutazione della congruenza a livello di pixel e CLIP per stimare la coerenza semantica. I risultati sono dimostrati nell’immagine seguente.

Conclusione

In questo articolo, abbiamo discusso il framework DreamCraft3D, una pipeline gerarchica per la generazione di contenuti 3D. Il framework DreamCraft3D si propone di sfruttare un framework di intelligenza artificiale generativa di testo-immagine (T2I) di stato dell’arte per creare immagini 2D di alta qualità utilizzando un prompt di testo. Questo approccio consente al framework DreamCraft3D di massimizzare le capacità dei modelli di diffusione 2D di stato dell’arte per rappresentare le semantiche visive descritte nel prompt di testo, mantenendo al contempo la libertà creativa offerta da questi framework di intelligenza artificiale generativa 2D. L’immagine generata viene quindi trasformata in 3D con l’aiuto di fasi di miglioramento della texture geometrica e di scultura della geometria, e le tecniche specializzate vengono applicate in ogni fase con l’aiuto della decomposizione del problema. Come risultato di questo approccio, il framework DreamCraft3D può produrre asset 3D di alta fedeltà e coerenti con texture convincenti, visibili da多 angoli.