La scalabilità delle rappresentazioni di testo e immagini è stata un focus importante di ricerca negli ultimi anni. Gli sviluppi e le ricerche condotte recentemente hanno portato a numerose rivoluzioni nell’apprendimento del linguaggio e nella visione. Tuttavia, nonostante la popolarità della scalabilità delle rappresentazioni di testo e immagini, la scalabilità delle rappresentazioni per scene e oggetti 3D non è stata sufficientemente discussa.

Oggi, discuteremo di Uni3D, un modello di base 3D che mira a esplorare rappresentazioni 3D unificate. Il framework Uni3D utilizza un framework ViT 2D inizializzato, pre-addestrato end-to-end, per allineare le funzionalità di immagine-testo con le funzionalità di nuvola di punti 3D.

Il framework Uni3D utilizza compiti di pretesto e un’architettura semplice per sfruttare l’abbondanza di modelli 2D pre-addestrati e modelli allineati immagine-testo come inizializzazioni e obiettivi, rispettivamente. Questo approccio sblocca il pieno potenziale dei modelli 2D e delle strategie per scalarli al mondo 3D.

In questo articolo, esploreremo più in profondità la visione computerizzata 3D e il framework Uni3D, esaminando i concetti essenziali e l’architettura del modello. Quindi, iniziamo.

Uni3D e Apprendimento di Rappresentazioni 3D: Un’introduzione

Negli ultimi anni, la visione computerizzata è emersa come uno dei domini più investiti nell’industria dell’AI. Dopo significativi progressi nei framework di visione computerizzata 2D, gli sviluppatori hanno spostato la loro attenzione sulla visione computerizzata 3D. Questo campo, in particolare l’apprendimento di rappresentazioni 3D, combina aspetti di grafica computerizzata, apprendimento automatico, visione computerizzata e matematica per automatizzare l’elaborazione e la comprensione della geometria 3D. Lo sviluppo rapido di sensori 3D come LiDAR, insieme alle loro ampie applicazioni nell’industria AR/VR, ha portato all’aumento dell’attenzione per l’apprendimento di rappresentazioni 3D. Le sue potenziali applicazioni continuano a crescere quotidianamente.

Sebbene i framework esistenti abbiano mostrato notevoli progressi nell’architettura del modello 3D, nella modellazione orientata ai compiti e negli obiettivi di apprendimento, la maggior parte esplora l’architettura 3D su una scala relativamente piccola con dati limitati, parametri e scenari di compito. La sfida di apprendere rappresentazioni 3D scalabili, che possono essere applicate ad applicazioni in tempo reale in ambienti diversi, rimane in gran parte inesplorata.

Proseguendo, negli ultimi anni, la scalabilità dei grandi modelli linguistici pre-addestrati ha aiutato a rivoluzionare il dominio dell’elaborazione del linguaggio naturale, e lavori recenti hanno indicato una traduzione nel progresso dal linguaggio al 2D utilizzando la scalabilità dei dati e dei modelli, il che consente agli sviluppatori di provare e ritentare questo successo per apprendere una rappresentazione 3D che possa essere scalata e trasferita ad applicazioni nel mondo reale.

Uni3D è un framework di pre-addestramento 3D scalabile e unificato sviluppato con l’obiettivo di apprendere rappresentazioni 3D su larga scala che testa i suoi limiti su una scala di oltre un miliardo di parametri, oltre 10 milioni di immagini accoppiate con oltre 70 milioni di testi e oltre un milione di forme 3D. La figura seguente confronta l’accuratezza zero-shot contro i parametri nel framework Uni3D. Il framework Uni3D scala con successo le rappresentazioni 3D da 6 milioni a oltre un miliardo.

Il framework Uni3D consiste in un ViT 2D o un trasformatore di visione come encoder 3D, che viene quindi pre-addestrato end-to-end per allineare le funzionalità di immagine-testo con le funzionalità di nuvola di punti 3D. Il framework Uni3D utilizza compiti di pretesto e un’architettura semplice per sfruttare l’abbondanza di modelli 2D pre-addestrati e modelli allineati immagine-testo come inizializzazioni e obiettivi, rispettivamente, sbloccando così il pieno potenziale dei modelli 2D e delle strategie per scalarli al mondo 3D. La flessibilità e la scalabilità del framework Uni3D sono misurate in termini di

1. Scalabilità del modello da 6M a oltre un miliardo di parametri.
2. Inizializzazione 2D supervisionata da apprendimento auto-supervisionato visivo.
3. Scalabilità del modello di destinazione testo-immagine da 150 milioni a oltre un miliardo di parametri.

Sotto il framework unificato e flessibile offerto da Uni3D, gli sviluppatori osservano un aumento coerente delle prestazioni quando si tratta di scalare ogni componente. L’apprendimento di rappresentazioni 3D su larga scala beneficia anche notevolmente delle strategie di scalabilità 2D condivisibili.

Come si può vedere nella figura seguente, il framework Uni3D mostra un aumento delle prestazioni rispetto ai lavori precedenti in scenari zero-shot e few-shot. È degno di nota che il framework Uni3D restituisce un punteggio di accuratezza di classificazione zero-shot del 88% su ModelNet, che è paragonabile alle prestazioni di diversi metodi di supervisione di stato dell’arte.

Inoltre, il framework Uni3D fornisce anche prestazioni di alta qualità quando si eseguono altri compiti rappresentativi 3D come la segmentazione di parti e la comprensione del mondo aperto. Il framework Uni3D mira a colmare il divario tra la visione 2D e la visione 3D scalando i modelli di base 3D con un approccio di pre-addestramento unificato e semplice per apprendere rappresentazioni 3D più robuste in una vasta gamma di compiti, che potrebbero alla fine aiutare nella convergenza della visione 2D e 3D in una vasta gamma di modalità.

Uni3D: Lavori Correlati

Il framework Uni3D trae ispirazione e apprende dai progressi fatti dai lavori precedenti sull’apprendimento di rappresentazioni 3D e modelli di base, in particolare sotto diverse modalità.

Apprendimento di Rappresentazioni 3D

Il metodo di apprendimento di rappresentazioni 3D utilizza i punti di nuvola per la comprensione 3D dell’oggetto, e questo campo è stato esplorato dagli sviluppatori nel recente passato, e si è osservato che questi punti di nuvola possono essere pre-addestrati con auto-supervisione utilizzando compiti di pretesto 3D specifici, tra cui la modellazione dei punti di maschera, la ricostruzione auto-supervisionata e l’apprendimento contrastivo.

È degno di nota che questi metodi funzionano con dati limitati e spesso non indagano le rappresentazioni multimodali da 2D o NLP. Tuttavia, il recente successo del framework CLIP che restituisce un’efficienza elevata nell’apprendimento di concetti visivi da testo grezzo utilizzando il metodo di apprendimento contrastivo, e ulteriormente cerca di apprendere rappresentazioni 3D allineando le funzionalità di immagine, testo e nuvola di punti utilizzando lo stesso metodo di apprendimento contrastivo.

Modelli di Base

Gli sviluppatori hanno lavorato intensamente per progettare modelli di base per scalare e unificare le rappresentazioni multimodali. Ad esempio, nel dominio NLP, gli sviluppatori hanno lavorato su framework che possono scalare i modelli linguistici pre-addestrati, e ciò sta rivoluzionando lentamente l’industria NLP. Inoltre, si possono osservare progressi nel dominio della visione 2D, poiché gli sviluppatori stanno lavorando su framework che utilizzano tecniche di scalabilità dei dati e dei modelli per aiutare nel progresso del linguaggio ai modelli 2D, sebbene tali framework siano difficili da replicare per i modelli 3D a causa della limitata disponibilità di dati 3D e delle sfide incontrate nell’unificare e scalare i framework 3D.

Imparando dai due domini di lavoro sopra menzionati, gli sviluppatori hanno creato il framework Uni3D, il primo modello di base 3D con oltre un miliardo di parametri che utilizza un’architettura di trasformatore di visione unificata che consente agli sviluppatori di scalare il modello Uni3D utilizzando strategie di scalabilità 3D o NLP unificate. Gli sviluppatori sperano che questo metodo consenta al framework Uni3D di colmare il divario che attualmente separa la visione 2D e la visione 3D, nonché facilitare la convergenza multimodale.

Uni3D: Metodo e Architettura

L’immagine seguente mostra una panoramica generale del framework Uni3D, un framework di pre-addestramento 3D scalabile e unificato per l’apprendimento di rappresentazioni 3D su larga scala. Gli sviluppatori utilizzano oltre 70 milioni di testi e 10 milioni di immagini accoppiate con oltre un milione di forme 3D per scalare il framework Uni3D a oltre un miliardo di parametri. Il framework Uni3D utilizza un ViT 2D o un trasformatore di visione come encoder 3D, che viene quindi pre-addestrato end-to-end per allineare le funzionalità di immagine-testo con le funzionalità di nuvola di punti 3D, consentendo al framework Uni3D di fornire l’efficienza e l’accuratezza desiderate in una vasta gamma di benchmark. Esaminiamo ora più in dettaglio il funzionamento del framework Uni3D.

Scalabilità del Framework Uni3D

Studi precedenti sull’apprendimento di rappresentazioni di nuvola di punti hanno tradizionalmente concentrato l’attenzione sulla progettazione di architetture di modelli specifiche che forniscono prestazioni migliori in una vasta gamma di applicazioni e funzionano con una quantità limitata di dati a causa di set di dati di piccole dimensioni. Tuttavia, studi recenti hanno cercato di esplorare la possibilità di utilizzare la scalabilità pre-addestrata in 3D, ma non ci sono stati risultati significativi a causa della limitata disponibilità di dati 3D. Per risolvere il problema di scalabilità dei framework 3D, il framework Uni3D sfrutta la potenza di una struttura di trasformatore vanilla che assomiglia a un trasformatore di visione e può risolvere i problemi di scalabilità utilizzando strategie di scalabilità 2D o NLP unificate per scalare le dimensioni del modello.

Studi precedenti sull’apprendimento di rappresentazioni di nuvola di punti hanno tradizionalmente concentrato l’attenzione sulla progettazione di architetture di modelli specifiche che forniscono prestazioni migliori in una vasta gamma di applicazioni e funzionano con una quantità limitata di dati a causa di set di dati di piccole dimensioni. Tuttavia, studi recenti hanno cercato di esplorare la possibilità di utilizzare la scalabilità pre-addestrata in 3D, ma non ci sono stati risultati significativi a causa della limitata disponibilità di dati 3D. Per risolvere il problema di scalabilità dei framework 3D, il framework Uni3D sfrutta la potenza di una struttura di trasformatore vanilla che assomiglia a un trasformatore di visione e può risolvere i problemi di scalabilità utilizzando strategie di scalabilità 2D o NLP unificate per scalare le dimensioni del modello.

Inizializzazione di Uni3D

Un’altra sfida importante incontrata dai lavori precedenti coinvolti nella scalabilità delle rappresentazioni 3D è la difficoltà di convergenza e sovrapposizione a causa delle grandi dimensioni dei modelli. Un approccio efficace per superare questo ostacolo è pre-addestrare i singoli backbone 3D con compiti di pretesto specifici e inizializzare i parametri pre-addestrati. Tuttavia, questo approccio è accompagnato da alti costi di addestramento e è anche difficile stabilire un’inizializzazione robusta per l’apprendimento cross-modale a causa della limitata quantità di dati 3D disponibili per l’addestramento.

Il framework Uni3D sfrutta un trasformatore vanilla, la cui struttura assomiglia a ViT. Con questo approccio, il framework Uni3D può adottare naturalmente i modelli pre-addestrati con altre modalità per inizializzare il framework Uni3D.

Allineamento Multimodale

Il framework Uni3D tenta di apprendere allineamenti multimodali tra immagine, linguaggio e nuvola di punti utilizzando paradigmi simili a OpenShape e ULIP. Inoltre, per garantire un confronto equo con altri metodi, il framework Uni3D utilizza il set di dati 3D ensemblato di OpenShape per l’addestramento. Questo set di dati ensemblato di OpenShape consiste in 4 set di dati 3D:

1. Objaverse.
2. ShapeNet.
3. 3D-FUTURE.
4. ABO.

Esperimenti e Risultati

Il framework Uni3D è stato testato in diversi ambienti e in vari compiti di classificazione, tra cui le prestazioni in scenari zero-shot e few-shot, i risultati intorno alla comprensione del mondo aperto e altro. Esaminiamo più in dettaglio questi risultati.

Classificazione di Forme Zero-Shot

Per valutare le prestazioni del framework Uni3D nella classificazione di forme zero-shot, gli sviluppatori hanno condotto esperimenti in tre benchmark, tra cui ModelNet, ScanObjNN e il benchmark Objaverse-LVIS. ModelNet e ScanObjNN sono set di dati ampiamente utilizzati per i compiti di classificazione e consistono rispettivamente in 15 e 40 categorie di oggetti, mentre il benchmark Objaverse-LVIS è un set di dati pulito e annotato che consiste in oltre 40.000 oggetti in 1.100+ categorie. Il confronto tra i framework è mostrato nell’immagine seguente e, come si può vedere, il framework Uni3D supera notevolmente i framework di stato dell’arte precedenti in diversi ambienti.

Sondaggio Lineare Few-Shot

Nell’ambito dell’AI, il sondaggio lineare è un metodo comune utilizzato per valutare le rappresentazioni apprese da un framework o modello. Per valutare la capacità di sondaggio lineare di Uni3D, gli sviluppatori hanno congelato i parametri del framework Uni3D utilizzando le impostazioni comuni di OpenShape. Successivamente, gli sviluppatori hanno addestrato un classificatore lineare per Uni3D utilizzando etichette di classe few-shot. La figura seguente mostra la capacità di sondaggio lineare di diversi framework nel set di dati Objaverse-LVIS e mostra la prestazione media del modello in 10 semi casuali. Come si può vedere, il framework Uni3D supera notevolmente i metodi esistenti in diversi ambienti few-shot.

Comprensione del Mondo Aperto

Per valutare la capacità del framework Uni3D di comprendere forme e oggetti del mondo reale in tempo reale, gli sviluppatori hanno utilizzato i set di dati ScanNet e CLIP per esplorare le prestazioni di Uni3D. È degno di nota che la segmentazione istantanea di ground truth è disponibile e l’obiettivo principale è riconoscere la categoria di ogni istante di scena in un ambiente zero-shot. I risultati sono mostrati nell’immagine seguente. Come si può vedere, il framework Uni3D fornisce risultati eccezionali quando si esegue la comprensione del mondo reale e il riconoscimento. Il framework Uni3D supera i framework esistenti di un margine significativo, nonostante non abbia mai addestrato su set di dati del mondo reale.

Ricerca Cross-Modale

Le rappresentazioni multimodali apprese dal framework Uni3D possono consentire al framework di recuperare forme 3D in modo naturale da testi o immagini. Per recuperare le forme 3D, il modello calcola la similarità coseno tra le incorporazioni di forme 3D e le incorporazioni di un prompt di testo di query o un’immagine di query. Il framework utilizza quindi l’algoritmo KNN o K-Nearest Neighbour per generare forme 3D che assomigliano di più alla query e i risultati sono mostrati nella figura seguente. Come si può vedere, il framework Uni3D utilizza con successo immagini del mondo reale per recuperare forme 3D. Inoltre, è degno di nota che le immagini di addestramento sono utilizzate solo per scopi di rendering e il divario tra immagini del mondo reale e immagini di addestramento è sostanziale. Inoltre, il modello può anche prendere due immagini di input e recuperare forme simili a entrambe le immagini di input utilizzando la similarità coseno tra la media delle incorporazioni di entrambe le immagini e le incorporazioni di forme 3D. I risultati sono interessanti poiché dimostrano la capacità di Uni3D di apprendere rappresentazioni 3D diverse e percepire più segnali 2D.

Nella prima colonna, il framework utilizza due immagini di query per restituire forme 3D che assomigliano di più alle immagini di query. Nella seconda colonna, il framework utilizza due immagini di input per recuperare forme 3D che assomigliano a entrambe le immagini di input. Infine, nella colonna finale, il modello utilizza prompt di testo di query e restituisce forme 3D che assomigliano di più al prompt di testo di query.

Pensieri Finali

In questo articolo, abbiamo discusso di Uni3D, un framework di pre-addestramento 3D scalabile e unificato sviluppato con l’obiettivo di apprendere rappresentazioni 3D su larga scala che testa i suoi limiti su una scala di oltre un miliardo di parametri, oltre 10 milioni di immagini accoppiate con oltre 70 milioni di testi e oltre un milione di forme 3D. Gli sviluppatori del framework hanno incluso un trasformatore vanilla con una struttura equivalente a ViT, che consente loro di scalare il framework Uni3D utilizzando strategie di scalabilità 2D o NLP unificate. Inoltre, il framework Uni3D può sfruttare un’ampia gamma di framework 2D pre-addestrati e strategie 2D per il mondo 3D. I risultati sperimentali hanno già dimostrato il grande potenziale del framework Uni3D, poiché il framework Uni3D restituisce risultati precisi ed efficienti in una vasta gamma di ambienti e supera i framework di stato dell’arte esistenti.