La ricostruzione 3D di oggetti con reti convolutive con vista singola ha dimostrato capacità notevoli. I modelli di ricostruzione 3D con vista singola generano il modello 3D di qualsiasi oggetto utilizzando un’immagine singola come riferimento, rendendolo uno degli argomenti di ricerca più caldi nel campo della visione artificiale.

Ad esempio, consideriamo la motocicletta nell’immagine sopra. Generare la sua struttura 3D richiede una pipeline complessa che combina indizi da immagini a basso livello con informazioni semantiche ad alto livello e conoscenze sulla disposizione strutturale delle parti.

A causa del processo complesso, la ricostruzione 3D con vista singola è stata una sfida importante nella visione artificiale. Nel tentativo di migliorare l’efficienza della ricostruzione 3D con vista singola, gli sviluppatori hanno lavorato su Immagine Splatter, un metodo che mira a raggiungere la ricostruzione 3D ultra-veloce della forma e dell’aspetto 3D degli oggetti. Al suo nucleo, il framework Immagine Splatter utilizza il metodo di Splatting Gaussiano per analizzare le rappresentazioni 3D, sfruttando la velocità e la qualità che offre.

Recentemente, il metodo di Splatting Gaussiano è stato implementato da numerosi modelli di ricostruzione multi-vista per il rendering in tempo reale, la scalabilità migliorata e la formazione rapida. Tuttavia, Immagine Splatter è il primo framework che implementa il metodo di Splatting Gaussiano per compiti di ricostruzione con vista singola.

In questo articolo, esploreremo come il framework Immagine Splatter utilizzi il metodo di Splatting Gaussiano per raggiungere la ricostruzione 3D ultra-veloce con vista singola. Quindi, iniziamo.

Immagine Splatter: Un Tentativo di Ricostruzione 3D Ultra-Veloce con Vista Singola

Come menzionato in precedenza, Immagine Splatter è un approccio ultra-veloce per la ricostruzione 3D di oggetti con vista singola basato sul metodo di Splatting Gaussiano. Immagine Splatter è il primo framework di visione artificiale a implementare il Splatting Gaussiano per la generazione di oggetti 3D monoculari, poiché tradizionalmente il Splatting Gaussiano ha alimentato framework di ricostruzione 3D multi-vista. Tuttavia, ciò che distingue il framework Immagine Splatter dai metodi precedenti è che si tratta di un approccio basato sull’apprendimento, e la ricostruzione durante il test richiede solo la valutazione feed-forward della rete neurale.

Immagine Splatter si basa fondamentalmente sulle qualità di rendering del Splatting Gaussiano e sulla velocità di elaborazione per generare ricostruzioni 3D. Il framework Immagine Splatter presenta un design semplice: il framework utilizza una rete neurale 2D immagine-per-immagine per prevedere un Gaussian 3D per ogni pixel dell’immagine di input e mappa l’immagine di input in un solo Gaussian 3D per pixel. I risultanti Gaussiani 3D hanno la forma di un’immagine, nota come Immagine Splatter, e forniscono anche una rappresentazione a 360 gradi dell’immagine. Il processo è dimostrato nell’immagine seguente.

Sebbene il processo sia semplice e lineare, ci sono alcune sfide chiave affrontate dal framework Immagine Splatter quando si utilizza il Splatting Gaussiano per generare Gaussiani 3D per rappresentazioni 3D con vista singola. La prima grande barriera è progettare una rete neurale che accetti l’immagine di un oggetto come input e generi una miscela di Gaussiani che rappresenta tutti i lati dell’immagine come output. Per affrontare questo, Immagine Splatter sfrutta il fatto che, anche se la miscela di Gaussiani generata è un insieme o una raccolta di elementi non ordinati, può comunque essere archiviata in una struttura di dati ordinata. Di conseguenza, il framework utilizza un’immagine 2D come contenitore per i Gaussiani 3D in quanto ogni pixel nel contenitore contiene i parametri di un Gaussian, comprese le sue proprietà come forma, opacità e colore.

Memorizzando insiemi di Gaussiani 3D in un’immagine, il framework Immagine Splatter è in grado di ridurre gli ostacoli di ricostruzione che si verificano quando si apprende una rete neurale immagine-per-immagine. Utilizzando questo approccio, il processo di ricostruzione può essere implementato solo utilizzando operatori 2D efficienti invece di affidarsi a operatori 3D. Inoltre, nel framework Immagine Splatter, la rappresentazione 3D è una miscela di Gaussiani 3D che consente di sfruttare i vantaggi di rendering e efficienza della memoria offerti dal Splatting Gaussiano, migliorando l’efficienza sia nella formazione che nell’inferenza. Proseguendo, il framework Immagine Splatter non solo genera rappresentazioni 3D con vista singola, ma dimostra anche un’efficienza notevole poiché può essere addestrato anche su una sola GPU su benchmark di oggetti 3D standard. Inoltre, il framework Immagine Splatter può essere esteso per accettare più immagini come input. Ciò viene fatto registrando le singole miscele di Gaussiani a un riferimento comune e poi combinando le miscele di Gaussiani previste da singole viste. Il framework inietta anche leggeri strati di cross-attenzione nella sua architettura che consente alle diverse viste di comunicare tra loro durante la previsione.

Da un punto di vista empirico, è degno di nota che il framework Immagine Splatter possa produrre una ricostruzione a 360 gradi dell’oggetto anche se vede solo un lato dell’oggetto. Il framework assegna quindi diversi Gaussiani in un vicinato 2D a diverse parti dell’oggetto 3D per codificare le informazioni generate a 360 gradi nell’immagine 2D. Inoltre, il framework imposta l’opacità di diversi Gaussiani a zero, disattivandoli e consentendo di eliminarli durante l’elaborazione post-processing.

In sintesi, il framework Immagine Splatter è

1. Un approccio innovativo per generare ricostruzioni 3D di oggetti con vista singola trasportando l’approccio di Splatting Gaussiano.
2. Estende il metodo per la ricostruzione 3D di oggetti multi-vista.
3. Raggiunge le prestazioni di ricostruzione 3D di oggetti di stato dell’arte su benchmark standard con velocità e qualità eccezionali.

Immagine Splatter: Metodologia e Architettura

Splatting Gaussiano

Come menzionato in precedenza, il Splatting Gaussiano è il metodo principale implementato dal framework Immagine Splatter per generare ricostruzioni 3D di oggetti con vista singola. In semplici termini, il Splatting Gaussiano è un metodo di rasterizzazione per la ricostruzione di immagini 3D e il rendering in tempo reale di immagini con più punti di vista. Lo spazio 3D nell’immagine è denominato Gaussiani e le tecniche di apprendimento automatico vengono implementate per apprendere i parametri di ogni Gaussian. Il Splatting Gaussiano non richiede la formazione durante il rendering, il che facilita tempi di rendering più rapidi.

Il Splatting Gaussiano 3D utilizza prima l’insieme di immagini di input per generare una nuvola di punti. Il Splatting Gaussiano utilizza quindi le immagini di input per stimare i parametri esterni della camera come inclinazione e posizione abbinando i pixel tra le immagini e questi parametri vengono utilizzati per calcolare la nuvola di punti. Utilizzando diversi metodi di apprendimento automatico, il Splatting Gaussiano ottimizza quattro parametri per ogni Gaussian, ovvero: Posizione (dove si trova), Covarianza (l’estensione del suo allungamento o scala in una matrice 3×3), Colore (quale è lo schema di colori RGB) e Alpha (che misura la trasparenza). Il processo di ottimizzazione rende l’immagine per ogni posizione della camera e la utilizza per determinare i parametri più vicini all’immagine originale. Di conseguenza, il risultato del Splatting Gaussiano 3D è un’immagine, denominata Immagine Splatter, che assomiglia di più all’immagine originale dalla posizione della camera in cui è stata catturata.

Inoltre, la funzione di opacità e la funzione di colore nel Splatting Gaussiano forniscono un campo di radianza con la direzione di visualizzazione del punto 3D. Il framework rende quindi il campo di radianza su un’immagine integrando i colori osservati lungo il raggio che passa attraverso il pixel. Il Splatting Gaussiano rappresenta queste funzioni come una combinazione di Gaussiani colorati, dove la media del Gaussian o il centro, insieme alla covarianza del Gaussian, aiuta a determinare la sua forma e dimensione. Ogni Gaussian ha anche una proprietà di opacità e una proprietà di colore dipendente dalla vista che definiscono insieme il campo di radianza.

Immagine Splatter

Il componente del renderer mappa l’insieme di Gaussiani 3D in un’immagine. Per eseguire la ricostruzione 3D con vista singola, il framework cerca una funzione inversa per i Gaussiani 3D che ricostruisce la miscela di Gaussiani 3D da un’immagine. La chiave qui è proporre un design efficace e semplice per la funzione inversa. In particolare, per un’immagine di input, il framework prevede un Gaussian per ogni pixel singolo utilizzando un’architettura di rete neurale immagine-per-immagine per produrre un’immagine, l’Immagine Splatter. La rete prevede anche la forma, l’opacità e il colore.

Ora, potrebbe essere speculato su come il framework Immagine Splatter possa ricostruire la rappresentazione 3D di un oggetto anche se ha accesso solo a una delle sue viste? In tempo reale, il framework Immagine Splatter apprende a utilizzare alcuni dei Gaussiani disponibili per ricostruire la vista e utilizza i Gaussiani rimanenti per ricostruire automaticamente le parti non visibili dell’immagine. Per massimizzare la sua efficienza, il framework può disattivare automaticamente qualsiasi Gaussiani prevedendo se l’opacità è zero. Se l’opacità è zero, i Gaussiani vengono disattivati e il framework non rende questi punti e vengono invece eliminati durante l’elaborazione post-processing.

Perdita a Livello di Immagine

Un vantaggio significativo dell’utilizzo della velocità e dell’efficienza offerte dal metodo di Splatting Gaussiano è che consente al framework di rendere tutte le immagini in ogni iterazione, anche per lotti con dimensioni di batch relativamente più grandi. Inoltre, implica che il framework non solo può utilizzare perdite decomponibili, ma può anche utilizzare le perdite a livello di immagine che non si decompongono in perdite per pixel.

Normalizzazione della Scala

È difficile stimare le dimensioni di un oggetto guardando una sola vista e risulta una sfida difficile da risolvere quando si è addestrati con una perdita. Lo stesso problema non si verifica nei set di dati sintetici poiché tutti gli oggetti vengono rappresentati con intrinseci della camera identici e gli oggetti si trovano a una distanza fissa dalla camera, il che aiuta a risolvere l’ambiguità. Tuttavia, nei set di dati con immagini della vita reale, l’ambiguità è piuttosto evidente e il framework Immagine Splatter impiega diversi metodi di pre-elaborazione per fissare approssimativamente la scala di tutti gli oggetti.

Colore Dipendente dalla Vista

Per rappresentare i colori dipendenti dalla vista, il framework Immagine Splatter utilizza armoniche sferiche per generalizzare i colori oltre il modello di colore lambertiano. Per ogni Gaussian specifico, il modello definisce coefficienti che vengono previsti dalla rete e dalle armoniche sferiche. Il cambiamento di vista trasforma una direzione di visualizzazione nella sorgente della camera nel corrispondente angolo di visualizzazione nel riferimento. Il modello trova quindi i coefficienti corrispondenti per trovare la funzione di colore trasformata. Il modello è in grado di farlo perché, quando ruotano, le armoniche sferiche sono chiuse, insieme a ogni altro ordine.

Architettura della Rete Neurale

La maggior parte dell’architettura del predittore che mappa l’immagine di input alla miscela di Gaussiani è identica al processo utilizzato nel framework SongUNet. L’ultimo livello nell’architettura viene sostituito da un livello di convoluzione 1×1 con il modello di colore che determina la larghezza dei canali di output. Dato l’input dell’immagine, la rete produce un tensore del canale di output come output e per ogni canale del pixel, codifica i parametri che vengono quindi trasformati in offset, opacità, rotazione, profondità e colore. Il framework utilizza quindi funzioni non lineari per attivare i parametri e ottenere i parametri del Gaussian.

Per la ricostruzione 3D con multi-vista, il framework Immagine Splatter applica la stessa rete a ogni vista di input e quindi utilizza l’approccio della vista per combinare le singole ricostruzioni. Inoltre, per facilitare la coordinazione efficiente e lo scambio di informazioni tra le viste nella rete, il framework Immagine Splatter apporta due modifiche nella rete. In primo luogo, il framework condiziona il modello con la sua posizione della camera e passa vettori codificando ogni voce utilizzando un’incorporazione di posizione sinusoidale, risultando in più dimensioni. In secondo luogo, il framework aggiunge strati di cross-attenzione per facilitare la comunicazione tra le caratteristiche di diverse viste.

Immagine Splatter: Esperimenti e Risultati

Il framework Immagine Splatter misura la qualità delle sue ricostruzioni valutando la qualità della sintesi di viste nuove, poiché il framework utilizza la vista sorgente e rende la forma 3D per viste non visibili per eseguire le ricostruzioni. Il framework valuta le sue prestazioni misurando i punteggi SSIM o Similarità Strutturale, PSNR o Rapporto di Segnale/Rumore di Picco e LPIPS o Qualità Perceptiva.

Prestazioni di Ricostruzione 3D con Vista Singola

La seguente tabella dimostra le prestazioni del modello Immagine Splatter nel compito di ricostruzione 3D con vista singola sul benchmark ShapeNet.

Come si può osservare, il framework Immagine Splatter supera tutti i metodi di ricostruzione deterministica nei punteggi LPIPS e SSIM. I punteggi indicano che il modello Immagine Splatter genera immagini con ricostruzioni più nitide. Inoltre, il modello Immagine Splatter supera anche tutti i metodi di base deterministici in termini di punteggio PSNR, che indica che le ricostruzioni generate sono anche più accurate. Inoltre, oltre a superare tutti i metodi deterministici, il framework Immagine Splatter richiede solo le pose relative della camera per migliorare l’efficienza sia nella fase di addestramento che di testing.

L’immagine seguente dimostra la potenza qualitativa del framework Immagine Splatter e, come si può vedere, il modello genera ricostruzioni con geometrie sottili e interessanti e cattura i dettagli delle viste di condizionamento.

L’immagine seguente mostra che le ricostruzioni generate dal framework Immagine Splatter non sono solo più nitide, ma hanno anche una maggiore accuratezza rispetto ai modelli precedenti, specialmente in condizioni non convenzionali con strutture sottili e visibilità limitata.

Ricostruzione 3D con Multi-Vista

Per valutare le sue capacità di ricostruzione 3D con multi-vista, il framework Immagine Splatter viene addestrato sul set di dati SpaneNet-SRN Cars per previsioni a due viste. I metodi esistenti utilizzano la condizionamento della posizione della camera assoluta per i compiti di ricostruzione 3D con multi-vista, il che significa che il modello apprende a fare affidamento principalmente sull’orientamento canonico dell’oggetto nell’oggetto. Sebbene funzioni, limita l’applicabilità dei modelli poiché la posizione della camera assoluta è spesso sconosciuta per una nuova immagine di un oggetto.

Pensieri Finali

In questo articolo, abbiamo parlato di Immagine Splatter, un metodo che mira a raggiungere la ricostruzione 3D ultra-veloce della forma e dell’aspetto 3D degli oggetti. Al suo nucleo, il framework Immagine Splatter utilizza il metodo di Splatting Gaussiano per analizzare le rappresentazioni 3D, sfruttando la velocità e la qualità che offre. Il framework Immagine Splatter elabora le immagini utilizzando un’architettura 2D CNN standard per prevedere un’immagine pseudo che contiene un Gaussian colorato per ogni pixel. Utilizzando il metodo di Splatting Gaussiano, il framework Immagine Splatter è in grado di combinare il rendering veloce con l’inferenza veloce, il che si traduce in una formazione rapida e una valutazione più rapida su benchmark reali e sintetici.