Come funziona la ricostruzione 3D da una singola vista?

Tradizionalmente, i modelli per la ricostruzione di oggetti da una singola vista basati su reti neurali convoluzionali hanno mostrato prestazioni notevoli nei compiti di ricostruzione. Negli ultimi anni, la ricostruzione 3D da una singola vista è emersa come un argomento di ricerca popolare nella comunità dell’intelligenza artificiale. Indipendentemente dalla specifica metodologia utilizzata, tutti i modelli di ricostruzione 3D da una singola vista condividono l’approccio comune di incorporare una rete encoder-decoder all’interno della loro struttura. Questa rete esegue ragionamenti complessi sulla struttura 3D nello spazio di output.

In questo articolo, esploreremo come funziona la ricostruzione 3D da una singola vista in tempo reale e le sfide attuali che questi framework affrontano nei compiti di ricostruzione. Discuteremo vari componenti chiave e metodi utilizzati dai modelli di ricostruzione 3D da una singola vista e esploreremo strategie che potrebbero migliorare le prestazioni di questi framework. Inoltre, analizzeremo i risultati prodotti da framework all’avanguardia che utilizzano metodi encoder-decoder. Iniziamo.

Ricostruzione 3D da una singola vista

La ricostruzione 3D da una singola vista consiste nel generare un modello 3D di un oggetto da una singola prospettiva, o in termini più semplici, da una singola immagine. Ad esempio, dedurre la struttura 3D di un oggetto, come una motocicletta, da un’immagine, è un processo complesso. Combina la conoscenza della disposizione strutturale delle parti, dei segnali di immagine a basso livello e delle informazioni semantiche ad alto livello. Questo spettro comprende due aspetti principali: ricostruzione e riconoscimento. Il processo di ricostruzione determina la struttura 3D dell’immagine di input utilizzando segnali come ombreggiatura, texture e effetti visivi. Al contrario, il processo di riconoscimento classifica l’immagine di input e recupera un modello 3D adatto da un database.

I modelli attuali di ricostruzione 3D da una singola vista possono variare nell’architettura, ma sono unificati dall’inclusione di una struttura encoder-decoder nella loro struttura. In questa struttura, l’encoder mappa l’immagine di input in una rappresentazione latente, mentre il decoder esegue inferenze complesse sulla struttura 3D dello spazio di output. Per eseguire con successo questo compito, la rete deve integrare sia le informazioni ad alto livello che quelle a basso livello. Inoltre, molti metodi encoder-decoder all’avanguardia si basano sul riconoscimento per i compiti di ricostruzione 3D da una singola vista, il che limita le loro capacità di ricostruzione. Inoltre, le prestazioni delle reti neurali convoluzionali moderne nella ricostruzione 3D da una singola vista possono essere superate senza dedurre esplicitamente la struttura 3D dell’oggetto. Tuttavia, il dominio del riconoscimento nelle reti neurali convoluzionali nei compiti di ricostruzione di oggetti da una singola vista è influenzato da vari procedimenti sperimentali, tra cui protocolli di valutazione e composizione del set di dati. Tali fattori consentono al framework di trovare una soluzione di scorciatoia, in questo caso, il riconoscimento di immagini.

Tradizionalmente, i framework di ricostruzione 3D da una singola vista affrontano i compiti di ricostruzione utilizzando l’approccio “shape from shading”, con texture e sfocatura che servono come viste esotiche per i compiti di ricostruzione. Poiché queste tecniche utilizzano un singolo segnale di profondità, sono in grado di fornire ragionamenti per le parti visibili di una superficie. Inoltre, molti framework di ricostruzione 3D da una singola vista utilizzano più segnali insieme alla conoscenza strutturale per stimare la profondità da una singola immagine monoculare, una combinazione che consente a questi framework di prevedere la profondità delle superfici visibili. I framework di stima della profondità più recenti utilizzano strutture di reti neurali convoluzionali per estrarre la profondità in un’immagine monoculare.

Tuttavia, per una ricostruzione 3D da una singola vista efficace, i modelli non devono solo ragionare sulla struttura 3D degli oggetti visibili nell’immagine, ma devono anche “immaginare” le parti invisibili nell’immagine utilizzando alcuni priori appresi dai dati. Per raggiungere questo, la maggior parte dei modelli attuali utilizza strutture di reti neurali convoluzionali addestrate per mappare immagini 2D in forme 3D utilizzando una supervisione diretta 3D, mentre molti altri framework utilizzano rappresentazioni basate su voxel della forma 3D e utilizzano una rappresentazione latente per generare up-convoluzioni 3D. Alcuni framework dividono anche lo spazio di output in modo gerarchico per migliorare l’efficienza computazionale e della memoria, il che consente al modello di prevedere forme 3D ad alta risoluzione. La ricerca recente si concentra sull’utilizzo di forme di supervisione più deboli per le previsioni di forme 3D da una singola vista utilizzando reti neurali convoluzionali, confrontando forme previste e relative previsioni di verità di base per addestrare regressori di forma o utilizzando più segnali di apprendimento per addestrare forme medie che aiutano il modello a prevedere deformazioni. Un’altra ragione alla base dei limitati progressi nella ricostruzione 3D da una singola vista è la limitata quantità di dati di addestramento disponibili per il compito.

Proseguendo, la ricostruzione 3D da una singola vista è un compito complesso poiché non solo interpreta i dati visivi in modo geometrico, ma anche semantico. Sebbene non siano completamente diversi, coprono spettri diversi dalla ricostruzione geometrica al riconoscimento semantico. I compiti di ricostruzione richiedono un ragionamento per pixel della struttura 3D dell’oggetto nell’immagine. I compiti di ricostruzione non richiedono una comprensione semantica del contenuto dell’immagine e possono essere raggiunti utilizzando segnali di immagine a basso livello, tra cui texture, colore, ombreggiatura, ombre, prospettiva e messa a fuoco. Il riconoscimento, d’altra parte, è un caso estremo di utilizzo della semantica delle immagini, poiché i compiti di riconoscimento utilizzano oggetti interi e si traducono nel classificare l’oggetto di input e recuperare la forma corrispondente dal database. Sebbene i compiti di riconoscimento possano fornire ragionamenti robusti sulle parti dell’oggetto non visibili nelle immagini, la soluzione semantica è fattibile solo se può essere spiegata da un oggetto presente nel database.

Sebbene i compiti di riconoscimento e ricostruzione possano differire notevolmente l’uno dall’altro, entrambi tendono a ignorare informazioni preziose contenute nell’immagine di input. È consigliabile utilizzare entrambi questi compiti in unione l’uno con l’altro per ottenere i migliori risultati possibili e forme 3D accurate per la ricostruzione di oggetti, ovvero per la ricostruzione 3D da una singola vista ottimale, il modello dovrebbe utilizzare la conoscenza strutturale, i segnali di immagine a basso livello e la comprensione ad alto livello dell’oggetto.

Ricostruzione 3D da una singola vista: configurazione convenzionale

Per spiegare la configurazione convenzionale e analizzare la configurazione di un framework di ricostruzione 3D da una singola vista, utilizzeremo una configurazione standard per stimare la forma 3D utilizzando una singola vista o immagine dell’oggetto. Il set di dati utilizzato per l’addestramento è il set di dati ShapeNet e valuta le prestazioni in 13 classi, il che consente al modello di comprendere come il numero di classi in un set di dati determini le prestazioni di stima della forma del modello.

La maggior parte delle reti neurali convoluzionali moderne utilizza una singola immagine per prevedere modelli 3D ad alta risoluzione e questi framework possono essere categorizzati in base alla rappresentazione dell’output: mappe di profondità, nuvole di punti e griglie di voxel. Il modello utilizza OGN o reti generate da Octree come metodo rappresentativo che storicamente ha superato l’approccio della griglia di voxel e/o può coprire le rappresentazioni di output dominanti. In contrasto con i metodi esistenti che utilizzano rappresentazioni di output, l’approccio OGN consente al modello di prevedere forme ad alta risoluzione e utilizza octree per rappresentare efficientemente lo spazio occupato.

Linee di base

Per valutare i risultati, il modello utilizza due linee di base che considerano il problema come un compito di riconoscimento puro. La prima linea di base si basa sul clustering, mentre la seconda linea di base esegue il recupero dal database.

Clustering

Nella linea di base del clustering, il modello utilizza l’algoritmo K-Means per raggruppare o raggruppare le forme di addestramento in sottocategorie K e esegue l’algoritmo su voxelizzazioni 32*32*32 appiattite in un vettore. Dopo aver determinato gli assegnamenti del cluster, il modello passa a lavorare con modelli ad alta risoluzione. Il modello calcola quindi la forma media all’interno di ogni cluster e soglia le forme medie dove il valore ottimale è calcolato massimizzando la media dell’intersezione su unioni (IoU) sui modelli. Poiché il modello conosce la relazione tra le forme 3D e le immagini all’interno dei dati di addestramento, il modello può facilmente abbinare l’immagine con il cluster corrispondente.

Recupero

La linea di base del recupero apprende a incorporare forme e immagini in uno spazio condiviso. Il modello considera la similarità tra matrici di forma 3D nel set di addestramento per costruire lo spazio di incorporazione. Il modello raggiunge questo utilizzando l’approccio di mappatura di Sammon con riduzione della dimensionalità multidimensionale per comprimere ogni riga nella matrice in un descrittore a bassa dimensionalità. Inoltre, per calcolare la similarità tra due forme arbitrarie, il modello utilizza il descrittore di campo luminoso. Inoltre, il modello addestra una rete neurale convoluzionale per mappare le immagini in un descrittore per incorporare le immagini nello spazio.

Analisi

I modelli di ricostruzione 3D da una singola vista seguono strategie diverse, a seguito delle quali superano altri modelli in alcune aree, mentre falliscono in altre. Per confrontare diversi framework e valutare le loro prestazioni, abbiamo diversi metriche, una delle quali è il punteggio IoU medio.

Come si può vedere nell’immagine sopra, nonostante abbiano architetture diverse, i modelli di ricostruzione 3D attuali forniscono prestazioni quasi simili. Tuttavia, è interessante notare che, nonostante sia un metodo di riconoscimento puro, il framework di recupero supera gli altri modelli in termini di punteggio IoU medio e mediano. Il framework di clustering fornisce risultati solidi, superando il framework AtlasNet, il framework OGN e il framework Matryoshka. Tuttavia, il risultato più inaspettato di questa analisi rimane Oracle (ORCL ) NN, che supera tutti gli altri metodi, nonostante abbia impiegato un’architettura di recupero perfetta. Sebbene il calcolo del punteggio IoU medio aiuti nel confronto, non fornisce un’immagine completa, poiché la varianza nei risultati è alta, indipendentemente dal modello.

Metriche di valutazione comuni

I modelli di ricostruzione 3D da una singola vista spesso utilizzano diverse metriche di valutazione per analizzare le loro prestazioni in una vasta gamma di compiti. Di seguito sono riportate alcune delle metriche di valutazione più comuni.

Intersezione su unione

La media dell’intersezione su unione è una metrica comunemente utilizzata come misura quantitativa per servire come benchmark per i modelli di ricostruzione 3D da una singola vista. Sebbene l’IoU fornisca alcuni insight sulle prestazioni del modello, non è considerata la sola metrica per valutare un metodo, poiché indica la qualità della forma prevista dal modello solo se i valori sono sufficientemente alti, con una significativa discrepanza osservata tra i punteggi a basso e medio livello per due forme date.

Distanza di Chamfer

La distanza di Chamfer è definita su nuvole di punti e è stata progettata per essere applicata a diverse rappresentazioni 3D in modo soddisfacente. Tuttavia, la metrica di valutazione della distanza di Chamfer è altamente sensibile agli outlier, il che la rende una misura problematica per valutare le prestazioni del modello, con la distanza dell’outlier dalla forma di riferimento che determina significativamente la qualità della generazione.

Punteggio F

Il punteggio F è una metrica di valutazione comune attivamente utilizzata dalla maggior parte dei modelli di ricostruzione 3D multivista. Il punteggio F è definito come la media armonica tra richiamo e precisione e valuta la distanza tra le superfici degli oggetti in modo esplicito. La precisione conta la percentuale di punti ricostruiti che si trovano all’interno di una distanza predefinita dalla verità di base, per misurare l’accuratezza della ricostruzione. Il richiamo, d’altra parte, conta la percentuale di punti sulla verità di base che si trovano all’interno di una distanza predefinita dalla ricostruzione, per misurare la completezza della ricostruzione. Inoltre, variando la soglia di distanza, gli sviluppatori possono controllare la severità della metrica del punteggio F.

Analisi per classe

La somiglianza nelle prestazioni fornite dai framework sopra menzionati non può essere il risultato di metodi che eseguono su diversi subset di classi e la figura seguente dimostra le prestazioni relative coerenti in diverse classi, con la linea di base di recupero Oracle NN che raggiunge il miglior risultato di tutti, e tutti i metodi osservano una varianza elevata per tutte le classi.

Inoltre, il numero di campioni di addestramento disponibili per una classe potrebbe portare a pensare che influenzi le prestazioni per classe. Tuttavia, come dimostrato nella figura seguente, il numero di campioni di addestramento disponibili per una classe non influenza le prestazioni per classe e il numero di campioni in una classe e il suo punteggio IoU medio non sono correlati.

Analisi qualitativa

I risultati quantitativi discussi nella sezione sopra sono supportati da risultati qualitativi, come mostrato nell’immagine seguente.

Per la maggior parte delle classi, non c’è una differenza significativa tra la linea di base del clustering e le previsioni fatte dai metodi basati sul decoder. L’approccio del clustering non riesce a fornire risultati quando la distanza tra il campione e la forma media del cluster è alta o quando la forma media stessa non può descrivere adeguatamente il cluster. D’altra parte, i framework che utilizzano metodi basati sul decoder e l’architettura di recupero forniscono i risultati più precisi e attraenti, poiché sono in grado di includere dettagli fini nel modello 3D generato.

Ricostruzione 3D da una singola vista: pensieri finali

In questo articolo, abbiamo parlato della ricostruzione 3D da una singola vista e di come funziona e abbiamo discusso due linee di base: recupero e clustering, con la linea di base del recupero che supera i modelli attuali. Infine, sebbene la ricostruzione 3D da una singola vista sia uno degli argomenti più caldi e più ricercati nella comunità dell’intelligenza artificiale e nonostante abbia fatto progressi significativi negli ultimi anni, la ricostruzione 3D da una singola vista è lontana dall’essere perfetta, con ostacoli significativi da superare negli anni a venire.