Wie funktioniert die 3D-Rekonstruktion aus einer einzigen Ansicht?

Traditionell haben Modelle für die 3D-Rekonstruktion aus einer einzigen Ansicht, die auf konvolutionellen neuronalen Netzen basieren, bemerkenswerte Leistungen bei Rekonstruktionsaufgaben gezeigt. In den letzten Jahren ist die 3D-Rekonstruktion aus einer einzigen Ansicht zu einem beliebten Forschungsthema in der KI-Gemeinschaft geworden. Unabhängig von der spezifischen Methodik, die verwendet wird, teilen sich alle Modelle für die 3D-Rekonstruktion aus einer einzigen Ansicht den gemeinsamen Ansatz, ein Encoder-Decoder-Netzwerk in ihrem Framework zu integrieren. Dieses Netzwerk führt komplexe Überlegungen zur 3D-Struktur im Ausgaberaum durch.

In diesem Artikel werden wir erforschen, wie die 3D-Rekonstruktion aus einer einzigen Ansicht in Echtzeit funktioniert und welche Herausforderungen diese Frameworks bei Rekonstruktionsaufgaben haben. Wir werden verschiedene Schlüsselkomponenten und Methoden diskutieren, die von Modellen für die 3D-Rekonstruktion aus einer einzigen Ansicht verwendet werden, und Strategien erforschen, die die Leistung dieser Frameworks verbessern könnten. Darüber hinaus werden wir die Ergebnisse analysieren, die von Frameworks der aktuellen State-of-the-Art-Technologie erzielt werden, die Encoder-Decoder-Methoden verwenden. Lassen Sie uns beginnen.

3D-Rekonstruktion aus einer einzigen Ansicht

Die 3D-Rekonstruktion aus einer einzigen Ansicht beinhaltet die Erstellung eines 3D-Modells eines Objekts aus einer einzigen Perspektive oder, einfacher ausgedrückt, aus einem einzigen Bild. Zum Beispiel ist die Ableitung der 3D-Struktur eines Objekts, wie eines Motorrads, aus einem Bild ein komplexer Prozess. Es kombiniert Kenntnisse über die strukturelle Anordnung von Teilen, low-level-Bildhinweise und high-level-semantische Informationen. Dieses Spektrum umfasst zwei Hauptaspekte: Rekonstruktion und Erkennung. Der Rekonstruktionsprozess erkennt die 3D-Struktur des Eingabebildes mithilfe von Hinweisen wie Schattierung, Textur und visuellen Effekten. Im Gegensatz dazu klassifiziert der Erkennungsprozess das Eingabebild und ruft ein geeignetes 3D-Modell aus einer Datenbank ab.

Die aktuellen Modelle für die 3D-Rekonstruktion aus einer einzigen Ansicht können in ihrer Architektur variieren, aber sie sind durch die Einbeziehung einer Encoder-Decoder-Struktur in ihrem Framework vereint. In dieser Struktur kartiert der Encoder das Eingabebild auf eine latente Repräsentation, während der Decoder komplexe Überlegungen zur 3D-Struktur des Ausgaberaums anstellt. Um diese Aufgabe erfolgreich auszuführen, muss das Netzwerk sowohl high-level- als auch low-level-Informationen integrieren. Darüber hinaus basieren viele State-of-the-Art-Encoder-Decoder-Methoden auf Erkennung für Aufgaben der 3D-Rekonstruktion aus einer einzigen Ansicht, was ihre Rekonstruktionsfähigkeiten begrenzt. Darüber hinaus kann die Leistung moderner konvolutioneller neuronaler Netze bei der 3D-Rekonstruktion aus einer einzigen Ansicht übertroffen werden, ohne die 3D-Objektstruktur explizit abzuleiten. Die Dominanz der Erkennung in konvolutionellen Netzen bei Aufgaben der 3D-Rekonstruktion aus einer einzigen Ansicht wird jedoch durch verschiedene experimentelle Verfahren beeinflusst, einschließlich Evaluierungsprotokollen und Datensatz-Zusammensetzung. Solche Faktoren ermöglichen es dem Framework, eine Abkürzungslösung zu finden, in diesem Fall die Bilderkennung.

Traditionell nähern sich Frameworks für die 3D-Rekonstruktion aus einer einzigen Ansicht Rekonstruktionsaufgaben mit dem Ansatz “Form aus Schattierung” an, wobei Textur und Unschärfe als exotische Ansichten für die Rekonstruktionsaufgaben dienen. Da diese Techniken nur einen einzigen Tiefen-Hinweis verwenden, können sie eine Begründung für die sichtbaren Teile einer Oberfläche liefern. Darüber hinaus verwenden viele Frameworks für die 3D-Rekonstruktion aus einer einzigen Ansicht mehrere Hinweise zusammen mit strukturellem Wissen, um die Tiefe aus einem einzigen monokularen Bild zu schätzen, eine Kombination, die es diesen Frameworks ermöglicht, die Tiefe der sichtbaren Oberflächen vorherzusagen. Neuere Frameworks für die Tiefenschätzung setzen konvolutionelle neuronale Netzwerke ein, um die Tiefe in einem monokularen Bild zu extrahieren.

Jedoch benötigen Modelle für die effektive 3D-Rekonstruktion aus einer einzigen Ansicht nicht nur eine Begründung für die 3D-Struktur der sichtbaren Objekte im Bild, sondern müssen auch die unsichtbaren Teile im Bild mithilfe bestimmter Priors, die aus den Daten gelernt wurden, hallucinieren. Um dies zu erreichen, setzen die meisten Modelle derzeit trainierte konvolutionelle neuronale Netzwerke ein, um 2D-Bilder in 3D-Formen zu kartieren, indem sie direkte 3D-Überwachung verwenden, während viele andere Frameworks eine voxelbasierte Repräsentation der 3D-Form verwenden und eine latente Repräsentation verwenden, um 3D-Up-Konvolutionen zu generieren. Bestimmte Frameworks unterteilen auch den Ausgaberaum hierarchisch, um die Rechen- und Speichereffizienz zu verbessern, was es dem Modell ermöglicht, höher auflösende 3D-Formen vorherzusagen. Aktuelle Forschung konzentriert sich auf die Verwendung schwächerer Formen der Überwachung für Vorhersagen der 3D-Form aus einer einzigen Ansicht mithilfe konvolutioneller neuronaler Netze, entweder durch Vergleichen vorhergesagter Formen und ihrer Ground-Truth-Vorhersagen, um Form-Regressoren zu trainieren, oder durch Verwenden mehrerer Lernsignale, um mittlere Formen zu trainieren, die dem Modell helfen, Deformationen vorherzusagen. Ein weiterer Grund für die begrenzten Fortschritte bei der 3D-Rekonstruktion aus einer einzigen Ansicht ist die begrenzte Menge an Trainingsdaten, die für diese Aufgabe verfügbar sind.

Wenn wir weitermachen, ist die 3D-Rekonstruktion aus einer einzigen Ansicht eine komplexe Aufgabe, da sie nicht nur visuelle Daten geometrisch, sondern auch semantisch interpretiert. Obwohl sie nicht völlig unterschiedlich sind, decken sie unterschiedliche Spektren von der geometrischen Rekonstruktion bis zur semantischen Erkennung ab. Rekonstruktionsaufgaben erfordern eine Pixel-weise Begründung der 3D-Struktur des Objekts im Bild. Rekonstruktionsaufgaben erfordern keine semantische Verständnis des Inhalts des Bildes und können mithilfe low-level-Bildhinweise wie Textur, Farbe, Schattierung, Schatten, Perspektive und Fokus erreicht werden. Erkennung hingegen ist ein extremes Beispiel für die Verwendung von Bildsemantik, da Erkennungsaufgaben ganze Objekte verwenden und es sich um die Klassifizierung des Objekts im Eingabebild und die Abrufung der entsprechenden Form aus der Datenbank handelt. Obwohl Erkennungsaufgaben robuste Begründungen für die Teile des Objekts liefern können, die im Bild nicht sichtbar sind, ist die semantische Lösung nur dann machbar, wenn sie durch ein Objekt in der Datenbank erklärt werden kann.

Obwohl Rekonstruktions- und Erkennungsaufgaben sich erheblich voneinander unterscheiden können, ignorieren sie beide wertvolle Informationen, die im Eingabebild enthalten sind. Es ist ratsam, beide Aufgaben in Verbindung miteinander zu verwenden, um die besten möglichen Ergebnisse zu erzielen und genaue 3D-Formen für die Objektrekonstruktion zu erhalten, d. h. für die optimale 3D-Rekonstruktion aus einer einzigen Ansicht sollte das Modell strukturelles Wissen, low-level-Bildhinweise und ein hohes Verständnis des Objekts verwenden.

3D-Rekonstruktion aus einer einzigen Ansicht: Konventionelle Einrichtung

Um die konventionelle Einrichtung und die Einrichtung eines Frameworks für die 3D-Rekonstruktion aus einer einzigen Ansicht zu erklären, werden wir eine Standard-Einrichtung für die Schätzung der 3D-Form mithilfe eines einzigen Bildes oder einer einzigen Ansicht des Objekts verwenden. Der Datensatz, der für Trainingszwecke verwendet wird, ist der ShapeNet-Datensatz, und die Leistung wird über 13 Klassen hinweg bewertet, was es dem Modell ermöglicht, zu verstehen, wie die Anzahl der Klassen in einem Datensatz die Schätzung der Form des Modells beeinflusst.

Die meisten modernen konvolutionellen neuronalen Netze verwenden ein einzelnes Bild, um hochauflösende 3D-Modelle vorherzusagen, und diese Frameworks können auf der Grundlage der Repräsentation ihrer Ausgabe kategorisiert werden: Tiefenkarten, Punktwolken und Voxel-Gitter. Das Modell verwendet OGN oder Octree-Generierungsnetze als seine repräsentative Methode, die historisch gesehen die Voxel-Gitter-Ansatz übertroffen hat und/oder die dominanten Ausgaberepräsentationen abdecken kann. Im Gegensatz zu bestehenden Methoden, die Ausgaberepräsentationen verwenden, ermöglicht der OGN-Ansatz dem Modell, hochauflösende Formen vorherzusagen und verwendet Octrees, um den besetzten Raum effizient zu repräsentieren.

Referenzwerte

Um die Ergebnisse zu bewerten, setzt das Modell zwei Referenzwerte ein, die das Problem rein als eine Erkennungsaufgabe betrachten. Der erste Referenzwert basiert auf Clustering, während der zweite Referenzwert eine Datenbank-Abfrage durchführt.

Clustering

Im Clustering-Referenzwert verwendet das Modell den K-Means-Algorithmus, um die Trainingsformen in K-Subkategorien zu clustern oder zu bündeln, und führt den Algorithmus auf 32*32*32-Voxelisierungen aus, die in einen Vektor flachgezogen werden. Nachdem die Cluster-Zuweisungen bestimmt wurden, wechselt das Modell zurück zur Arbeit mit Modellen mit höherer Auflösung. Das Modell berechnet dann die mittlere Form innerhalb jedes Clusters und schwellt die mittleren Formen, wobei der optimale Wert durch Maximieren des mittleren IoU oder der Intersection-over-Union über die Modelle berechnet wird. Da das Modell die Beziehung zwischen den 3D-Formen und den Bildern im Trainingsdatensatz kennt, kann das Modell das Bild leicht mit seinem entsprechenden Cluster abgleichen.

Abfrage

Der Abfrage-Referenzwert lernt, Formen und Bilder in einem gemeinsamen Raum zu einbetten. Das Modell berücksichtigt die paargeweise Ähnlichkeit von 3D-Matrix-Formen im Trainingsdatensatz, um den Einbettungsraum zu konstruieren. Das Modell erreicht dies, indem es die Multi-Dimensionale Skalierung mit Sammon-Mapping-Ansatz verwendet, um jede Zeile in der Matrix zu einem niedrigdimensionalen Deskriptor zu komprimieren. Darüber hinaus verwendet das Modell, um die Ähnlichkeit zwischen zwei beliebigen Formen zu berechnen, den Light-Field-Deskriptor. Zusätzlich trainiert das Modell ein konvolutionelles neuronales Netz, um Bilder in einen Deskriptor zu kartieren, um die Bilder in den Raum zu einbetten.

Analyse

Modelle für die 3D-Rekonstruktion aus einer einzigen Ansicht verfolgen unterschiedliche Strategien, als Ergebnis dessen übertreffen sie andere Modelle in einigen Bereichen, während sie in anderen Bereichen hinterherhinken. Um verschiedene Frameworks zu vergleichen und ihre Leistung zu bewerten, haben wir verschiedene Metriken, eine davon ist der mittlere IoU-Score.

Wie im obigen Bild zu sehen ist, liefern trotz unterschiedlicher Architekturen aktuelle State-of-the-Art-3D-Rekonstruktionsmodelle fast identische Leistungen. Es ist jedoch interessant zu beachten, dass trotz der reinen Erkennungsmethode der Abfrage-Referenzwert andere Modelle in Bezug auf den mittleren und den Median-IoU-Score übertroffen hat. Der Clustering-Referenzwert liefert solide Ergebnisse und übertrifft das AtlasNet-, das OGN- und das Matryoshka-Modell. Es ist jedoch das unerwartetste Ergebnis dieser Analyse, dass Oracle (ORCL ) NN alle anderen Methoden übertroffen hat, obwohl es eine perfekte Abfrage-Architektur verwendet. Obwohl die Berechnung des mittleren IoU-Scores hilft, ist es nicht möglich, ein vollständiges Bild zu erhalten, da die Varianz in den Ergebnissen hoch ist, unabhängig vom Modell.

Gemeinsame Bewertungsmetriken

Modelle für die 3D-Rekonstruktion aus einer einzigen Ansicht verwenden oft verschiedene Bewertungsmetriken, um ihre Leistung bei einer Vielzahl von Aufgaben zu analysieren. Folgende sind einige der häufig verwendeten Bewertungsmetriken.

Intersection über Union

Der Mittelwert der Intersection über Union ist eine Metrik, die häufig als quantitativer Maßstab verwendet wird, um die Leistung von Modellen für die 3D-Rekonstruktion aus einer einzigen Ansicht zu bewerten. Obwohl IoU einige Einblicke in die Leistung des Modells bietet, wird es nicht als einzige Metrik zur Bewertung einer Methode betrachtet, da es die Qualität der vorhergesagten Form nur dann angibt, wenn die Werte ausreichend hoch sind, mit einer signifikanten Diskrepanz zwischen den niedrigen und mittleren Werten für zwei gegebene Formen.

Chamfer-Distanz

Die Chamfer-Distanz ist definiert auf Punktwolken und wurde so konzipiert, dass sie auf verschiedene 3D-Repräsentationen zufriedenstellend angewendet werden kann. Die Chamfer-Distanz-Bewertungsmetrik ist jedoch sehr empfindlich gegenüber Ausreißern, was sie zu einem problematischen Maßstab für die Bewertung der Modellleistung macht, wobei die Distanz des Ausreißers von der Referenzform erheblich die Generierungsqualität bestimmt.

F-Score

Der F-Score ist eine häufig verwendete Bewertungsmetrik, die von den meisten multi-view-3D-Rekonstruktionsmodellen verwendet wird. Der F-Score-Metrik ist definiert als der harmonische Mittelwert zwischen Recall- und Präzision und bewertet die Distanz zwischen den Oberflächen der Objekte explizit. Präzision zählt den Prozentsatz der rekonstruierten Punkte, die innerhalb einer vordefinierten Distanz zur Ground-Truth liegen, um die Genauigkeit der Rekonstruktion zu messen. Recall hingegen zählt den Prozentsatz der Punkte auf der Ground-Truth, die innerhalb einer vordefinierten Distanz zur Rekonstruktion liegen, um die Vollständigkeit der Rekonstruktion zu messen. Darüber hinaus kann die Strenge des F-Score-Maßstabs durch Variation der Distanzschwelle gesteuert werden.

Pro-Klasse-Analyse

Die Ähnlichkeit in der Leistung, die von den oben genannten Frameworks geliefert wird, kann nicht das Ergebnis von Methoden sein, die auf unterschiedlichen Teilmengen von Klassen laufen, und die folgende Abbildung zeigt die konsistente relative Leistung über verschiedene Klassen hinweg, wobei der Oracle-NN-Abfrage-Referenzwert das beste Ergebnis von allen erzielt und alle Methoden eine hohe Varianz für alle Klassen aufweisen.

Darüber hinaus könnte die Anzahl der Trainingsbeispiele, die für eine Klasse verfügbar sind, zu der Annahme führen, dass sie die Leistung pro Klasse beeinflusst. Es wird jedoch, wie in der folgenden Abbildung gezeigt, deutlich, dass die Anzahl der Trainingsbeispiele, die für eine Klasse verfügbar sind, die Leistung pro Klasse nicht beeinflusst und die Anzahl der Beispiele in einer Klasse und ihr mittlerer IoU-Score nicht korreliert sind.

Qualitative Analyse

Die quantitativen Ergebnisse, die in dem oben genannten Abschnitt diskutiert wurden, werden durch qualitative Ergebnisse gestützt, wie in der folgenden Abbildung gezeigt.

Für die meisten Klassen gibt es keinen signifikanten Unterschied zwischen dem Clustering-Referenzwert und den Vorhersagen, die von decoder-basierten Methoden gemacht werden. Der Clustering-Ansatz schlägt fehl, wenn die Distanz zwischen dem Beispiel und der mittleren Cluster-Form hoch ist oder wenn die mittlere Form selbst den Cluster nicht gut genug beschreiben kann. Andererseits liefern Frameworks, die decoder-basierte Methoden und Abfrage-Architekturen verwenden, die genauesten und ansprechendsten Ergebnisse, da sie in der Lage sind, feine Details in das generierte 3D-Modell einzubeziehen.

3D-Rekonstruktion aus einer einzigen Ansicht: Abschließende Gedanken

In diesem Artikel haben wir über die 3D-Rekonstruktion aus einer einzigen Ansicht gesprochen und darüber, wie sie funktioniert, und haben zwei Referenzwerte diskutiert: Abfrage und Klassifizierung, wobei der Abfrage-Referenzwert aktuelle State-of-the-Art-Modelle übertroffen hat. Schließlich ist die 3D-Rekonstruktion aus einer einzigen Ansicht, obwohl sie eines der heißesten Themen und am meisten erforschten Themen in der KI-Gemeinschaft ist und trotz der erheblichen Fortschritte in den letzten Jahren, noch weit entfernt von der Vollkommenheit und hat erhebliche Hindernisse zu überwinden in den kommenden Jahren.