Neural Parts: Zerlegung von Primitiven für sinnvolle abgeleitete Geometrie

Während Systeme, die in der Lage sind, 3D-Geometrie aus statischen Einzelbildern zu generieren, in den letzten Jahren verbreitet wurden, neigen die Objekte, die sie erhalten, dazu, “zusammengefügt” zu sein, ohne eine echte semantische Schema, um zu reflektieren, wie die Teile zum Ganzen beitragen.

Es gibt eine Reihe von guten Gründen, warum hierarchische abgeleitete Modelle mit einer sinnvollen Teilung von Teilen generiert werden sollten, einschließlich industrieller Analyse, medizinischer Forschung und Bildanwendungen, automatischer Generierung von Geometrie für Videospiele, Simulatoren und VR/AR-Umgebungen sowie visueller Effekte-Rigging und anderen.

Viele in den letzten Jahren entwickelte Methoden, wie z.B. Superquadrics-Formenanalyse, produzieren weniger als zufriedenstellende Ergebnisse und haben Schwierigkeiten, den Stand der Technik über das Niveau von cuboidartigen Schnitten hinaus zu verbessern.

Segmentierung durch Superquadrics und andere Ansätze liefern grobe oder weitgehend repräsentative Sub-Teile eines abgeleiteten Bildes. Quelle: https://www.youtube.com/watch?v=6WK3B0IZJsw

Ein neues Forschungsprojekt des Max-Planck-Instituts, betitelt Neural Parts: Learning Expressive 3D Shape Abstractions with Invertible Neural Networks, bietet ein neues neuronales Primitiv-3D-Darstellungssystem, das semantisch nützliche Abschnitte erstellt.

Frühere Methoden können große abgeleitete Objekte zerlegen, aber nicht auf eine semantisch nützliche Weise. Rechts erstellt die Neural-Parts-Methode praktischere Fragmente. Quelle: https://paschalidoud.github.io/neural_parts

Die Segmentierung wird durch ein invertierbares neuronales Netzwerk (INN) erreicht, das bedingte Homöomorphismen verwendet, um eine Basisgeometrie in Primitiven zu deformieren und umgekehrt, wobei die topologische Hierarchie in beiden Richtungen berechnet wird. Auf diese Weise wird jeder primitive Form eine erlernbare primitive Einbettung zugeordnet, um die Formeinbettung für diese primitive zu generieren.

Architektur

Neural Parts muss ein Gleichgewicht zwischen Rekonstruktionsqualität und Primitivintegrität finden, da komplexe Primitiven das System tendenziell zu komplexen Dekonstruktionen führen. Daher wurde die Architektur von Neural Parts so konzipiert, dass sie diese widersprüchlichen Überlegungen auf elegante Weise ausgleicht.

Die Architektur von Neural Parts besteht aus einem Feature-Extractor, der die Eingabe eines Vektors abbildet, und einem bedingten Homöomorphismus-Komponent, der Homöomorphismen erlernt, die durch die Formeinbettung bedingt sind.

Der erste Abschnitt des Feature-Extractors verwendet ein ResNet-18-Komponent, um Feature-Bilder zu extrahieren. Der bedingte Homöomorphismus-Komponent verwendet ein reales, nicht-volumenerhaltendes (reales NVP)-Transformationsmodul.

Evaluation

Das System wurde gegen drei Datensätze getestet – 2017’s Dynamic FAUST (D-FAUST), FreiHAND (2019) und Stanford University’s populäres 2015 ShapeNet.  D-FAUST enthält 38.640 menschenzentrierte Netze, die sich für den Vergleich eigneten, während die ersten 5000 Hand-Posen in FreiHAND verwendet wurden, um Netze zu generieren. Für ShapeNet folgten die Forscher demselben kategoriespezifischen Training, das von Stanford-Forschern 2016 vorgestellt wurde.

Die Tests wurden gegen primitivebasierte Methoden durchgeführt, einschließlich Superquadrics, CvxNet und H-SQs.

Unter ShapeNet fanden die Forscher heraus, dass das Neural-Parts-Modell genauere Rekonstruktionen als CvxNet auf einem Niveau von 5 und 25 Primitiven ergab. Einige der einfacheren Objekte in der Datenbank, wie z.B. Stühle, enthielten nicht genug Geometrie für eine sinnvolle Dekonstruktion.

Bei FreiHAND ergab Neural Parts geometrisch genauere Rekonstruktionen, mit besserer Erfassung feiner Details wie der Daumenposition. Die Forscher bemerken, dass im Vergleich dazu CvxNet und SQs sich mehr auf die allgemeine Kernstruktur konzentrieren und diese Details fehlen.

Bei Dynamic FAUST wurden CvxNet und SQs mit der Ausgabe von Neural Parts unter Verwendung von fünf Primitiven verglichen, um die Integrität des menschlichen Körpers zu erfassen, der ursprünglich aus den Daten abgeleitet wurde. Neural Parts konnte eine glattere Segmentierung erreichen, ohne die wesentlichen Aspekte der Topologie zu opfern.

Zukünftige Arbeiten

Die Forscher planen, Neural Parts auf Studien auszudehnen, die keine direkten Zielnetze anbieten, durch den Einsatz von differenzierbaren Render-Techniken. Da eine Basis-Kugel derzeit das in der Neural-Parts-Architektur verwendete Primitive ist, erwägen die Forscher auch den Einsatz komplexerer und ausdrucksstärkerer geometrischer Primitiven.