Νευρικά Μέρη: Καταστρέφοντας τις Πρωτογενείς για Σημαντική Υποθετική Γεωμετρία

Ενώ τα συστήματα που είναι ικανά να γεννήσουν 3D γεωμετρία από στατικές εικόνες έχουν πολλαπλασιαστεί τα τελευταία χρόνια, τα αντικείμενα που λαμβάνονται έχουν την τάση να είναι “συνδεμένα” μαζί, χωρίς πραγματικό σεματικό σχήμα για να αντανακλούν πώς τα μέρη συμβάλλουν στο σύνολο.

Υπάρχουν πολλοί καλοί λόγοι για να παράγουν ιεραρχικές υποθετικές μοντέλα με μια σημαντική διαίρεση των μερών, συμπεριλαμβανομένων βιομηχανικής ανάλυσης, ιατρικής έρευνας και εφαρμογών απεικόνισης, αυτόματης γεννήσεως γεωμετρίας για βιντεοπαιχνίδια, προσομοιωτές και περιβάλλοντα VR/AR, και οπτικών εφέ ρίγκινγκ, μεταξύ άλλων.

Πολλές μεθόδοι που έχουν αναπτυχθεί τα τελευταία χρόνια, όπως η Superquadrics ανάλυση σχήματος, παράγουν λιγότερο ικανοποιητικά αποτελέσματα και έχουν δυσκολευτεί να προχωρήσουν την κατάσταση της τέχνης πέρα από το cuboid-στυλ ερμηνεία.

Τомωγράφηση από Superquadrics και άλλες προσεγγίσεις παρέχουν груβή ή ευρεία αναπαράσταση υπο-μερών σε μια υποθετική εικόνα. Πηγή: https://www.youtube.com/watch?v=6WK3B0IZJsw

Ωστόσο, νέα έρευνα από το Ινστιτούτο Max Planck, με τίτλο Νευρικά Μέρη: Μάθηση Εкспрессίβης 3D Σχήματος Αbstract με Αναστρέψιμα Νευρικά Δίκτυα, προσφέρει ένα νέο νευρικό πρωτογενές σύστημα αναπαράστασης 3D που δημιουργεί σεματικά χρήσιμες ενότητες.

Προηγούμενες μεθόδοι μπορούν να αναλύσουν μεγάλες υποθετικές αντικείμενα, αλλά όχι με σεματικά χρήσιμο τρόπο. Στο δεξί, η μέθοδος Neural Parts δημιουργεί πιο πρακτικές θραύσματα. Πηγή: https://paschalidoud.github.io/neural_parts

Η τομωγράφηση επιτυγχάνεται μέσω ενός Αναστρέψιμου Νευρικού Δικτύου (INN), το οποίο χρησιμοποιεί συνθήκη ομοιομορφία για να μεταμορφώσει μια βασική γεωμετρική μορφή σε πρωτογενείς, και αντίστροφα, υπολογίζοντας την τοπολογική ιεραρχία και στις δύο κατευθύνσεις. Με αυτόν τον τρόπο, κάθε πρωτογενής μορφή συνδέεται με μια μαθητέα πρωτογενή εμβέδωση για να γεννήσει την εμβέδωση σχήματος για αυτήν την πρωτογενή.

Αρχιτεκτονική

Τα Νευρικά Μέρη πρέπει να ισορροπήσουν την ποιότητα αναδόμησης και την ακεραιότητα των πρωτογενών,既然 τα σύνθετα πρωτογενή θα κλίνουν το σύστημα προς σύνθετες αναλύσεις.，因此, η αρχιτεκτονική των Νευρικών Μερών έχει σχεδιαστεί για να ισορροπήσει αυτές τις αντίθετες σκέψεις με einen εύγλωττο τρόπο.

Η αρχιτεκτονική των Νευρικών Μερών αποτελείται από einen εξαγωγέα χαρακτηριστικών που χαρτογραφεί την είσοδο ενός διανύσματος, και einen συνθήκη ομοιομορφία που μαθαίνει ομοιομορφικές αντιστοιχίες που προϋποτίθενται από την εμβέδωση σχήματος.

Η αρχική ενότητα του εξαγωγέα χαρακτηριστικών χρησιμοποιεί einen ResNet-18 συνιστώσα για να εξαγάγει εικόνες χαρακτηριστικών. Η συνθήκη ομοιομορφία χρησιμοποιεί einen πραγματικό μη-διατηρούμενο (πραγματικό NVP) μετασχηματισμό.

Αξιολόγηση

Το σύστημα ελέγχθηκε έναντι τριών συνόλων δεδομένων – του 2017’s Dynamic FAUST (D-FAUST), FreiHAND (2019) και του 2015 ShapeNet του Πανεπιστημίου Stanford.  D-FAUST περιέχει 38,640 ανθρώπινες κεντρικές πλέγματα, τα οποία αποδείχθηκαν κατάλληλα για την σύγκριση, ενώ οι πρώτες 5000 στάσεις χεριών στο FreiHAND χρησιμοποιήθηκαν για να γεννήσουν πλέγματα. Για το ShapeNet, οι ερευνητές ακολούθησαν την ίδια κατηγορία-ειδική εκπαίδευση που περιγράφηκε από τους ερευνητές του Stanford το 2016.

Οι δοκιμές έγιναν έναντι μεθόδων που βασίζονται σε πρωτογενείς, συμπεριλαμβανομένων superquadrics, CvxNet, και H-SQs.

Υπό το ShapeNet, οι ερευνητές βρήκαν ότι το μοντέλο Neural Parts οδήγησε σε πιο ακριβείς αναδόμησεις από το CvxNet σε επίπεδο 5 και 25 πρωτογενών. Κάποια απλά αντικείμενα στη βάση δεδομένων, όπως καρέκλες, δεν περιείχαν αρκετή γεωμετρία για μια σημαντική αναάλυση.

Για το FreiHAND, τα Neural Parts οδήγησαν σε πιο γεωμετρικά ακριβείς αναδόμησεις, με καλύτερη σύλληψη λεπτών λεπτομερειών όπως η θέση του αντίχειρα. Οι ερευνητές σημειώνουν ότι, σε σύγκριση, το CvxNet και τα SQs εστιάζουν περισσότερο στη γενική πυρήνα δομή και λείπουν αυτών των λεπτομερειών.

Για το Dynamic FAUST, το CvxNet και τα SQs συγκρίθηκαν με την έξοδο των Neural Parts χρησιμοποιώντας πέντε πρωτογενείς για να συλλάβουν την ακεραιότητα του ανθρώπινου σώματος αρχικά υποθετημένου από τα δεδομένα. Τα Neural Parts ήταν能够 να επιτύχουν ομαλότερη τομωγράφηση, χωρίς να θυσιάσουν τα βασικά της τοπολογίας.

Μελλοντική Εργασία

Οι ερευνητές σκοπεύουν να επεκτείνουν τα Neural Parts σε μελέτες που δεν προσφέρουν απευθείας στόχους πλέγματα, με τη χρήση διαφορίσιμων τεχνικών απόδοσης.既然 μια βασική σφαίρα είναι το τρέχον πρωτογενές που χρησιμοποιείται στο πλαίσιο των Neural Parts, οι ερευνητές εξετάζουν επίσης τη χρήση πιο σύνθετων και εκφραστικών γεωμετρικών πρωτογενών.