Η αναδόμηση 3D αντικειμένων από μονόπλευρη θέα με συνελικτικές δικτυώσεις έχει δείξει αξιοσημείωτες ικανότητες. Τα μοντέλα αναδόμησης 3D από μονόπλευρη θέα γεννούν το 3D μοντέλο οποιουδήποτε αντικειμένου χρησιμοποιώντας μια seule εικόνα ως αναφορά, καθιστώντας το ένα από τα πιο热τα θέματα έρευνας στην υπολογιστική όραση.

Για παράδειγμα, ας εξετάσουμε το μοτοσικλέτα στην παραπάνω εικόνα. Η γεννήθηκε της 3D δομής του απαιτεί μια σύνθετη διαδικασία που συνδυάζει σημάδια από χαμηλού επιπέδου εικόνες με υψηλού επιπέδου σεμαντική πληροφορία και γνώση σχετικά με τη δομική διάταξη των μερών.

Λόγω της σύνθετης διαδικασίας, η αναδόμηση 3D από μονόπλευρη θέα έχει sido ένα σημαντικό πρόβλημα στην υπολογιστική όραση. Σε μια προσπάθεια να βελτιώσει την αποτελεσματικότητα της αναδόμησης 3D από μονόπλευρη θέα, οι dévelopπεurs έχουν εργαστεί πάνω στο Splatter Image, μια μέθοδο που στοχεύει να επιτύχει υπερ-γρήγορη αναδόμηση 3D σχήματος και 3D εμφάνισης των αντικειμένων. Στο κέντρο του, το Splatter Image χρησιμοποιεί τη μέθοδο Gaussian Splatting για να αναλύσει τις 3D αναπαραστάσεις, εκμεταλλευόμενο την ταχύτητα και την ποιότητα που προσφέρει.

Πρόσφατα, η μέθοδος Gaussian Splatting έχει υλοποιηθεί από πολλά μοντέλα πολλαπλής θέας για την πραγματική απόδοση, την ενισχυμένη κλιμάκωση και τη γρήγορη εκπαίδευση. Με αυτό που έχει ειπωθεί, το Splatter Image είναι το πρώτο πλαίσιο που υλοποιεί τη μέθοδο Gaussian Splatting για εργασίες αναδόμησης από μονόπλευρη θέα.

Σε αυτό το άρθρο, θα εξετάσουμε πώς το Splatter Image χρησιμοποιεί τη μέθοδο Gaussian Splatting για να επιτύχει υπερ-γρήγορη αναδόμηση 3D από μονόπλευρη θέα. Έτσι, ας ξεκινήσουμε.

Splatter Image: Μια Προσπάθεια για Υπερ-Γρήγορη Αναδόμηση 3D από Μονόπλευρη Θέα

Όπως đã αναφέρθηκε νωρίτερα, το Splatter Image είναι μια υπερ-γρήγορη προσέγγιση για την αναδόμηση 3D αντικειμένων από μονόπλευρη θέα με βάση τη μέθοδο Gaussian Splatting. Το Splatter Image είναι το πρώτο πλαίσιο υπολογιστικής όρασης που υλοποιεί τη μέθοδο Gaussian Splatting για μονοπλευρή γεννήθηκε αντικειμένων,既然 ότι παραδοσιακά η μέθοδος Gaussian Splatting έχει χρησιμοποιηθεί για την αναδόμηση 3D αντικειμένων από πολλαπλές θέες. Ωστόσο, το που διακρίνει το Splatter Image από τις προηγούμενες μεθόδους είναι ότι είναι μια μάθηση-βασισμένη προσέγγιση, και η αναδόμηση κατά τη διάρκεια του τεστ απαιτεί μόνο την αξιολόγηση του νευρωνικού δικτύου.

Το Splatter Image βασίζεται ουσιαστικά στις ιδιότητες απόδοσης της μέθοδος Gaussian Splatting και στην υψηλή ταχύτητα επεξεργασίας για να γεννήσει αναδόμησεις 3D. Το Splatter Image έχει μια απλή σχεδίαση: το πλαίσιο χρησιμοποιεί ένα νευρωνικό δίκτυο εικόνας-προς-εικόνα για να προβλέψει ένα 3D Gaussian ανά pixel εισαγωγής εικόνας, και χαρτογραφεί την εισαγωγική εικόνα σε ένα 3D Gaussian ανά pixel. Το αποτέλεσμα είναι ένα 3D Gaussian που έχει τη μορφή μιας εικόνας, γνωστή ως η Splatter Image, και που παρέχει επίσης μια 360 μοιρών αναπαράσταση της εικόνας.

Αν και η διαδικασία είναι απλή και ευθύγραμμη, υπάρχουν κάποια κρίσιμα προβλήματα που αντιμετωπίζει το Splatter Image όταν χρησιμοποιεί τη μέθοδο Gaussian Splatting για να γεννήσει 3D Gaussians για αναπαραστάσεις 3D από μονόπλευρη θέα. Το πρώτο σημαντικό εμπόδιο είναι να σχεδιάσει ένα νευρωνικό δίκτυο που να接受ει την εικόνα ενός αντικειμένου ως εισαγωγή και να γεννήσει μια αντίστοιχη Gaussian μίξη που αντιπροσωπεύει όλες τις πλευρές της εικόνας ως έξοδο.

Για να αντιμετωπίσουμε αυτό, το Splatter Image χρησιμοποιεί το γεγονός ότι, mặc dù η γεννηθείσα Gaussian μίξη είναι ένα σύνολο ή μια αταξινόμητη συλλογή αντικειμένων, μπορεί ακόμα να αποθηκευτεί σε μια ταξινομημένη δομή δεδομένων. Κατά συνέπεια, το πλαίσιο χρησιμοποιεί μια 2D εικόνα ως контейнер για τα 3D Gaussians, ως αποτέλεσμα του οποίου κάθε pixel στο контέινερ περιέχει τις παραμέτρους ενός Gaussian, συμπεριλαμβανομένων των ιδιοτήτων όπως το σχήμα, η διαφάνεια και το χρώμα.

Αποθηκεύοντας 3D Gaussian σε μια εικόνα, το Splatter Image είναι σε θέση να μειώσει τα εμπόδια αναδόμησης που αντιμετωπίζονται κατά την εκμάθηση ενός νευρωνικού δικτύου εικόνας-προς-εικόνα. Χρησιμοποιώντας αυτήν την προσέγγιση, η διαδικασία αναδόμησης μπορεί να υλοποιηθεί μόνο με την χρήση αποτελεσματικών 2D операторων αντί να βασίζεται σε 3D операторы. Επιπλέον, στο Splatter Image, η 3D αναπαράσταση είναι μια μίξη 3D Gaussians, που της επιτρέπει να εκμεταλλευτεί την ταχύτητα απόδοσης και την αποδοτικότητα μνήμης που προσφέρει η μέθοδος Gaussian Splatting, που βελτιώνει την αποτελεσματικότητα τόσο στην εκπαίδευση όσο και στην εκτίμηση.

Από μια εμπειρική άποψη, είναι αξιοσημείωτο ότι το Splatter Image μπορεί να παράγει 360 μοιρών αναδόμηση του αντικειμένου, ακόμη και αν βλέπει μόνο μια πλευρά του αντικειμένου. Το πλαίσιο τότε διανέμει διαφορετικά Gaussians σε μια 2D γειτονιά σε διαφορετικά μέρη του 3D αντικειμένου για να κωδικοποιήσει την παραγμένη 360 μοιρών πληροφορία στην 2D εικόνα.

Για να συνοψίσουμε, το Splatter Image είναι

1. Μια νέα προσέγγιση για την γεννήθηκε 3D αντικειμένων από μονόπλευρη θέα με τη μέθοδο Gaussian Splatting.
2. Επεκτείνει τη μέθοδο για αναδόμηση 3D αντικειμένων από πολλαπλές θέες.
3. Επιτυγχάνει την καλύτερη απόδοση αναδόμησης 3D αντικειμένων σε τυποποιημένα benchmarks με εξαιρετική ταχύτητα και ποιότητα.

Splatter Image: Μεθοδολογία και Αρχιτεκτονική

Gaussian Splatting

Όπως đã αναφέρθηκε νωρίτερα, η μέθοδος Gaussian Splatting είναι η κύρια μέθοδος που υλοποιείται από το Splatter Image για την γεννήθηκε 3D αντικειμένων από μονόπλευρη θέα. Σε απλά λόγια, η μέθοδος Gaussian Splatting είναι eine μέθοδος rasterization για την αναδόμηση 3D εικόνων και την πραγματική απόδοση εικόνων με πολλαπλές πλευρές.

Η μέθοδος Gaussian Splatting χρησιμοποιείまず το σύνολο των εισαγωγικών εικόνων για να γεννήσει ένα point cloud. Η μέθοδος Gaussian Splatting χρησιμοποιεί τις εισαγωγικές εικόνες για να εκτιμήσει τις εξωτερικές παραμέτρους της κάμερας, όπως την κλίση και τη θέση, με την αντιστοίχηση των pixel μεταξύ των εικόνων, και αυτές οι παραμέτρους χρησιμοποιούνται για να υπολογίσουν το point cloud. Χρησιμοποιώντας διαφορετικές μεθόδους μάθησης, η μέθοδος Gaussian Splatting τότε βελτιώνει τέσσερις παραμέτρους για κάθε Gaussian, δηλαδή: Θέση (πού βρίσκεται), Covariance (το μέγεθος της διασποράς ή κλιμάκωσης σε 3×3 πίνακα), Χρώμα (ποιο είναι το RGB χρωματικό σχήμα), και Alpha (μετρά την διαφάνεια).

Επιπλέον, η μέθοδος Gaussian Splatting χρησιμοποιεί τη συνάρτηση διαφάνειας και τη συνάρτηση χρώματος για να δώσει ένα πεδίο ακτινοβολίας με την κατεύθυνση της 3D σημείου. Το πλαίσιο τότε αποδίδει το πεδίο ακτινοβολίας σε μια εικόνα με την ολοκλήρωση των χρωμάτων που παρατηρούνται κατά μήκος του ραδιού που διέρχεται από το pixel.

Splatter Image

Ο renderer компонент χαρτογραφεί το σύνολο των 3D Gaussians σε μια εικόνα. Για να πραγματοποιήσει την αναδόμηση 3D από μονόπλευρη θέα, το πλαίσιο τότε αναζητά μια αντίστροφη συνάρτηση για 3D Gaussians που αναδομεί τη μίξη των 3D Gaussians από μια εικόνα.

Τώρα, μπορεί να υποτεθεί ότι πώς μπορεί το Splatter Image να αναδομήσει την 3D αναπαράσταση ενός αντικειμένου, ακόμη και αν έχει πρόσβαση μόνο σε μια από τις πλευρές του; Σε πραγματικό χρόνο, το Splatter Image μαθαίνει να χρησιμοποιεί κάποια από τα διαθέσιμα Gaussians για να αναδομήσει την πλευρά και να χρησιμοποιήσει τα υπόλοιπα Gaussians για να αναδομήσει αυτόματα τις μη ορατές πλευρές της εικόνας.

Image Level Loss

Ένα σημαντικό πλεονέκτημα της εκμετάλλευσης της ταχύτητας και της αποτελεσματικότητας που προσφέρει η μέθοδος Gaussian Splatting είναι ότι επιτρέπει στο πλαίσιο να αποδώσει όλες τις εικόνες σε κάθε επανάληψη, ακόμη και για batches με σχετικά μεγαλύτερο μέγεθος.

Scale Normalization

Είναι δύσκολο να εκτιμηθεί το μέγεθος ενός αντικειμένου με την εξέταση μιας μονόπλευρης θέας, και είναι μια δύσκολη εργασία να επιλυθεί αυτή η αμφιβολία όταν εκπαιδεύεται με μια απώλεια.

View Dependent Color

Για να αναπαραστήσει χρώματα που εξαρτώνται από την πλευρά, το Splatter Image χρησιμοποιεί σφαιρικές αρμονικές για να γενικεύσει τα χρώματα πέρα από το μοντέλο χρώματος Lambertian.

Neural Network Architecture

Η πλειονότητα της αρχιτεκτονικής του predictor που χαρτογραφεί την εισαγωγική εικόνα στη μίξη των Gaussian είναι идентична με τη διαδικασία που χρησιμοποιείται στο SongUNet.

Για την αναδόμηση 3D με πολλαπλές πλευρές, το Splatter Image εφαρμόζει το ίδιο δίκτυο σε κάθε εισαγωγική πλευρά και τότε χρησιμοποιεί την προσέγγιση της πλευράς για να συνδυάσει τις ατομικές αναδομές.

Splatter Image: Πειράματα και Αποτελέσματα

Το Splatter Image μετρά την ποιότητα των αναδομών του αξιολογώντας την ποιότητα της σύνθεσης νέων πλευρών, поскольку το πλαίσιο χρησιμοποιεί την πηγή πλευρά και αποδίδει το 3D σχήμα για να αναδομήσει τις μη ορατές πλευρές.

Αναδόμηση 3D από Μονόπλευρη Θέα

Ο πίνακας που ακολουθεί δείχνει την απόδοση του Splatter Image στο έργο αναδόμησης 3D από μονόπλευρη θέα στο benchmark ShapeNet.

Όπως μπορεί να παρατηρηθεί, το Splatter Image υπερτερεί όλων των determinιστικών μεθόδων αναδόμησης σε όλους τους δείκτες LPIPS και SSIM.

Η επόμενη εικόνα δείχνει την ποιοτική ικανότητα του Splatter Image, και όπως μπορεί να δει, το μοντέλο γεννήθηκε αναδομές με λεπτές και ενδιαφέρουσες γεωμετρίες, και κατέγραψε τις λεπτομέρειες των πλευρών.

Η επόμενη εικόνα δείχνει ότι οι αναδομές που γεννήθηκαν από το Splatter Image δεν είναι μόνο πιο οξεία αλλά也有 καλύτερη ακρίβεια από τα προηγούμενα μοντέλα, ιδιαίτερα σε μη συμβατικές συνθήκες με λεπτές δομές και περιορισμένη ορατότητα.

Αναδόμηση 3D από Πολλαπλές Θέες

Για να αξιολογήσει τις ικανότητές του στην αναδόμηση 3D από πολλαπλές πλευρές, το Splatter Image εκπαιδεύτηκε στο dataset SpaneNet-SRN Cars για προβλέψεις δύο πλευρών.

Τελικές Σκέψεις

Σε αυτό το άρθρο, έχουμε συζητήσει για το Splatter Image, μια μέθοδο που στοχεύει να επιτύχει υπερ-γρήγορη αναδόμηση 3D σχήματος και 3D εμφάνισης των αντικειμένων. Στο κέντρο του, το Splatter Image χρησιμοποιεί τη μέθοδο Gaussian Splatting για να αναλύσει τις 3D αναπαραστάσεις, εκμεταλλευόμενο την ταχύτητα και την ποιότητα που προσφέρει. Το Splatter Image επεξεργάζεται εικόνες χρησιμοποιώντας μια off-the-shelf 2D CNN αρχιτεκτονική για να προβλέψει μια ψευδο-εικόνα που περιέχει ένα χρωματισμένο Gaussian ανά pixel. Με την उपयποίηση της μεθόδου Gaussian Splatting, το Splatter Image είναι σε θέση να συνδυάσει τη γρήγορη απόδοση με τη γρήγορη εκτίμηση, που οδηγεί σε γρήγορη εκπαίδευση και γρήγορη αξιολόγηση σε πραγματικά και συνθετικά benchmarks.