NeRF: Η Πρόκληση της Επεξεργασίας του Περιεχομένου των Νευρωνικών Πεδίων Ραδιάντσας

Νωρίτερα φέτος η NVIDIA προχώρησε σημαντικά την έρευνα για τα Νευρωνικά Πεδία Ραδιάντσας (NeRF) με το InstantNeRF, που φαίνεται ικανό να γεννάει εξερευνήσιμες νευρωνικές σκηνές σε λίγα δευτερόλεπτα – από μια τεχνική που, όταν εμφανίστηκε το 2020, συχνά απαιτούσε ώρες ή ακόμη και μέρες για την εκπαίδευση.

Το NVIDIA’s InstantNeRF παρέχει εντυπωσιακά και ταχεία αποτελέσματα. Source: https://www.youtube.com/watch?v=DJ2hcC1orc4

Αν και αυτό το είδος παρεμβολής παράγει μια στατική σκηνή, το NeRF είναι επίσης ικανό να απεικονίζει κίνηση και βασική επεξεργασία ‘αντιγραφή και επικόλληση’, όπου τα μεμονωμένα NeRF μπορούν είτε να συλλεγούν σε σύνθετες σκηνές είτε να εισαχθούν σε υπάρχουσες σκηνές.

Ενσωματωμένα NeRF, που παρουσιάστηκαν σε έρευνα του 2021 από το Πανεπιστήμιο Shanghai Tech και την DGene Digital Technology. Source: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Ωστόσο, αν ψάχνετε να παρέμβετε σε ένα υπολογισμένο NeRF και να αλλάξετε κάτι που συμβαίνει μέσα σε αυτό (με τον ίδιο τρόπο που μπορείτε να αλλάξετε στοιχεία σε μια παραδοσιακή σκηνή CGI), το γρήγορο ρυθμό του ενδιαφέροντος του τομέα έχει προσφέρει πολύ λίγες λύσεις μέχρι τώρα, και καμία που να ξεκινά να ταιριάζει με τις ικανότητες των ροών εργασίας CGI.

Αν και η εκτίμηση της γεωμετρίας είναι απαραίτητη για τη δημιουργία μιας σκηνής NeRF, το τελικό αποτέλεσμα αποτελείται από αρκετά ‘κλειδωμένες’ τιμές. Ενώ υπάρχει κάποια πρόοδος προς την αλλαγή των τιμών κειμένου σε NeRF, τα πραγματικά αντικείμενα σε μια σκηνή NeRF δεν είναι παραμετρικοί πλέγματα που μπορούν να επεξεργαστούν και να παίξουν, αλλά περισσότερο σαν εύθραυστες και παγωμένες σημειακές νεφώσεις.

Σε αυτή την περίπτωση, ένας αποδοθείς άνθρωπος σε ένα NeRF είναι ουσιαστικά ένα άγαλμα (ή μια σειρά αγαλμάτων, σε βίντεο NeRFs)· οι σκιές που βγάζουν στον εαυτό τους και σε άλλα αντικείμενα είναι κείμενα, και όχι ευέλικτες υπολογισμοί που βασίζονται σε πηγές φωτός· και η επεξεργασία του περιεχομένου NeRF περιορίζεται στις επιλογές που κάνει ο φωτογράφος που λαμβάνει τις σπάνιες πηγαίες φωτογραφίες από τις οποίες παράγεται το NeRF. Παράμετροι όπως οι σκιές και η στάση παραμένουν μη επεξεργάσιμες, σε οποιαδήποτε δημιουργική έννοια.

Επεξεργασία NeRF

Μια νέα ακαδημαϊκή ερευνητική συνεργασία μεταξύ Κίνας και Ηνωμένου Βασιλείου αντιμετωπίζει αυτή την πρόκληση με την Επεξεργασία NeRF, όπου μεσολαβικά πλέγματα CGI-στυλ εξάγονται από ένα NeRF, παραμορφώνονται κατά βούληση από τον χρήστη, και οι παραμορφώσεις μεταφέρονται πίσω στο νευρωνικό περιβάλλον:

Παπουτσοθέτης NeRF με επεξεργασία NeRF, καθώς οι παραμορφώσεις που υπολογίζονται από το βίντεο εφαρμόζονται σε ισοδύναμους σημεία μέσα σε μια αναπαράσταση NeRF. Source: http://geometrylearning.com/NeRFEditing/

Η μέθοδος προσαρμόζει την τεχνική NeuS του 2021, που εξάγει μια συνάρτηση υπογεγραμμένης απόστασης (SDF, μια πολύ παλαιότερη μέθοδο ανακατασκευής όγκου) που μπορεί να μάθει τη γεωμετρία που αντιπροσωπεύεται μέσα στο NeRF.

Αυτό το αντικείμενο SDF γίνεται η βάση γλυπτικής του χρήστη, με ικανότητες παραμόρφωσης και πλάσματος που παρέχονται από την τεχνική As-Rigid-As-Possible (ARAP).

Η ARAP επιτρέπει στους χρήστες να παραμορφώνουν το εξαγόμενο πλέγμα SDF, αν και άλλες μέθοδοι, όπως οι προσεγγίσεις βασισμένες σε σκελετό και κλουβί (π.χ. NURBs), θα λειτουργούσαν επίσης καλά. Source: https://arxiv.org/pdf/2205.04978.pdf

Με τις παραμορφώσεις που εφαρμόζονται, είναι απαραίτητο να μεταφράσετε αυτές τις πληροφορίες από διανυσματική σε επίπεδο RGB/πικσέλ που είναι ιδιαίτερο για το NeRF, που είναι ένα немного μακρύτερο ταξίδι.

Οι τριγωνικοί κόμβοι του πλέγματος που ο χρήστης έχει παραμορφώσει μεταφράζονται πρώτα σε ένα τετραεδρικό πλέγμα, που σχηματίζει ένα δέρμα γύρω από το πλέγμα του χρήστη. Ένα διακριτό πεδίο παραμόρφωσης εξάγεται από αυτό το πρόσθετο πλέγμα, και τελικά ένα συνεχές πεδίο παραμόρφωσης NeRF-φιλικό λαμβάνεται, το οποίο μπορεί να μεταφερθεί πίσω στο νευρωνικό περιβάλλον, αντανακλώντας τις αλλαγές και τις επεξεργασίες του χρήστη, και επηρεάζοντας trực tiếp τις ερμηνευμένες ακτίνες στη στόχευση NeRF.

Αντικείμενα που παραμορφώνονται και animονται από τη νέα μέθοδο.

Το έγγραφο αναφέρει:

‘Μετά τη μεταφορά της επιφανειακής παραμόρφωσης στο τετραεδρικό πλέγμα, μπορούμε να λάβουμε το διακριτό πεδίο παραμόρφωσης του “εφфективικού χώρου”. Τώρα χρησιμοποιούμε αυτές τις διακριτές μετασχηματώσεις για να στρίψουμε τις ακτίνες. Για να γεννήσουμε μια εικόνα του παραμορφωμένου πεδίου ραδιάντσας, στείλουμε ακτίνες στο χώρο που περιέχει το παραμορφωμένο τετραεδρικό πλέγμα.’

Το έγγραφο έχει τον τίτλο Επεξεργασία NeRF: Γεωμετρική Επεξεργασία Νευρωνικών Πεδίων Ραδιάντσας, και προέρχεται από ερευνητές από τρία κινεζικά πανεπιστήμια και ιδρύματα, μαζί με έναν ερευνητή από την Σχολή Επιστήμης Υπολογιστών και Πληροφόρησης του Πανεπιστημίου Cardiff, και δύο άλλους ερευνητές από την Alibaba Group.

Περιορισμοί

Όπως αναφέρθηκε νωρίτερα, η μεταμορφωμένη γεωμετρία δεν θα ‘ενημερώσει’ κανένα σχετικό στοιχείο στο NeRF που δεν έχει επεξεργαστεί, ούτε θα αντανακλούσε δευτερεύουσες συνέπειες του παραμορφωμένου στοιχείου, όπως οι σκιές. Οι ερευνητές παρέχουν ένα παράδειγμα, όπου οι σκιές κάτω από μια ανθρώπινη φιγούρα σε ένα NeRF παραμένουν αμετάβλητες, ακόμη και όταν η παραμόρφωση θα πρέπει να αλλάξει το φωτισμό:

Από το έγγραφο: βλέπουμε ότι η οριζόντια σκιά στην πλευρά του σώματος παραμένει στη θέση της, ακόμη και όταν το χέρι μετακινείται προς τα πάνω.

Πειράματα

Οι συγγραφείς παρατηρούν ότι δεν υπάρχουν συγκρίσιμες μέθοδοι για άμεση παρέμβαση στη γεωμετρία NeRF. Έτσι, τα πειράματα που διεξήχθησαν για την έρευνα ήταν περισσότερο εξερευνητικά παρά συγκριτικά.

Οι ερευνητές επέδειξαν την Επεξεργασία NeRF σε eine σειρά από δημόσιες βάσεις δεδομένων, συμπεριλαμβανομένων χαρακτήρων από το Mixamo, και το now-iconic Lego bulldozer και καρέκλα από την αρχική εφαρμογή NeRF. Επίσης, πειραματίστηκαν με ένα πραγματικό κατειλημμένο άγαλμα αλόγου από τη βάση δεδομένων FVS, καθώς και τις δικές τους αρχικές λήψεις.

Η κεφαλή ενός αλόγου που γέρνει.

Για μελλοντική εργασία, οι συγγραφείς σκοπεύουν να αναπτύξουν το σύστημά τους στο πλαίσιο Jittor.

Πρώτη δημοσίευση 16ης Μαΐου 2022.