NeRF: Η Προκλήσεις της Επεξεργασίας του Περιεχομένου των Νευρωνικών Πεδίων Ραδιάνσης

Νωρίτερα αυτό το έτος, η NVIDIA προχώρησε σημαντικά στην έρευνα των Νευρωνικών Πεδίων Ραδιάνσης (NeRF) με το InstantNeRF, το οποίο φαίνεται να είναι ικανό να δημιουργεί εξερευνήσιμες νευρωνικές σκηνές σε λίγα δευτερόλεπτα – από μια τεχνική που, όταν εμφανίστηκε το 2020, συχνά Took ώρες ή ακόμη και μέρες για να εκπαιδευτεί.

Το NVIDIA’s InstantNeRF παρέχει εντυπωσιακά και ταχεία αποτελέσματα. Source: https://www.youtube.com/watch?v=DJ2hcC1orc4

Αν και αυτό το είδος παρεμβολής παράγει μια στατική σκηνή, το NeRF είναι επίσης ικανό να απεικονίζει κίνηση, και βασική ‘αντιγραφή και επικόλληση’ επεξεργασία, όπου отдель NeRFs μπορούν να συλλεχθούν σε σύνθετες σκηνές ή εισαχθούν σε υπάρχουσες σκηνές.

Ενσωματωμένα NeRFs, που παρουσιάστηκαν σε έρευνα του 2021 από το Πανεπιστήμιο της Σαγκάης και την DGene Digital Technology. Source: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Ωστόσο, αν θέλετε να παρέμβετε σε einen υπολογισμένο NeRF και να αλλάξετε πραγματικά κάτι που συμβαίνει μέσα σε αυτό (με τον ίδιο τρόπο που μπορείτε να αλλάξετε στοιχεία σε μια παραδοσιακή CGI σκηνή), το γρήγορο ρυθμό του ενδιαφέροντος του τομέα έχει προσφέρει πολύ λίγες λύσεις μέχρι σήμερα, και καμία από αυτές δεν ξεκινά να αντιστοιχεί στις ικανότητες των ροών εργασίας CGI.

Αν και η εκτίμηση της γεωμετρίας είναι απαραίτητη για τη δημιουργία μιας NeRF σκηνής, το τελικό αποτέλεσμα αποτελείται από σχετικά ‘κλειδωμένες’ τιμές. Ενώ υπάρχει μερική πρόοδος προς την αλλαγή των τιμών κειμένου στο NeRF, τα πραγματικά αντικείμενα σε μια NeRF σκηνή δεν είναι παραμετρικές πλέγματα που μπορούν να επεξεργαστούν και να παίξουν, αλλά περισσότερο σαν εύθραυστες και παγωμένες σημειακές νεφώσεις.

Σε αυτή τη σκηνή, ένας αποδοθείς άνθρωπος σε ένα NeRF είναι ουσιαστικά ένα άγαλμα (ή μια σειρά αγαλμάτων, σε βίντεο NeRFs)· οι σκιές που ρίχνουν στον εαυτό τους και σε άλλα αντικείμενα είναι κείμενα, και όχι ευέλικτες υπολογισμοί βασισμένοι σε πηγές φωτός· και η επεξεργασία του περιεχομένου NeRF είναι περιορισμένη στις επιλογές που έγιναν από τον φωτογράφο που λαμβάνει τις σπάνιες πηγές φωτογραφιών από τις οποίες παράγεται το NeRF. Παράμετροι όπως σκιές και στάση παραμένουν μη επεξεργάσιμες, σε οποιαδήποτε δημιουργική έννοια.

Επεξεργασία NeRF

Μια νέα ακαδημαϊκή ερευνητική συνεργασία μεταξύ Κίνας και Ηνωμένου Βασιλείου αντιμετωπίζει αυτή την πρόκληση με Επεξεργασία NeRF, όπου proxys CGI-στυλ πλέγματα εξάγονται από ένα NeRF, διαμορφώνονται κατά βούληση από τον χρήστη, και οι διαμορφώσεις μεταφέρονται πίσω στο NeRF’s νευρωνικές υπολογισμοί·

Επεξεργασία NeRF με NeRF-επεξεργασία, καθώς οι διαμορφώσεις που υπολογίζονται από το βίντεο εφαρμόζονται σε ισοδύναμους πόντους μέσα σε μια αναπαράσταση NeRF. Source: http://geometrylearning.com/NeRFEditing/

Η μέθοδος προσαρμόζει την NeuS 2021 US/Κίνα ανασυγκροτητική τεχνική, η οποία εξάγει μια Συνήθη Συνάρτηση Απόστασης (SDF, μια πολύ παλαιότερη μέθοδο ανασυγκρότησης όγκου) που είναι ικανή να μάθει τη γεωμετρία που αντιπροσωπεύεται μέσα στο NeRF.

Αυτό το SDF αντικείμενο γίνεται η βάση γλυπτικής του χρήστη, με ικανότητες παραμόρφωσης και πλάσματος που παρέχονται από την παλιά As-Rigid-As-Possible (ARAP) τεχνική.

Η ARAP επιτρέπει στους χρήστες να διαμορφώσουν το εξαγόμενο SDF πλέγμα, αν και άλλες μέθοδοι, όπως οι σκελετικές και οι κλωστές-προσέγγισεις (π.χ. NURBs), θα λειτουργούσαν επίσης καλά. Source: https://arxiv.org/pdf/2205.04978.pdf

Με τις διαμορφώσεις που εφαρμόζονται, είναι απαραίτητο να μεταφράσετε αυτές τις πληροφορίες από διανυσματικό σε επίπεδο RGB/πικσελ που είναι ιδιαίτερο για το NeRF, το οποίο είναι ένα ελαφρώς μεγαλύτερο ταξίδι.

Οι τριγωνικοί κόμβοι του πλέγματος που ο χρήστης έχει διαμορφώσει πρώτα μεταφράζονται σε ένα τετραεδρικό πλέγμα, το οποίο σχηματίζει ένα δέρμα γύρω από το πλέγμα του χρήστη. Ένα χωρικό διακριτό πεδίο παραμόρφωσης εξάγεται από αυτό το πρόσθετο πλέγμα, και τελικά ένα NeRF-φιλικό συνεχές πεδίο παραμόρφωσης λαμβάνεται, το οποίο μπορεί να μεταφερθεί πίσω στο νευρωνικό περιβάλλον ραδιάνσης, αντανακλώντας τις αλλαγές και τις επεξεργασίες του χρήστη, και επηρεάζοντας άμεσα τις ερμηνευμένες ακτίνες στη στόχο NeRF.

Αντικείμενα που διαμορφώνονται και animаются από τη νέα μέθοδο.

Το έγγραφο αναφέρει:

‘Μετά τη μεταφορά της επιφανειακής παραμόρφωσης στο τετραεδρικό πλέγμα, μπορούμε να λάβουμε το διακριτό πεδίο παραμόρφωσης του “εφфективικού χώρου”. Τώρα χρησιμοποιούμε αυτές τις διακριτές μετασχηματίσεις για να στρίψουμε τις ακτίνες. Για να δημιουργήσουμε μια εικόνα του παραμορφωμένου πεδίου ραδιάνσης, ρίχνουμε ακτίνες στο χώρο που περιέχει το παραμορφωμένο τετραεδρικό πλέγμα.’

Το έγγραφο έχει τον τίτλο Επεξεργασία NeRF: Γεωμετρική Επεξεργασία των Νευρωνικών Πεδίων Ραδιάνσης, και προέρχεται από ερευνητές σε τρία κινεζικά πανεπιστήμια και ιδρύματα, μαζί με έναν ερευνητή από το Σχολείο Επιστήμης Υπολογιστών και Πληροφορικής στο Πανεπιστήμιο του Κάρντιφ, και δύο άλλους ερευνητές από την Alibaba Group.

Περιορισμοί

Όπως αναφέρθηκε νωρίτερα, η μετασχηματισμένη γεωμετρία δεν θα ‘ενημερώσει’ κανένα σχετικό στοιχείο στο NeRF που δεν έχει επεξεργαστεί, ούτε θα αντανακλούσει δευτερεύουσες συνέπειες του παραμορφωμένου στοιχείου, όπως σκιές. Οι ερευνητές παρέχουν ένα παράδειγμα, όπου η σκιά κάτω από ένα ανθρώπινο σχήμα σε ένα NeRF παραμένει αμετάβλητη, ακόμη και αν η παραμόρφωση θα πρέπει να αλλάξει το φωτισμό:

Από το έγγραφο: βλέπουμε ότι η οριζόντια σκιά στο χέρι του σχήματος παραμένει στη θέση της, ακόμη και αν το χέρι μετακινηθεί προς τα πάνω.

Πειράματα

Οι συγγραφείς παρατηρούν ότι δεν υπάρχουν τώρα συγκρίσιμες μέθοδοι για άμεση παρέμβαση στη γεωμετρία NeRF. Ως εκ τούτου, τα πειράματα που διεξήχθησαν για την έρευνα ήταν περισσότερο εξερευνητικά παρά συγκριτικά.

Οι ερευνητές επίδειξαν την Επεξεργασία NeRF σε eine σειρά από δημόσιους συνόλους δεδομένων, συμπεριλαμβανομένων χαρακτήρων από το Mixamo, και το jetzt-iconic Lego bulldozer και καρέκλα από την αρχική NeRF υλοποίηση. Επίσης, πειραματίστηκαν σε ένα πραγματικό κατειλημμένο άγαλμα αλόγου από το FVS dataset, καθώς και τις δικές τους αρχικές λήψεις.

Το κεφάλι ενός αλόγου που γέρνει.

Για μελλοντική εργασία, οι συγγραφείς σκοπεύουν να αναπτύξουν το σύστημά τους στο just-in-time (JIT) compiled machine learning framework Jittor.

Πρώτη δημοσίευση 16ης Μαΐου 2022.