Ανανέωση Νευρωνικών Πεδίων Ραδιότητας με Οποιονδήποτε Χάρτη Περιβάλλοντος

Μια νέα εργασία από το Ινστιτούτο Max Planck και το MIT έχει προτείνει μια τεχνική για την απόκτηση真正ής αποσύνδεσης του περιεχομένου των Νευρωνικών Πεδίων Ραδιότητας (NeRF) από το φωτισμό που ήταν παρών κατά τη συλλογή των δεδομένων, επιτρέποντας ad hoc χάρτες περιβάλλοντος να ανταλλάξουν完全 το φωτισμό σε μια σκηνή NeRF:

Η νέα τεχνική εφαρμοσμένη σε πραγματικά δεδομένα. Είναι αξιοσημείωτο ότι η μέθοδος λειτουργεί ακόμη και σε αρχειοθετημένα δεδομένα αυτού του τύπου, τα οποία δεν είχαν λάβει υπόψη την καινούργια διαδικασία όταν συλλέχθηκαν τα δεδομένα. Παρά τούτο, επιτυγχάνεται ρεαλιστικός και καθορισμένος από τον χρήστη έλεγχος φωτισμού. Πηγή: https://arxiv.org/pdf/2207.13607.pdf

Η νέα προσέγγιση χρησιμοποιεί το δημοφιλές ανοικτό πρόγραμμα 3D animation Blender για τη δημιουργία ενός ‘εικονικού σκηνικού φωτισμού’, όπου πολλές επαναλήψεις πιθανών σεναρίων φωτισμού αποδίδονται και τελικά εκπαιδεύονται σε ένα ειδικό επίπεδο στο μοντέλο NeRF που μπορεί να φιλοξενήσει οποιοδήποτε χάρτη περιβάλλοντος που ο χρήστης θέλει να χρησιμοποιήσει για να φωτίσει τη σκηνή.

Μια απεικόνιση του τμήματος της διαδικασίας που χρησιμοποιεί το Blender για τη δημιουργία εικονικών σκηνικών φωτισμού της εξαγηγμένης γεωμετρίας. Προηγούμενες μεθόδους που ακολουθούν παρόμοιες γραμμές έχουν χρησιμοποιήσει πραγματικά σκηνικά φωτισμού για να παρέχουν αυτά τα δεδομένα, τα οποία είναι ένα βαρύς απαιτούμενος για διακριτά αντικείμενα και αδύνατος για εξωτερικές απόψεις. Στο πάνω αριστερό μέρος των δύο δεξιότερων εικόνων, μπορούμε να δούμε τους χάρτες περιβάλλοντος που καθορίζουν το φωτισμό της σκηνής. Αυτοί possono να δημιουργηθούν αυθαίρετα από τον τελικό χρήστη, φέρνοντας το NeRF ένα βήμα πιο κοντά στη ευελιξία μιας σύγχρονης προσέγγισης CGI.

Η νέα προσέγγιση έχει δοκιμαστεί ενάντια στο πλαίσιο Mitsuba2 για την αντίστροφη απόδοση, και επίσης ενάντια σε προηγούμενες εργασίες PhySG, RNR, Neural-PIL και NeRFactor, χρησιμοποιώντας μόνο ένα μοντέλο απευθείας φωτισμού, και έλαβε τα καλύτερα σκορ:

Αποτελέσματα της νέας τεχνικής, σε σύγκριση με άλλες παρόμοιες προσεγγίσεις υπό διάφορες συναρτήσεις απώλειας. Οι ερευνητές ισχυρίζονται ότι η προσέγγισή τους προσφέρει τις υψηλότερης ποιότητας μεθόδους, με τα αποτελέσματα να αξιολογούνται μέσω του Δείκτη Πικσέλ Σήματος-Θορύβου (PSNR), του Δείκτη Ομοιότητας Δομής (SSIM) και της αποτελεσματικής, αν και εκκεντρικής, Μαθηματικά Προσαρμοσμένης Ομοιότητας Εικόνας (LPIPS).

Το έγγραφο αναφέρει:

‘Τα ποιοτικά και ποσοτικά αποτελέσματά μας δείχνουν ένα σαφές βήμα προς τα εμπρός όσον αφορά την ανάκτηση παραμέτρων σκηνής καθώς και την ποιότητα σύνθεσης της προσέγγισής μας υπό νέες απόψεις και συνθήκες φωτισμού σε σύγκριση με την προηγούμενη κατάσταση της τέχνης.’

Οι ερευνητές αναφέρουν ότι θα δημοσιεύσουν τον κώδικα του έργου.

Η Ανάγκη για Επεξεργασία NeRF

Αυτή η αποσύνδεση έχει αποδειχθεί μια αξιοσημείωτη πρόκληση για τους ερευνητές των Νευρωνικών Πεδίων Ραδιότητας,既然 το NeRF είναι ουσιαστικά μια τεχνική φωτογραμμετρίας που υπολογίζει την τιμή pixel χιλιάδων πιθανών διαδρομών από μια οπτική γωνία, αναθέτοντας τιμές RGBD, και συναρμολόγηση ενός πίνακα αυτών των τιμών σε μιαβολουμετρική αναπαράσταση. Στο κέντρο του, το NeRF ορίζεται από το φωτισμό.

Στην πραγματικότητα, παρά τα εντυπωσιακά οπτικά και την πλούσια υιοθέτησή του από την NVIDIA (NVDA ), το NeRF είναι αξιοσημείωτα ‘σκληρό’ – σε όρους CGI, ‘ψημένο’. Έτσι, η ερευνητική κοινότητα έχει επικεντρωθεί στην βελτίωση της εγγράφου και της ευελιξίας σε αυτόν τον τομέα τα τελευταία 12-18 μήνες.

Όσον αφορά τη σημασία, τα στοιχήματα για αυτό το είδος ορόσημου είναι υψηλά και περιλαμβάνουν τη δυνατότητα μετασχηματισμού της βιομηχανίας οπτικών εφέ από ένα δημιουργικό και συνεργατικό μοντέλο που επικεντρώνεται στην παραγωγή mesh, κίνησης και υφής, σε ένα μοντέλο που βασίζεται στην αντίστροφη απόδοση, όπου η διαδικασία οπτικών εφέ τροφοδοτείται από φωτογραφίες του πραγματικού κόσμου (ή ακόμη και συνθετικών μοντέλων), chứ không από εκτιμώμενες, χειροποίητες προσεγγίσεις.

Για τώρα, υπάρχει σχετικά λίγος λόγος για ανησυχία μεταξύ της κοινότητας οπτικών εφέ, τουλάχιστον από τα Νευρωνικά Πεδία Ραδιότητας. Το NeRF έχει μόνο αρχικές ικανότητες σε όρους rigging, nesting, έλεγχο βάθους, αρθρότητα… και σίγουρα επίσης σε όρους φωτισμού. Η συνοδευτική βίντεο για άλλη νέα εργασία, η οποία προσφέρει βασικές παραμορφώσεις για τη γεωμετρία NeRF, εικονογραφεί τον τεράστιο χάσμα μεταξύ της τρέχουσας κατάστασης της τέχνης στη CGI και τις σεμιναλικές προσπάθειες των τεχνικών νευρωνικής απόδοσης.

Η Διαλογή των Στοιχείων

Παρά τούτο,既然 είναι απαραίτητο να ξεκινήσουμε κάπου, οι ερευνητές για τη νέα εργασία έχουν υιοθετήσει τη CGI ως μεσολαβικό μηχανισμό ελέγχου και παραγωγής, μια κοινή προσέγγιση προς τα σκληρά.latent χώρους των GANs και τα σχεδόν αδιαπέραστα και γραμμικά δίκτυα του NeRF.

Εфективικά, η κεντρική πρόκληση είναι να υπολογίσουμε παγκόσμιο φωτισμό (GI, το οποίο δεν έχει άμεση εφαρμογή στη νευρωνική απόδοση) σε μια ισοδύναμη Προκαταρκτική Μεταφορά Ραδιότητας (PRT, η οποία μπορεί να προσαρμοστεί στη νευρωνική απόδοση) υπολογισμό.

Ο GI είναι μια πλέον αξιόλογη τεχνική απόδοσης CGI που μοντελοποιεί τον τρόπο με τον οποίο το φως ανακλώνεται από τις επιφάνειες και στις άλλες επιφάνειες, και ενσωματώνει αυτές τις περιοχές ανακλώμενου φωτός σε μια απόδοση, γιαเพิ่μένη ρεαλιστικότητα.

Η PRT χρησιμοποιείται ως μεσολαβική συνάρτηση φωτισμού στην νέα προσέγγιση, και το γεγονός ότι είναι ένα διακριτό και επεξεργάσιμο στοιχείο είναι αυτό που επιτυγχάνει την αποσύνδεση. Η νέα μέθοδος μοντελοποιεί το υλικό του αντικειμένου NeRF με μια μαθηματικά προκαταρκτική PRT.

Ο πραγματικός φωτισμός της σκηνής των αρχικών δεδομένων ανακτάται ως χάρτης περιβάλλοντος στη διαδικασία, και η γεωμετρία της σκηνής εξάγεται ως Πεδίο Υπογεγραμμένης Απόστασης (SDF) το οποίο θα παρέχει τελικά μια παραδοσιακή mesh για το Blender να λειτουργήσει σε εικονικό σκηνικό φωτισμού.

Μια επισκόπηση της διαδικασίας για τη νέα τεχνική.

Το πρώτο στάδιο στη διαδικασία είναι να εξαγάγει τη γεωμετρία της σκηνής από τις διαθέσιμες πολλαπλές απόψεις εικόνων μέσω της σιωπηρής ανακατασκευής επιφάνειας, μέσω τεχνικών που χρησιμοποιούνται στη συνεργασία NeuS του 2021.

Για να αναπτύξουν ένα νευρωνικό πεδίο μεταφοράς ραδιότητας (NRTF, το οποίο θα φιλοξενήσει τα δεδομένα φωτισμού), οι ερευνητές χρησιμοποίησαν τον διαφορίσιμο path tracer Mitsuba 2.

Αυτό διευκολύνει την κοινή βελτιστοποίηση μιας διευθύνουσας συνάρτησης σκέδασης (BSDF), καθώς και τη γεννήτρια ενός αρχικού χάρτη περιβάλλοντος. Μόλις δημιουργηθεί η BSDF, ο path tracer μπορεί να χρησιμοποιηθεί στο Blender (βλέπε ενσωματωμένη βίντεο ακριβώς πάνω) για να δημιουργήσει εικονικές μια-φωτισμός-την-ώρα (OLAT) απόδοσης σκηνής.

Το NRTF εκπαιδεύεται με μια συνδυασμένη απώλεια μεταξύ φωτορεαλιστικών υλικών και συνθετικών δεδομένων, τα οποία δεν είναι συναρμολογημένα μεταξύ τους.

Μια σύγκριση με τον προκάτοχο NeRFactor, στις προκλήσεις της σύνθεσης νέων απόψεων και φωτισμού.

Ο Δρόμος προς την Φωτισμό

Οι απαιτήσεις εκπαίδευσης για αυτή τη τεχνική, αν και αξιοσημείωτα μικρότερες από τις αρχικές φορές εκπαίδευσης NeRF, δεν είναι αμελητέες. Σε ένα NVIDIA Quadro RTX 8000 με 48GB VRAM, η προκαταρκτική εκπαίδευση για την αρχική εκτίμηση φωτισμού και υφής διαρκεί 30 λεπτά· η εκπαίδευση OLAT (δηλαδή η εκπαίδευση των εικονικών σκηνικών φωτισμού) διαρκεί 8 ώρες· και η τελική κοινή βελτιστοποίηση μεταξύ των αποσυνδεμένων συνθετικών και πραγματικών δεδομένων διαρκεί thêm 16 ώρες για να φτάσει στην βέλτιστη ποιότητα.

Επιπλέον, η αποτέλεσμα νευρωνική αναπαράσταση δεν μπορεί να τρέξει σε πραγματικό χρόνο, παίρνοντας, σύμφωνα με τους ερευνητές ‘πολλά δευτερόλεπτα ανά кадρό’.

Οι ερευνητές καταλήγουν:

‘Τα αποτελέσματά μας δείχνουν μια σαφής βελτίωση σε σχέση με την τρέχουσα κατάσταση της τέχνης, ενώ μελλοντική εργασία θα μπορούσε να ασχοληθεί με τη βελτίωση του χρόνου εκτέλεσης και μια κοινή λογική γεωμετρίας, υλικού και φωτισμού σκηνής.’

Πρώτη δημοσίευση 28ης Ιουλίου 2022.