NeRFocus: Φέρνοντας Ελαφριά Έλεγχο Εστίασης σε Νευρωνικά Πεδία Ραδιάντσας

Νέα έρευνα από την Κίνα προσφέρει μια μέθοδο για να επιτύχει οικονομική έλεγχο των εφέ βάθους πεδίου για Νευρωνικά Πεδία Ραδιάντσας (NeRF), επιτρέποντας στον τελικό χρήστη να εστιάσει και να αλλάξει δυναμικά τη διαμόρφωση του εικονικού φακού στο χώρο απόδοσης.

Με τον τίτλο NeRFocus, η τεχνική εφαρμόζει μια νέα προσέγγιση ‘λεπτού φακού’ για διασχίση εστίασης και καινοτομεί την P-εκπαίδευση, μια πιθανοτική στρατηγική εκπαίδευσης που απομακρύνει την ανάγκη για αφοσιωμένα σύνολα δεδομένων βάθους πεδίου και απλοποιεί την ροή εργασίας εκπαίδευσης με εστίαση.

Το έγγραφο έχει τον τίτλο NeRFocus: Νευρωνικό Πεδίο Ραδιάντσας για 3D Συνθετικό Defocus και προέρχεται από τέσσερις ερευνητές από τη Σχολή Μεταπτυχιακών Σπουδών του Πεκίνου και το Εργαστήριο Peng Cheng στο Σενζέν, ένα ινστιτούτο που χρηματοδοτείται από την κυβέρνηση της επαρχίας Γκουανγκντόνγκ.

Αντιμετωπίζοντας τον Φοβημένο Λόκο της Προσοχής στο NeRF

Εάν το NeRF θα λάβει τη θέση του ως μια έγκυρη τεχνολογία οδήγησης για εικονική και αυξημένη πραγματικότητα, θα χρειαστεί μια ελαφριά μέθοδο για να επιτύχει πραγματιστική εστίαση, όπου η πλειοψηφία των πόρων απόδοσης συσσωρεύονται γύρω από την προσοχή του χρήστη, αντί να διανέμονται ανεπιμέρως σε χαμηλότερη ανάλυση σε όλο το διαθέσιμο οπτικό χώρο.

Από το έγγραφο Foveated Neural Radiance Fields for Real-Time and Egocentric Virtual Reality, βλέπουμε τον λόκο προσοχής σε ένα νέο σχήμα εστίασης για NeRF. Πηγή: https://arxiv.org/pdf/2103.16365.pdf

Ένα απαραίτητο μέρος της αυθεντικότητας των μελλοντικών αναπτύξεων του εγκοκκλίου NeRF θα είναι η ικανότητα του συστήματος να αντανακλά την ικανότητα του ανθρώπινου οφθαλμού να αλλάξει εστίαση σε μια απομακρυσμένη πλάτη προοπτικής (βλέπε erste εικόνα παραπάνω).

Αυτή η κλίση εστίασης είναι επίσης ένας αντίληπτος δείκτης του μεγέθους της σκηνής. Η θέα από ένα ελικόπτερο που πετάει πάνω από μια πόλη θα έχει μηδενικά πεδία εστίασης, επειδή όλη η σκηνή υπάρχει πέρα από την εξωτερική ικανότητα εστίασης του θεατή, ενώ η εξέταση μιας μικροσκοπικής ή ‘κοντινής’ σκηνής δεν θα επιτρέψει μόνο ‘εστίαση’, αλλά θα πρέπει, για πραγματικότητα, να περιέχει một στενό βάθος πεδίου από προεπιλογή.

Παρακάτω είναι ένα βίντεο που展示 τις αρχικές ικανότητες του NeRFocus, που μας παρέχεται από τον συγγραφέα του εγγράφου:

Πέρα από τα Περιορισμένα Πεδία Εστίασης

Γνωρίζοντας τις απαιτήσεις για έλεγχο εστίασης, πολλά έργα NeRF τα τελευταία χρόνια έχουν κάνει πρόνοια για αυτό, αν και όλες οι προσπάθειες μέχρι τώρα είναι αποτελεσματικά δολώματα ή απαιτούν αξιοσημείωτες μετα-επεξεργασίες που τις καθιστούν απίθανες συνεισφορές σε πραγματικό χρόνο περιβάλλοντα που τελικά προβλέπονται για τεχνολογίες Νευρωνικών Πεδίων Ραδιάντσας.

Η συνθετική έλεγχο εστίασης σε νευρωνικές αρχιτεκτονικές έχει προσπαθήσει με διάφορες μεθόδους τα τελευταία 5-6 χρόνια – για παράδειγμα, χρησιμοποιώντας ένα δίκτυο τμηματοποίησης για να περιορίσει τα δεδομένα προσώπου και φόντου και να γενικεύσει την ασαφή του φόντου – μια κοινή λύση για απλά εφέ εστίασης δύο πεδίων.

Από το έγγραφο ‘Automatic Portrait Segmentation for Image Stylization’, μια συνήθης, animation-στυλ διαχωρισμός πεδίων εστίασης. Πηγή: https://jiaya.me/papers/portrait_eg16.pdf

Οι πολλαπλές αναπαραστάσεις προσθέτουν μερικά εικονικά ‘animation cels’ σε αυτό το παράδειγμα, για παράδειγμα χρησιμοποιώντας εκτίμηση βάθους για να κόψει τη σκηνή σε μια κομψή αλλά διαχειρίσιμη κλίση πεδίων εστίασης, και στη συνέχεια να συντονίσει πυρήνες που εξαρτώνται από το βάθος για να συνθέσει ασαφή.

Επιπλέον, και ιδιαίτερα σχετικά με πιθανές περιβάλλοντα AR/VR, η διαφορά μεταξύ των δύο οπτικών της στερεοσκοπικής κάμερας μπορεί να χρησιμοποιηθεί ως προξένιον βάθους – μια μέθοδος που προτάθηκε από την Google Research το 2015.

Από το έγγραφο Fast Bilateral-Space Stereo for Synthetic Defocus, η διαφορά μεταξύ των δύο οπτικών παρέχει μια χάρτα βάθους που μπορεί να διευκολύνει την ασαφή. Ωστόσο, αυτή η προσέγγιση είναι αναληθής στην περίπτωση που περιγράφηκε παραπάνω, όπου η φωτογραφία είναι σαφώς τραβηγμένη με φακό 35-50mm (τυπικό SLR), αλλά η ακραία ασαφή του φόντου θα συνέβαινε μόνο με φακό που υπερβαίνει τα 200mm, ο οποίος έχει το είδος του περιορισμένου πεδίου εστίασης που παράγει στενό βάθος πεδίου σε κανονικά, ανθρώπινα περιβάλλοντα. Πηγή

Οι προσεγγίσεις αυτού του είδους έχουν την τάση να δείχνουν τέλεια αρτεφάκτα,既然 προσπαθούν να αντιπροσωπεύουν δύο ξεχωριστά και περιορισμένα σφαίρα εστίασης ως μια συνεχής κλίση εστίασης.

Το 2021, η RawNeRF πρόσφερε λειτουργικότητα High Dynamic Range (HDR), με μεγαλύτερο έλεγχο σε χαμηλού φωτισμού καταστάσεις, και μια φαινομενικά εντυπωσιακή ικανότητα να εστιάσει:

RawNeRF εστιάζει όμορφα (αν, σε αυτή την περίπτωση, αναληθώς, λόγω μη ρεαλιστικών πεδίων εστίασης), αλλά έρχεται με υψηλό υπολογιστικό κόστος. Πηγή: https://bmild.github.io/rawnerf/

Ωστόσο, η RawNeRF απαιτεί βαρύ προ-υπολογισμό για τις αναπαραστάσεις πολλαπλών πεδίων του εκπαιδευμένου NeRF, με αποτέλεσμα μια ροή εργασίας που δεν μπορεί να προσαρμοστεί εύκολα σε ελαφρύτερες ή χαμηλότερες-καθυστερήσεις υλοποιήσεις του NeRF.

Μοντελοποίηση ενός Εικονικού Φακού

Το NeRF είναι βασισμένο στο μοντέλο φακού οπής, το οποίο αποδίδει όλη τη σκηνή σαφώς με τρόπο παρόμοιο με μια προεπιλογή CGI (πριν από τις διάφορες προσεγγίσεις που αποδίδουν ασαφή ως μια μετα-επεξεργασία ή εγγενή επίδραση που βασίζεται στο βάθος πεδίου).

Το NeRFocus δημιουργεί einen εικονικό ‘λεπτό φακό’ (αντί για einen ‘glassless’ φακό) που υπολογίζει τη διαδρομή του κάθε εισερχόμενου pixel και το αποδίδει απευθείας, αποτελεσματικά αντιστρέφοντας τη τυπική διαδικασία απόδοσης εικόνας, η οποία λειτουργεί post facto σε φωτεινή είσοδο που έχει ήδη επηρεαστεί από τις διαθλαστικές ιδιότητες του φακού.

Αυτό το μοντέλο εισάγει μια σειρά από δυνατότητες για απόδοση περιεχομένου μέσα στο frustum (η μεγαλύτερη κύκλος επιρροής που απεικονίζεται στην εικόνα παραπάνω).

Ο υπολογισμός του σωστού χρώματος και πυκνότητας για κάθε MLP σε αυτήν την ευρύτερη σειρά δυνατοτήτων είναι μια πρόσθετη εργασία. Αυτό έχει λυθεί trước εφαρμόζοντας επιβλεπόμενη εκπαίδευση σε ένα υψηλό αριθμό DLSR εικόνων, που περιλαμβάνει τη δημιουργία πρόσθετων συνόλων δεδομένων για μια πιθανοτική ροή εργασίας εκπαίδευσης – αποτελεσματικά, η εργασία της προετοιμασίας και αποθήκευσης πολλών πιθανών υπολογισμένων πόρων που μπορεί ή δεν μπορεί να χρειαστούν.

Το NeRFocus υπερβαίνει αυτό με P-εκπαίδευση, όπου τα σύνολα δεδομένων εκπαίδευσης δημιουργούνται με βάση βασικές ασαφείς λειτουργίες. Έτσι, το μοντέλο διαμορφώνεται με ασαφείς λειτουργίες που είναι εγγενείς και διαχειρίσιμες.

Ο διάμετρος της διαμέτρου ορίζεται σε μηδέν κατά την εκπαίδευση, και προκαθορισμένες πιθανότητες χρησιμοποιούνται για να επιλέξουν μια ασαφή πυρήνα τυχαία. Αυτή η ληφθείσα διάμετρος χρησιμοποιείται για να κλιμακωθεί κάθε σύνθετη κώνος διάμετρος, επιτρέποντας στο MLP να προβλέψει ακριβώς την ακτινοβολία και πυκνότητα των frustums (οι ευρείες κύκλοι στις παραπάνω εικόνες, που αντιπροσωπεύουν την ζώνη μετασχηματισμού για κάθε pixel)

Οι συγγραφείς του νέου εγγράφου παρατηρούν ότι το NeRFocus είναι πιθανότατα συμβατό με την προσέγγιση HDR της RawNeRF, η οποία θα μπορούσε να βοηθήσει στην απόδοση ορισμένων απαιτητικών τμημάτων, όπως ασαφείς specular highlights, και πολλά από τα άλλα υπολογιστικά-εντατικά εφέ που έχουν προκαλέσει προκλήσεις στις ροές εργασίας CGI για τριάντα ή περισσότερα χρόνια.

Η διαδικασία δεν απαιτεί πρόσθετες απαιτήσεις χρόνου και/ή παραμέτρων σε σύγκριση με προηγούμενες προσεγγίσεις όπως το NeRF και Mip-NeRF (και, προφανώς Mip-NeRF 360, αν και αυτό δεν αναφέρεται στο έγγραφο), και είναι εφαρμόσιμο ως μια γενική επέκταση της κεντρικής μεθοδολογίας των νευρωνικών πεδίων ραδιάντσας. Πρώτη δημοσίευση 12ης Μαρτίου 2022.