Νευρωνική Απόδοση: Το NeRF Κάνει Μια Βόλτα στον Φρέσκο Αέρα

Μια συνεργασία μεταξύ του Google Research και του Πανεπιστημίου Χάρβαρντ έχει αναπτύξει μια νέα μέθοδο για τη δημιουργία 360-βαθμιών νευρωνικών βίντεο ολοκληρωμένων σκηνών χρησιμοποιώντας Νευρωνικά Πεδία Ακτινοβολίας (NeRF). Η καινοτόμος προσέγγιση φέρνει το NeRF ένα βήμα πιο κοντά στη συνηθισμένη αφηρημένη χρήση σε οποιοδήποτε περιβάλλον, χωρίς να περιορίζεται σε πρότυπα τραπεζιού ή κλειστά εσωτερικά σενάρια.

Δείτε το πλήρες βίντεο στο τέλος του άρθρου. Πηγή: https://www.youtube.com/watch?v=YStDS2-Ln1s

Το Mip-NeRF 360 μπορεί να χειριστεί εκτεταμένα φόντα και ‘απεριόριστα’ αντικείμενα, όπως ο ουρανός, επειδή, σε αντίθεση με τις περισσότερες προηγούμενες εκδοχές, ορίζει όρια στον τρόπο που ερμηνεύονται οι ακτίνες φωτός και δημιουργεί σύνορα προσοχής που ορθολογούν τις διαφορετικές φορές εκπαίδευσης. Δείτε το νέο συνοδευτικό βίντεο που είναι ενσωματωμένο στο τέλος του άρθρου για περισσότερα παραδείγματα και μια εκτενέστερη έμφαση στη διαδικασία.

Το νέο έγγραφο έχει τον τίτλο Mip-NeRF 360: Απεριόριστα Αντι-Αλιάσιγκτα Νευρωνικά Πεδία Ακτινοβολίας και ηγείται από τον Senior Staff Research Scientist στο Google Research Jon Barron.

Για να κατανοήσουμε την καινοτομία, είναι απαραίτητο να έχουμε μια βασική κατανόηση του τρόπου με τον οποίο λειτουργεί η σύνθεση εικόνας με βάση τα νευρωνικά πεδία ακτινοβολίας.

Τι είναι το NeRF;

Είναι προβληματικό να περιγράψουμε ένα δίκτυο NeRF με όρους ‘βίντεο’, επειδή είναι πιο κοντά σε ένα πλήρως 3D-πραγματοποιημένο αλλά βασισμένο σε AI εικονικό περιβάλλον, όπου πολλές οπτικές γωνίες από単ές φωτογραφίες (συμπεριλαμβανομένων καρέ βίντεο) χρησιμοποιούνται για να ράψουν μαζί μια σκηνή που τεχνικά υπάρχει μόνο στον.latent χώρο ενός αλγορίθμου μάθησης με μηχανή – αλλά από την οποία μπορεί να εξαχθεί ένα εξαιρετικό αριθμό από οπτικές γωνίες και βίντεο με τη βούληση.

Μια απεικόνιση των πολλών σημείων λήψης φωτογραφιών που παρέχουν τα δεδομένα που το NeRF συνθέτει σε μια νευρωνική σκηνή (απεικονίζεται δεξιά).

Οι πληροφορίες που προέρχονται από τις συνεισφορές φωτογραφιών εκπαιδεύονται σε μια матριούλα που είναι παρόμοια με μια παραδοσιακή voxel grid στις ροές CGI, με την οποία κάθε σημείο στο 3D χώρο τελικά έχει μια τιμή, καθιστώντας την σκηνή πλοήγηση.

Μια παραδοσιακή voxel matrix τοποθετεί πληροφορίες pixel (που συνήθως υπάρχουν σε ένα 2D контекστό, όπως η πλέγμα pixel ενός αρχείου JPEG) σε einen τρισδιάστατο χώρο. Πηγή: ResearchGate

Μετά τον υπολογισμό του διαστήματος μεταξύ φωτογραφιών (αν χρειάζεται), η διαδρομή κάθε πιθανής pixel κάθε συνεισφοράς φωτογραφίας είναι αποτελεσματικά ‘ray-traced’ και ανατίθεται μια τιμή χρώματος, συμπεριλαμβανομένης μιας τιμής διαφάνειας (χωρίς την οποία η νευρωνική матριούλα θα ήταν πλήρως αδιαφανής ή πλήρως κενή).

Όπως και οι voxel grids, και αντίθετα με τις CGI-βασισμένες 3D συντεταγμένες χώρου, το ‘εσωτερικό’ ενός ‘κλειστού’ αντικειμένου δεν υπάρχει σε μια μatrix NeRF. Μπορείτε να ανοίξετε ένα σετ ντραμς CGI και να κοιτάξετε μέσα, αν θέλετε, αλλά όσο αφορά το NeRF, η ύπαρξη του σετ ντραμς τελειώνει όταν η τιμή opakness της επιφάνειας του ισούται με ‘1’.

Μια Ευρύτερη Προοπτική ενός Pixel

Το Mip-NeRF 360 είναι μια επέκταση της έρευνας από τον Μάρτιο του 2021, η οποία εισήγαγε αποτελεσματική αντι-αλιάσιγκ στο NeRF χωρίς εξαντλητική υπερδείγματος.

Το NeRF παραδοσιακά υπολογίζει μόνο μια διαδρομή pixel, η οποία έχει την τάση να παράγει τον τύπο ‘jaggies’ που χαρακτήριζαν τις πρώτες μορφές εικόνων στο διαδίκτυο, καθώς και παλαιότερα συστήματα παιχνιδιών. Αυτά τα ακαθόριστα άκρα λύθηκαν με διάφορες μεθόδους, συνήθως με δειγματοληψία γειτονικών pixel και εύρεση μιας μέσης αναπαράστασης.

Επειδή το παραδοσιακό NeRF δειγματοληψία μόνο μια διαδρομή pixel, το Mip-NeRF εισήγαγε μια ‘κωνική’ περιοχή συλλογής, όπως ένα φως wide-beam, που παρέχει αρκετές πληροφορίες για γειτονικά pixel για να παράγει οικονομική αντι-αλιάσιγκ με βελτιωμένα λεπτομέρεια.

Η κωνική κώνου συλλογής που χρησιμοποιεί το Mip-NeRF είναι κομμένη σε κωνικές frustums (κάτω), τα οποία είναι περαιτέρω ‘blurred’ για να αντιπροσωπεύουν einen ασαφή Gaussian χώρο που μπορεί να χρησιμοποιηθεί για τον υπολογισμό της ακρίβειας και της αντι-αλιάσιγκς ενός pixel. Πηγή: https://www.youtube.com/watch?v=EpH175PY1A0

Η βελτίωση σε σχέση με μια τυπική υλοποίηση NeRF ήταν αξιοσημείωτη:

Το Mip-NeRF (δεξιά), που κυκλοφόρησε τον Μάρτιο του 2021, παρέχει βελτιωμένα λεπτομέρεια μέσω μιας πιο ολοκληρωμένης αλλά οικονομικής αντι-αλιάσιγκς πορείας, και όχι μόνο ‘blurring’ pixel για να αποφευχθούν ακαθόριστα άκρα. Πηγή: https://jonbarron.info/mipnerf/

NeRF Απεριόριστο

Το έγγραφο του Μαρτίου άφησε τρία προβλήματα ανεπίλυτα σχετικά με τη χρήση του Mip-NeRF σε απεριόριστα περιβάλλοντα που μπορεί να περιλαμβάνουν πολύ μακρινά αντικείμενα, συμπεριλαμβανομένων ουρανών. Το νέο έγγραφο λύνει αυτό το πρόβλημα εφαρμόζοντας μια Kalman-στυλ warp στις Gaussian του Mip-NeRF.

Δεύτερον, μεγαλύτερες σκηνές απαιτούν μεγαλύτερη επεξεργαστική ισχύ και εκτενέστερους χρόνους εκπαίδευσης, τα οποία το Mip-NeRF 360 λύνει με τη ‘δικτύωση’ της γεωμετρίας της σκηνής με ένα μικρό ‘πρόταση’ πολυσύνθετο νευρωνικό δίκτυο (MLP), το οποίο προ-ορίζει την γεωμετρία που προβλέπεται από ένα τυπικό NeRF MLP. Αυτό επιταχύνει την εκπαίδευση κατά einen παράγοντα τρία.

Τέλος, μεγαλύτερες σκηνές έχουν την τάση να κάνουν την αποσαφήνιση της ερμηνευμένης γεωμετρίας αμφίβολη, με αποτέλεσμα τα είδη των τεχνικών προβλημάτων που οι gamers μπορεί να είναι εξοικειωμένοι με όταν η έξοδος του παιχνιδιού ‘δέρνει’. Το νέο έγγραφο αντιμετωπίζει αυτό το πρόβλημα δημιουργώντας einen νέο κανονισμό για τα διαστήματα ακτίνων του Mip-NeRF.

Στα δεξιά, βλέπουμε ανεπιθύμητα τεχνικά προβλήματα στο Mip-NeRF λόγω της δυσκολίας στην οριοθέτηση μιας τόσο μεγάλης σκηνής. Στα αριστερά, βλέπουμε ότι ο νέος κανονιστής έχει βελτιώσει τη σκηνή αρκετά για να αφαιρέσει αυτές τις διαταραχές.

Για να μάθετε περισσότερα για το νέο έγγραφο, δείτε το βίντεο παρακάτω, και επίσης την εισαγωγή του Μαρτίου 2021 στο Mip-NeRF. Μπορείτε επίσης να μάθετε περισσότερα για την έρευνα NeRF αναζητώντας την κάλυψή μας μέχρι τώρα.

Πρωτοεκδόθηκε 25η Νοεμβρίου 2021
21η Δεκεμβρίου 2021, 12:25 μ.μ. – Αντικαταστάθηκε νεκρό βίντεο. – MA