NeRF: Η κοινή έρευνα της Facebook αναπτύσσει μικτή στατική/δυναμική σύνθεση βίντεο

Μια συνεργασία μεταξύ του Virginia Polytechnic Institute and State University και της Facebook έχει λύσει ένα από τα основικά προβλήματα στη σύνθεση βίντεο NeRF: το ελεύθερο μείγμα στατικών και δυναμικών εικόνων και βίντεο σε Νευρωνικά Πεδία Ραδιότητας (NeRF) εξόδου.

Το σύστημα μπορεί να γεννήσει πλοήσιμους χώρους που διαθέτουν τόσο δυναμικά στοιχεία βίντεο όσο και στατικά περιβάλλοντα, καθένα από τα οποία καταγράφηκε σε τοποθεσία, αλλά χωρίστηκαν σε ελεγχόμενα στοιχεία ενός εικονικού περιβάλλοντος:

Επιπλέον, το επιτυγχάνει αυτό από μια seule οπτική γωνία, χωρίς την ανάγκη για τον τύπο πολλαπλής κάμερας που μπορεί να δεσμεύσει πρωτοβουλίες όπως αυτή σε ένα στούντιο περιβάλλον.

Το έγγραφο, με τίτλο Δυναμική σύνθεση προβολής από δυναμική μονοοπτική βίντεο, δεν είναι το πρώτο που αναπτύσσει μια μονοοπτική NeRF ροή εργασίας, αλλά φαίνεται να είναι το πρώτο που εκπαιδεύει ταυτόχρονα ένα χρονικά μεταβαλλόμενο και ένα χρονικά στατικό μοντέλο από την ίδια είσοδο, και να γεννάει ένα πλαίσιο που επιτρέπει τη κίνηση βίντεο να υπάρχει μέσα σε ένα ‘προ-χαρτογραφημένο’ NeRF τόπο, παρόμοιο με τον τύπο εικονικών περιβαλλόντων που συχνά περικλείουν ηθοποιούς σε υψηλού προϋπολογισμού επιστημονικής φαντασίας εξόδους.

Πέρα από το D-NeRF

Οι ερευνητές είχαν να αναπτύξουν ουσιαστικά την ευελιξία του Δυναμικού NeRF (D-NeRF) με μόνο μια οπτική γωνία, και όχι την πολλαπλότητα των καμερών που χρησιμοποιεί το D-NeRF. Για να επιλύσουν αυτό, προέβλεψαν την εμπρόσθια και οπίσθια ροή σκηνής και χρησιμοποίησαν αυτές τις πληροφορίες για να αναπτύξουν einen искаженный ραδιοφωνικό χώρο που είναι χρονικά συνεπής.

Με μόνο μια οπτική γωνία, ήταν αναγκαίο να χρησιμοποιηθεί η 2D οπτική ανάλυση ροής για να ληφθούν 3D σημεία σε αναφορές πλαισίων. Το υπολογισμένο 3D σημείο τότε επαναφέρεται στην εικονική κάμερα για να καθορίσει μια ‘ροή σκηνής’ που ταιριάζει την υπολογισμένη οπτική ροή με την εκτιμώμενη οπτική ροή.

Κατά τη διάρκεια της εκπαίδευσης, τα δυναμικά στοιχεία και τα στατικά στοιχεία συμφωνούν σε ένα πλήρες μοντέλο ως ξεχωριστά προσβάσιμα στοιχεία.

Συμπεριλαμβάνοντας έναν υπολογισμό της απώλειας τάξης βάθους, το μοντέλο και εφαρμόζοντας αυστηρή κανονικοποίηση της προβλέψεως ροής σκηνής στο D-NeRF, το πρόβλημα της κίνησης θόλους μειώνεται σημαντικά.

Αν και η έρευνα έχει πολύ να προσφέρει σε όρους κανονικοποίησης του υπολογισμού NeRF, και βελτιώνει σημαντικά την ευελιξία και την ευκολία εξερεύνησης για έξοδο από μια seule οπτική γωνία, τουλάχιστον ίσης σημασίας είναι η νέα διάκριση και επανασύνδεση των δυναμικών και στατικών στοιχείων NeRF.

Βάσει μιας seul κάμερας, ένα τέτοιο σύστημα δεν μπορεί να αναπαράγει την πανοπτική θέα των ρυθμίσεων πολλαπλής κάμερας NeRF, αλλά μπορεί να πάει οπουδήποτε, και χωρίς ένα φορτηγό.

NeRF – Στατικό ή Βίντεο;

Πρόσφατα εξετάσαμε κάποιες εντυπωσιακές νέες έρευνες NeRF από την Κίνα που μπορούν να διακρίνουν στοιχεία σε μια δυναμική σκηνή NeRF που καταγράφηκε με 16 κάμερες.

ST-NeRF (πάνω) επιτρέπει στον θεατή να επανατοποθετήσει μεμονωμένα στοιχεία σε μια καταγεγραμμένη σκηνή, και ακόμη να τα μετονομάσει, να αλλάξει την ταχύτητα αναπαραγωγής, να παγώσει ή να τρέξει μπρος ή πίσω. Επιπλέον, το ST-NeRF επιτρέπει στον χρήστη να ‘scroll’ μέσα από οποιοδήποτε μέρος του 180-βαθμού τόξου που καταγράφηκε από τις 16 κάμερες.

Ωστόσο, οι ερευνητές του εγγράφου ST-NeRF παραδέχονται ότι ο χρόνος είναι πάντα σε λειτουργία σε κάποια ή άλλη κατεύθυνση υπό αυτό το σύστημα, και ότι είναι δύσκολο να αλλάξουν το φωτισμό και να εφαρμόσουν εφέ σε περιβάλλοντα που είναι eigentlich βίντεο, και όχι ‘στατικά-χαρτογραφημένα’ NeRF περιβάλλοντα που δεν περιέχουν κινούμενα στοιχεία, και δεν χρειάζονται να καταγραφούν ως βίντεο.

Υψηλά Επεξεργάσιμα Στατικά Περιβάλλοντα NeRF

Ένα στατικό Νευρωνικό Πεδίο Ραδιότητας σκηνή, τώρα απομονωμένο από οποιαδήποτε κίνηση βίντεο τμήματα, είναι ευκολότερο να αντιμετωπιστεί και να επεξεργαστεί με πολλούς τρόπους, συμπεριλαμβανομένης της επαναφωτισμού, όπως προτάθηκε νωρίτερα φέτος από το NeRV (Νευρωνικά Πεδία Ανακλάσεως και Ορατότητας για Επεξεργασία Φωτισμού και Συνθέσεως Προβολής), το οποίο προσφέρει ένα αρχικό βήμα στην αλλαγή του φωτισμού και/ή της υφής ενός περιβάλλοντος ή αντικειμένου NeRF:

Επεξεργασία φωτισμού ενός αντικειμένου NeRF με NeRV. Πηγή: https://www.youtube.com/watch?v=4XyDdvhhjVo

Επεξεργασία υφής σε NeRV, ακόμη και συμπεριλαμβανομένων φωτορεαλιστικών specular εφέ.既然 η βάση του πίνακα εικόνων είναι στατική, είναι ευκολότερο να επεξεργαστεί και να αυξήσει ένα NeRF στοιχείο με αυτόν τον τρόπο παρά να περιλαμβάνει την επίδραση σε μια σειρά καρέ βίντεο, καθιστώντας την αρχική προ-επεξεργασία και την τελική εκπαίδευση ελαφρύτερη και ευκολότερη.