Το Νέο CGI: Δημιουργώντας Νευρωνικές Γειτονιές Με Block-NeRF

Τα Νευρωνικά Πεδία Ραδιάντσας (NeRF) επιτρέπουν την αναδημιουργία και την εξερεύνηση αντικειμένων μέσα σε νευρωνικά δίκτυα χρησιμοποιώντας μόνο πολλαπλά φωτογραφικά σημεία ως είσοδο, χωρίς τη σύνθετη και δαπανηρή παραδοσιακή μέθοδο CGI.

Ωστόσο, η διαδικασία είναι υπολογιστικά εκτενής, η οποία αρχικά περιόρισε τα περιβάλλοντα NeRF σε σενάρια πίνακα μοντέλου. Παρόλα αυτά, το NeRF έχει υιοθετηθεί από μια αφοσιωμένη, ακόμη και φρενήρη, ερευνητική κοινότητα, η οποία έχει επιτρέψει τις τελευταίες ερευνητικές ανακατασκευές εξωτερικών ανακατασκευών καθώς και εκδόσιμων νευρωνικών ανθρώπων, εκτός από πολλές άλλες καινοτομίες.

Τώρα, μια νέα ερευνητική πρωτοβουλία, η οποία περιλαμβάνει τη συμμετοχή της Google Research, αναγνωρίζει τα πιθανά σκληρά όρια για την βελτιστοποίηση του NeRF και επικεντρώνεται αντίθετα στη ραφή μαζί περιβαλλόντων NeRF για τη δημιουργία γειτονιών που αποτελούνται από πολλαπλά συντονισμένα περιβάλλοντα NeRF.

Θέα από ένα δίκτυο Block-NeRF συνδεδεμένων NeRFs. Δείτε το ενσωματωμένο βίντεο στο τέλος του άρθρου και επίσης τον σύνδεσμο πηγής για υψηλής ανάλυσης πλήρους μήκους βίντεο. Πηγή: https://waymo.com/research/block-nerf/

Η πλοήγηση στο δίκτυο των συνδεδεμένων NeRFs καθιστά το NeRF κλιμακώσιμο και модουλάρισσιμο, παρέχοντας περιβάλλοντα που φορτώνουν επιπλέον μέρη της γειτονιάς όπως χρειάζονται, με τρόπο παρόμοιο με τις μεθόδους βελτιστοποίησης πόρων των βιντεοπαιχνιδιών, όπου αυτό που βρίσκεται γύρω από τη γωνία σπάνια φορτώνεται μέχρι να γίνει σαφές ότι το περιβάλλον θα χρειαστεί.

Σε μια σημαντική προσπάθεια για αποσύνδεση ξεχωριστών πτυχών όπως ο καιρός και η ώρα, το Block-NeRF εισάγει επίσης ‘κωδικούς εμφάνισης’, καθιστώντας δυνατή τη δυναμική αλλαγή της ώρας της ημέρας:

Αλλαγή της ώρας της ημέρας με Block-NeRF. Δείτε το ενσωματωμένο βίντεο στο τέλος του άρθρου και επίσης τον σύνδεσμο πηγής για υψηλής ανάλυσης πλήρους μήκους βίντεο. Πηγή: https://waymo.com/research/block-nerf/

Η νέα εργασία υποδηλώνει ότι η βελτιστοποίηση του NeRF προσεγγίζει τα δικά του θερμικά όρια, και ότι οι μελλοντικές αναπτύξεις των νευρωνικών περιβαλλόντων σε εικονική πραγματικότητα, άλλους τύπους διαδραστικών σφαιρών και εργασίες VFX, είναι πιθανό να εξαρτώνται από παράλληλες επιχειρήσεις, παρόμοια με τον τρόπο που ο νόμος του Moore τελικά έδωσε τη θέση του σε αρχιτεκτονικές multi-core, παράλληλες βελτιστοποιήσεις και νέες προσεγγίσεις στο caching.

Οι συγγραφείς της εργασίας (με τίτλο Block-NeRF: Scalable Large Scene Neural View Synthesis) χρησιμοποίησαν 2,8 εκατομμύρια εικόνες για τη δημιουργία του μεγαλύτερου νευρωνικού σκηνικού που έχει επιχειρηθεί ποτέ – μια σειρά γειτονιών στο Σαν Φρανσίσκο.

Block-NeRF περιηγείται στο Καθεδρικό Ναό του Σαν Φρανσίσκο. Δείτε το ενσωματωμένο βίντεο στο τέλος του άρθρου και επίσης τον σύνδεσμο πηγής για υψηλής ανάλυσης πλήρους μήκους βίντεο. Πηγή: https://waymo.com/research/block-nerf/

Ο κύριος συγγραφέας της εργασίας, που αντιπροσωπεύει το UC Berkley, είναι ο Matthew Tancik, ο συνεφευρέτης των Νευρωνικών Πεδίων Ραδιάντσας, ο οποίος πραγματοποίησε το έργο ενώ ήταν стажέρ στην εταιρεία ανάπτυξης τεχνολογίας αυτονομίας Waymo, που φιλοξενεί τη σελίδα του έργου. Η πρωτοβουλία αυτή προσφέρει επίσης μια видеο επισκόπηση στο YouTube, ενσωματωμένη στο τέλος του άρθρου, εκτός από πολλά υποστηρικτικά και συμπληρωματικά βίντεο παραδειγμάτων στη σελίδα του έργου.

Η εργασία είναι συν-συγγραφέας από几个 άλλους δημιουργούς NeRF, συμπεριλαμβανομένων των Ben Mildenhall (Google Research), Pratul P. Srinivasan (Google Research) και Jonathan T. Barron (Google Research). Οι άλλοι συντελεστές είναι οι Vincent Casser, Xinchen Yan, Sabeek Pradhan, Henrik Kretzschmar και Vincent Casser, όλοι από την Waymo.

Το Block-NeRF αναπτύχθηκε κυρίως ως έρευνα για εικονικά περιβάλλοντα για συστήματα αυτονομίας οχημάτων, συμπεριλαμβανομένων αυτονομών αυτοκινήτων και drone.

Η οδός Embarcadero από μια στάση 180 μοιρών στο Block-NeRF. Δείτε το ενσωματωμένο βίντεο στο τέλος του άρθρου και επίσης τον σύνδεσμο πηγής για υψηλής ανάλυσης πλήρους μήκους βίντεο. Πηγή: https://waymo.com/research/block-nerf/

Άλλοι παράγοντες που μπορούν να αλλάξουν δυναμικά στο Block-NeRF είναι η διάμετρος του φακού (δείτε την εικόνα παραπάνω), ο καιρός και οι εποχές.

Ωστόσο, η αλλαγή της εποχής μπορεί να προκαλέσει σχετικές αλλαγές στο περιβάλλον, όπως δέντρα χωρίς φύλλα, που απαιτούν ένα ακόμη πιο εκτενές σύνολο δεδομένων από αυτό που κατασκευάστηκε για το Block-NeRF. Η εργασία αναφέρει:

‘[Φύλλωμα] αλλάζει εποχικά και κινείται στον άνεμο· αυτό οδηγεί σε θολές αναπαραστάσεις δέντρων και φυτών. Παρόμοια, χρονικές ασυνέπειες στα δεδομένα εκπαίδευσης, όπως εργασίες κατασκευής, δεν χειρίζονται αυτόματα και απαιτούν την επανα-εκπαίδευση των επηρεαζόμενων μπλοκ.’

Αποκαλυπτική Απόδοση

Εάν κοιτάξετε το βίντεο που είναι ενσωματωμένο στο τέλος, θα παρατηρήσετε μια Walking Dead-στυλ αραιότητα στο δίκτυο Block-NeRF. Για διάφορους λόγους, όχι μόνο για να παρέχει ένα προσομοιωμένο περιβάλλον εκκίνησης για ρομποτικά συστήματα, αυτοκίνητα, πεζούς και άλλα μεταβατικά αντικείμενα είχαν σκόπιμα αφαιρεθεί από το υλικό πηγής, αλλά αυτό έχει αφήσει κάποια απομεινάρια πίσω, όπως οι σκιές των “διαγραμμένων” σταθμευμένων οχημάτων:

Το φανταστικό σχήμα μιας διαγραμμένης αυτοκίνητου. Πηγή: https://waymo.com/research/block-nerf/

Για να διευκολύνουν μια σειρά φωτιστικών περιβαλλόντων όπως η ημέρα ή η νύχτα, τα δίκτυα έχουν εκπαιδευτεί για να ενσωματώσουν αποσυνδεμένες ροές δεδομένων που σχετίζονται με κάθε επιθυμητή κατάσταση. Στην εικόνα παρακάτω, βλέπουμε τις συνεισφορές ροών για Block-NeRF βίντεο ενός αυτοκινητόδρομου την ημέρα και τη νύχτα:

Οι προαιρετικές πτυχές πίσω από μια φαινομενικά ‘ψημένη’ απόδοση Block-NeRF, που επιτρέπουν στον χρήστη να ενεργοποιήσει τη νύχτα όπως απαιτείται. Πηγή: https://waymo.com/research/block-nerf/

Περιβαλλοντικές και Ηθικές Συμμετοχές

Τις τελευταίες années, οι υποβολές ερευνών έχουν αρχίσει να περιλαμβάνουν προφυλάξεις και διακρίσεις σχετικά με τις πιθανές ηθικές και περιβαλλοντικές επιπτώσεις του προτεινόμενου έργου. Στην περίπτωση του Block-NeRF, οι συγγραφείς σημειώνουν ότι οι ενεργειακές απαιτήσεις είναι υψηλές και ότι η λογιστική για βραχυπρόθεσμες και μακροπρόθεσμες μεταβατικές αντικείμενα (όπως φύλλα σε δέντρα και εργασίες κατασκευής, αντίστοιχα) θα απαιτούσε τακτική επαν-σάρωση των δεδομένων πηγής, οδηγώντας σε αυξημένη ‘επίβλεψη’ σε αστικές περιοχές των οποίων τα νευρωνικά μοντέλα πρέπει να διατηρούνται ενημερωμένα.

Οι συγγραφείς αναφέρουν:

‘Ανάλογα με το μέγεθος που εφαρμόζεται αυτό το έργο, οι υπολογιστικές του απαιτήσεις μπορεί να οδηγήσουν ή να χειροτερέψουν τις περιβαλλοντικές ζημιές εάν η ενέργεια που χρησιμοποιείται για τον υπολογισμό οδηγεί σε αυξημένες εκπομπές άνθρακα. Όπως αναφέρεται στην εργασία, προβλέπουμε περαιτέρω εργασία, όπως μεθόδους caching, που θα μπορούσαν να μειώσουν τις υπολογιστικές απαιτήσεις και έτσι να μετριάσουν τις περιβαλλοντικές ζημιές.’

Σχετικά με την επίβλεψη, συνεχίζουν:

‘Μελλοντικές εφαρμογές αυτής της εργασίας μπορεί να απαιτούν ακόμη μεγαλύτερες προσπάθειες συλλογής δεδομένων, που αυξάνουν περαιτέρω τις ανησυχίες για την ιδιωτικότητα. Ενώ λεπτομερείς εικόνες δημοσίων οδών μπορούν ήδη να βρεθούν σε υπηρεσίες όπως το Google Street View, η μεθοδολογία μας θα μπορούσε να προωθήσει επαναλαμβανόμενες και πιο τακτικές σάρωση του περιβάλλοντος. Ορισμένες εταιρείες στον τομέα των αυτονομών οχημάτων είναι επίσης γνωστές για την τακτική σάρωση περιοχών με το στόλο των οχημάτων τους· ωστόσο, ορισμένες μπορεί να χρησιμοποιούν μόνο σάρωση LiDAR, η οποία μπορεί να είναι λιγότερο ευαίσθητη από τη συλλογή εικόνων με κάμερα.’

Μέθοδοι και Λύσεις

Τα ατομικά περιβάλλοντα NeRF μπορούν να μειωθούν, θεωρητικά, σε οποιοδήποτε μέγεθος πριν από τη συναρμολόγηση σε ένα δίκτυο Block-NeRF. Αυτό ανοίγει τον δρόμο για τη γρανυλαρή ένταξη περιεχομένου που είναι σίγουρα υποκείμενο σε αλλαγές, όπως δέντρα, και για την ταυτοποίηση και διαχείριση εργασιών κατασκευής, που μπορεί να διαρκέσουν στον χρόνο για χρόνια ανακατασκευής, αλλά είναι πιθανό να εξελιχθούν και τελικά να γίνουν συνεπείς οντότητες.

Ωστόσο, σε αυτήν την αρχική έρευνα, τα διακριτά μπλοκ NeRF περιορίζονται στα πραγματικά μπλοκ της πόλης κάθε απεικονισμένου περιβάλλοντος, ραφώντας μαζί, με μια υπέρθεση 50% που εξασφαλίζει συνεπή μετάβαση από το ένα μπλοκ στο επόμενο καθώς ο χρήστης περιηγείται στο δίκτυο.

Κάθε μπλοκ περιορίζεται από ένα γεωγραφικό φίλτρο. Οι συγγραφείς σημειώνουν ότι αυτό το μέρος του πλαισίου είναι ανοιχτό στην αυτοματοποίηση και, εκπληκτικά, ότι η υλοποίηση τους βασίζεται στο OpenStreetMap και όχι στο Google Maps.

Ο ακτίνας τομής για ένα ‘ενεργό’ χώρο απόδοσης Block-NeRF. Πηγή: Waymo

Τα μπλοκ εκπαιδεύονται παράλληλα, με τα απαιτούμενα μπλοκ που αποδίδονται κατόπιν αιτήματος. Οι καινοτόμες κωδικοί εμφάνισης είναι επίσης ορχηστρωμένοι μεταξύ του συνόλου μπλοκ, εξασφαλίζοντας ότι δεν ταξιδεύει απροσδόκητα σε διαφορετικό καιρό, ώρα της ημέρας ή ακόμη και σε διαφορετική εποχή.

Τα τμήματα Block-NeRF υπόκεινται σε συνθήκες έκθεσης με τρόπο ανάλογο με τη Υψηλή Δυναμική Εύρος (HDR) στο φωτογραφικό υλικό πηγής. Πηγή: Waymo

Η ικανότητα να αλλάζει φωτισμό και άλλες περιβαλλοντικές μεταβλητές προέρχεται από τις Γενετικές Λανθάνουσες Βελτιστοποιήσεις που εισήχθησαν στο NeRF στο Άγριο (NeRF-W), η οποία herself προέρχεται από την έρευνα του 2019 της Facebook AI ερεύνησης Βελτιστοποίηση του Λανθάνουσας Χώρου των Γενετικών Δικτύων.

Ένα μοντέλο σεμαντικής τομής που προέρχεται από το Panoptic-DeepLab το 2020 χρησιμοποιείται για να αποκλείσει μη επιθυμητά στοιχεία (όπως άτομα και οχήματα)

Δεδομένα

Βρήκαν ότι τα κοινά αστικά σύνολα δεδομένων όπως το CityScapes δεν ήταν κατάλληλα για τέτοια εκτενή εργασία όπως το Block-NeRF, οι ερευνητές δημιούργησαν το δικό τους σύνολο δεδομένων. Δεδομένα εικόνων συλλέχθηκαν από 12 κάμερες που καλύπτουν μια οπτική γωνία 360 μοιρών, με βίντεο που λήφθηκαν με συχνότητα 10 Hz και μια σκαλαρική τιμή έκθεσης.

Οι γειτονιές του Σαν Φρανσίσκο που καλύφθηκαν ήταν η Alamo Square και η Mission Bay. Για τις λήψεις της Alamo Square, μια περιοχή που αντιστοιχεί σε 960μ x 570μ καλύφθηκε, χωρισμένη σε 35 περιβάλλοντα Block-NeRF, κάθε一个 εκπαιδευμένο σε δεδομένα από 38 έως 48 διαφορετικές διαδρομές συλλογής δεδομένων, με συνολικό χρόνο οδήγησης 18-28 λεπτών.

Ο αριθμός των συνεισφορών εικόνων για κάθε Block-NeRF κυμαινόταν μεταξύ 64.575 και 108.216, και ο συνολικός χρόνος οδήγησης που αντιπροσωπεύτηκε για αυτήν την περιοχή ήταν 13,4 ώρες σε 1.330 διαφορετικές διαδρομές συλλογής δεδομένων. Αυτό οδήγησε σε 2.818.745 εικόνες εκπαίδευσης μόνο για την Alamo Square. Δείτε την εργασία για πρόσθετες λεπτομέρειες σχετικά με τη συλλογή δεδομένων για τη Mission Bay.

Πρώτη δημοσίευση 11ης Φεβρουαρίου 2022.