Η γωνία του Anderson
Το Νέο CGI: Δημιουργώντας Νευρωνικές Γειτονιές Με Block-NeRF

Βασικά σημείαΤο Block-NeRF συνενώνει ξεχωριστές παρουσίες NeRF σε κλιμακούμενες πλοηγήσιμες…
Δείτε περισσότερα
- Το Block-NeRF συνενώνει ξεχωριστές παρουσίες NeRF σε κλιμακούμενες πλοηγήσιμες γειτονιές που φορτώνονται κατ' απαίτηση.
- Οι κωδικοί εμφάνισης στο Block-NeRF επιτρέπουν δυναμικές αλλαγές, όπως η ώρα της ημέρας, χωρίς επανεκπαίδευση ολόκληρης της σκηνής.
- Το έργο χρησιμοποίησε 2,8 εκατομμύρια εικόνες από το Waymo για να δημιουργήσει τη μεγαλύτερη νευρωνική σκηνή τετραγώνων του Σαν Φρανσίσκο.
Τα Νευρωνικά Πεδία Ακτινοβολίας (NeRF) επιτρέπουν την αναδημιουργία και την εξερεύνηση αντικειμένων μέσα σε νευρωνικά δίκτυα χρησιμοποιώντας μόνο φωτογραφίες από πολλαπλές οπτικές γωνίες ως είσοδο, χωρίς τη σύνθετη και δαπανηρή παραδοσιακή μέθοδο CGI.
Ωστόσο, η διαδικασία είναι υπολογιστικά απαιτητική, γεγονός που αρχικά περιόρισε τα περιβάλλοντα NeRF σε σενάρια επιτραπέζιων μοντέλων. Παρόλα αυτά, το NeRF έχει υιοθετηθεί από μια αφοσιωμένη, ακόμη και φρενήρη, ερευνητική κοινότητα, η οποία κατά τον τελευταίο χρόνο έχει επιτρέψει τη δημιουργία εξωτερικών ανακατασκευών καθώς και επεξεργάσιμων νευρωνικών μοντέλων ανθρώπων, εκτός από πολλές άλλες καινοτομίες.
Τώρα, μια νέα ερευνητική πρωτοβουλία, η οποία περιλαμβάνει τη συμμετοχή της Google Research, αναγνωρίζει τα πιθανά σκληρά όρια για την βελτιστοποίηση του NeRF και επικεντρώνεται αντίθετα στη συνένωση περιβαλλόντων NeRF για τη δημιουργία γειτονιών κατόπιν αιτήματος που αποτελούνται από πολλαπλά συντονισμένα περιβάλλοντα NeRF.

Θέα από ένα δίκτυο Block-NeRF συνδεδεμένων NeRFs. Δείτε το ενσωματωμένο βίντεο στο τέλος του άρθρου και επίσης τον σύνδεσμο πηγής για υψηλής ανάλυσης πλήρους μήκους βίντεο. Πηγή: https://waymo.com/research/block-nerf/
Η πλοήγηση στο δίκτυο των συνδεδεμένων NeRFs καθιστά το NeRF κλιμακώσιμο και αρθρωτό, παρέχοντας περιβάλλοντα που φορτώνουν επιπλέον μέρη της γειτονιάς όπως χρειάζονται, με τρόπο παρόμοιο με τις μεθόδους βελτιστοποίησης πόρων των βιντεοπαιχνιδιών, όπου αυτό που βρίσκεται γύρω από τη γωνία σπάνια φορτώνεται μέχρι να γίνει σαφές ότι το περιβάλλον θα χρειαστεί.
Σε μια σημαντική προσπάθεια για αποσύνδεση ξεχωριστών πτυχών όπως ο καιρός και η ώρα, το Block-NeRF εισάγει επίσης ‘κωδικούς εμφάνισης’, καθιστώντας δυνατή τη δυναμική αλλαγή της ώρας της ημέρας:


Αλλαγή της ώρας της ημέρας με Block-NeRF. Δείτε το ενσωματωμένο βίντεο στο τέλος του άρθρου και επίσης τον σύνδεσμο πηγής για υψηλής ανάλυσης πλήρους μήκους βίντεο. Πηγή: https://waymo.com/research/block-nerf/
Η νέα εργασία υποδηλώνει ότι η βελτιστοποίηση του NeRF προσεγγίζει τα δικά του θερμικά όρια, και ότι οι μελλοντικές αναπτύξεις των νευρωνικών περιβαλλόντων σε εικονική πραγματικότητα, άλλους τύπους διαδραστικών σφαιρών και εργασίες VFX, είναι πιθανό να εξαρτώνται από παράλληλες λειτουργίες, παρόμοια με τον τρόπο που ο νόμος του Moore τελικά έδωσε τη θέση του σε αρχιτεκτονικές multi-core, παράλληλες βελτιστοποιήσεις και νέες προσεγγίσεις στο caching.
Οι συγγραφείς της εργασίας (με τίτλο Block-NeRF: Scalable Large Scene Neural View Synthesis) χρησιμοποίησαν 2,8 εκατομμύρια εικόνες για τη δημιουργία του μεγαλύτερου νευρωνικού σκηνικού που έχει επιχειρηθεί ποτέ – μια σειρά γειτονιών στο Σαν Φρανσίσκο.

Block-NeRF περιηγείται στον καθεδρικό ναό Grace του Σαν Φρανσίσκο. Δείτε το ενσωματωμένο βίντεο στο τέλος του άρθρου και επίσης τον σύνδεσμο πηγής για υψηλής ανάλυσης πλήρους μήκους βίντεο. Πηγή: https://waymo.com/research/block-nerf/
Ο κύριος συγγραφέας της εργασίας, που αντιπροσωπεύει το UC Berkeley, είναι ο Matthew Tancik, ο συνεφευρέτης των Νευρωνικών Πεδίων Ραδιάντσας, ο οποίος πραγματοποίησε το έργο ενώ ήταν ασκούμενος στην εταιρεία ανάπτυξης τεχνολογίας αυτονομίας Waymo, που φιλοξενεί τη σελίδα του έργου. Η πρωτοβουλία αυτή προσφέρει επίσης μια επισκόπηση σε βίντεο στο YouTube, ενσωματωμένη στο τέλος του άρθρου, εκτός από πολλά υποστηρικτικά και συμπληρωματικά βίντεο παραδειγμάτων στη σελίδα του έργου.
Την εργασία συνυπογράφουν αρκετοί άλλοι δημιουργοί του NeRF, συμπεριλαμβανομένων των Ben Mildenhall (Google Research), Pratul P. Srinivasan (Google Research) και Jonathan T. Barron (Google Research). Οι άλλοι συντελεστές είναι οι Vincent Casser, Xinchen Yan, Sabeek Pradhan, Henrik Kretzschmar, όλοι από την Waymo.
Το Block-NeRF αναπτύχθηκε κυρίως ως έρευνα για εικονικά περιβάλλοντα για συστήματα αυτονομίας οχημάτων, συμπεριλαμβανομένων αυτόνομων αυτοκινήτων και drone.

Η οδός Embarcadero από οπτική γωνία 180 μοιρών στο Block-NeRF. Δείτε το ενσωματωμένο βίντεο στο τέλος του άρθρου και επίσης τον σύνδεσμο πηγής για υψηλής ανάλυσης πλήρους μήκους βίντεο. Πηγή: https://waymo.com/research/block-nerf/
Άλλοι παράγοντες που μπορούν να αλλάξουν δυναμικά στο Block-NeRF είναι η έκθεση του φακού (δείτε την εικόνα παραπάνω), ο καιρός και οι εποχές.
Ωστόσο, η αλλαγή της εποχής μπορεί να προκαλέσει σχετικές αλλαγές στο περιβάλλον, όπως δέντρα χωρίς φύλλα, που απαιτούν ένα ακόμη πιο εκτενές σύνολο δεδομένων από αυτό που κατασκευάστηκε για το Block-NeRF. Η εργασία αναφέρει:
‘[Φύλλωμα] αλλάζει εποχικά και κινείται στον άνεμο· αυτό οδηγεί σε θολές αναπαραστάσεις δέντρων και φυτών. Παρόμοια, χρονικές ασυνέπειες στα δεδομένα εκπαίδευσης, όπως εργασίες κατασκευής, δεν χειρίζονται αυτόματα και απαιτούν τη χειροκίνητη επανεκπαίδευση των επηρεαζόμενων μπλοκ.’
Αποκαλυπτική Απόδοση
Εάν κοιτάξετε το βίντεο που είναι ενσωματωμένο στο τέλος, θα παρατηρήσετε μια ερημιά στο ύφος του Walking Dead στο δίκτυο Block-NeRF. Για διάφορους λόγους, μεταξύ άλλων για να παρέχεται ένα προσομοιωμένο αρχικό περιβάλλον στα ρομποτικά συστήματα, αυτοκίνητα, πεζοί και άλλα παροδικά αντικείμενα είχαν σκόπιμα αφαιρεθεί από το υλικό πηγής, αλλά αυτό έχει αφήσει κάποια απομεινάρια πίσω, όπως οι σκιές των “διαγραμμένων” σταθμευμένων οχημάτων:

Η σκιά-φάντασμα ενός διαγραμμένου αυτοκινήτου. Πηγή: https://waymo.com/research/block-nerf/
Για να διευκολύνουν μια σειρά φωτιστικών περιβαλλόντων όπως η ημέρα ή η νύχτα, τα δίκτυα έχουν εκπαιδευτεί για να ενσωματώσουν αποσυνδεμένες ροές δεδομένων που σχετίζονται με κάθε επιθυμητή κατάσταση. Στην εικόνα παρακάτω, βλέπουμε τις συνεισφορές ροών για Block-NeRF βίντεο ενός αυτοκινητόδρομου την ημέρα και τη νύχτα:

Οι συνιστώσες που διατίθενται κατόπιν αιτήματος πίσω από μια φαινομενικά ‘προϋπολογισμένη’ απόδοση Block-NeRF, που επιτρέπουν στον χρήστη να ενεργοποιήσει τη νύχτα όπως απαιτείται. Πηγή: https://waymo.com/research/block-nerf/
Περιβαλλοντικοί και ηθικοί προβληματισμοί
Τα τελευταία χρόνια, οι υποβολές ερευνών έχουν αρχίσει να περιλαμβάνουν επιφυλάξεις και αποποιήσεις ευθύνης σχετικά με τις πιθανές ηθικές και περιβαλλοντικές επιπτώσεις του προτεινόμενου έργου. Στην περίπτωση του Block-NeRF, οι συγγραφείς σημειώνουν ότι οι ενεργειακές απαιτήσεις είναι υψηλές και ότι ο συνυπολογισμός βραχυπρόθεσμων και μακροπρόθεσμων παροδικών αντικειμένων (όπως φύλλα σε δέντρα και εργασίες κατασκευής, αντίστοιχα) θα απαιτούσε τακτική επαν-σάρωση των δεδομένων πηγής, οδηγώντας σε αυξημένη ‘παρακολούθηση’ σε αστικές περιοχές των οποίων τα νευρωνικά μοντέλα πρέπει να διατηρούνται ενημερωμένα.
Οι συγγραφείς αναφέρουν:
‘Ανάλογα με το μέγεθος που εφαρμόζεται αυτό το έργο, οι υπολογιστικές του απαιτήσεις μπορεί να προκαλέσουν ή να επιδεινώσουν τις περιβαλλοντικές ζημιές εάν η ενέργεια που χρησιμοποιείται για τον υπολογισμό οδηγεί σε αυξημένες εκπομπές άνθρακα. Όπως αναφέρεται στην εργασία, προβλέπουμε περαιτέρω εργασία, όπως μεθόδους caching, που θα μπορούσαν να μειώσουν τις υπολογιστικές απαιτήσεις και έτσι να μετριάσουν τις περιβαλλοντικές ζημιές.’
Σχετικά με την παρακολούθηση, συνεχίζουν:
‘Μελλοντικές εφαρμογές αυτής της εργασίας μπορεί να απαιτούν ακόμη μεγαλύτερες προσπάθειες συλλογής δεδομένων, που αυξάνουν περαιτέρω τις ανησυχίες για την ιδιωτικότητα. Ενώ λεπτομερείς εικόνες δημοσίων οδών μπορούν ήδη να βρεθούν σε υπηρεσίες όπως το Google Street View, η μεθοδολογία μας θα μπορούσε να προωθήσει επαναλαμβανόμενες και πιο τακτικές σαρώσεις του περιβάλλοντος. Ορισμένες εταιρείες στον τομέα των αυτόνομων οχημάτων είναι επίσης γνωστές για την τακτική σάρωση περιοχών με το στόλο των οχημάτων τους· ωστόσο, ορισμένες μπορεί να χρησιμοποιούν μόνο σάρωση LiDAR, η οποία μπορεί να είναι λιγότερο ευαίσθητη ως προς την ιδιωτικότητα από τη συλλογή εικόνων με κάμερα.’
Μέθοδοι και Λύσεις
Τα ατομικά περιβάλλοντα NeRF μπορούν να μειωθούν, θεωρητικά, σε οποιοδήποτε μέγεθος πριν από τη συναρμολόγηση σε ένα δίκτυο Block-NeRF. Αυτό ανοίγει τον δρόμο για την ένταξη σε λεπτομερές επίπεδο περιεχομένου που είναι σίγουρα υποκείμενο σε αλλαγές, όπως δέντρα, και για την ταυτοποίηση και διαχείριση εργασιών κατασκευής, που μπορεί να διαρκέσουν στον χρόνο για χρόνια επαναλαμβανόμενης συλλογής δεδομένων, αλλά είναι πιθανό να εξελιχθούν και τελικά να γίνουν σταθερά στοιχεία.
Ωστόσο, σε αυτήν την αρχική έρευνα, τα διακριτά μπλοκ NeRF περιορίζονται στα πραγματικά οικοδομικά τετράγωνα κάθε απεικονισμένου περιβάλλοντος, ραφώντας μαζί, με επικάλυψη 50% που εξασφαλίζει συνεπή μετάβαση από το ένα μπλοκ στο επόμενο καθώς ο χρήστης περιηγείται στο δίκτυο.
Κάθε μπλοκ περιορίζεται από ένα γεωγραφικό φίλτρο. Οι συγγραφείς σημειώνουν ότι αυτό το μέρος του πλαισίου είναι ανοιχτό στην αυτοματοποίηση και, εκπληκτικά, ότι η υλοποίηση τους βασίζεται στο OpenStreetMap και όχι στο Google Maps.

Η ακτίνα τομής για ένα ‘ενεργό’ χώρο απόδοσης Block-NeRF. Πηγή: Waymo
Τα μπλοκ εκπαιδεύονται παράλληλα, με τα απαιτούμενα μπλοκ που αποδίδονται κατόπιν αιτήματος. Οι καινοτόμοι κωδικοί εμφάνισης είναι επίσης ορχηστρωμένοι μεταξύ του συνόλου μπλοκ, εξασφαλίζοντας ότι δεν ταξιδεύει απροσδόκητα σε διαφορετικό καιρό, ώρα της ημέρας ή ακόμη και σε διαφορετική εποχή.

Τα τμήματα Block-NeRF υπόκεινται σε συνθήκες έκθεσης με τρόπο ανάλογο με το υψηλό δυναμικό εύρος (HDR) στο φωτογραφικό υλικό πηγής. Πηγή: Waymo
Η ικανότητα να αλλάζει φωτισμό και άλλες περιβαλλοντικές μεταβλητές προέρχεται από τις παραγωγικές βελτιστοποιήσεις του λανθάνοντος χώρου που εισήχθησαν στο NeRF στο Άγριο (NeRF-W), το οποίο με τη σειρά του αντλεί τη μέθοδο από την ερευνητική εργασία της Facebook AI του 2019 Βελτιστοποίηση του λανθάνοντος χώρου των παραγωγικών δικτύων.
Ένα μοντέλο σημασιολογικής κατάτμησης που προέρχεται από το Panoptic-DeepLab το 2020 χρησιμοποιείται για να αποκλείσει μη επιθυμητά στοιχεία (όπως άτομα και οχήματα)
Δεδομένα
Διαπιστώνοντας ότι κοινά αστικά σύνολα δεδομένων όπως το CityScapes δεν ήταν κατάλληλα για τέτοια εκτενή εργασία όπως το Block-NeRF, οι ερευνητές δημιούργησαν το δικό τους σύνολο δεδομένων. Δεδομένα εικόνων συλλέχθηκαν από 12 κάμερες που καλύπτουν μια οπτική γωνία 360 μοιρών, με βίντεο που λήφθηκαν με συχνότητα 10 Hz και μια σκαλαρική τιμή έκθεσης.

Οι γειτονιές του Σαν Φρανσίσκο που καλύφθηκαν ήταν η Alamo Square και η Mission Bay. Για τις λήψεις της Alamo Square, μια περιοχή που αντιστοιχεί σε 960μ x 570μ καλύφθηκε, χωρισμένη σε 35 περιβάλλοντα Block-NeRF, καθένα εκπαιδευμένο σε δεδομένα από 38 έως 48 διαφορετικές διαδρομές συλλογής δεδομένων, με συνολικό χρόνο οδήγησης 18-28 λεπτών.
Ο αριθμός των συνεισφορών εικόνων για κάθε Block-NeRF κυμαινόταν μεταξύ 64.575 και 108.216, και ο συνολικός χρόνος οδήγησης που αντιπροσωπεύτηκε για αυτήν την περιοχή ήταν 13,4 ώρες σε 1.330 διαφορετικές διαδρομές συλλογής δεδομένων. Αυτό οδήγησε σε 2.818.745 εικόνες εκπαίδευσης μόνο για την Alamo Square. Δείτε την εργασία για πρόσθετες λεπτομέρειες σχετικά με τη συλλογή δεδομένων για τη Mission Bay.
Πρώτη δημοσίευση 11ης Φεβρουαρίου 2022.












