NeRF: Εκπαίδευση Drone σε Περιβάλλοντα Νευρωνικής Ραδιοβολίας

Ερευνητές από το Πανεπιστήμιο του Στάνφορντ έχουν αναπτύξει einen νέο τρόπο εκπαίδευσης drone να πλοηγούνται σε φωτορεαλιστικά και υψηλής ακρίβειας περιβάλλοντα, αξιοποιώντας το πρόσφατο [αύξηση του ενδιαφέροντος](https://www.unite.ai/tag/nerf/) για τα Νευρωνικά Πεδία Ραδιοβολίας (NeRF).

Τα drone μπορούν να εκπαιδευτούν σε εικονικά περιβάλλοντα που χαρτογραφούνται απευθείας από πραγματικές τοποθεσίες, χωρίς την ανάγκη για εξειδικευμένη ανακατασκευή σκηνών 3D. Στην εικόνα από το έργο, έχει προστεθεί μια διαταραχή ανέμου ως πιθανικό εμπόδιο για το drone, και μπορούμε να δούμε το drone να απομακρύνεται προσωρινά από την πορεία του και να компενσάρει στο τελευταίο στιγμή για να αποφύγει ένα πιθανό εμπόδιο. Source: https://mikh3x4.github.io/nerf-navigation/

Η μέθοδος προσφέρει τη δυνατότητα για διαδραστική εκπαίδευση drone (ή άλλων τύπων αντικειμένων) σε εικονικά σενάρια που περιλαμβάνουν αυτόματα πληροφορίες όγκου (για τον υπολογισμό αποφυγής συγκρούσεων), κειμένου που σχεδιάζεται απευθείας από φωτογραφίες της πραγματικής ζωής (για να βοηθήσει τα δίκτυα αναγνώρισης εικόνων του drone να εκπαιδευτούν με πιο ρεαλιστικό τρόπο) και φωτισμό του πραγματικού κόσμου (για να διασφαλιστεί ότι μια ποικιλία σενάριων φωτισμού εκπαιδεύεται στο δίκτυο, αποφεύγοντας την υπερ-προσαρμογή ή υπερ-βελτιστοποίηση στην αρχική φωτογραφία της σκηνής).

Ένα αντικείμενο-καναπές πλοηγείται σε ένα σύνθετο εικονικό περιβάλλον που θα ήταν πολύ δύσκολο να χαρτογραφηθεί χρησιμοποιώντας γεωμετρική σύλληψη και ανασύνθεση σε παραδοσιακές ροές εργασίας AR/VR, αλλά που αναδημιουργήθηκε αυτόματα σε NeRF από έναν περιορισμένο αριθμό φωτογραφιών. Source: https://www.youtube.com/watch?v=5JjWpv9BaaE

Τυπικές εφαρμογές NeRF δεν περιλαμβάνουν μηχανισμούς τροχιάς,既然 η πλειοψηφία των έργων NeRF τα τελευταία 18 μήνες έχουν επικεντρωθεί σε άλλες προκλήσεις, όπως [σκηνοθέτηση σκηνής](https://www.unite.ai/adobe-neural-rendering-relighting-2021/), [αποτύπωση αντανακλάσεων](https://www.unite.ai/can-apples-hdr-augmented-reality-environments-solve-reflections-for-neural-rendering/), [σύνθεση](https://www.unite.ai/st-nerf-compositing-and-editing-for-video-synthesis/) και [αποσύνδεση](https://www.unite.ai/nerfactor-another-step-to-replacing-cgi/) των συλληφθέντων στοιχείων.

NeRF ως VR/AR

Η νέα [έρευνα](https://arxiv.org/pdf/2110.00168.pdf) έχει τον τίτλο Πλοήγηση Ρομπότ με Όραση Μόνο σε ένα Νευρωνικό Περιβάλλον Ραδιοβολίας, και είναι μια συνεργασία μεταξύ τριών τμημάτων του Στάνφορντ: Αεροναυπηγικής και Αστροναυτικής, Μηχανολογικής Μηχανικής και Επιστήμης Υπολογιστών.

Το έργο προτείνει ένα πλαίσιο πλοήγησης που παρέχει στο ρομπότ ένα προ-εκπαιδευμένο περιβάλλον NeRF, του οποίου η πυκνότητα όγκου οριοθετεί τις πιθανές διαδρομές της συσκευής. Περιλαμβάνει επίσης einen φίλτρο για να εκτιμήσει πού βρίσκεται το ρομπότ στο εικονικό περιβάλλον, με βάση την αναγνώριση εικόνων από την κάμερα RGB του ρομπότ. Με αυτόν τον τρόπο, ένα drone ή ρομπότ μπορεί να “ολοκληρώσει” πιο ακριβώς τι μπορεί να περιμένει να δει σε ένα δεδομένο περιβάλλον.

Ο βελτιστοποιητής τροχιάς του έργου πλοηγείται μέσα σε ένα μοντέλο NeRF του Στόουνχεντζ που δημιουργήθηκε μέσω φωτογραμμετρίας και ερμηνείας εικόνων (σε αυτή την περίπτωση, μοντέλων mesh) σε ένα Νευρωνικό Περιβάλλον Ραδιοβολίας. Ο βελτιστοποιητής τροχιάς υπολογίζει έναν αριθμό πιθανών διαδρομών πριν καθορίσει μια βελτιστοποιημένη τροχιά πάνω από το θόλο.

Επειδή ένα περιβάλλον NeRF διαθέτει πλήρως μοντελοποιημένες οκκλουژن, το drone μπορεί να μάθει να υπολογίζει εμπόδια πιο εύκολα,既然 το νευρωνικό δίκτυο πίσω από το NeRF μπορεί να χαρτογραφήσει τη σχέση μεταξύ οκκλουژن και του τρόπου με τον οποίο τα συστήματα πλοήγησης του drone με βάση την όραση αντιλαμβάνονται το περιβάλλον. Η αυτοματοποιημένη διαδικασία δημιουργίας NeRF προσφέρει έναν σχετικά εύκολο τρόπο δημιουργίας υπερ-ρεαλιστικών χώρων εκπαίδευσης με μόνο quelques φωτογραφίες.

Το πλαίσιο επανεκτίμησης που αναπτύχθηκε για το έργο του Στάνφορντ διευκολύνει μια ανθεκτική και εξολοκλήρου βασισμένη στην όραση πλοήγηση.

Η πρωτοβουλία του Στάνφορντ είναι μεταξύ των πρώτων που εξετάζουν τις δυνατότητες εξερεύνησης eines NeRF χώρου στο контέκστ eines πλοηγησιμού και εικονικού περιβάλλοντος. Τα Νευρωνικά Πεδία Ραδιοβολίας είναι μια αναδυόμενη τεχνολογία, και目前 υπόκεινται σε πολλαπλά ακαδημαϊκά έργα για την βελτίωση των υψηλών απαιτήσεων υπολογιστικών πόρων, καθώς και για την αποσύνδεση των συλληφθέντων στοιχείων.

Nerf Δεν Είναι (Πραγματικά) CGI

Επειδή ένα περιβάλλον NeRF είναι ένας πλοηγησιμός 3D χώρος, έχει γίνει μια παρεξηγημένη τεχνολογία από την εμφάνισή του το 2020, συχνά ευρέως αντιλαμβανόμενο ως μέθοδο αυτοματοποίησης της δημιουργίας mesh και υφών, αντί να αντικαθιστά 3D περιβάλλοντα οικεία στους θεατές από τμήματα VFX του Χόλιγουντ και τις φανταστικές σκηνές των περιβαλλόντων AR και VR.

Το NeRF εξάγει γεωμετρικές και υφικές πληροφορίες από έναν περιορισμένο αριθμό οπτικών σημείων, υπολογίζοντας τη διαφορά μεταξύ εικόνων ως ογκομετρικές πληροφορίες. Source: https://www.matthewtancik.com/nerf

Στην πραγματικότητα, το περιβάλλον NeRF είναι πιο σαν ένα “ζωντανο” χώρο απόδοσης, όπου μια σύντηξη pixel και πληροφοριών φωτισμού διατηρείται και πλοηγείται σε ένα ενεργό και τρέχον νευρωνικό δίκτυο.

Το κλειδί για το NeRF είναι ότι απαιτεί μόνο έναν περιορισμένο αριθμό εικόνων για να αναδημιουργήσει περιβάλλοντα, και ότι τα δημιουργημένα περιβάλλοντα περιέχουν όλες τις απαραίτητες πληροφορίες για μια υψηλής πιστότητας ανακατασκευή, χωρίς την ανάγκη για τις υπηρεσίες μοντελιστών, καλλιτεχνών υφών, ειδικών φωτισμού και των λοιπών συντελεστών στα “παραδοσιακά” CGI.

Σημαντική Ανάθεση

Ακόμη και αν το NeRF αποτελεί αποτελεσματικά “Computer-Generated Imagery” (CGI), προσφέρει μια εντελώς διαφορετική μεθοδολογία, και μια υψηλά αυτοματοποιημένη διαδικασία. Επιπλέον, το NeRF μπορεί να απομονώσει και “ενθυλακώσει” κινούμενα μέρη μιας σκηνής, ώστε να μπορούν να προστεθούν, να αφαιρεθούν, να επιταχύνουν και γενικά να λειτουργούν ως διακριτά στοιχεία σε ένα εικονικό περιβάλλον – μια ικανότητα που είναι πολύ πέρα από την τρέχουσα κατάσταση της τέχνης στο “Χόλιγουντ” ερμηνεία του τι είναι το CGI.

Μια συνεργασία από το Πανεπιστήμιο της Σαγκάης, που κυκλοφόρησε το καλοκαίρι του 2021, προσφέρει einen τρόπο να εξατομικεύσει κινούμενα στοιχεία NeRF σε “κολλήσιμα” στοιχεία για μια σκηνή. Source: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Αρνητικά, η αρχιτεκτονική του NeRF είναι ένα είδος “μαύρου κουτιού”· δεν είναι目前 δυνατό να εξαχθεί ένα αντικείμενο από ένα περιβάλλον NeRF και να χειριστεί απευθείας με παραδοσιακά εργαλεία με βάση mesh και εικόνες, αν και μια σειρά από ερευνητικές προσπάθειες αρχίζουν να κάνουν прорыв σε αποσύνδεση της матриάς πίσω από τα ζωντανα απόδοσης περιβάλλοντα του NeRF.

https://www.youtube.com/watch?v=5JjWpv9BaaE